[arXiv 2606.14693] PCMA: 선호 조율로 다중목표 다중에이전트 강화학습을 안정화하기

Learning Coordinated Preference for Multi-Objective Multi-Agent Reinforcement Learning

https://arxiv.org/abs/2606.14693

Pengxin Wang, Lihao Guo, Yi Xie, Bo Liu, Siyang Cao, Jingdi Chen | Department of Electrical and Computer Engineering, University of Arizona | arXiv:2606.14693 | 2026년 6월

---

1. 서론: 같은 목표를 향해 움직이는 에이전트들이 왜 서로 다른 선호를 가져야 하는가

1.1 문제의 출발점

다중에이전트 강화학습은 여러 정책이 하나의 환경에서 동시에 행동하고, 그 행동의 조합이 팀 성과를 결정하는 문제를 다룬다. 여기에 다중목표 강화학습이 결합되면 상황은 더 까다로워진다. 각 에이전트가 효율, 안전, 거리, 에너지, 공정성처럼 서로 다른 축의 보상을 동시에 받기 때문이다. 단일 스칼라 보상으로 모든 목표를 합치면 구현은 쉬워지지만, 어떤 목표를 얼마나 중시해야 하는지에 대한 구조가 학습 전에 고정된다.

이 논문은 바로 그 고정된 선호 벡터를 문제 삼는다. 기존 접근은 여러 에이전트에게 같은 가중치 벡터를 주고, 모두가 동일한 방식으로 벡터 보상을 스칼라화하도록 만드는 경우가 많았다. 예를 들어 두 자율주행 차량이 교차로에 들어온 상황에서 두 차량이 모두 효율을 강하게 선호하면 충돌 위험이 커지고, 두 차량이 모두 안전을 강하게 선호하면 서로 양보만 하다가 통과 효율이 떨어진다. 팀 입장에서는 한 차량이 양보 역할을 맡고 다른 차량이 통과 역할을 맡는 식의 역할 분화가 더 자연스러울 수 있다.

저자들은 이 직관을 Preference Coordinated Multi-agent Policy Optimization, 줄여서 PCMA라는 알고리즘으로 구현한다. 핵심은 각 에이전트가 독립적으로 행동하더라도, 학습 중에는 팀 수준의 신호를 이용해 서로 다른 선호 방향을 갖도록 선호 분포를 조율하는 것이다. 정책은 로컬 관측과 샘플링된 선호를 입력으로 받아 행동을 선택하고, 중앙집중 critic은 팀 보상과 개별 벡터 보상을 함께 학습 신호로 제공한다.

흥미로운 점은 이 논문이 선호 다양성을 단순한 탐색 잡음으로 취급하지 않는다는 데 있다. 논문은 선호 프로파일의 다양성이 팀 목적함수의 1차 개선항에 어떻게 들어가는지 분석하고, 선호가 천천히 변할 때 preference-conditioned equilibrium을 추적할 수 있다는 이론적 설명을 붙인다. 실험은 MPE, MOMAland, SMAC, OpenCDA-MARL/CARLA를 포함한 다양한 환경에서 이루어지며, 결과적으로 PCMA는 고정 가중치 기반 MADDPG, IPPO, MAPPO보다 팀 성과와 역할 분화를 더 잘 끌어낸다.

1.2 왜 지금 볼 만한가

최근 에이전트 연구에서는 하나의 거대 모델이 모든 일을 끝내는 방식보다, 여러 모듈·도구·정책이 역할을 나누는 구조가 자주 등장한다. 소프트웨어 에이전트에서는 검색, 수정, 테스트, 검수 모듈이 분리되고, 로봇·자율주행·게임 환경에서는 개별 에이전트가 서로 다른 위치와 정보를 가진다. 이때 중요한 질문은 “공유된 목표가 있으면 모두 같은 보상 함수를 최적화하면 되는가”이다. PCMA는 그 답을 팀 목표와 개별 선호의 이중 구조로 다시 쓴다.

이전에 정리했던 다중 에이전트 안전 연구 흐름은 많은 에이전트가 상호작용할 때 생기는 시스템 효과를 강조했다. 이 논문은 그보다 더 제어 가능한 강화학습 환경에서 같은 문제를 수학적으로 좁혀 본다. 모든 에이전트가 같은 목표를 본다는 사실만으로는 충분하지 않고, 각 에이전트가 어느 목표 축을 담당할지까지 조율해야 팀 성과가 올라간다는 메시지다. DPO 같은 선호 최적화 흐름이 인간 선호를 정책 학습 신호로 바꾸었다면, PCMA는 에이전트 간 선호 배치를 협력 구조의 설계 변수로 다룬다.

2. 배경 및 관련 연구: MOMARL을 팀 최적 균형 문제로 다시 보기

2.1 다중목표 Dec-POMDP 설정

논문은 환경을 multi-objective Dec-POMDP로 정의한다. 상태 $s_t$는 전체 환경의 정보를 담지만, 각 에이전트는 자기 관측 $o_i$만 보고 행동 $a_i$를 고른다. 보상은 두 층으로 나뉜다. 하나는 모든 에이전트가 공유하는 희소한 팀 보상 $r_{\mathrm{team}}$이고, 다른 하나는 각 에이전트가 받는 벡터형 보상 $\mathbf r_i \in \mathbb R^K$이다. 팀 보상은 임무 완료 여부처럼 최종 목적을 나타내고, 벡터 보상은 거리, 안정성, 위험, 피해량처럼 행동을 더 촘촘하게 안내한다.

각 에이전트의 선호 벡터 $p_i$는 벡터 보상을 어떻게 스칼라화할지 결정한다. 논문은 에이전트 $i$의 효용을 $U_i(\mathbf\theta;p_i)=J_{\mathrm{team}}(\mathbf\theta)+p_i^\top \mathbf J_i(\mathbf\theta)$로 둔다. 이 식은 팀 성과와 개별 벡터 보상의 선호 가중 합을 같이 본다. 따라서 고정된 선호 프로파일 $\mathbf p=(p_1,\ldots,p_N)$가 주어지면, 전체 시스템은 preference-conditioned stochastic game이 되고, 그 해는 선호에 의해 유도된 local Nash equilibrium으로 볼 수 있다.

기호	의미	PCMA에서의 역할
$N$	에이전트 수	각 에이전트는 독립 관측과 선호를 가진다.
$\mathbf r_i \in \mathbb R^K$	개별 벡터 보상	거리, 안전, 피해량 같은 세부 목표를 제공한다.
$r_{\mathrm{team}}$	공유 팀 보상	임무 성공 여부와 최종 팀 성과를 나타낸다.
$p_i$	에이전트별 선호 벡터	각 에이전트가 어느 목표 축을 더 강조할지 결정한다.
$\mathbf p$	전체 선호 프로파일	팀 최적 균형을 찾기 위한 조율 대상이다.

2.2 고정 선호의 한계

기존 multi-objective MARL의 단순한 해법은 모든 에이전트에게 같은 선호 벡터를 주는 것이다. 이 방식은 실험 설정을 깔끔하게 만들고, scalarization을 비교적 쉽게 적용할 수 있다. 그러나 팀 협력 문제에서는 “같은 선호”가 곧 “좋은 협력”을 뜻하지 않는다. 협력은 여러 에이전트가 같은 방향으로 움직이는 것만으로 생기지 않고, 서로 다른 역할을 맡아 충돌을 줄이고 팀 보상을 높일 때 형성된다.

논문은 이 문제를 Pareto front 위의 점으로 설명한다. 단일 에이전트 다중목표 문제에서는 선호 하나가 Pareto front 위의 한 점을 선택한다. 하지만 다중에이전트 환경에서는 여러 에이전트가 같은 점만 바라볼 필요가 없다. 어떤 에이전트는 위험 회피 방향을, 다른 에이전트는 효율 방향을, 또 다른 에이전트는 균형 방향을 맡을 수 있다. 이렇게 선호가 분산되면 에이전트들의 행동도 서로 다른 영역으로 펼쳐지고, 팀은 더 넓은 협력 해를 탐색한다.

이 관점은 일반적인 entropy bonus나 무작위 탐색과 구별된다. 무작위성은 행동을 넓히지만, 어떤 역할이 팀에 도움이 되는지는 직접 말해주지 않는다. PCMA의 선호 조율은 팀 critic이 보는 성과 신호와 결합되어 선호 분포 자체를 학습한다. 따라서 다양성은 단순 분산을 넘어, 팀 목적에 맞춘 구조화된 specialization로 쓰인다.

2.3 관련 연구와의 위치

MORL 연구는 오래전부터 Pareto front, scalarization, preference-conditioned policy를 다뤄 왔다. MARL 연구는 CTDE, centralized critic, decentralized execution, policy sharing, value decomposition 같은 협력 학습 도구를 발전시켜 왔다. MOMARL은 이 두 축이 만나는 영역이지만, 실제로는 벤치마크와 알고리즘 모두 아직 초기 단계다. MOMAland 같은 환경은 다중목표 다중에이전트 평가를 가능하게 했고, PCMA는 그 위에 선호 조율이라는 학습 메커니즘을 올린다.

특히 논문은 팀 최적 균형이라는 문제 형식을 제안한다. 고정된 선호에서 나온 equilibrium을 그대로 받아들이는 대신, 어떤 선호 프로파일이 팀 목적을 가장 높이는 equilibrium을 유도하는지 찾는다. 이 형식은 강화학습 알고리즘 문제이면서 동시에 게임 이론 문제다. 각 에이전트의 local utility를 바꾸면 equilibrium 자체가 움직이고, PCMA는 그 움직임을 학습 가능한 경로로 만들려 한다.

2.4 선호를 조율한다는 말의 실험적 의미

PCMA가 다루는 선호는 사용자의 취향처럼 외부에서 주어진 label이 아니다. 여기서 선호는 vector reward의 어느 성분을 더 강조할지 정하는 내부 조율 변수다. 따라서 선호가 바뀐다는 말은 reward function 자체가 바뀐다는 뜻에 가깝다. 다만 팀 보상은 그대로 유지되기 때문에, 에이전트가 아무 방향으로나 흩어지는 현상을 막을 수 있다. 팀 보상은 공통의 목적지를 정하고, 개별 선호는 그 목적지까지 가는 역할 배치를 정한다.

이 구조는 실제 협업 시스템의 설계와 닮아 있다. 프로젝트 팀에서 모든 사람이 “프로젝트 성공”이라는 공통 목표를 공유하더라도, 한 사람은 품질 검증을 맡고 다른 사람은 속도를 담당하며 또 다른 사람은 사용자 리스크를 본다. 보상 함수의 관점에서 보면 공통 팀 보상과 개인별 보조 목표가 함께 있는 셈이다. PCMA는 이런 역할 배치를 사람이 규칙으로 쓰기보다, rollout에서 얻은 팀 성과 신호로 업데이트한다.

논문이 제안하는 팀 최적 선호 문제는 다음과 같이 읽을 수 있다. 첫째, 주어진 선호 프로파일에서 에이전트들은 각자의 local utility에 따라 균형에 도달한다. 둘째, 그 균형이 팀 목적을 얼마나 높이는지 평가한다. 셋째, 팀 목적을 더 높이는 균형을 유도하도록 선호 프로파일을 바꾼다. 일반적인 policy optimization이 정책 파라미터를 직접 움직이는 데 집중한다면, PCMA는 정책이 수렴할 게임의 모양까지 조금씩 바꾼다.

관점	기존 고정 선호 접근	PCMA 접근
선호의 출처	사람이 고정 가중치를 지정	planner가 관측과 팀 성과 신호로 분포를 학습
에이전트 간 차이	대개 같은 scalarization 사용	에이전트별 preference sampling으로 역할 차이 생성
협력 해석	공유 보상 최적화	팀 목적 아래에서 목표 축을 나누어 맡는 과정

3. 방법론: PCMA가 선호를 잠재 조율 변수로 쓰는 방식

3.1 전체 구조

PCMA는 centralized training with decentralized execution 구조를 따른다. 실행 시점의 각 에이전트는 자신의 관측 $o_i$와 샘플링된 선호 $p_i$만 보고 행동한다. 학습 시점에는 팀 critic과 개별 vector critic이 함께 작동한다. 팀 critic은 희소한 팀 보상에서 오는 장기 성과 신호를 제공하고, vector critic은 각 목표 축에 대한 더 조밀한 장점 추정치를 제공한다. 이 두 신호가 actor update에서 합쳐지면서, 정책은 팀 목표와 개별 선호 방향을 동시에 반영한다.

Figure 1: PCMA의 전체 학습 흐름. 선호 planner, preference-conditioned actor, team critic, individual vector critic이 함께 작동한다.

그림은 PCMA가 선호를 정책 입력 앞단의 보조 변수로만 넣지 않는다는 점을 보여준다. planner는 관측에서 Dirichlet 분포의 파라미터를 만들고, actor는 샘플링된 선호를 조건으로 행동을 고른다. critic 쪽에서는 팀 advantage와 개별 벡터 advantage가 분리되어 추정되므로, 정책 업데이트가 희소 팀 보상에만 의존하지 않고 목표별 dense signal을 함께 쓴다. 특히 planner와 actor가 분리되어 있어 “어떤 행동을 할지”와 “어떤 목표 축을 맡을지”가 별도 학습 문제로 드러난다.

알고리즘을 단계별로 보면 먼저 각 에이전트의 planner $\phi_\psi$가 선호 분포의 concentration parameter $\alpha_i$를 출력한다. 그다음 $p_i \sim \mathrm{Dir}(\alpha_i)$가 샘플링되고, actor $\pi_\theta(\cdot\mid o_i,p_i)$가 행동을 만든다. rollout 데이터에는 관측, 선호, 행동, 팀 보상, 개별 벡터 보상이 함께 저장된다. 업데이트 단계에서는 critic loss, actor loss, planner loss가 순서대로 계산된다.

모듈	입력	출력	역할
Stochastic preference planner	로컬 관측 $o_i$	Dirichlet 파라미터 $\alpha_i$	에이전트별 선호 분포를 만든다.
Preference-conditioned actor	$o_i$, $p_i$	행동 $a_i$	선호에 따라 역할이 달라지는 정책을 실행한다.
Team critic	중앙 상태 또는 joint observation	$A^{\mathrm{team}}$	팀 목적에 맞는 업데이트 방향을 제공한다.
Individual vector critics	에이전트별 관측과 보상	$\mathbf A_i^{\mathrm{ind}}$	목표별 dense advantage를 추정한다.
Diversity regularizer	샘플링된 선호들	$\mathcal D_\alpha$	선호 붕괴를 막고 specialization을 유도한다.

3.1.1 rollout에서 선호가 쓰이는 순서

rollout 단계에서 PCMA는 매 시점마다 세 가지 값을 함께 기록한다. 첫째는 각 에이전트가 본 local observation이다. 둘째는 그 관측에서 planner가 만든 preference distribution과 실제 샘플링된 preference vector다. 셋째는 actor가 그 preference를 조건으로 선택한 action과 그 뒤에 받은 team reward, individual vector reward다. 이 세트를 같이 저장해야 업데이트 시점에 “어떤 선호가 어떤 행동과 어떤 팀 성과로 이어졌는지”를 되짚을 수 있다.

이 기록 방식은 단순한 preference-conditioned policy보다 더 많은 정보를 남긴다. preference를 policy input으로 넣기만 하면, 정책이 특정 선호에서 어떤 행동을 보였는지는 알 수 있지만 planner가 왜 그 선호를 냈는지 평가하기 어렵다. PCMA는 planner를 별도 policy처럼 보고, 선호 선택 자체에도 advantage를 부여한다. 따라서 planner는 좋은 행동을 직접 고르는 대신, 좋은 행동이 나오기 쉬운 선호 분포를 고르는 방향으로 학습된다.

정책 공유도 이 구조에서 중요한 의미를 갖는다. actor parameter는 에이전트 간 공유되지만, preference vector와 agent-ID embedding이 같이 들어가기 때문에 같은 네트워크가 여러 역할 모드를 표현한다. 이렇게 하면 에이전트마다 완전히 다른 policy network를 학습할 때보다 sample efficiency가 좋아질 수 있다. 반대로 preference encoder가 충분히 표현력이 없으면 모든 역할이 비슷한 행동으로 수렴할 위험도 있다.

3.1.2 critic 설계가 필요한 이유

PCMA가 team critic과 individual vector critic을 모두 두는 이유는 보상 신호의 시간 밀도가 다르기 때문이다. team reward는 임무 성공이나 충돌 같은 중요한 사건에 강하게 반응하지만, episode 대부분에서는 신호가 희소하다. individual vector reward는 각 step에서 거리, 안정성, 피해량 같은 변화를 더 촘촘히 알려 준다. actor가 두 신호를 함께 쓰면, 최종 성공을 향해 가면서도 중간 행동의 방향을 더 빨리 배울 수 있다.

다만 individual vector critic을 잘못 쓰면 reward hacking과 비슷한 문제가 생긴다. 에이전트가 자기 vector objective를 높이기 위해 팀 목적과 맞지 않는 행동을 강화할 수 있기 때문이다. 논문은 이 문제를 actor advantage의 가중합 구조로 완화한다. 팀 advantage는 항상 남아 있고, individual guidance는 $\lambda_{\mathrm{ind}}$로 조절된다. 결국 PCMA의 안정성은 planner, actor, critic 세 모듈이 같은 방향으로 업데이트되는지에 달려 있다.

3.2 Preference-conditioned actor update

actor update의 핵심은 advantage를 어떻게 구성하느냐다. 논문은 팀 advantage와 선호로 스칼라화한 개별 벡터 advantage를 더한다. 식으로 쓰면 $A_{U_i}=A^{\mathrm{team}}+\lambda p_i^\top \mathbf A_i^{\mathrm{ind}}$이다. 여기서 $\lambda$는 개별 guiding signal의 세기를 조절한다. 팀 보상만 쓰면 sparse reward 때문에 학습이 느려질 수 있고, 개별 벡터 보상만 강하게 쓰면 팀 목적과 어긋나는 방향으로 수렴할 수 있다. PCMA는 두 신호의 균형을 PPO surrogate 안에서 맞춘다.

이 설계는 reward shaping과 비슷해 보이지만, 중요한 차이가 있다. PCMA는 개별 보상을 고정 가중치로 즉시 합치지 않고, 에이전트별 선호를 조건으로 사용한다. 따라서 같은 관측에서도 선호가 바뀌면 actor가 선택하는 행동 분포가 달라질 수 있다. 이 점은 역할 분화를 만드는 데 중요하다. 한 에이전트가 공격적 역할을 맡을 때와 방어적 역할을 맡을 때의 행동 함수가 같은 네트워크 안에서 공유되지만, 입력 선호에 의해 다른 모드가 활성화된다.

3.3 Coordinated preference planning

선호는 simplex 위의 벡터이므로 논문은 Dirichlet distribution을 사용한다. planner는 $\alpha_i=\phi_\psi(o_i)$를 출력하고, 이 파라미터에서 $p_i$를 샘플링한다. Dirichlet 분포를 쓰면 선호 벡터의 각 성분이 양수이고 합이 1이라는 조건을 자연스럽게 만족한다. 또한 concentration parameter의 크기와 비율이 선호의 확실성과 방향성을 함께 나타내므로, 에이전트가 특정 목표에 집중하거나 균형을 유지하는 패턴을 표현하기 쉽다.

planner loss는 PPO 항과 diversity regularizer로 구성된다. 논문은 $\mathcal L_{\mathrm{plan}}(\psi)=\mathcal L_{\mathrm{PPO}}(\phi_\psi(\cdot\mid o_i),A^{\mathrm{team}})-\lambda_1\mathcal D_\alpha$로 표현한다. 앞의 PPO 항은 팀 advantage가 높은 선호 분포를 선호하게 만들고, 뒤의 항은 에이전트들의 선호가 같은 방향으로 붕괴되는 것을 막는다. 다양성은 무조건 클수록 좋다기보다, 팀 성과 신호가 허용하는 범위 안에서 역할을 나누도록 쓰인다.

3.4 이론적 분석의 핵심

이론 파트의 첫 번째 핵심은 team improvement decomposition이다. 논문은 각 에이전트가 preference-conditioned gradient step을 한 번 수행했을 때 팀 목적함수의 1차 개선량을 분해한다. 이때 $B_{i,k}$는 에이전트 $i$의 $k$번째 개별 목표 gradient가 팀 목적 gradient와 얼마나 정렬되어 있는지 나타낸다. 선호 $p_i$와 기여 벡터 $b_i$를 평균 중심화하면, 선호 다양성 항 $\mathcal D_p$가 팀 개선 하한에 양의 항으로 들어간다.

두 번째 핵심은 equilibrium tracking이다. 선호 프로파일이 바뀌면 각 선호에 대응하는 preference-conditioned game의 equilibrium도 바뀐다. 논문은 regularity condition 아래에서 local stationary solution이 선호에 대해 연속적으로 변하고, 선호가 천천히 변하면 정책 업데이트가 그 이동하는 equilibrium 경로를 추적할 수 있다고 보인다. 직관적으로는 선호를 갑자기 완전히 바꾸는 대신 작은 변화로 조율하면, 학습이 매번 처음부터 새 게임을 푸는 상황을 피할 수 있다는 뜻이다.

이론 항목	수식 또는 조건	의미
Team-improvement matrix	$B_{i,k}=(\nabla_{\theta_i}J_{\mathrm{team}})^\top\nabla_{\theta_i}J_{i,k}$	개별 목표가 팀 목적과 얼마나 같은 방향인지 측정한다.
Preference diversity	$\mathcal D_p=\frac{1}{2N^2}\sum_i\sum_j\|p_i-p_j\|_2^2$	에이전트 선호가 서로 얼마나 떨어져 있는지 나타낸다.
Alignment assumption	$\tilde p_i^\top\tilde b_i/\|\tilde p_i\|_2^2 \ge \kappa$	선호 차이가 팀 개선에 기여하는 방향과 정렬된다는 가정이다.
Equilibrium tracking	$e_{t+1}\le \rho e_t+C\|\mathbf p^{t+1}-\mathbf p^t\|$	선호 변화가 작으면 정책이 이동하는 균형 경로 근처를 따라간다.

3.5 알고리즘을 구현 체크리스트로 풀어 읽기

PCMA를 실제 코드로 옮길 때 첫 번째 체크포인트는 replay 또는 rollout buffer schema다. 일반 PPO 구현은 observation, action, reward, done, value, log probability 정도를 저장한다. PCMA에서는 여기에 preference vector, preference planner의 log probability, team reward vector와 individual reward vector, 그리고 preference-conditioned value prediction을 추가해야 한다. 이 필드가 빠지면 actor update와 planner update를 분리해 재구성하기 어렵다.

두 번째 체크포인트는 advantage normalization이다. team reward와 individual vector reward는 scale이 다를 수 있다. 예를 들어 collision penalty가 -400이고 progress shaping이 0.4 scale이면, 아무 조정 없이 더했을 때 safety component가 actor update를 압도할 수 있다. 논문은 환경별 reward design을 제시하지만, 다른 환경으로 옮길 때는 objective component별 clipping, normalization, running statistics를 명시해야 한다.

세 번째 체크포인트는 preference sampling의 gradient 흐름이다. Dirichlet sampling은 stochastic node이므로 planner를 업데이트하려면 log-probability와 advantage를 안정적으로 계산해야 한다. 정책 action sampling과 preference sampling이 둘 다 stochastic하기 때문에, implementation bug가 생기면 어떤 분포의 log probability가 어떤 objective에 쓰였는지 헷갈리기 쉽다. 특히 old planner와 current planner의 ratio를 계산하는 부분은 PPO ratio와 같은 수준으로 테스트가 필요하다.

네 번째 체크포인트는 visualization이다. PCMA는 최종 reward만으로 장점을 설명하기 어렵다. 학습된 preference distribution, 에이전트별 objective return, 역할별 trajectory sample을 같이 보여 주어야 한다. 이 논문이 preference evolution과 Pareto front coverage, role plot을 함께 제시한 이유도 여기에 있다. 구현 검증에서는 reward curve가 오르기 전에 먼저 preference가 합리적인 범위에서 분산되는지 확인하는 편이 안전하다.

4. 실험 설정: 벡터 보상과 팀 보상이 함께 있는 협력 환경

4.1 데이터셋 및 벤치마크

실험은 단일 도메인에 묶이지 않는다. 논문은 particle-world coordination, drone control, walker locomotion, StarCraft combat, 그리고 CARLA 기반 교차로 제어까지 포함한다. 각 환경은 sparse team reward와 vector-valued individual reward를 함께 제공하도록 구성된다. 이 설계는 PCMA가 팀 보상과 개별 목표 신호를 어떻게 연결하는지 보기 위한 것이다. 만약 모든 보상이 이미 하나의 dense scalar reward로 정리되어 있다면, 선호 조율의 효과를 분리해 보기 어렵다.

Cooperative Spread와 Safe Predator-Prey는 MPE 계열 환경으로, 여러 에이전트가 landmark나 prey를 나누어 담당해야 한다. Catch와 Escort는 CrazyRL/MOMALand의 drone control 과제이며, MOMAWalker는 세 walker가 패키지를 운반하는 연속 제어 문제다. SMAC은 StarCraft 전투에서 피해량과 체력 손실을 목표 축으로 둔다. OpenCDA-MARL/CARLA는 교차로에서 connected autonomous vehicle이 속도 명령을 학습하는 검증 환경이다.

환경	차원	팀 보상	개별 벡터 보상	성공 기준
Cooperative Spread	2A2O	landmark 도달 시 +1, 충돌 시 -1	각 landmark까지의 음의 거리	두 에이전트가 서로 다른 landmark를 점유
Safe Predator-Prey	4A3O	prey 포획 시 +1, 충돌·장애물 접촉 시 -1	두 prey 접근도와 안전 거리	모든 prey 포획
Catch / Escort	4A2O	target 포획 또는 충돌 패널티	target 접근도와 drone 간 거리	포획 또는 formation 유지
MOMAWalker	3A2O	package 진행 거리와 낙하 패널티	walker 진행도와 안정성	명시 성공률 대신 거리와 보상 평가
SMAC	xA2O	전투 승리 시 +1	damage dealt, -health loss	episode 안에 모든 적 격파

4.2 구현 세부사항

모든 on-policy 계열 방법은 PPO 스타일 학습 설정을 공유한다. optimizer는 Adam이며 actor와 critic learning rate는 각각 $3\times10^{-4}$로 둔다. discount factor는 $0.99$, GAE parameter는 $0.95$, rollout length는 $256$, PPO epoch는 $4$로 설정된다. actor는 두 개의 hidden layer를 갖는 MLP이고, preference encoder dimension은 $32$다. PCMA와 MAPPO 스타일 baseline은 actor parameter를 에이전트 간 공유하며, agent-ID embedding을 사용한다.

PCMA 전용 hyperparameter는 두 개가 중요하다. $\lambda_1$은 planner diversity regularizer의 세기를 조절하고, $\lambda_2$ 또는 $\lambda_{\mathrm{ind}}$는 actor update에서 개별 vector advantage를 얼마나 강하게 반영할지 정한다. 환경별 값은 다르게 설정된다. Simple Spread에서는 $\lambda_1=0.10$, $\lambda_2=0.20$을 쓰고, SMAC에서는 $\lambda_1=0.02$, $\lambda_2=0.10$을 쓴다. 더 복잡한 환경에서는 과한 다양성이 학습 안정성을 떨어뜨릴 수 있기 때문에 작은 값을 사용한 것으로 해석할 수 있다.

항목	값	해석
Optimizer	Adam	PPO 기반 정책·가치함수 최적화에 사용
Actor/Critic LR	$3\times10^{-4}$ / $3\times10^{-4}$	baseline과 공통 학습률
Rollout length	256	on-policy 업데이트용 trajectory 길이
PPO clipping	0.2	정책 업데이트 폭 제한
Preference encoder	32차원	선호 벡터를 actor 입력 공간에 융합
Actor sharing	Fully shared	공유 actor가 선호와 agent-ID로 역할 차이를 표현

4.3 베이스라인

비교 대상은 MADDPG, IPPO, MAPPO다. MADDPG는 deterministic actor-critic 계열, IPPO는 독립적 PPO 학습, MAPPO는 centralized critic을 쓰는 policy optimization 계열로 볼 수 있다. 모든 baseline은 동일한 fixed scalarization weight $[0.5,0.5]$를 사용한다. 이 설정은 PCMA의 장점을 명확히 보여 주는 기준선이다. baseline은 벡터 보상을 쓸 수 있지만, 에이전트별 선호를 동적으로 다르게 배치하지는 못한다.

Ablation에서는 PCMA의 planner를 RAND와 SAME으로 바꾼 변형도 비교한다. RAND는 학습된 planner 없이 에이전트별 선호를 무작위로 샘플링하고, SAME은 모든 에이전트가 같은 선호를 쓰도록 평균화한다. 이 비교는 선호 다양성이 그 자체로 충분한지, 또는 팀 성과에 맞춰 학습된 planner가 필요한지 검증한다.

4.4 평가 프로토콜을 읽는 방식

이 논문의 평가는 단순 평균 reward만으로 끝나지 않는다. 성공률, 평균 보상, 개별 목표 성분, Pareto front, 학습 곡선, 역할 분화 시각화가 함께 나온다. MOMARL 논문에서 평균 reward 하나만 보면 어떤 목표 축이 희생됐는지 놓치기 쉽다. 예를 들어 안전을 더 중시하는 정책이 평균 속도는 낮지만 collision을 크게 줄일 수 있고, 공격 역할을 맡은 unit이 더 많은 피해를 받더라도 팀 승률을 높일 수 있다.

따라서 PCMA 결과를 볼 때는 세 층을 나누는 편이 좋다. 첫 번째는 환경별 최종 성능이다. PCMA가 baseline보다 success rate와 reward를 높였는지 보는 층이다. 두 번째는 vector objective의 분포다. 각 에이전트가 어떤 objective를 더 많이 얻거나 희생했는지 확인한다. 세 번째는 학습 과정의 안정성이다. 선호 planner가 early phase에서 지나치게 흔들리면 최종 평균은 좋아도 재현성이 낮을 수 있다.

저자들이 3 seeds 평균과 표준편차를 같이 제공한 점은 필요하지만 충분하지는 않다. MARL은 seed variance가 큰 분야라 환경 하나에서 3 seeds는 방향성을 확인하는 수준에 가깝다. 특히 CARLA 검증처럼 고비용 환경에서는 sample 수가 더 제한될 가능성이 있다. 그래서 이 논문의 수치는 “PCMA가 여러 환경에서 일관된 개선 신호를 냈다”는 증거로 읽되, 실제 배포 가능성을 바로 보장하는 결과로 확대하면 곤란하다.

5. 주요 실험 결과: PCMA는 성공률과 역할 분화를 동시에 끌어올린다

5.1 정량 결과 요약

주요 결과는 PCMA가 대부분의 환경과 지표에서 최고 또는 공동 최고 성능을 낸다는 점이다. Cooperative Spread에서는 success rate가 $1.00$으로 MAPPO의 $0.80$을 넘고, Safe Predator-Prey에서는 $0.96$으로 MAPPO의 $0.91$보다 높다. Catch에서는 average reward가 $14.21$로 MAPPO의 $11.33$보다 크며, MOMAWalker에서도 forward distance와 average reward 모두 PCMA가 가장 높다. SMAC-3m에서는 MAPPO와 PCMA가 success rate $0.97$로 동률이지만 average reward는 PCMA가 높다.

환경	지표	MADDPG	IPPO	MAPPO	PCMA
Cooperative Spread	Success rate	0.38	0.27	0.80	1.00
Safe Predator-Prey	Success rate	0.68	0.60	0.91	0.96
Catch	Average reward	4.71	8.61	11.33	14.21
MOMAWalker	Forward distance	75.04	6.69	70.52	93.64
SMAC-2s3z	Success rate	0.63	0.93	0.97	1.00
SMAC-8m	Success rate	0.23	0.00	0.80	0.87

수치만 보면 PCMA가 강한 baseline을 조금씩 이기는 결과처럼 보일 수 있다. 그러나 이 논문의 핵심은 단순 성능 상승보다 성능이 왜 오르는지를 preference specialization으로 보여 주는 데 있다. Cooperative Spread와 Predator-Prey에서 선호가 서로 다른 목표로 벌어지고, SMAC에서는 에이전트별 damage dealt와 damage taken의 분포가 달라진다. 즉 알고리즘이 더 높은 reward를 얻는 동시에, 관찰 가능한 역할 차이를 만들어 낸다.

5.1.1 결과표에서 특히 봐야 할 비교

가장 설득력 있는 비교는 MAPPO와 PCMA의 차이다. MAPPO는 centralized critic을 쓰는 강한 on-policy baseline이기 때문에, 단순히 CTDE를 적용했다는 이유만으로 PCMA가 이기는 것은 아니다. PCMA가 MAPPO를 이긴 지점은 preference-conditioned actor와 planner가 실제로 추가 정보를 제공한다는 신호다. Cooperative Spread에서 MAPPO success rate가 이미 $0.80$인 상태에서 PCMA가 $1.00$까지 올라간 결과는, 간단한 환경에서도 고정 선호가 남기는 coordination gap이 있음을 보여 준다.

MOMAWalker 결과도 중요하다. 이 환경은 세 walker가 package를 함께 옮기는 연속 제어 문제라, 한 에이전트의 행동이 다른 에이전트의 안정성에 직접 영향을 준다. PCMA의 forward distance $93.64$는 MAPPO의 $70.52$보다 크고, average reward도 $1330.75$로 가장 높다. 이 차이는 preference specialization이 단순한 discrete role assignment를 넘어 물리적 joint control에서도 작동할 수 있음을 시사한다.

SMAC 결과는 더 조심해서 읽어야 한다. SMAC-3m에서는 MAPPO와 PCMA가 success rate에서 동률이고, SMAC-8m에서는 PCMA가 MAPPO보다 높지만 표준편차가 남아 있다. 전투 환경에서는 action mask, unit type, micro-control, reward shaping이 성능에 크게 영향을 준다. 따라서 PCMA가 StarCraft 전반에서 우월하다는 결론보다, damage dealt와 health loss 목표를 분리해 주었을 때 역할 분화가 관찰된다는 결론이 더 안전하다.

5.1.2 선호 분화가 성능으로 이어지는 경로

선호 분화가 성능으로 이어지는 경로는 환경마다 다르다. Spread에서는 두 에이전트가 같은 landmark를 향해 가는 중복을 줄인다. Predator-Prey에서는 움직이는 prey와 장애물을 고려해 chase와 safety 역할을 나눈다. SMAC에서는 피해를 주는 역할과 피해를 감수하는 역할이 분리된다. CARLA에서는 속도와 안전 사이의 trade-off가 intersection crossing order에 반영된다. 같은 알고리즘이 여러 환경에서 작동하는 이유는 preference vector가 환경별 reward component에 맞춰 해석되기 때문이다.

이 점에서 PCMA는 universal role library를 학습하는 알고리즘은 아니다. “공격자”, “방어자”, “양보자” 같은 이름이 미리 정해져 있지 않다. 대신 환경의 reward component가 어떤 행동 차이를 유도할 수 있는지에 따라 역할이 나타난다. 이 특성은 장점과 위험을 동시에 갖는다. reward component가 잘 설계된 환경에서는 자연스러운 specialization이 나오지만, component가 부족하거나 잘못된 proxy를 담으면 의미 없는 분화가 생길 수 있다.

5.2 Cooperative Spread와 Predator-Prey의 선호 specialization

Figure 2: Cooperative Spread에서 에이전트별 선호가 학습 중 서로 다른 목표 방향으로 분화되는 과정.

Cooperative Spread는 두 에이전트가 두 landmark를 나누어 맡아야 하는 단순하지만 중요한 환경이다. 선호가 같은 방향에 머물면 두 에이전트가 같은 landmark를 향해 움직이기 쉽다. 그림의 선호 진화는 PCMA가 각 에이전트의 선호를 다른 목표 축으로 밀어, 한쪽은 첫 번째 landmark, 다른 쪽은 두 번째 landmark를 담당하게 만드는 과정을 보여 준다. 성공률 1.00이라는 수치는 이 분화가 시각적 패턴에 그치지 않고 실제 점유 성공으로 이어졌다는 점에서 중요하다.

Figure 3: Cooperative Spread rollout return이 Pareto front의 여러 영역을 덮는 모습.

Pareto front 시각화는 선호 분화가 실제 return space로 이어졌는지 확인하게 해 준다. PCMA가 만든 rollout은 하나의 균형점 근처에 뭉치기보다 front의 여러 지점을 덮는다. 이는 다양성이 행동 공간의 잡음으로 끝나지 않고, 서로 다른 목표 조합을 안정적으로 탐색하는 정책 모드로 연결되었음을 뜻한다. 같은 팀 보상을 유지하면서도 여러 trade-off 지점을 확보한 결과라, fixed scalarization baseline과 차이가 잘 보인다.

Figure 4: Safe Predator-Prey에서 predator들이 서로 다른 prey와 안전 목표에 대한 선호를 나누는 양상.

Predator-Prey는 Spread보다 복잡하다. 움직이는 prey와 장애물이 있고, 안전 목표가 추가된다. 그림은 일부 agent가 특정 prey에 집중하고, 다른 agent가 균형적 선호를 유지하는 패턴을 보여 준다. 이 환경에서 선호 조율은 단지 누가 어디로 갈지 정하는 수준을 넘어, 포획과 충돌 회피를 동시에 만족하는 팀 행동을 만든다. 성공률 향상은 chase 역할과 safety 역할이 한 정책 안에서 분리될 때 생기는 이득을 보여 준다. 장애물과 prey 움직임이 계속 바뀌는 조건에서도 에이전트별 선호가 유지된다는 점이 그림의 핵심이다.

5.3 SMAC에서 나타난 역할 분화

Figure 5: SMAC 8m에서 에이전트별 damage dealt와 damage taken이 서로 다른 전투 역할을 형성하는 모습.

SMAC 8m 분석은 선호 조율이 연속 공간의 landmark 담당과 전투 역할 모두에 적용될 수 있음을 보여 준다. 각 점은 에이전트가 평균적으로 준 피해량과 받은 피해량을 나타낸다. PCMA에서는 점들이 하나의 균질한 군집으로 모이지 않고 분산되어, 공격을 많이 맡는 유닛과 전방에서 피해를 감수하는 유닛이 구분된다. 이 그림은 평균 승률 뒤에 숨어 있는 에이전트별 비용 배분을 확인하게 해 주는 역할 분석 표면이다. 누가 피해를 많이 받고 누가 피해를 많이 주는지 분리해 보면, 같은 승리 결과도 서로 다른 팀 전술로 만들어졌음을 확인할 수 있다.

Figure 6: SMAC 2s3z에서 PCMA와 baseline들의 학습 곡선 비교.

SMAC 2s3z는 서로 다른 unit type이 섞인 전투 과제라 역할 분화가 특히 중요하다. 학습 곡선에서 PCMA는 MAPPO와 IPPO 대비 안정적으로 높은 영역에 도달한다. 논문의 해석에 따르면 이는 선호 planner가 damage dealt와 health loss 사이의 trade-off를 에이전트별로 다르게 배치해, 동일한 전투 목표 안에서도 전방·지원 역할을 분리했기 때문이다. 승률 곡선이 빠르게 안정되는 구간은 planner가 유용한 역할 배치를 찾은 뒤 actor update가 그 배치를 강화하는 흐름으로 읽을 수 있다.

5.4 OpenCDA-MARL/CARLA 검증

논문은 시뮬레이션 벤치마크에 더해 OpenCDA-MARL/CARLA 기반 검증도 넣는다. 이 환경에서는 connected autonomous vehicle이 교차로를 통과하며, learned action은 target-speed command다. route selection보다 yielding과 crossing order가 핵심이다. 보상은 efficiency와 safety 또는 interaction risk로 묶이고, evaluation은 utility, success rate, collision rate, throughput으로 이루어진다.

Setting	Backbone	Utility	Success (%)	Collision (%)	Throughput
Coop.	SAC	-4776.9 ± 672.0	68.6 ± 1.9	31.4 ± 1.9	1692 ± 46
Coop.	MAPPO	-16793.3 ± 2668.9	55.4 ± 4.7	42.5 ± 3.5	1417 ± 100
Coop.	PCMA	-2072.9 ± 414.8	69.6 ± 1.2	30.4 ± 1.2	1716 ± 29
Comp.	SAC	-5084.5 ± 241.9	67.9 ± 0.7	32.1 ± 0.7	1674 ± 17
Comp.	PCMA	-2877.1 ± 151.6	68.0 ± 2.2	23.3 ± 8.3	1192 ± 291

CARLA 결과는 PCMA가 실험실 벤치마크 밖에서도 쓸 수 있는지에 대한 작은 검증이다. cooperative setting에서는 PCMA가 utility, success, throughput에서 SAC와 MAPPO보다 좋다. competitive setting에서는 throughput은 SAC가 높지만, PCMA는 utility와 success에서 강하다. 논문 스스로도 이 실험을 speed-control setting의 가능성으로 제한해 해석한다. route planning, negotiation, richer action space까지 포함한 완전한 자율주행 검증으로 확대하려면 추가 실험이 필요하다.

5.5 CARLA 결과를 운영 지표로 해석하기

CARLA 표에서 utility와 throughput이 항상 같은 방향으로 움직이지 않는 점도 눈에 띈다. cooperative setting에서는 PCMA가 throughput까지 높이지만, competitive setting에서는 SAC의 throughput이 더 높고 PCMA는 utility와 success에서 우세하다. 교차로 제어에서는 많은 차량을 빠르게 통과시키는 정책이 더 위험한 근접 상황을 만들 수 있다. 반대로 collision을 줄이는 정책은 순간 throughput을 낮출 수 있다. 따라서 단일 지표로 승자를 정하기보다, 어떤 운영 목표를 우선할지 먼저 정해야 한다.

PCMA의 장점은 이 trade-off를 학습 과정 안에서 다룰 여지를 만든다는 데 있다. safety-heavy preference와 efficiency-heavy preference를 에이전트별로 나누면, 어떤 차량은 yielding을 통해 collision risk를 낮추고 다른 차량은 빈 공간을 활용해 통과할 수 있다. 그러나 실제 교차로에서는 차량마다 승객, 우선순위, 법적 책임, 센서 불확실성이 다르다. 논문 환경은 speed command 하나로 행동을 제한하므로, route negotiation이나 communication까지 포함한 현실 제어와는 거리가 있다.

그럼에도 CARLA 검증이 들어간 점은 중요하다. 많은 MOMARL 논문이 작은 synthetic benchmark에서 끝나기 쉬운데, PCMA는 자율주행 교차로라는 해석 가능한 도메인으로 한 번 더 옮겨 본다. 특히 reward component를 efficiency와 safety로 분리한 설정은 선호 조율의 직관을 설명하기 좋다. 후속 연구에서는 같은 구조를 더 복잡한 traffic density, mixed autonomy, rule-based vehicle이 섞인 조건에서 반복해 볼 필요가 있다.

5.6 역할 시각화를 평가할 때의 주의점

역할 시각화는 직관적이지만, 그 자체가 성능 증거는 아니다. 에이전트별 점이 흩어져 있다는 사실은 policy가 서로 다른 행동 패턴을 만들었다는 신호다. 그러나 그 분산이 팀 성과를 높였는지, 단지 reward component의 scale 차이 때문에 생긴 것인지는 별도 검증이 필요하다. 그래서 논문은 role plot과 함께 success rate, average reward, Pareto front coverage를 같이 보여 준다.

특히 SMAC의 damage dealt와 damage taken plot은 해석이 까다롭다. 많이 맞는 agent가 탱커 역할을 했을 수도 있고, 위치 선정이 나빠서 손해를 본 agent일 수도 있다. 많이 때린 agent도 공격 역할을 잘 수행했을 수 있지만, teammate의 희생 덕분에 안전하게 공격한 결과일 수 있다. 따라서 role plot은 trajectory replay와 함께 봐야 더 정확하다. 논문이 제공하는 평균 통계는 역할 분화의 첫 단서로 충분하지만, causal role assignment까지 증명하지는 않는다.

Pareto front coverage도 비슷하다. 넓은 coverage는 다양한 trade-off를 탐색한다는 장점이 있지만, deployment policy가 어느 지점을 실제로 선택하는지에 따라 운영 성과는 달라진다. 실험에서는 여러 preference에 대한 rollout을 보여 줄 수 있으나, 실제 시스템에서는 특정 상황에서 어떤 preference profile을 선택할지 policy selection layer가 필요하다. PCMA는 profile을 만들고 학습하는 방법을 제안하고, deployment selection은 후속 시스템 설계로 남는다.

이 점 때문에 나는 PCMA 결과를 볼 때 “역할이 생겼다”보다 “역할을 관찰하고 개입할 수 있는 표면이 생겼다”는 쪽에 더 큰 의미를 둔다. 고정 scalar reward에서는 왜 특정 agent가 특정 행동을 맡았는지 설명하기 어렵다. PCMA에서는 적어도 preference vector, objective return, team outcome을 연결해 볼 수 있다. 이것은 성능 향상과 별개로 debugging과 governance에 도움이 되는 장점이다.

6. 추가 분석 및 Ablation Study: 다양성은 필요하지만 과하면 느려진다

6.1 $\lambda_1$과 diversity regularization

Ablation의 첫 축은 $\lambda_1$이다. 이 값은 preference planner가 선호 다양성을 얼마나 강하게 유지할지 결정한다. 논문은 Cooperative Spread에서 $\lambda_1=0.1$과 $0.2$가 초기 학습을 개선하지만, $0.5$는 학습을 늦춘다고 보고한다. 이는 선호 다양성이 collapse를 막는 데 유용하지만, 팀 보상과 맞지 않는 지나친 분산은 policy update를 흔들 수 있다는 뜻이다.

Figure 7: Cooperative Spread에서 $\lambda_1$ 값에 따른 diversity regularization ablation.

$\lambda_1$ ablation은 PCMA의 다양성 항이 무조건 큰 값을 요구하지 않음을 보여 준다. 작은 다양성은 에이전트가 같은 목표 축으로 몰리는 현상을 줄여 early learning을 돕는다. 반면 너무 큰 다양성은 팀 advantage가 아직 불확실한 상태에서도 서로 다른 방향을 강요해, actor가 안정적으로 좋은 joint action을 찾기 어렵게 만든다. 그래서 이 곡선은 diversity regularization을 성능 향상 버튼으로 취급하기보다 조심스럽게 조정해야 하는 안정화 항으로 보게 만든다.

6.2 $\lambda_2$와 individual guidance의 균형

두 번째 축은 $\lambda_2$다. 이 값은 actor advantage에서 individual vector guidance가 차지하는 비중을 조절한다. $\lambda_2=0.1$과 $0.2$는 안정적 수렴을 보이지만, $0.5$는 불안정해진다. 이는 dense individual reward가 학습을 돕더라도, 팀 reward가 제공하는 최종 목적을 압도하면 협력이 깨질 수 있음을 보여 준다. PCMA는 팀 signal과 개별 signal을 섞지만, 그 균형이 알고리즘 성능의 핵심 hyperparameter가 된다.

Figure 8: SAME, RAND, learned planner를 비교한 preference coordination ablation.

planner ablation은 PCMA가 단순히 랜덤한 선호를 뿌리는 방법과 다르다는 점을 보여 준다. RAND는 다양성은 만들지만 팀에 도움이 되는 방향을 고르지 못하고, SAME은 모든 에이전트가 같은 선호를 쓰게 해 역할 분화를 제한한다. learned planner는 팀 advantage를 이용해 선호 분포를 조정하므로, 다양성과 팀 목적 사이의 연결을 학습한다. 이 비교가 있어야 PCMA의 개선을 “랜덤 역할 분산 효과”와 구분되는 조율된 preference planning 효과로 읽을 수 있다.

Ablation	비교 대상	논문이 보고한 해석	운영 관점
$\lambda_1$	0, 0.1, 0.2, 0.5	0.1과 0.2가 early learning에 유리, 0.5는 느림	역할 분화는 필요하지만 과도한 분산은 비용이 된다.
$\lambda_2$	0.1, 0.2, 0.5	0.5에서 불안정	개별 guiding reward가 팀 목적을 압도하지 않게 해야 한다.
Planner	SAME, RAND, learned planner	학습된 planner가 agent-specific preference를 형성	무작위 다양성보다 팀 피드백을 받은 다양성이 중요하다.

6.3 계산 비용과 재현성

appendix는 학습 시간도 공개한다. PCMA 한 seed 기준으로 Cooperative Spread는 11.6분, Catch는 21.2분, Safe Predator-Prey는 1.12시간, MultiWalker는 4.49시간, SMAC-3m은 1.12시간, SMAC-2s3z는 2.31시간, SMAC-8m은 1.54시간이 걸렸다고 보고한다. main comparison은 세 seed를 사용하므로 실제 비교 비용은 그 세 배에 가깝다. 이는 PCMA가 단순한 손실 항 하나를 추가하는 알고리즘보다 많은 critic과 planner를 함께 학습하는 구조임을 보여 준다.

재현성 측면에서 코드 공개 URL을 제시한 점은 긍정적이다. 다만 이 논문의 실험은 내부 Linux workstation과 NVIDIA RTX PRO 6000 Blackwell GPU 환경에서 이루어졌다. 작은 환경은 빠르게 재현할 수 있겠지만, SMAC과 MultiWalker, CARLA 검증까지 모두 반복하려면 상당한 계산 자원이 필요하다. 따라서 실제로 알고리즘을 검증하려면 Cooperative Spread와 Catch에서 planner ablation을 먼저 재현하고, 그 뒤 복잡한 환경으로 확장하는 순서가 현실적이다.

6.4 실패 모드: 다양성, 팀 목적, critic noise의 삼각관계

Ablation을 운영 관점으로 바꾸어 읽으면 세 가지 실패 모드가 보인다. 첫 번째는 preference collapse다. planner가 팀 advantage만 따라가다가 모든 에이전트에게 비슷한 선호를 주면 PCMA는 MAPPO에 가까워지고, 역할 분화 이점이 사라진다. 두 번째는 uncontrolled diversity다. diversity regularizer가 너무 강하면 에이전트들이 팀 목적과 맞지 않는 방향으로 흩어진다. 세 번째는 critic noise amplification이다. vector critic이 부정확하면 planner와 actor가 잘못된 목표 축을 강화할 수 있다.

이 세 실패 모드는 서로 독립적이지 않다. 초기 학습에서 critic noise가 크면 planner는 우연히 높아 보이는 선호 방향을 강화할 수 있고, 그 선호가 다양성 항과 결합하면 학습이 더 멀리 흔들린다. 반대로 diversity를 너무 낮추면 critic이 안정되더라도 모든 에이전트가 같은 행동 모드로 묶인다. 논문이 $\lambda_1$과 $\lambda_2$의 중간 값을 권하는 이유는 이런 균형 때문이다.

실제 재현에서는 작은 환경부터 curriculum처럼 올리는 것이 좋다. 먼저 Cooperative Spread에서 선호가 두 landmark로 나누어지는지 확인하고, 그다음 Predator-Prey에서 safety objective가 어떤 agent에게 배치되는지 본다. 이후 SMAC이나 CARLA처럼 episode cost가 큰 환경으로 옮겨야 한다. 처음부터 큰 환경에서 최종 reward만 보면 planner가 잘 학습된 것인지, baseline hyperparameter가 약한 것인지 구분하기 어렵다.

6.5 PCMA를 다른 알고리즘 위에 얹을 수 있는가

논문 구현은 PPO 스타일 on-policy 학습에 맞춰져 있지만, 아이디어 자체는 다른 MARL backbone에도 옮길 수 있다. 핵심은 actor가 preference-conditioned이어야 하고, planner가 선호 분포를 업데이트할 수 있어야 하며, vector advantage를 추정할 critic이 있어야 한다는 점이다. off-policy algorithm에 적용하려면 replay buffer 안에 preference vector와 planner log-probability를 함께 저장해야 하고, 오래된 preference distribution으로부터 온 data를 어떻게 보정할지 정해야 한다.

value decomposition 계열과 결합하는 방향도 가능하다. QMIX나 QPLEX 같은 방식은 team value를 agent-wise utility로 분해한다. 여기에 preference-conditioned utility head를 붙이면, objective component별 역할 분화를 더 명시적으로 분석할 수 있다. 다만 discrete action 환경에서는 preference가 행동 선택에 미치는 영향이 급격하게 바뀔 수 있어, policy gradient 기반 PCMA보다 안정화 장치가 더 필요할 수 있다.

7. 한계점 및 향후 연구 방향: controlled benchmark 밖에서 선호는 어떻게 정해지는가

7.1 보상 분해가 명시적으로 주어진다는 가정

가장 큰 한계는 보상 분해가 사람이 설계한 형태로 주어진다는 점이다. 논문은 팀 보상과 개별 vector reward를 명확히 나누고, 각 목표 축의 의미를 사람이 해석할 수 있게 둔다. 이것은 실험을 깨끗하게 만들지만, 실제 에이전트 시스템에서는 목표 축 자체가 모호할 수 있다. 예를 들어 업무 자동화 에이전트에서 효율, 정확성, 사용자의 선호, 보안 위험, 장기 유지보수 비용을 어떤 벡터 보상으로 나눌지는 별도의 모델링 문제가 된다.

따라서 PCMA를 현실 문제에 적용하려면 먼저 objective discovery 또는 reward decomposition이 필요하다. 사람이 직접 목표 축을 설계할 수도 있고, trajectory에서 latent objective를 추정할 수도 있다. 그러나 목표 축이 잘못 정의되면 선호 조율은 잘못된 축 위에서 역할 분화를 만든다. 이런 경우 에이전트는 관찰 가능한 specialization을 보이지만, 실제 운영자가 원하는 팀 성과와 다를 수 있다.

7.2 이론 가정과 실제 딥러닝 학습의 간극

이론 분석은 선호 다양성이 팀 개선에 기여하는 조건을 제시하지만, 그 조건이 실제 deep MARL training에서 항상 만족되는지는 별개 문제다. alignment assumption은 선호 차이와 팀 개선 기여가 일정 정도 정렬되어 있다고 가정한다. 하지만 초기 학습 단계에서는 critic 추정이 불안정하고, 보상 신호가 희소하며, policy gradient noise가 크다. 이때 $\mathcal D_p$ 항이 실제로 팀 개선에 양의 영향을 준다고 보장하기 어렵다.

equilibrium tracking 결과도 local regularity를 전제로 한다. 딥러닝 policy landscape는 비선형이고, preference-conditioned game의 local Nash solution이 매끄럽게 이어지는지 확인하기 어렵다. 이론은 알고리즘이 왜 말이 되는지 설명하는 방향성을 제공하지만, 실험에서는 여전히 hyperparameter와 critic 품질에 민감하다. 특히 $\lambda_1$과 $\lambda_2$ ablation이 보여 주듯, 작은 균형 변화가 학습 안정성에 영향을 준다.

7.3 더 넓은 에이전트 시스템으로의 확장

논문 결론은 controlled cooperative benchmark에서 더 복잡한 real-world multi-agent system으로 확장하는 것을 후속 방향으로 제시한다. 자율주행, 로봇 군집, open-ended agentic systems에서는 에이전트마다 capability, context, objective가 자연스럽게 다를 수 있다. 이런 환경에서는 선호를 사람이 정한 두세 개 목표 축으로 제한하기 어렵고, 에이전트가 서로 관찰하고 약속하고 설명하는 communication protocol까지 필요할 수 있다.

또 하나의 확장 방향은 안전 제약과 선호 조율을 결합하는 것이다. PCMA는 팀 성과를 높이기 위해 역할을 나누지만, 어떤 역할 분화가 위험한 행동을 특정 에이전트에게 몰아주는지까지 직접 다루지는 않는다. 예를 들어 교차로 제어에서 한 차량이 지속적으로 양보 역할을 맡으면 평균 성과는 좋아질 수 있지만 공정성이나 개별 안전 여유가 나빠질 수 있다. 선호 조율은 안전 constraint, fairness metric, human oversight와 함께 평가되어야 한다.

7.4 통신과 협상 메커니즘의 부재

PCMA는 선호를 조율하지만 에이전트들이 서로 명시적으로 대화하거나 협상하지는 않는다. 각 에이전트는 자신의 observation과 preference로 행동하고, centralized training 단계의 critic과 planner가 간접적으로 조율한다. 이 구조는 Dec-POMDP 설정과 잘 맞지만, 실제 multi-agent system에서는 명시적 communication이 성능과 안전성에 큰 영향을 준다. 예를 들어 교차로 차량은 signal, intent, right-of-way를 주고받고, 소프트웨어 에이전트는 task ownership과 dependency를 메시지로 공유한다.

communication을 넣으면 preference coordination 문제는 더 복잡해진다. 에이전트가 자기 선호를 숨기거나 과장할 수 있고, 상대 에이전트의 선호를 추론해 행동을 바꿀 수도 있다. 이때는 planner가 선호를 샘플링하는 역할을 넘어, preference disclosure policy나 negotiation protocol을 함께 학습해야 한다. PCMA가 좋은 출발점이 될 수 있지만, communication-aware MOMARL로 확장하면 이론과 실험 설계가 모두 새로 필요해진다.

7.5 목표 축이 늘어날 때의 확장성

논문 실험의 objective dimension은 주로 2개 또는 3개다. 선호 simplex가 낮은 차원일 때는 Dirichlet sampling과 diversity regularization이 직관적으로 작동한다. 그러나 목표 축이 10개, 20개로 늘어나면 상황이 달라진다. 높은 차원의 simplex에서는 대부분의 선호가 희박해지거나 특정 영역에 치우칠 수 있고, diversity를 유지하는 것만으로 의미 있는 역할을 만들기 어렵다. 목표 축 간 상관관계도 커진다.

따라서 큰 objective space에서는 먼저 목표 축을 cluster하거나 low-dimensional latent preference로 압축하는 절차가 필요할 수 있다. 예를 들어 안전, 효율, 비용, 공정성, 설명 가능성, 규정 준수 같은 축을 모두 별도 차원으로 두기보다, 운영 상황에 따라 몇 개의 latent role preference로 묶는 방식이다. 이 방향은 PCMA를 현실 시스템에 적용할 때 중요한 연구 문제가 된다.

7.6 평가 지표의 사회적 해석

역할 분화가 항상 좋은 결과로 해석되는 것은 아니다. 전투 환경에서 한 unit이 피해를 더 많이 받는 역할을 맡는 것은 성능상 유리할 수 있다. 그러나 인간과 연결된 시스템에서는 특정 참여자에게 위험이나 비용이 반복적으로 배정되는 문제가 생길 수 있다. 자율주행에서는 특정 차량이 계속 양보하고, 업무 자동화에서는 특정 agent가 위험한 작업을 떠맡고, 온라인 플랫폼에서는 특정 사용자군이 낮은 품질을 경험할 수 있다.

이 때문에 후속 연구는 role-level metric을 넣어야 한다. 단순히 team reward가 올랐는지 보는 것에 더해, 에이전트별 risk exposure, objective contribution, failure responsibility, recovery burden을 함께 기록해야 한다. PCMA가 만든 specialization이 성능을 높인다면, 그 성능이 어떤 비용 배분으로 얻어진 것인지도 설명되어야 한다. 이것이 multi-agent safety와 연결되는 지점이다.

8. 내 해석: 선호 조율은 협력의 언어를 보상 함수 안으로 끌어오는 시도다

나는 이 논문의 가장 좋은 지점이 “협력은 같은 reward를 공유하는 것으로 충분한가”라는 질문을 수식과 실험으로 분해한 데 있다고 본다. 다중 에이전트 시스템을 실제로 운영하면, 팀 목표는 하나로 보이지만 실행 역할은 거의 항상 나뉜다. 프론트라인 유닛, 지원 유닛, 탐색 담당, 위험 회피 담당, 검수 담당이 같은 성과 지표를 보더라도 같은 행동 정책을 가져야 하는 것은 아니다. PCMA는 이 차이를 prompt나 rule로 사후 지정하지 않고, 선호 벡터와 planner라는 학습 가능한 변수로 옮긴다.

약점은 실험의 목표 축이 모두 명시적으로 설계되어 있다는 점이다. Cooperative Spread의 landmark 거리, SMAC의 피해량과 체력 손실, CARLA의 효율과 충돌 위험은 사람이 보기에 비교적 해석 가능한 축이다. 하지만 open-ended agent나 실제 자율 시스템에서는 “좋은 협력”을 설명하는 축이 실행 중에 바뀌고, 사용자·환경·규정에 따라 충돌한다. 내가 이 논문을 확장한다면, 먼저 reward vector를 고정하지 않고 trajectory에서 latent objective를 추정한 뒤, PCMA planner가 그 latent objective를 얼마나 안정적으로 나누는지 보는 실험을 붙일 것 같다.

또 하나 걸리는 부분은 diversity regularizer가 역할 분화의 방향성을 충분히 설명하지 못할 수 있다는 점이다. $\mathcal D_p$는 선호 간 거리를 키우지만, 그 거리가 어떤 사회적 의미를 갖는지는 환경 설계에 의존한다. 이전에 정리한 다중 에이전트 안전 연구 흐름에서는 에이전트 간 상호작용이 identity, reputation, commitment protocol까지 포함하는 시스템 문제로 확장된다. PCMA가 그런 수준으로 가려면 선호 다양성에 “누가 어떤 책임을 맡았는지”를 기록하는 provenance와, 위험한 역할 집중을 감지하는 auditing metric이 함께 필요하다.

후속 제안은 role audit layer를 PCMA 위에 얹는 것이다. 학습 중 각 에이전트의 선호, 행동, 팀 기여, 위험 노출을 episode 단위로 요약하고, 특정 에이전트에게 손실이나 위험이 과도하게 몰리는지 점검한다. 이렇게 하면 PCMA가 성능을 높이는 과정에서 만들어 낸 specialization이 운영 관점에서도 받아들일 수 있는 역할 분화인지 확인할 수 있다. 특히 자율주행이나 다중 로봇처럼 안전 비용이 큰 환경에서는 평균 reward보다 role-level risk distribution이 더 중요한 판단 기준이 될 수 있다.

현장에서 이 아이디어를 쓴다면 나는 먼저 “팀 성공”과 “개별 목표”를 따로 로깅하는 계측부터 만들 것이다. 많은 에이전트 시스템은 최종 성공 여부만 저장하고, 어떤 에이전트가 어떤 trade-off를 떠안았는지 남기지 않는다. PCMA식 접근을 쓰려면 선호, 행동, 보상 성분, 실패 원인이 같은 trajectory ID로 묶여야 한다. 그래야 planner가 학습한 선호가 실제 운영에서 해석 가능한 역할로 이어졌는지 판단할 수 있다.

두 번째로 필요한 것은 preference intervention이다. 학습된 planner가 특정 에이전트에게 안전 선호를 자주 주는 경우, 그 선호를 인위적으로 바꾸면 팀 성과와 위험 지표가 어떻게 달라지는지 봐야 한다. 이 실험은 causal analysis에 가깝다. 단순 correlation으로는 “이 에이전트가 안전 역할을 맡아서 팀이 좋아졌다”와 “원래 쉬운 위치에 있어서 안전 선호가 배정됐다”를 구분하기 어렵다. PCMA 논문은 시각화를 제공하지만, 운영 검증에서는 intervention-based audit이 더 필요하다.

세 번째는 fallback policy다. 선호 planner가 불안정하거나 환경 분포가 바뀌면, 에이전트별 선호가 갑자기 한쪽으로 몰릴 수 있다. 이런 순간에는 모든 에이전트가 최소 안전 행동을 보장하는 fallback으로 내려가야 한다. 자율주행이나 로봇에서는 이 fallback이 rule-based controller일 수 있고, 소프트웨어 에이전트에서는 write operation을 멈추고 human approval을 요구하는 정책일 수 있다. PCMA가 연구용 알고리즘을 넘어 운영 시스템으로 가려면 이런 guardrail과 같이 설계되어야 한다.

마지막으로, 이 논문은 LLM 에이전트 협업에도 개념적으로 연결된다. 여러 LLM agent가 하나의 작업을 나누어 할 때, 모든 agent에게 같은 system prompt와 같은 reward를 주면 비슷한 실패 모드가 반복된다. 한 agent는 증거 수집을, 다른 agent는 검증을, 또 다른 agent는 비용 절감을 맡도록 선호를 나누는 것이 더 낫다. PCMA는 그런 역할 배치를 강화학습 환경에서 먼저 정식화한 사례로 볼 수 있다.

9. 결론: 팀 보상과 개별 선호 사이의 빈 공간을 학습 대상으로 만들기

PCMA는 다중목표 다중에이전트 강화학습에서 선호 프로파일을 고정 상수로 두지 않고 학습 가능한 조율 변수로 다룬다. 각 에이전트는 선호 조건부 actor를 통해 다른 목표 trade-off를 맡고, planner는 팀 advantage와 diversity regularization을 이용해 선호 분포를 조정한다. 이 설계는 팀 보상만으로는 sparse하고, 개별 벡터 보상만으로는 팀 목적과 어긋날 수 있는 MOMARL 문제에서 두 신호를 연결한다.

실험 결과는 이 아이디어가 여러 환경에서 작동할 수 있음을 보여 준다. Cooperative Spread와 Predator-Prey에서는 선호 specialization이 Pareto front coverage로 이어지고, SMAC에서는 damage dealt와 damage taken 기준의 역할 분화가 관찰된다. 정량 성능에서도 PCMA는 대부분의 지표에서 MADDPG, IPPO, MAPPO를 앞선다. CARLA 기반 검증은 아직 제한적이지만, 교차로 speed-control setting에서 효율과 안전 목표를 함께 조율할 가능성을 보여 준다.

이 논문을 크게 보면, 협력형 에이전트 시스템의 설계 공간을 넓히는 작업이다. 지금까지 많은 MARL 설정은 shared reward와 centralized critic으로 협력을 유도했다. PCMA는 그 위에 “각 에이전트가 어떤 목표 축을 담당할 것인가”라는 질문을 추가한다. 실제 시스템으로 가려면 목표 축 정의, 안전 제약, 역할 감사, 계산 비용 문제가 남지만, 선호를 팀 조율의 내부 변수로 다룬다는 문제 설정은 충분히 후속 연구 가치가 있다.

9.1 실제 연구자에게 남는 사용법

이 논문을 그대로 따라 하는 연구자는 먼저 자기 환경의 reward component가 선호 조율에 적합한지 확인해야 한다. 목표 축이 서로 구분되지 않거나, 한 축이 모든 성과를 사실상 지배하면 PCMA의 planner가 의미 있는 역할을 만들기 어렵다. 반대로 목표 축이 너무 많고 서로 상관관계가 높으면 선호 simplex가 해석 불가능해질 수 있다. 좋은 적용 대상은 팀 성공을 공유하면서도 에이전트별 trade-off가 실제 행동 차이로 나타나는 환경이다.

두 번째 사용법은 baseline을 신중하게 고르는 것이다. PCMA의 성능 이득을 주장하려면 fixed scalarization MAPPO, random preference MAPPO, shared preference variant, individual critic 제거 variant가 모두 필요하다. 이 논문은 SAME, RAND, hyperparameter ablation을 넣어 그런 비교를 제공한다. 후속 연구에서는 여기에 communication baseline과 rule-based role assignment baseline을 추가하면 선호 planner가 얼마나 많은 부분을 실제로 학습했는지 더 분명해진다.

세 번째 사용법은 결과를 평균 reward보다 episode story로 검토하는 것이다. 어떤 환경에서는 PCMA가 평균을 높이면서도 드문 실패 사례를 남길 수 있다. 자율주행이나 로봇에서는 드문 실패가 운영상 더 중요하다. 따라서 성공 trajectory와 failure trajectory를 함께 보면서 preference profile이 어떻게 배치됐는지, 어떤 에이전트가 위험한 선택을 했는지, planner가 다음 학습에서 이를 줄였는지까지 확인해야 한다.

9.2 LLM 에이전트 시대의 간접적 함의

PCMA는 LLM 논문은 아니지만, 여러 LLM agent를 묶는 시스템에도 중요한 함의를 준다. agent swarm이나 tool-using workflow에서 모든 agent에게 같은 instruction과 같은 evaluation rubric을 주면, 겉으로는 병렬화되어 있어도 실제로는 비슷한 판단을 반복할 수 있다. 한 agent는 recall을 높이고, 다른 agent는 precision을 높이며, 또 다른 agent는 비용과 latency를 낮추도록 선호를 나누면 더 안정적인 ensemble이 될 수 있다.

물론 LLM 에이전트의 선호는 vector reward보다 더 복잡하다. 사용자 만족도, factuality, privacy, tool cost, latency, maintainability가 섞이고, reward signal도 명확하지 않다. 그래서 PCMA를 그대로 옮기기는 어렵다. 하지만 선호를 agent role의 내부 표현으로 보고, 팀 성과를 기준으로 그 선호를 조율한다는 관점은 유용하다. 이 관점은 prompt engineering만으로 역할을 나누는 방식보다 실험적으로 검증하기 좋다.

장기적으로는 PCMA 같은 접근이 multi-agent evaluation의 새로운 단위가 될 수 있다. 지금의 평가는 대개 최종 answer, final score, task success를 본다. 하지만 여러 agent가 협업한다면 어느 agent가 어떤 objective를 담당했는지, 그 담당 배치가 반복 실행에서 안정적인지, 실패가 특정 role에 집중되는지까지 평가해야 한다. PCMA는 그런 평가 항목을 강화학습 setting 안에서 먼저 드러낸다.

9.3 내가 후속 실험을 설계한다면

내가 후속 실험을 하나만 추가한다면, 같은 환경에서 role label을 사후 부여하고 PCMA의 preference와 비교해 볼 것이다. 예를 들어 SMAC에서는 전방 unit, damage dealer, support unit 같은 label을 trajectory statistics로 만든 뒤, preference vector가 그 label과 얼마나 일관되게 대응하는지 측정한다. 이렇게 하면 “분산된 선호가 실제 역할로 읽히는가”를 더 명확히 확인할 수 있다.

두 번째 실험은 distribution shift다. 학습 중에는 두 prey가 비슷한 속도로 움직이고, 평가에서는 한 prey가 더 빠르거나 장애물 배치가 달라지는 식으로 환경을 바꾼다. PCMA가 정말 선호 조율을 학습했다면, planner는 바뀐 상황에서도 각 에이전트에게 새 역할을 배정해야 한다. 반대로 훈련 분포의 특정 geometry를 암기한 것이라면 preference specialization은 쉽게 깨질 수 있다.

세 번째 실험은 human-readable constraint와의 결합이다. 예를 들어 교차로 환경에서 특정 차량이 연속 세 episode 이상 양보 역할을 맡지 못하게 하거나, 피해를 많이 받는 역할이 특정 agent에 누적되지 않게 하는 제약을 넣는다. 이때 PCMA의 성능이 얼마나 떨어지는지 보면, 알고리즘이 만든 역할 분화가 효율만을 위해 특정 비용을 집중시킨 것인지 판단할 수 있다.

마지막으로, planner uncertainty를 로깅하고 싶다. Dirichlet concentration이 큰지 작은지, 특정 상황에서 planner가 확신 있게 한 역할을 배정하는지, 또는 여러 선호 사이에서 흔들리는지 보면 안전한 deployment 조건을 더 잘 잡을 수 있다. 평균 preference vector만 보면 이 불확실성이 사라진다. 운영 환경에서는 선호의 방향만큼이나 그 선호에 대한 확신도 중요한 신호가 된다.

정리하면 PCMA의 가치는 새로운 최고 점수 하나보다 선호, 역할, 팀 성과를 함께 기록하는 실험 언어를 제안한 데 있다. 이 언어가 있으면 다중 에이전트 시스템을 단일 평균 reward로만 보지 않고, 어떤 에이전트가 어떤 목표 축을 맡았으며 그 배치가 어떤 실패와 성공을 만들었는지 추적할 수 있다. 후속 연구는 이 추적 가능성을 안전 평가와 운영 감사로 확장해야 한다.

초안 기준으로도 이 논문은 단순한 알고리즘 비교보다 시스템 설계 관점에서 읽는 편이 낫다. 선호를 조율하면 평균 성능과 에이전트별 책임 배치가 함께 달라지므로, 실제 적용 전에는 성능 곡선과 함께 역할 로그, 위험 분포, 실패 trajectory를 같은 단위로 저장하는 평가 체계를 준비해야 한다.

10. 요약 정리

• PCMA는 multi-objective multi-agent reinforcement learning에서 에이전트별 선호를 학습 가능한 coordination variable로 다루는 알고리즘이다.
• 논문은 모든 에이전트에게 같은 scalarization weight를 주면 역할 분화가 제한될 수 있다고 보고, 각 에이전트가 서로 다른 preference vector를 갖도록 planner를 학습한다.
• 방법론은 stochastic preference planner, preference-conditioned actor, team critic, individual vector critic, diversity regularizer로 구성된다.
• 이론적으로는 preference diversity가 team improvement decomposition의 양의 항으로 들어갈 수 있음을 보이고, 선호가 천천히 변할 때 equilibrium tracking이 가능하다는 설명을 제시한다.
• Cooperative Spread, Safe Predator-Prey, Catch, Escort, MOMAWalker, SMAC, OpenCDA-MARL/CARLA 등 다양한 협력 환경에서 실험을 수행했다.
• PCMA는 Cooperative Spread success rate 1.00, Safe Predator-Prey success rate 0.96, SMAC-2s3z success rate 1.00 등 여러 지표에서 baseline을 앞섰다.
• Ablation은 $\lambda_1$ diversity regularization과 $\lambda_2$ individual guidance가 모두 필요하지만, 값이 과하면 학습 안정성이 떨어질 수 있음을 보여 준다.
• 한계는 보상 축이 명시적으로 설계된 controlled benchmark에 의존한다는 점이며, 실제 open-ended agent system에서는 objective discovery와 role audit이 필요하다.
• 내 관점에서 가장 중요한 확장 방향은 PCMA가 만든 역할 분화를 성능과 함께 위험, 공정성, 책임 분포 관점에서 감사하는 layer를 추가하는 것이다.