에이전트 군집이 입찰로 스스로 행동 순서를 학습한다

무엇인가

이 논문이 다루는 문제는 다중 에이전트 시스템의 학습 구조가 고정되어 있다는 점이다. 기존 시스템은 관리자가 작업자를 지시하거나, 검증자가 생성자를 확인하거나, 정해진 워크플로를 따라 에이전트가 통신하는 식으로 상호작용 구조를 미리 정해 놓는다. 참여하는 에이전트가 학습 가능하더라도 다음에 누가 행동할지를 정하는 오케스트레이션 정책은 학습 내내 고정되는 경우가 많다. 저자들은 이 분리가 개별 능력과 군집 조율 사이의 결합을 놓친다고 본다. 어떤 상태에서 어떤 에이전트가 행동하느냐는 군집의 궤적뿐 아니라 어느 에이전트가 경험과 학습 신호를 받는지를 결정하고, 에이전트가 향상되면 효과적인 참여 패턴도 바뀌기 때문이다. 그래서 던지는 질문은 "탈중앙 에이전트 군집이 경험으로부터 행동과 자기 조율을 함께 학습할 수 있는가"다.

어떻게 동작하나

제안 방법인 시장 기반 후학습(MPT)은 검증된 보상을 주는 에피소드 과제를 전제로 한다. 과제 x가 주어지고 턴 t=1,…,T 동안 매 턴 한 에이전트만 행동하며, 검증기가 과제 보상 R을 부여한다. 군집은 서로 독립된 파라미터를 가진 N개 에이전트로 구성되고, 각 에이전트의 정책은 행동과 입찰을 함께 생성한다. 턴 배분은 경매 방식이다. 각 턴에서 에이전트들이 현재 결정에 참여하려는 의지를 담은 입찰 b_i를 독립적으로 제출하고, 가장 높은 입찰을 낸 에이전트가 행동한다. 동점이면 균등 확률로 깨지고, 모든 에이전트가 0을 입찰하면 아무도 행동하지 않고 턴이 건너뛰어진다. 중앙 디스패처 없이 지역적 판단만으로 참여가 결정되는 구조다.

무엇과 다른가

입찰은 참여 결정과 신용 배분을 잇는 장치이기도 하다. 선택된 입찰 b_t는 턴 t에 누적된 가치 중 앞선 행동 에이전트에게 역방향으로 넘겨줄 비율을 정한다. 누적 가치는 v_t = r̂_t + b_(t+1)·v_(t+1)로 재귀적으로 정의되고, 턴 t에 행동한 에이전트의 지역 학습 신용은 r̃_t = (1 − b_t)·v_t가 된다. 즉 턴 t+k에서 얻은 보상은 곱 b_(t+1)…b_(t+k)만큼의 가중치로 v_t에 기여해서, 하류의 결과가 상류 행동에 학습 신호를 준다. 저자들은 이를 Holland의 버킷 브리게이드 원리에 연결한다. 각 에이전트는 자신이 행동한 턴의 행동 토큰만으로 파라미터를 갱신하며, 에이전트별 평균 베이스라인을 쓰는 REINFORCE를 사용한다.

어떻게 쓰나

자기 조율 자체는 반사실적 비교로 학습한다. 러너업이 0이 아닌 입찰을 낸 턴을 '경합 턴'으로 정의하고, 원래 궤적과 별개로 복제 환경에서 그 턴의 상태를 복원한 뒤 선택된 에이전트의 입찰을 최대 세 번 다시 샘플링해 러너업보다 낮아지면 러너업이 행동하도록 한다. 세 번 안에 그런 입찰을 얻지 못하면 그 경합 턴은 입찰 학습에서 버린다. 두 분기는 경합 턴 이후 환경 보상 합으로 점수화되고, 점수가 높은 쪽의 입찰 응답이 선호 응답, 다른 쪽이 기각 응답이 된다. 점수가 같은 쌍은 버리고, Bradley–Terry 선호 목적함수로 두 응답의 로그 확률 차이를 키운다. 학습은 행동 4스텝 뒤 입찰 1스텝을 번갈아 수행하며, 두 갱신 모두 각 에이전트 내부의 같은 모델 파라미터를 최적화한다.

전제와 한계

실험은 세 가지 영역에서 세 에이전트 구성으로 이뤄졌다. 구현 과제는 Qwen3-VL-4B-Instruct 세 개를 Logger, Miner, Smith로 특화시켜 Minecraft MineStudio에서 빈 인벤토리로 시작해 철 곡괭이까지 제작하는 과제이고, 로봇 내비게이션은 NaVILA-8B 세 개가 Habitat의 VLN-CE R2R에서 Turner(회전), Mover(전진), Stopper(정지)로 행동 공간을 나눠 최대 64회 결정을 내린다. 딥리서치는 gemma-4-E2B-it 세 개가 Searcher, Opener, Finder로 검색·문서 열기·탐색을 분담하고 OpenResearcher로 학습한다. 비교 대상은 감쇠율 0.95의 단일 정책 REINFORCE 베이스라인이며, SFT 콜드 스타트를 거치고 학습 FLOP는 입찰 생성, 행동 생성, 반사실 롤아웃, 파라미터 갱신을 모두 포함해 맞췄다. 학습 곡선에서 MPT는 구현 과제 평균 에피소드 보상 약 41 대 베이스라인 20, 로봇 내비게이션 약 0.9 대 0.3, 딥리서치 평균 정확도 약 27% 대 약 6%를 기록했다. 학습과 분리된 홀드아웃 평가(미학습 월드 시드 32개, R2R-CE val-unseen 88개 에피소드, OpenResearcher 질문 50개, 각 3회 평가)에서도 MPT는 41.5±5.9, 1.23±0.18, 21.0±4.1%로 베이스라인의 20.3±4.1, 0.52±0.14, 9.0±2.1%를 앞섰다.

분석 결과는 조율 자체가 학습된다는 주장을 뒷받침한다. 철 곡괭이 과제에서 참여 비율을 추적하면 RL 이전에는 Logger가 에피소드 전반을 지배했지만, 학습이 진행되며 후반부에 Miner와 Smith의 비중이 커진다. 결정 스텝 120에서 Logger의 참여 비중은 RL 전 약 80%에서 RL 후 45%로 줄고, Miner는 약 10%에서 40%, Smith는 약 10%에서 15%로 늘었다. 같은 후학습 행동 정책을 고정하고 조율 전략만 바꾼 비교에서 MPT는 41.5로, 가장 강한 대안인 Graph-of-Agents의 25.4를 63.4% 상대 개선으로 앞섰다. 입찰과 행동 중 무엇을 학습했는지 분리한 실험에서는 둘 다 후학습 체크포인트를 쓴 구성이 41.5로, 학습된 입찰+초기 행동 21.5, 초기 입찰+학습된 행동 27.2, 둘 다 초기 15.4를 크게 웃돌았다(초기 대비 2.69배). 약 5×10^18 학습 FLOP 지점에서 MPT 약 42에 대해 라운드로빈은 15, 입찰값을 균등분포 난수로 바꾼 변형은 31이었다.

재사용성과 확장성, 강건성 실험도 있다. 철 곡괭이 체크포인트에서 Torch와 Stone Bricks 제작 과제로 이어 학습하면 약 10^18 적응 FLOP에서 MPT가 각각 약 35와 38을 기록해 단일 정책 베이스라인의 17과 19를 크게 앞선다. 추론 시 인구를 3, 6, 9, 12개 에이전트로 늘리면(학습된 에이전트 복제본 1~4개) 다섯 하위 과제의 pass@3가 Wooden Pickaxe 78%→97%, Stone Pickaxe 69%→94%, Furnace 66%→91%로 오른다. 추론 시 에이전트 드롭아웃 확률 0.9에서도 12개 군집은 평균 에피소드 보상 약 33을 유지해 3개 군집의 19보다 높았다.

개발자 관점에서 이 논문이 쓸모 있는 지점은 오케스트레이션을 프롬프트나 그래프 토폴로지가 아니라 가중치로 학습되는 구성 요소로 취급한다는 것이다. 여러 LLM 역할을 붙여 파이프라인을 만들 때 누가 언제 개입할지를 사람이 고정하는 대신, 참여 결정을 정책의 일부로 두고 그 결정이 학습 신용 배분과 일관되게 연결되도록 설계할 수 있다. 다만 도입 전에 확인할 것은 검증 가능한 종료 보상이 있는지, 반사실 롤아웃을 감당할 컴퓨트가 있는지, 그리고 역할별 SFT 콜드 스타트 데이터를 준비할 수 있는지다. 또 학습된 조율은 같은 행동 정책 위에서만 대안 전략과 비교됐다는 점, 추론 확장은 새 에이전트가 아니라 학습된 에이전트의 복제본으로 이뤄졌다는 점을 감안해야 한다.

논문 본문에는 별도의 한계 절이 제시되지 않았지만, 서술에서 드러나는 전제는 분명하다. 방법 자체가 검증된 보상을 주는 에피소드 과제를 요구하고, 에이전트별로 분리된 파라미터와 역할별 시연 데이터를 통한 SFT 콜드 스타트를 가정한다. 입찰 학습은 경합 턴에서 최대 세 번의 재샘플링으로 대안 분기를 만들어야 하고, 그렇게 만들지 못한 턴은 학습에서 제외되므로 반사실 롤아웃 비용과 데이터 손실이 구조에 내재한다. 주 실험은 세 에이전트 구성에 한정되어 있고, 더 큰 군집은 학습된 에이전트를 복제해 구성했다.