계층형 멀티에이전트를 교사 증류로 끝까지 함께 학습한다

무엇인가

이 논문은 리더가 질문을 하위 과제로 쪼개고 서처가 검색·요약하며 답변자가 최종 답을 내는 계층형 멀티에이전트 팀을 어떻게 끝까지 함께 학습할지 다룬다. 최종 정답은 팀 전체의 결과라서 서처의 중간 검색·요약 행동에 대한 직접 피드백이 되기 어렵고, LLM 심판으로 점수를 매겨도 심판의 편향과 추론 오류에 의존한다는 문제를 지적한다. 저자들은 역할마다 최종 목표와의 관계가 다르므로 리더와 답변자는 결과 보상으로, 서처는 교사의 토큰 수준 감독으로 학습해야 한다고 주장한다.

어떻게 동작하나

제안 방법 MultiAgent-OPD는 두 단계다. 1단계에서는 서처-답변자로 구성된 더 단순한 워크플로를 정답 정확도 보상으로 훈련해 교사를 만든다. 2단계에서는 리더-서처-답변자 팀을 같은 공유 파라미터 학생 모델로 훈련하되, 동결된 교사가 학생이 현재 정책으로 생성한 서처 토큰을 평가해 온폴리시 증류 신호를 준다. 세 역할은 하나의 언어모델을 공유하고 역할 프롬프트로 구분된다. 서처 토큰의 이점은 β 곱하기 log(교사 확률/샘플링 정책 확률)로 계산되고 β=0.01이며, 마스크는 서처가 생성한 토큰에만 적용된다. 이 신호는 최종 정답에 대한 인과적 기여 추정이 아니라 학생이 도달한 상태에서 교사가 선호하는 토큰 쪽으로 확률을 밀어주는 국소 과정 감독이다. 서처 역할의 인터페이스가 질문이든 하위 과제든 동일하므로, 전체 질문으로 훈련한 교사가 위임된 하위 과제의 서처 토큰도 평가할 수 있다고 본다.

무엇과 다른가

리더와 답변자는 결과 기반 강화학습을 유지한다. 학습 중 답변 요청마다 다섯 후보를 생성하고, 팀 보상은 후보 중 하나라도 정답이면 1이 되는 최대 exact match로 정의된다. 답변자 후보는 자기 exact match 점수를 보상으로 받고, 리더는 0.9×팀 정답 보상에 0.1×검색 활동 보너스를 더한 보상을 받는다. 검색 활동 보너스는 최소 6회까지의 검색 포함 환경 스텝을 6으로 나눈 값이라 유계다. GRPO식으로 역할별 보상을 정규화하고, 리더·답변자에는 교사 쪽으로 10^-3 계수의 KL 패널티를 보상에 넣는다. 서처에는 별도 KL 패널티 대신 교사-학생 로그비 이점을 쓴다. 1단계에서는 서처 보상이 0.9×팀 정답 + 0.1×행동 보너스이고, 한 번 검색 후 요약하면 0.5, 두 번 이상 검색 후 요약하면 1을 준다. 형식이 잘못된 출력은 총 -1 보상을 받는다. 학습이 끝나면 교사는 추론에서 빠지고 학생 모델이 세 역할을 모두 맡는다.

어떻게 쓰나

실험은 Qwen3-4B-Instruct-2507을 공통 기반으로 삼아 NQ와 HotpotQA로 학습하고, 7개 오픈도메인 QA 벤치마크의 고정 5,000문항에서 평가했다. 모든 시스템은 질의당 세 개 문서를 반환하는 같은 검색기를 쓰고, 질문마다 네 번 실행해 정규화 exact match의 avg@4와 pass@4를 보고하며 7개 데이터셋을 동등 가중한 macro avg@4를 주 지표로 둔다. 기본 계층형 H-MAS는 28.60%로 기본 캐스케이드 C-MAS의 25.09%보다 3.51%포인트 높았다. MultiAgent-OPD는 macro avg@4 38.68%를 기록해 프롬프트 기반 심판을 쓰는 Prompted Critic의 34.62%보다 4.06%포인트, 1단계 정책을 캐스케이드 워크플로에서 평가한 C-MAS+RL의 36.07%보다 2.61%포인트 높다. 두 비교 모두 짝지은 95% 구간이 0을 넘었다. 비교에 포함된 RL 검색 에이전트 중 가장 강한 Tree-GRPO 37.37%도 1.31%포인트 앞선다. macro pass@4는 48.73%로 C-MAS+RL 45.97%, Prompted Critic 45.96%보다 높고, 네 번 모두 맞힌 비율도 29.27%로 27.05%, 23.24%보다 높다.

전제와 한계

진단 실험은 서처 감독의 필요성을 더 직접적으로 보여준다. 서처도 최종 정답 기반 GRPO로 학습시키고 증류를 제거하면 macro avg@4가 17.78%로 떨어져 기본 계층형 H-MAS의 28.60%보다 10.82%포인트 낮아졌고, 2만 개 테스트 워크플로에서 검색 행동이 한 번도 기록되지 않았다. 반면 과제로 훈련한 교사 대신 기반 모델 교사를 쓰면 29.50%, 서처 직접 손실을 없애면 29.82%로 전체 방법의 38.68%에 크게 못 미친다. 저자들은 최종 정답 보상만으로는 이 계층 구조에서 검색 행동이 유지되지 않으며, 단순 워크플로에서 훈련한 교사의 토큰 수준 감독이 공동 훈련 중 서처를 붙잡아 준다고 해석한다.

대가는 추론 작업량이다. MultiAgent-OPD는 워크플로당 평균 5.39회 검색과 9,172 입력 토큰을 써서 Prompted Critic의 4.45회·6,786토큰, C-MAS+RL의 2.86회·3,886토큰보다 많다. Prompted Critic 대비 검색은 21.4%, 입력 토큰은 35.2% 늘었고 출력 토큰은 885에서 697로 줄었다. 저자들은 Prompted Critic과 같은 리더 목적을 쓰므로 이 차이는 같은 검색 활동 인센티브 아래에서 학습된 행동 차이라고 설명한다. 개발자 관점에서는 계층형 에이전트의 하위 검색·요약을 최종 보상만으로 학습시키면 검색이 붕괴할 수 있으므로, 별도 교사나 과정 보상을 설계하고 검색량·토큰 비용을 함께 모니터링해야 한다는 실무적 시사점이 있다.

한계도 분명하다. 평가는 Qwen3-4B-Instruct-2507과 고정된 영어 오픈도메인 QA에 한정되며, 각 시스템이 자체 워크플로 예산으로 돌아가므로 검색량이나 토큰 예산을 맞춘 비교가 아니다. 네 번 시도와 질문 부트스트랩 구간은 평가된 체크포인트 내 변동을 보여줄 뿐 독립 학습 실행 간 변동은 아니다. exact match는 의미적 겹침이나 사전학습 오염을 잡지 못한다. 방법론적으로 OPD는 토큰의 인과적 기여 추정이 아니고 교사 오류, 전체 질문으로 훈련한 교사를 위임된 하위 과제에 쓰는 불일치, 공유 파라미터로 인한 역할 간 결합, 역KL로 인한 탐색 감소, 교사·학생 토큰 어휘 호환성 같은 전제가 남는다. 진단 실험도 리더와 답변자의 결과 목적을 따로 분리해 평가하지는 않았다.