CoSIR는 검증 가능한 정보 보상으로 LLM 협업 행동을 학습시킨다
Training LLMs for Multi-Agent Collaboration with Verifiable Information Rewards
무엇인가
LLM 에이전트 팀은 정보가 팀 수준에 존재한다고 해서 협업이 성공하지 않는다. 같은 증거를 한 에이전트가 전부 가진 경우보다 분산 보유한 팀이 더 나쁜 결정을 내리기도 하고, 실제로 유용한 발견을 숨기거나, 확인 질문 없이 진행하거나, 동료의 입력을 무시하거나, 다수의 오답에 자기 정답을 버리는 실패가 보고돼 있다. 기존 후처리 학습은 지시 따르기와 멀티턴 과제 완수에 집중할 뿐, 개별 메시지가 팀 결정에 어떻게 기여했는지는 구분하지 않는다. MAPoRL처럼 정답과 교정적·설득적 토론에 보상을 주는 시도가 있었지만, 이 논문이 던지는 핵심 질문은 "동료가 정답을 찾도록 돕는 정보를 제공하거나 요청한 행동을 어떻게 보상할 것인가"이며, 이는 메시지의 가치를 수신자가 이미 아는 것 대비 평가해야 하므로 개방형 자연어 과제에서는 검증이 어렵다.
어떻게 동작하나
CoSIR는 이 문제를 단순하지만 검증 가능한 환경에서 우회한다. 환경은 k개 선택지 × m개 속성의 평점 표를 만들고, 각 항목은 -1(나쁨), 0(보통), +1(좋음) 중 하나다. 정답은 속성별 평점 합이 최대인 선택지이며, 최고 합계가 동점인 표는 버린다. 각 에이전트는 표의 일부 셀만 브리핑으로 받고, 관측 집합은 에이전트 간에 겹칠 수도 있다. 즉 어떤 평점은 여러 명이 알고 어떤 평점은 한 명만 안다. 에이전트 수, 평점 배분 방식, 전원 공유 평점 개수, 누가 결손 평점을 가졌는지 알려주는지, 토론 라운드 수를 달리한 다섯 가지 설정으로 과제를 대량 생성한다. 에이전트는 자연어 메시지를 주고받으며 평점 진술과 결손 평점 요청을 보내고, 규칙 기반 파서와 파라미터를 고정한 초기 Qwen3-8B가 이를 파싱해 평점 진술·보고된 합계·요청을 추출한다.
무엇과 다른가
보상의 핵심은 베이지안 평가기다. 각 에이전트의 정보 기록을 부분 평점 표로 표현하고, 고유한 최적 선택지를 가진 완전한 표들에 균등 사전분포를 두고 나서, 그 에이전트가 가진 평점과 일치하는 표들만 남겨 선택지가 최적일 사후확률을 계산한다. 이때 실제 표의 숨은 값은 확률 계산에 쓰지 않는다. 팀 서프리절은 각 에이전트가 정답 선택지에 부여한 확률의 음의 로그(밑 2, 하한 1e-4)를 팀 전체에 대해 합한 값이고, 정보 가치는 이 값의 감소량, 즉 비트 단위로 측정된다. 공유 보상은 메시지 전체의 서프리절 감소량이지만, 진술이 실제로 정확하고 화자의 초기 브리핑이나 수신 보고로 뒷받침될 때만 양의 보상을 받는다. 근거 없는 정답 추측이나 잘못된 보고의 충실한 반복은 보상이 없고, 조작된 진술에는 추가 페널티가 붙는다. 근거 있는 진술이 일시적으로 서프리절을 높이더라도 음의 보상은 주지 않으며, 불필요한 반복을 억제하려 작은 통신 비용을 부과한다. 요청 보상은 요청된 평점이 진실하게 제공됐다면 발생했을 서프리절 감소량을 미리 계산해 양수 부분만 취한다. 여기에 더해 에이전트가 받은 정보를 실제로 쓰는지 평가하기 위해, 개인 답안의 선택 점수는 자기 정보 기준으로 선택한 선택지가 최적일 확률로, 계산 점수는 보고한 합계가 참조 합계와 일치하는 선택지 비율로 매긴다.
어떻게 쓰나
학습은 자기 대국(self-play)으로 이뤄진다. 같은 모델이 팀의 모든 에이전트를 맡고, 각 발언 턴에서 같은 브리핑과 대화 이력으로 여러 후보 응답을 샘플링해 조건을 통제한 채 비교한다. 모든 후보를 채점한 뒤 하나를 무작위로 골라 토론을 이어가고, 나머지 후보도 학습에 기여한다. 메시지에는 유용한 평점, 반복, 질문이 섞이므로 보상은 메시지 전체가 아니라 해당 부분에 배분된다. 진술 보상은 해당 토큰에 직접 크레딧을 주고, 요청과 개인 답안 점수는 그룹 상대적 어드밴티지로 변환되며, PPO 변형으로 토큰을 업데이트한다. 학습 초반에 유용한 질문을 거의 생성하지 못할 때를 대비해, 평가기가 요청을 최선의 행동으로 판정하면 소수의 시연 예시를 추가해 클리핑된 모방 업데이트로 함께 학습시키되 토론을 이어가는 응답으로는 선택하지 않는다. 일반 능력 보존을 위해 참조 모델 페널티를 쓰고, 일반 프롬프트에 대해서는 초기 체크포인트가 생성한 응답으로 학습한다.
전제와 한계
실험은 Qwen3-4B, Qwen3-8B, Gemma-3-4B-it 세 백본에서 이뤄졌고, 학습 환경 밖의 7개 과제(HiddenBench, SILO-BENCH, SplitQA, MathChat, BenchForm, Einstein Puzzles, Collaboration Tax)로 전이를 평가했다. 과제당 4회 실행의 평균과 표준편차를 보고하며, 7개 과제 평균을 동일 가중으로 더한 SUM에서 CoSIR가 세 모델 모두 최고점을 냈다. 가장 강한 대안 대비 초과 폭은 Qwen3-8B 19.79점, Qwen3-4B 22.95점, Gemma-3-4B-it 24.86점이다. 세 모델 각각 7개 과제 전부에서 시작 체크포인트(Base)보다 평균 점수가 높아, 이득이 특정 벤치마크 하나에서 나온 것이 아니다. 같은 자기 대국 환경을 쓰되 최종 팀 결과만 보상하는 Outcome-RL과 비교하면 CoSIR가 각각 20.72점, 22.95점, 24.86점 앞선다. 선택지 고르기를 넘어 분산된 사실을 결합해 자유 형식 답을 만드는 SplitQA에서도 Base 대비 2.50점, 0.36점, 8.21점 향상됐다(Qwen3-4B는 개선 폭이 작다). 추론 시점 기법인 Theory of Mind는 Qwen3-8B의 SILO-BENCH에서, TalkHier는 세 모델 모두 BenchForm에서 앞서지만, 두 방법 모두 Qwen3-4B와 Gemma-3-4B-it에서는 Base보다 SUM을 떨어뜨린 반면 CoSIR는 세 모델 모두에서 SUM을 올렸다.
행동 분석은 점수 상승의 이유를 보여준다. Qwen3-8B의 HiddenBench에서 사적 정보 공개율이 68.5%에서 74.3%로, 동료에게 반응하는 메시지 비율이 59.4%에서 65.8%로 올랐다. 정보를 더 일찍 공유하는 경향도 나타나, 첫 메시지에서의 공개율이 HiddenBench에서 61.1%에서 69.0%로, SplitQA에서 41.1%에서 51.1%로 증가했다. SILO-BENCH에서는 더 많은 에이전트가 자기 지역 데이터 전체를 공유하고 누적 결과만 보고하는 메시지가 줄어 검증 가능성이 높아졌다. Cemri 등의 다중 에이전트 실패 분류(MAST)를 세 모델 대화에 적용하면 조정 실패가 67.8%에서 62.0%로, 검증·종료 실패가 58.8%에서 53.5%로 줄었다. 세부 유형으로는 동료 입력 무시가 26.3%에서 22.8%로, 필요한 확인 없이 진행이 36.4%에서 32.0%로, 검증 누락·불완전이 51.3%에서 45.9%로 감소했다. 반면 명세·시스템 설계 실패는 88.2% 대 88.3%로 거의 그대로였고, 반복 단계(85.1% 대 85.6%)와 정보 은닉(18.5% 대 18.7%)은 개선되지 않았다. 일반 능력은 GSM8K, MMLU, IFEval에서 Base 대비 -0.6%p에서 +0.8%p 범위로 거의 유지됐다.
실무 관점에서 이 논문의 쓸모는 보상 설계에 있다. 최종 과제 성공 여부만 보상하면 같은 결론에 도달한 서로 다른 대화가 같은 피드백을 받지만, CoSIR처럼 메시지 단위로 정보 가치를 계산하면 "정답을 맞힌 대화"와 "정답을 맞히는 데 기여한 대화"를 구분할 수 있다. 팀 서프리절이라는 지표는 완전한 상태를 알 수 있는 폐쇄형 환경에서만 계산 가능하지만, 그 제약 안에서도 정보 공유·요청·활용이라는 세 행동을 분리해 보상하는 템플릿은 사내 평가 파이프라인을 설계할 때 참고할 만하다. 다만 도입 전에 확인할 것은, 이 보상이 검증 가능한 정답이 있는 과제에 묶여 있다는 점과, 추론 시점 워크플로가 특정 모델·과제 조합에서는 여전히 더 강하다는 점이다.
저자들이 밝힌 한계는 분명하다. 평가는 세 백본과 7개 협업 과제에 한정되며, 학습된 모델이 이 범위에서는 시작 체크포인트보다 향상되지만 추론 시점 워크플로와 Outcome-RL이 일부 모델·과제 조합에서는 여전히 더 강하다. 학습이 모든 의사소통 실패를 없애지도 못해 반복 단계를 비롯한 여러 MAST 실패 범주가 여전히 빈번하다. 보상은 사실이 알려져 있고 평가기가 계산 가능한 장난감 환경에 의존하므로, 같은 채점 방식을 개방형 과제로 확장하려면 완전한 상태를 알 수 없을 때 정보 가치를 평가하는 방법이 먼저 필요하다.