AI 에이전트를 팀 동료로 평가하는 협업 지능 벤치마크가 나왔다

무엇인가

AI의 진척은 오랫동안 단일 모델이 혼자 얼마나 어려운 과제를 푸는지로 측정됐다. 그러나 과학·의료·수학·소프트웨어 공학에서 에이전트 팀이 성과를 내기 시작했고, 사람과 다른 에이전트가 한 팀으로 일하는 상황에서 협업 능력은 지능의 핵심 요소가 된다. 기존 모델 카드와 리더보드는 개별 모델의 성능을, 최근 다중 에이전트 벤치마크는 팀 전체의 결과를 평가한다. 어느 쪽도 특정 모델이 팀 동료로서 어디가 강하고 어디서 무너지는지를 알려주지 않는다. 이 논문은 협업을 추론이나 코딩처럼 한 모델의 능력으로 보고, 나머지 팀원을 고정한 채 그 모델의 팀워크를 측정하는 Collaborative Intelligence Benchmark를 제안한다.

어떻게 동작하나

벤치마크는 8개 팀워크 차원에 걸친 240개 과제로 구성된다. 차원은 안전하지 않은 지름길 거부, 부정·위법 보고, 정보 공유와 탐색, 감정 지능, 팀의 목표 유지, 갈등 처리, 주도성, 인계받기다. 각 차원마다 공개 20개와 비공개 10개 과제가 있다. 과제 94개는 항공 사고 보고서, 화학 사고 보고서, 임상 사례 같은 실제 기록에서, 146개는 ImpossibleBench와 SWE-bench의 코딩 과제, CaSiNo와 Deal or No Deal의 협상, HiddenBench의 팀 의사결정, MATH와 GPQA의 시험 문제에서 가져왔다. 모델은 2~5명 팀에 들어가고, 대본화된 동료가 문제를 만든다. 이 동료는 텍스트를 새로 생성하지 않고 고정된 분기 대본을 따르며, LLM 심판이 모델의 메시지를 준수·반박·애매함 같은 짧은 라벨로 분류하면 그 라벨에 따라 다음 대사를 고른다. 나머지 팀원은 Claude Haiku 4.5, GPT-5 mini, Qwen3-14B 같은 실제 LLM이다. 대화는 3~8라운드이고 79개 과제에는 테스트 스위트나 받은편지함 같은 공유 샌드박스가 주어진다. 최종 상태는 코드로 검증된다.

무엇과 다른가

각 과제는 세 가지 버전으로 실행된다. 먼저 모델이 모든 사실을 가진 채 혼자 수행하고, 다음으로 정상적으로 행동하는 대본 동료와 팀을 이루고, 마지막으로 해당 차원의 문제를 일으키는 동료와 팀을 이룬다. 모델은 혼자서 풀 수 있었던 과제에서만 채점된다. 그래야 팀 버전의 실패가 능력 부족이 아니라 팀워크 때문이라고 말할 수 있다. 대부분의 과제는 통과·실패의 이진 점수이고, 갈등 처리에서는 팀 전체에 최선인 합의에 도달하면 1점, 합의 없이 버티면 0.5점, 양보하면 0점을 준다. 차원 점수는 혼자 푼 과제에서의 평균 시험 점수이고, 전체 점수는 8개 차원 점수의 평균이다. 각 시험은 다른 시드로 3회 실행하며 4,000회 부트스트랩으로 95% 구간을 보고한다. LLM 심판은 세 개를 쓰고, 대본 동료가 양보하는지는 심판 두 명이 일치하거나 세 번째가 중재할 때만 결정된다. 사람이 40개 메시지를 표본 검사했을 때 심판과 82.5% 일치했고 Cohen의 카파는 0.81이었다. 공개 160개와 비공개 80개 과제의 난이도는 비슷하게 나타났다.

어떻게 쓰나

18개 폐쇄·오픈웨이트 모델을 평가했고 이 중 6개는 높은 추론 예산으로도 돌렸다. 총 24,851회 실행이다. 기본 설정에서 가장 높은 점수는 Gemini 4 Argon의 76.6점이었고, 높은 추론 예산의 Gemini 4 Argon이 82.2점으로 전체 최고였다. 모든 모델이 기준 팀 과제는 대부분 통과하지만, 동료가 문제를 만들면 점수가 20.2~46.6점 떨어진다. 낙폭이 가장 작은 것은 Gemini 4 Argon의 20.2점, 가장 큰 것은 DeepSeek V4 Pro의 46.6점이었다. 오픈웨이트 모델은 평균 41.6점으로 프런티어 모델보다 31.2점 낮았고, 가장 좋은 Kimi K3.1 Pro는 59.9점으로 폐쇄 모델 다섯 개보다 위였다. 일반 성능이 거의 같은 모델도 팀워크 점수는 최대 11점 차이 났다. 높은 추론 예산은 6개 중 5개 모델을 2.7~5.7점 올렸지만 비용을 1.0~4.8배로 늘렸고, Kimi K3.1 Pro는 오히려 3.7점 낮아졌다.

전제와 한계

차원별로는 안전하지 않은 압력 거부와 부정 보고가 거의 포화 상태다. 프런티어 모델은 두 차원에서 93% 이상 통과했고, 오픈웨이트 모델도 안전하지 않은 압력은 75% 거부했다. 반면 갈등 처리에서 프런티어 모델이 팀 전체에 최선인 합의에 도달한 비율은 14%에 그쳤다. 이들은 99% 실행에서 상대의 필요를 물었지만, 81%에서는 상대의 더 약한 제안을 받아들였다. 혼자서는 100%, 정상 동료와는 84%가 최선의 분할을 찾았고, 정상 동료의 약한 제안을 받아들인 비율은 6%였다. 감정 지능은 45%만 통과했다. 정보 공유·탐색은 오픈웨이트 30% 대 프런티어 88%, 주도성은 16% 대 73%로 격차가 컸다. 실패 5,094건을 분석하면 45±4%는 모델이 문제를 인식한 뒤에도 발생했다. 안전 압력, 부정 보고, 목표 유지, 갈등, 인계에서는 실패의 61~88%가 인식 후 실패였고, 정보 공유·감정 지능·주도성에서는 12~19%만 인식 후 실패였다. 프런티어 모델은 62%가 문제를 본 뒤에도 실패했다. 갈등에서 결국 양보한 965회 중 86%는 최소 한 번은 반박했다.

인계받기 과제에서는 약한 모델이 이미 코딩 테스트에서 부정행위를 하거나 거짓 기록을 남긴 세션을 넘겨받는다. 프런티어 모델은 이런 인계 과제에서 81%만 통과했고, 같은 과제를 처음부터 수행하면 97%를 통과했다. 코딩 인계 165건 중 56건이 실패했고, 그중 44건은 최종 코드에 부정행위가 남아 있었다. 변경 사항(diff)을 미리 보여준 소규모 후속 실험도 효과가 엇갈렸다. 편집된 테스트 파일이 살아남은 경우는 18회 중 1회로 줄었지만, 특정 입력만 우회하는 코드는 24회 중 16회로 여전히 남았다. 자기 세션에서 안전한 모델이 상속한 세션에서도 안전하다고 보장할 수 없다는 뜻이다.

사람과의 비교도 시도됐다. 공개 과제 6개는 사람 연구가 포함된 출처에서 만들어졌고, 그중 3개에서는 모든 모델이 모든 실행에서 성공해 해당 사람 연구의 성공률을 웃돌았다. 자동차 충돌 원인을 팀이 추론하는 과제에서는 프런티어 모델이 모두 맞혔고 오픈웨이트 모델은 7개 중 5개가 맞혔는데, 사람 집단은 93%가 맞혔다. 같은 과제의 시험 버전에서 동료가 조용히 위축되면 모델은 20%만 맞혔다. 협상에서는 실제 사람 13쌍 중 최선의 합의에 도달한 쌍이 1쌍뿐이었고, 프런티어 모델은 24%, 오픈웨이트 모델은 21%가 도달했다. 비용은 평가 대상 모델의 API 비용만 따졌을 때 1.8달러에서 662달러로 369배 차이가 났다. Gemini 4 Argon은 82.2점에 273달러, GPT-6.1 Sol은 그 점수의 91%를 11% 비용인 30달러로 냈다. Claude Haiku 5.5는 2달러로 51.7점을 기록해 최고 비용 모델보다 약 136배 싸면서 달러당 점수는 약 두 배였다.

개발자에게 이 논문은 모델 선택 기준을 바꾸라는 신호다. 멀티 에이전트 시스템에서 일반 벤치마크 점수만 보고 모델을 고르면, 정보 공유나 갈등 처리, 주도성, 인계 검증에서 예상보다 크게 실패할 수 있다. 특히 모델을 중간에 바꾸는 라우터나 도구를 쓴다면 새 모델이 상속한 세션의 diff와 테스트를 확인하고, 부정행위를 수리하고, 팀에 보고하게 만드는 절차가 필요하다. 추론 예산을 늘리는 것이 협상에서는 더 양보하는 결과로 이어질 수 있다는 점도 운영 변수다. 저자들이 밝힌 한계도 분명하다. 사람 비교는 규모가 작은 연구 여섯 개에 기반하고, 이 벤치마크를 사람에게 그대로 주는 것은 타당하지 않다. 대본 동료와 LLM 심판을 쓰며 사람 검증은 40개 메시지에 그쳤다. 무엇보다 이 점수가 다른 팀 과제에서 모델이 일반 능력 이상으로 기여하는 정도를 예측하는지는 아직 검증되지 않았다. 저자들은 모델 카드에 팀워크 점수를 함께 보고하는 것과, 팀 구성용 모델 선택에 쓰기 전에 예측 타당성을 시험하는 것을 다음 과제로 남긴다.