ToM2Vec는 파트너의 생각을 잠재 토큰 10개로 압축해 협동 성능을 끌어올린다

무엇인가

여러 LLM 에이전트가 한 환경에서 협력하거나 경쟁할 때 필요한 것은 상대의 관측되지 않은 믿음·욕구·다음 행동을 추론하는 마음이론(Theory of Mind, ToM)이다. 논문은 이 추론을 자연어로 풀어 쓰는 방식이 근본적으로 부적합하다고 주장한다. 언어로 상대의 의도를 서술하는 순간 여러 가설을 동시에 담지 못하고 하나의 추정으로 확정해버리기 때문이다. 저자들은 상대 모델링을 출력 공간이 아니라 모델의 잠재 공간에서 형성되는 세계 모델에 가깝게 보며, 여러 후보 사고 경로를 겹쳐 담을 수 있는 잠재 추론 토큰을 대안으로 삼는다.

어떻게 동작하나

ToM2Vec의 구조는 단순하다. 메인 에이전트는 자기 컨텍스트 c_t^M만 보고 K개의 연속 잠재 벡터를 자기회귀적으로 생성한다. 각 단계에서 마지막 레이어의 히든 스테이트를 다음 단계의 입력 임베딩으로 되먹이는 Coconut 계열 잠재 추론 방식을 따르며, 어휘로 디코딩하지 않는다. 논문은 K=10을 사용한다. 이 토큰들이 관측 가능한 정보만으로 파트너의 추론을 요약하는 역할을 한다.

무엇과 다른가

학습 신호는 자기대국(self-play)에서 나온다. 파트너 에이전트가 자기 컨텍스트로 생성한 추론 트레이스 r_t^P를 문장 구분자로 나누고, 시작·끝 토큰 자리를 2개 남긴 뒤 문장들을 K-2개 청크로 균등 분할한다. 각 청크의 중앙 토큰 히든 스테이트를 뽑아 K-2개 잠재 토큰을 만들고, 트레이스 시작과 끝 토큰의 히든 스테이트를 더해 총 K개의 타깃 z_t를 구성한다. 메인 에이전트가 예측한 ẑ_t와 이 타깃 사이의 코사인 유사도 손실 L_ToM = 1 - (1/K)Σcos(ẑ_t,k, z_t,k)가 유일한 학습 신호이며, 태스크 보상은 직접 최적화하지 않는다. 파트너와 메인이 같은 베이스 모델(Qwen3-8B)을 쓰는 이유는 표현 공간이 공유되어야 정렬이 가능하기 때문이다.

어떻게 쓰나

추론 시점에는 파트너의 컨텍스트와 추론 트레이스가 모두 주어지지 않는다. 에이전트는 자기 컨텍스트로부터 먼저 K개의 잠재 ToM 토큰을 뿜고, 그 토큰을 컨텍스트에 포함시킨 상태에서 자신의 추론과 행동을 생성한다. 즉 잠재 토큰이 이후 사고와 행동의 조건자가 된다.

전제와 한계

실험은 협력·경쟁·혼합 동기가 섞인 5개 환경에서 이뤄졌다. Overcooked-AI는 3개 레이아웃 각 30시드, 다자 협상은 100샘플, Decrypto는 1000샘플, Hanabi는 100시드, Collab Capture와 Collab Escape는 각각 6·12시드다. Overcooked 평균 에피소드 점수는 미학습 Qwen3-8B 대비 12.0점 올랐고, 협상 성사율은 62.0%에서 71.0%로 상승하며 자기 점수와 집단 점수도 함께 개선됐다. Decrypto는 디코더 승률 +4.4%p, 인터셉터 승률 +6.1%p, Hanabi는 25점 만점에 11.3점(베이스 대비 +2.4, 최강 베이스라인 대비 +0.7), Collab Capture는 포획률 0.67에서 1.00으로 오르고 평균 턴 수가 4.76에서 4.32로 줄었으며, Collab Escape는 탈출률 0.76에서 0.92로 개선됐다.

베이스라인 비교가 이 논문의 핵심 논거다. 파트너의 실제 사적 사고를 추론 시점에 넣어주는 Oracle Partner는 베이스 대비 평균 23.0점을 올려 파트너 정보 자체의 가치가 크다는 것을 보여준다. 반면 파트너에 대해 명시적으로 추론하도록 프롬프트하는 방식은 평균 1.7점 상승에 그쳤고 Cramped Room에서는 오히려 성능이 떨어졌다. SimToM, Adaptive ToM 같은 고급 프롬프팅도 미미했다. 파트너 추론을 자연어 요약으로 학습하는 Language ToM은 Overcooked 평균 97.6점으로 세 레이아웃 모두에서 ToM2Vec에 6.0, 9.0, 12.3점 뒤졌고, Coordination Ring에서는 베이스보다 0.7점 낮았다. Collab Escape에서는 Language ToM이 10%p 하락한 반면 ToM2Vec은 16%p 올랐다. 잠재 추론이 필수적이라는 주장의 근거다.

일반화와 분석도 제시된다. Qwen3-8B 파트너로만 학습했는데도 테스트 시 GPT-5.4 파트너에서 평균 17.3점, Gemma-4 파트너에서도 소폭의 개선이 유지됐다. 또한 Overcooked 상태 300샘플에 대해 파트너의 믿음·욕구·다음 행동을 6지선다로 물었을 때 ToM2Vec이 세 항목 모두 최고 정확도를 기록하며 차순위 베이스라인을 각각 5.6, 2.0, 2.7점 앞섰다. 파트너 컨텍스트를 다른 레이아웃이나 적대적 의도로 오염시키면 파트너 실제 추론에 대한 퍼플렉서티가 1.412에서 1.702, 1.613으로 올라갔고, 정답 CoT에 최저 퍼플렉서티를 부여한 비율은 98.6%였다. 잠재 토큰이 태스크 특이 정보가 아니라 파트너 특이 정보를 담는다는 증거로 제시된다.

개발자 관점에서 이 논문은 멀티 에이전트 파이프라인에서 상대 에이전트 모델링을 프롬프트 엔지니어링으로 해결하려는 접근에 경고를 준다. 상대의 의도를 글로 풀어쓰게 하면 성능이 거의 오르지 않거나 특정 상황에서 역효과가 날 수 있고, 학습이 필요하더라도 잠재 토큰을 조건자로 넣는 편이 낫다는 것이다. 다만 도입 전 확인할 점이 있다. 학습 파트너의 CoT에 접근할 수 있어야 하고, 에이전트와 파트너가 같은 베이스 모델로 표현 공간을 공유해야 하며, 프롬프팅과 달리 별도 학습 단계가 필요하다. 또한 실험은 전부 영어 과제이고, 파트너 모델이 바뀌면 이득이 줄어드는 경향(Gemma-4가 GPT-5.4보다 작음)도 감안해야 한다.