상대의 숨은 믿음을 잠재변수로 학습해 멀티에이전트 정책을 훈련한다

무엇인가

이 논문이 푸는 문제는 부분 관측(partial observability) 아래에서의 멀티에이전트 의사결정이다. 상대 에이전트의 목표·믿음·지식·전략은 직접 관측되지 않으므로, 행동의 결과는 외부 환경뿐 아니라 상대의 숨은 정신 상태에 좌우된다. 저자들은 현재 LLM 기반 에이전트 시스템들이 프롬프트 설계, 메모리, 자기비판·성찰, 멀티턴 자기대화(self-play), 선호 기반 강화학습 같은 방식으로 행동을 다듬을 뿐, 과제 간에 재사용 가능한 명시적 파트너 상태 표현을 학습하지 않는다고 지적한다. 그 결과 해석 가능성이 떨어지고, 불확실성이 정량화되지 않으며, 파트너 모델링이 정책 학습기에 체계적으로 통합되지 못한다는 것이다. 논문의 핵심 질문은 상호작용 이력으로부터 상각(amortized) 잠재 믿음 상태를 학습해 멀티에이전트 정책 학습의 안정적인 훈련 신호로 쓸 수 있는가이다.

어떻게 동작하나

방법의 첫 축은 상각 정신모델 학습이다. 시점 t의 관측과 이력 h_t로부터 은닉 변수 z_t의 사후분포 p(z_t|h_t)를 근사하는 q_ω(z_t|h_t)를 학습한다. 이때 정신모델을 단일 평면 잠재변수로 두지 않고 1차 상태 z^(1)과 그에 조건화된 고차 상태 z^(2)로 재귀적으로 분해한다. q_ω(z^(1),z^(2)|h_t) = q_ω1(z^(1)|h_t)·q_ω2(z^(2)|h_t,z^(1)) 형태다. 각 잠재변수는 다시 belief, intent, thought의 세 의미 부분공간(BIT)으로 나뉘고, 각각 대각 공분산을 가진 다변량 가우시안으로 모델링해 VAE 스타일로 불확실성을 표현한다. 1차 잠재변수는 표준정규 사전분포를, 고차 잠재변수는 z^(1)이 유도하는 조건부 가우시안 사전분포를 쓴다. 학습 목표는 정신 상태 감독 y_t와의 불일치 항에 압축 페널티를 더한 형태다.

무엇과 다른가

두 번째 축은 정신모델 인지 효용 모델이다. 잠재변수만으로는 행동을 결정할 수 없으므로, 후보 행동 a_t의 결과를 정신모델 잠재변수에 조건화해 평가하는 효용 예측기를 학습한다. 구체적으로 ū(h_t,a_t) = E_{z_t~q_ω}[û_ψ(h_t,a_t,z_t)]로, 이력이 허용하는 그럴듯한 정신 상태들에 대해 기대값을 취해 후보 행동 점수로 바꾼다. 정신모델과 효용 모델은 분리 학습 시 두 가지 실패 모드가 생기므로(해석 가능하지만 결정과 무관한 정신모델, 잠재변수를 무시하고 표면 특징으로 점수를 설명하는 보상 모델) 후보 보상 항, 정신 상태 추론 항, 보조 항을 합친 목적으로 공동 최적화한다. 마지막으로 이 효용을 스칼라 보상으로 만들어 정책을 학습한다. 후보를 샘플링하고 정신모델 인지 보상으로 점수를 매겨 그룹 상대 어드밴티지를 구성하는 mental-reward-guided GRPO를 쓰며, 기준 정책과의 KL 항으로 기반 정책에서 너무 멀어지지 않게 묶는다. 배포 시에는 학습된 정책만 사용하므로 추론 비용이 늘지 않는다.

어떻게 쓰나

실험은 언어 전용과 멀티모달 양쪽에서 이뤄졌다. 모든 학습 에이전트는 7B급 백본에 LoRA 어댑터를 붙였고, 주 백본은 Qwen2.5-7B-Instruct, 추가 비교로 LLaMA2-7B-Chat과 Mistral-7B-Instruct-v0.3, 멀티모달은 Qwen2.5-VL-Chat을 썼다. Sotopia에서 GPT-4o-mini 파트너 고정 시 전체 점수는 LLaMA 3.330→3.541, Mistral 3.511→3.784, Qwen 3.290→3.856으로 세 모델 모두 개선됐다. 파트너 유형을 GPT-4o-mini와 자기 자신으로 평균한 설정에서도 LLaMA 6.588→7.245, Mistral 7.109→7.552, Qwen 7.087→7.633으로 일관됐다. Sotopia-hard에서도 세 모델 모두 평균 점수가 올랐고, Sotopia 유래 ToM 데이터로만 학습한 모델을 Craigslist Bargain 협상 100개 예시에 태스크 특화 파인튜닝 없이 전이했을 때 높은 거래 성사율을 유지하며 결렬(walkaway)을 줄였다. BigToM에서는 보고된 6개 설정 평균으로 짝지은 TB/FB 정확도가 26.7%p 향상됐고, ToMi로의 OOD 전이에서도 Average와 Joint 점수가 베이스보다 개선됐다. 멀티모달 MMRole에서는 Out 분할에서 1.019로 MMRole-Agent(Out)의 0.981을 앞섰으며, Coherence·Response Accuracy·Personality Consistency·Knowledge Consistency·Tone Consistency에서 개선이 두드러졌다.

전제와 한계

분석 절은 잠재변수가 단순한 압축 코드가 아님을 보이려 한다. 같은 Sotopia 데이터로 평면 압축 VAE를 학습해 비교하면, 잠재변수를 뒤섞었을 때 평면 VAE는 보상 벡터 MSE에 거의 영향이 없지만 정신모델 z는 보상 예측을 크게 교란한다. BIT 부분공간은 CKA로 볼 때 서로 분리되면서도 연관되어 있고, 동일 차원의 평면 잠재변수보다 ToM 관련 MMRole 요인을 선형 프로브로 더 잘 복원한다. 1차→2차 잠재변수의 재귀적 정렬을 깨는 셔플 대조군은 보상 정보보다 2차 정신 상태 정보를 더 많이 잃는다. 감독량 민감도 실험에서는 Sotopia 주석의 25%만 써도 전체 점수가 베이스 대비 0.350점 올랐고 100%에서 3.856까지 증가했다. 대각 공분산 대신 완전 공분산 사후분포를 쓰는 변형은 홀드아웃 5,976개 시나리오에서 보상 랭킹·마진·믿음 복원이 거의 동일했고, 0.2점 차이는 표본 불확실성 ±0.65점 이내여서 비용 대비 이득이 없었다.

개발자 관점에서 이 논문의 실용적 포인트는 파트너 모델링을 프롬프트 텍스트가 아니라 학습되는 잠재변수로 옮기고, 그 잠재변수를 보상 모델을 거쳐 정책에 증류한다는 점이다. 추론 시에는 정책만 돌리면 되므로 지연 시간이나 프롬프트 길이가 늘지 않고, 잠재변수는 과제 간 재사용을 전제로 설계됐다. 다만 도입을 검토한다면 세 가지를 확인해야 한다. 첫째, 정신 상태 주석이 어느 정도 필요한가인데 논문은 25% 수준의 부분 감독으로도 이득이 있다고 보고한다. 둘째, 보상 모델의 감독 신호가 벤치마크마다 다르게 구성된다는 점이다. 셋째, 정책 학습이 GRPO와 기준 정책 KL 항에 의존하므로 기존 SFT 파이프라인에 얹을 때 하이퍼파라미터 재조정이 필요하다.

저자들이 밝힌 한계는 명확하다. 학습 환경이 주로 2자(dyadic) 상호작용이며, 다자간 설정은 부록의 FANToM 제로샷 전이로 초기 증거만 제시했을 뿐 참여자별 잠재변수를 갱신하는 종단간 다자간 학습은 향후 과제로 남긴다. 또한 언어와 이미지 기반 역할극을 넘어 로봇·체화 환경으로 확장할 수 있다고 보지만, 그곳에서는 파트너의 믿음·목표·가시성·물리적 제약이 더 긴 시간 지평에서 변한다. 더 큰 정책, 더 다양한 파트너 모델, 온라인 믿음 갱신, 인간 참여 평가로 확장해 명시적 정신 상태 구조가 어디까지 견고한 멀티에이전트 행동을 개선하는지 검증하는 것도 남은 일이다.