대화가 아니라 합의된 계획으로 사회적 에이전트를 평가한다

무엇인가

사회적 에이전트 평가는 지금까지 대화 자체에 치우쳐 있었다. SOTOPIA 같은 기존 벤치마크는 LLM 심사위원이 목표 달성도, 사실성 같은 항목을 점수로 매기고, 후속 연구들은 그 점수를 올리도록 에이전트를 학습시킨다. 그러나 그 점수는 대화 끝에 합의된 계획이 참여자들의 조건을 실제로 만족하는지 확인하지 않는다. 예를 들어 동료에게 "내일 고객 발표를 도와달라"고 요청했을 때 "내가 대신 하겠다"는 답은 상대가 직접 발표할 수 있는지에 따라 맞을 수도, 완전히 틀릴 수도 있다. 발표 가능 여부, 예산, 권한 같은 결정적 사실은 오직 대화를 통해서만 드러난다.

어떻게 동작하나

이 논문은 HICO-Bench를 제안한다. 자원 배분, 일정 조정, 승인 등 6개 조율 계열에 걸친 180개 일상 시나리오로, 96개 학습·24개 개발·60개 테스트로 나뉜다. 각 시나리오는 공개 맥락은 동일하지만 비공개 조건 하나만 다른 두 개의 세계(w0, w1)로 구성되며, 두 세계의 정답 계획 집합은 서로 겹치지 않는다. 두 역할은 서로의 비공개 카드를 보지 못한 채 자유 형식으로 대화하고, 끝난 뒤 각자 공개 템플릿에 따라 합의했다고 믿는 계획을 구조화된 기록으로 독립 제출한다. 같은 제안을 두 세계에서 반복하는 에이전트는 반드시 한쪽에서 실패하게 설계되어 있다.

무엇과 다른가

평가는 두 단계다. Feasibility는 프로그램이 검사한다. 두 기록이 필드 순서를 무시하고 동일한지, 결과 종류(합의/거절/보류)가 해당 세계에 맞는지, 항목 값이 계열별 규칙(예: 자원 배분에서 몫의 합이 240달러이고 각자의 한도를 지키는지)을 만족하는지 본다. Integrity는 LLM 심사위원이 대화 전체와 두 기록을 읽고 네 가지 위반, 즉 수정되지 않은 사실 오류(없는 권한이나 자원을 만들어낸 경우), 진전 없는 반복 교환, 발언과 모순되는 기록, 출력 형식 텍스트의 대화 누출을 인용 근거와 함께 표시한다. 둘 다 통과해야 Verified Success다. 13개 LLM을 평가한 결과 Verified Success는 20.42%에서 82.50%까지 분포했고, 목표 달성 점수가 10점 만점에 8점 이상인 대화의 35.99%가 Verified Success에 실패했다. GPT-5.6 Luna는 Goal에서 9.61로 Gemini 3.7 Flash(9.54)를 앞서지만 Verified Success는 52.08% 대 82.50%로 크게 뒤진다. Qwen3-8B는 Feasibility 49.58%를 통과하고도 Verified Success는 20.42%에 그치는데, 손실의 대부분이 Integrity에서 발생한다.

어떻게 쓰나

PaCPO(Paired-Credit Policy Optimization)는 대화가 끝나야만 주어지는 결과 보상을 턴 단위로 재분배한다. 매 턴이 끝날 때마다 대화에 끼워 넣지 않은 채 정책에 "여기서 대화가 끝난다면 어떤 계획을 기록하겠는가"라는 임시 계획을 묻는다. 이 계획을 두 세계 각각의 Feasibility 규칙으로 검사해 2×2 행렬 M을 만든다. 대각 성분은 자기 세계의 계획이 자기 세계에 맞는지, 비대각 성분은 다른 세계의 계획이 이 세계에도 통하는지를 나타낸다. 두 세계를 가르는 비공개 조건이 양쪽 대화에 이미 드러난 경우에만 게이트를 열고, 짝지은 크레딧 d = M_ii − M_i,1−i 를 계산한다. 자기 세계에만 맞고 상대 세계에는 맞지 않을 때 양수가 된다. 잠재함수 Φ = αM_ii + βd(α=0.25, β=0.10)를 이용해 보상을 재분배하며, 이 항들이 텔레스코핑되므로 대화 전체 리턴은 변하지 않는다. 최적화는 PPO로 한다.

전제와 한계

실험은 Qwen3-8B를 LoRA로, 고정된 Qwen3-8B 파트너에 대항해 384개 대화로 학습했다. PaCPO는 Verified Success를 기존 20.42%에서 28.33%로 올려 PPO(25.0%), GRPO(26.3%)를 앞섰다. GRPO와 Feasibility는 같지만 Integrity가 더 높아, 개선이 "실현 가능한 계획을 더 잘 뒷받침하는 대화"에서 나온다는 것을 보여준다. 계열별로는 bounded quantities에서 22.50점, authorization에서 10.00점이 올랐고, resource allocation은 Base·PPO·PaCPO 모두 17.5%로 정체했으며 두 scheduling 계열은 여전히 어려웠다. 자기대국(self-play)에서도 28.33%로 기존 대비 6.39점, PPO 대비 1.11점 앞섰고, 추가 학습 없이 SOTOPIA의 70개 환경-캐릭터 쌍으로 전이했을 때도 두 파트너 설정 모두에서 우세했다. MultiWOZ에서는 통신 지표 81.17%(기존 79.87%), CaSiNo에서는 합의율 63.95%, 정규화 Nash 잉여 49.37%를 기록했다.

절제 실험은 세 가지 설계 선택을 분리한다. 다른 세계의 계획을 같은 세계의 두 번째 계획으로 바꾸면 26.25%, 턴별 크레딧을 뒤섞으면 26.25%로 떨어졌다. 조건이 공개되기 전에 게이트를 열면 25.83%로 가장 크게 하락했는데, 이는 크레딧을 공개 이후에만 부여해야 한다는 설계와 일치한다. 학습 중 게이트가 열린 턴의 55.6%에서 짝지은 크레딧이 0이 아니었다. 전문가 2명이 참여한 블라인드 파일럿에서 사람의 판단은 Feasibility와 100%, Qwen3.8-Max의 Integrity와 82.22% 일치했고, 24쌍 중 8쌍에서 PaCPO를 기존보다 더 유용하다고 선호했다(반대는 5쌍).

실무적으로 이 논문이 주는 신호는 명확하다. 사용자와 협상해 일정·승인·자원 배분 계획을 확정하는 에이전트를 만든다면, LLM 심사위원의 대화 품질 점수만으로 배포 여부를 판단하는 것은 위험하다. 대신 최종 합의를 구조화된 스키마로 강제로 기록하게 하고, 두 참여자의 기록이 일치하는지와 각자의 비공개 제약을 만족하는지를 프로그램으로 검사하는 것이 실질적인 품질 지표가 된다. 또한 보상이 에피소드 끝에만 주어지는 대화형 강화학습에서, 짝지어진 대조 시나리오를 이용해 턴 단위 크레딧을 부여하는 방식은 다른 도메인에도 응용할 수 있는 패턴이다.

저자들이 밝힌 한계도 분명하다. 벤치마크는 구조화된 결과를 갖는 6개 조율 계열만 다루며, Integrity 검증은 LLM 심사위원에 의존한다. 덜 구조화된 상호작용으로 검증을 확장하고 인간 검증을 늘리는 것이 다음 과제라고 명시한다. 또한 시나리오는 허구이거나 각색된 역할극 자료이며, 여기서 다루는 운영 조건은 실현 가능한 조율에 관한 것으로 실존 인물에 대한 판단을 세우지 않는다고 윤리 성명에서 밝힌다.