LLM 에이전트 팀의 사회적 실패를 관계 궤적으로 진단해 페르소나를 재배치한다

무엇인가

LLM 에이전트를 팀으로 배치하면 개별 모델 성능과 무관한 방식으로 실패한다. 정보를 가진 에이전트가 침묵하고, 목소리 큰 발화자가 집단을 오답에 고정시키고, 규범 위반이 제재 없이 넘어간다. 논문은 이런 실패를 사회적 성격의 실패로 규정하고, 기존 멀티에이전트 개선 연구가 프롬프트·토폴로지·워크플로를 최적화하면서 팀을 블랙박스로 취급해 그 사회적 메커니즘을 살펴보지 않았다고 지적한다. 저자들이 드는 근거는 페르소나 구성 자체가 결과를 좌우한다는 점이다. 같은 백본, 같은 사적 정보 조건에서 페르소나 캐스팅만 바꿨을 때 GPT-5-mini의 Student-council 히든 프로파일 과제 top-1 정확도가 16.7%에서 100.0%로 올라간다.

어떻게 동작하나

제안하는 Agent Sociodrama는 팀을 고정된 페르소나의 모음이 아니라 시간에 따라 변하는 사회 시스템으로 다룬다. 각 에이전트는 실행 내내 변하지 않는 페르소나(정체성, 특질, 경계)와, 매 라운드 갱신되는 감정 상태 S(0.5가 중립, 0에 가까울수록 부정, 1에 가까울수록 긍정), 그리고 상대별로 방향이 있는 비대칭 관계 R=(호감도 fav, 관계 범주 status, 기억 M)을 갖는다. fav는 -1에서 1 사이의 연속값이고 status는 neutral·ally·rival·enemy 네 범주이며, M은 관계에 영향을 준 사건 요약과 중요도를 라운드와 함께 저장한다. 한 라운드는 세 단계로 진행된다. 먼저 각 에이전트가 볼 수 있는 이력만 모으는 문맥 조립, 다음으로 2단계 행동 생성, 마지막으로 상태 갱신이다. 2단계 행동 생성에서는 발화 순서가 뒤인 에이전트가 유리해지는 문제를 막기 위해, 1단계에서 모든 에이전트가 동일한 정보로 발화 긴급도(0~10), 공개·비공개·침묵 모드, 수신자, 한 문장 의도를 먼저 정하고, 2단계에서 긴급도 내림차순으로 실제 발화한다. 침묵한 에이전트는 추론 비용을 쓰지 않는다. 감정과 관계 갱신은 페르소나 특질과 관찰된 사건을 조건으로 하는 외부 LLM 호출로 이뤄지며, 한 라운드의 급격한 변화를 막기 위해 감정 변화량과 호감도 변화량을 각각 ±0.3으로 자른다. 관계 범주는 임계값 기반 전이와 배신·동맹 같은 중대 사건에 의한 갱신을 함께 쓰고, 둘이 겹치면 후자가 우선한다. 기억은 최대 K개 항목만 유지하며 보존 점수가 낮은 것부터 밀어내되 중요한 사건은 더 오래 남긴다.

무엇과 다른가

이 궤적을 실제 성능 개선으로 바꾸는 장치가 Trajectory-Guided Persona Recasting(TPR)이다. 캐스팅은 balanced·dominant·analytical·agreeable·reserved 다섯 아키타입 라이브러리에서 각 에이전트에 하나씩 배정하는 문제로 정의된다. 반복 루프는 세 단계다. 먼저 현재 캐스팅으로 과제를 r회 실행해 효용, 대화 기록, 감정 궤적, 관계 궤적을 기록한다. 다음으로 외부 LLM이 페르소나 구성·대화 기록·최종 결과·궤적을 보고 누구의 정보가 억눌렸는지, 누가 도움이 되지 않는 방식으로 주도했는지, 누구를 어떻게 바꿔야 하는지를 한 문장 근거와 함께 진단한다. 마지막으로 r회 실행의 재배치 결정을 에이전트별 다수결로 합쳐 다음 캐스팅을 만든다. 루프는 과제 목표 달성, 변경 제안 없음, 또는 최대 3회 재배치 중 먼저 오는 조건에서 멈춘다. 진단은 세 층위를 본다. 개인 수준의 감정 상태는 반복 무시 뒤의 위축과 중립적 침묵을 구분하고, 관계 쌍 수준의 방향성 관계는 겉으로 예의 바른 대화 속에서 정보 보유자가 점점 무시되는 상황을 드러내며, 집단 수준의 관계 패턴은 대화에 명시되지 않은 동맹 형성, 양극화, 규범 위반에 대한 공동 반응을 보여준다.

어떻게 쓰나

사회적 충실도 검증은 6개 백본(GPT-4o, GPT-5-mini, Claude Sonnet 4.6, Gemini 3.1 Flash-Lite, Grok 4.20, DeepSeek V4-Flash)과 5개 사회 시나리오(병원 윤리 심의, 상속 분쟁, 모험가 파티 퀘스트, 태양광 농장 협상, 철거 대치)에서 이뤄졌다. 시나리오-모델 조건마다 9라운드 에피소드 5회씩, 총 150개 팀 궤적과 1,350개 팀 수준 상호작용 라운드를 GPT-4o 판정자로 평가했다. 시나리오가 갈등적으로 갈수록 평균 최종 호감도는 0.75에서 0.23으로, E-I 지수는 -0.10에서 -2.25로, 구조적 균형은 100.0%에서 71.7%로, 관계 회복률은 58.5%에서 18.9%로 떨어졌다. 반면 최종 호혜성은 병원 0.35에서 선술집 0.74, 퀘스트 0.78, 협상 0.91로 오르고 철거 대치에서도 0.68을 유지해, 갈등이 심한 환경이 오히려 양방향 정렬이 강할 수 있음을 보였다. 같은 시나리오에서도 모델별 차이가 컸고(모든 시나리오에서 Kruskal-Wallis p<0.01), 선술집 조건에서 GPT-5-mini는 호감도 0.75·E-I -0.22로 약한 양극화를, Claude는 호혜성 0.93·회복률 80.0%를 보였다. 인간 판정과의 비교에서는 13명 평가자 간 일치도가 낮았고(관계 Fleiss κ=0.288, 감정 0.184), 13명 중 7명 이상이 같은 방향으로 표시한 항목에 대해 LLM 판정자는 관계 갱신 76.2%, 감정 갱신 88.2%에서 다수 의견과 일치했다.

전제와 한계

재배치 실험은 Student Council, NASA Moon Survival, Lost at Sea, Solar-farm Negotiation 네 협업 벤치마크에서 4명 에이전트(Avery, Blake, Casey, Drew)로 수행됐다. 앞의 세 과제는 사적으로 분배된 정보를 통합해야 하고, 태양광 협상은 상충하는 선호를 가진 에이전트들이 파레토 효율적 합의에 도달해야 한다. 초기 캐스팅은 수동 배치(Hetero)와 무작위 추출(Random) 두 가지이며, 캐스팅마다 12개 에피소드로 평가했다. TPR은 두 초기화 모두에서 네 과제 전부 성능을 올렸고, 초기 캐스팅 대비 최대 83.3%p 정확도 향상을 냈다. Hetero 조건에서 GPT-5-mini는 Student Council 16.7%→100.0%, Gemini는 NASA Moon Survival 오차 17.17→12.00, GPT-5-mini는 Lost at Sea 오차 38.17→28.83을 기록했다. SOTOPIA·AgentVerse와의 비교에서는 네 조건 중 세 곳에서 최고 평균을 냈고, 협상 과제 파레토 비율은 Hetero 48.6%, Random 44.4%로 SOTOPIA(18.1%, 6.9%)와 AgentVerse(22.2%, 40.3%)를 앞섰다. AgentVerse가 Random NASA에서만 12.89 대 12.92로 근소하게 앞섰다. 감정·관계 상태 갱신을 제거한 절제 실험에서도 전체 TPR이 일관되게 더 좋았고, 협상 과제 파레토 비율은 Hetero 조건에서 27.8%에서 48.6%로 올랐다. Lost at Sea 사례에서는 최종 재배치가 Blake를 dominant, Casey를 analytical, Drew를 agreeable, Avery를 balanced로 배정해 평균 L1을 21.83에서 11.33으로 낮췄다.

실무적으로 이 논문이 주는 시사점은 에이전트 팀의 실패를 개별 모델 성능 문제로 보지 말라는 것이다. 팀이 정보를 다 가지고도 오답에 수렴하거나 협력이 무너지는 현상은 발화 순서, 침묵 허용, 관계 상태 추적 같은 구조적 선택에서 나온다. 특히 2단계 행동 생성(긴급도 기반 순서 + 침묵 옵션)과 관계 메모리는 대화 기록만으로는 보이지 않는 위축·무시·동맹을 수치로 남기므로, 로그 기반 디버깅이 어려운 멀티에이전트 파이프라인에 진단 신호를 제공한다. 도입을 검토한다면 페르소나 라이브러리 정의, 재배치 반복 상한, 그리고 과제 지표를 LLM 판정이 아닌 규칙으로 계산할 수 있는지를 먼저 확인해야 한다.

원문에는 별도의 한계 절이 없고 결론에서도 한계를 명시하지 않지만, 방법과 실험 설계에 드러난 전제는 분명하다. 페르소나는 balanced·dominant·analytical·agreeable·reserved 다섯 아키타입 라이브러리 안에서만 탐색되고, 재배치는 최대 3회로 제한되며, 한 실행 안의 모든 에이전트는 같은 백본으로 인스턴스화된다. 감정·관계 갱신과 진단은 외부 LLM 호출에 의존하고, 사회적 방향 판단 자체가 모호해 인간 평가자 간 일치도가 낮았다(관계 κ=0.288, 감정 κ=0.184). 저자들도 개선 폭이 과제와 백본에 따라 달라진다고 밝히며, 검증된 시나리오가 5개 사회 시나리오와 4개 협업 벤치마크로 한정된다는 점을 감안해 읽어야 한다.