EAU는 사용자 시뮬레이터와 환경까지 함께 진화시켜 다중턴 에이전트 RL을 안정화한다

무엇인가

이 논문은 사용자와 여러 턴에 걸쳐 상호작용하며 툴을 호출하는 LLM 에이전트를 RL로 훈련하는 문제를 다룬다. 저자들은 학습 신호가 정책만이 아니라 사용자 시뮬레이터와 환경이 함께 만드는 경험에 의존한다는 점을 핵심 난점으로 본다. LLM 사용자 시뮬레이터는 확률적이고 페르소나에서 벗어나거나 정보를 일찍 누설할 수 있으며, 환경은 불안정한 툴, 불완전한 상태 커버리지, 잘못된 검증기를 포함할 수 있다. 기존 연구가 보상 셰이핑이나 더 촘촘한 감독으로 불안정성을 완화하려 한 반면, 이 논문은 사용자 시뮬레이터와 환경을 고정 인프라로 두는 것 자체를 병목으로 지목한다.

어떻게 동작하나

제안 방법 EAU는 환경-에이전트-사용자 공진화를 위한 메타 에이전트 프레임워크다. 훈련 중 궤적, 툴 호출 흔적, 보상, 훈련 통계를 관찰해 실패나 정보량이 낮은 상호작용이 정책, 사용자 시뮬레이터, 환경, RL 설정 중 어디서 비롯됐는지 진단한다. 그 진단에 따라 사용자 시뮬레이터의 페르소나와 정보 공개 방식, 환경의 보상과 상호작용 제약, RL 하이퍼파라미터를 수정하는 개입을 제안한다. 검증된 변경은 진행 중인 학습 루프에 핫스왑되고, 실행 간에도 경험이 축적되어 다음 학습이 고정된 설정에서 다시 시작하지 않게 한다. 논문은 이를 사용자와 환경의 편집 가능한 기호적 표현 위에서 구현하며, 에이전트 자체는 신경망 LLM으로 RL 최적화한다.

무엇과 다른가

구성 요소를 보면 사용자 쪽에서는 파싱된 에이전트 출력과 상호작용 상태를 결정적으로 사용자 응답에 매핑하는 기호적 사용자 시뮬레이터를 도입한다. 이 규칙들은 메타 에이전트가 수정할 수 있는 노브로 노출되며, 확률 ε로 기호적 시뮬레이터를, 1-ε로 LLM 시뮬레이터를 쓰는 ε-기호적 혼합으로 제어 가능성과 자연스러움을 절충한다. 환경 쪽에서는 새로운 세계 모델을 학습하는 대신 중간 보상 규칙과 에피소드 길이 같은 상호작용 제약을 추가·수정한다. 에이전트 쪽은 PPO와 학습된 크리틱, GAE를 사용하되 크리틱과 정책을 액션 토큰에만 제한하고 GAE를 전체 토큰이 아니라 액션 단위로 계산해 턴의 장점이 관찰 텍스트에 희석되지 않게 한다. 메타 에이전트는 Claude Code나 Codex 같은 코딩 에이전트로 구현되어 로컬 파일시스템의 소스와 로그를 읽고, 훈련 측 피드백만으로 개입하며 경험 풀을 문서 디렉터리로 유지한다.

어떻게 쓰나

실험은 ColBench, UserGym, τ²-bench 세 사용자 중심 벤치마크에서 이뤄졌다. UserGym과 ColBench는 Qwen3-4B와 Qwen2.5-7B-Instruct를, τ²-bench는 Qwen3-4B를 정책 백본으로 쓴다. 비교 대상은 ReAct, Reflexion 같은 프롬프팅 방법과 RAGEN, Search-R1, UserRL, InfoPO, 일반 PPO다. 훈련 시 사용자 시뮬레이터는 CoSER(Llama-3.1-8B 기반)를 기본으로 쓰고 평가에는 GPT-4o-mini를 사용한다. 평가는 각 학습 실행이 끝난 뒤 수행하며 최종 테스트 피드백은 개입 제안·수용, 경험 풀 갱신, 후속 학습 선택에 쓰지 않는다고 명시한다. 실행 간 반복은 사전 재시작을 포함해 최대 5회로 제한된다.

전제와 한계

주요 결과에서 EAU는 두 백본 모두에서 비교한 RL 방법 중 가장 높은 종합 점수를 냈다. 가장 강한 기존 RL 베이스라인인 InfoPO와 비교해 Qwen3-4B에서 0.545에서 0.627로, Qwen2.5-7B-Instruct에서 0.544에서 0.615로 올라 각각 15.0%, 14.7%의 상대 개선을 보였다. 4B 정책으로도 Gemini-3-Flash(0.606)와 GPT-4.1(0.568)보다 높은 종합 점수를 기록했다. UserGym 평균은 InfoPO 대비 Qwen3-4B에서 0.559에서 0.622(+11.3%), Qwen2.5-7B에서 0.563에서 0.620(+12.3%)으로 올랐고, Qwen3-4B에서는 7개 환경 중 6개에서 최고 RL 베이스라인을 앞섰다. 훈련 중 보류한 Inten.에서 2.023으로 InfoPO의 1.862를 넘었지만 Tele.에서는 0.512로 InfoPO의 0.542에 조금 못 미쳐 전이가 균일하지 않음을 보였다.

ColBench에서는 Qwen3-4B 기준 Pass가 0.553에서 0.685(+23.9%), Succ.가 0.439에서 0.600(+36.7%)으로 오르고 평균이 0.496에서 0.643(+29.6%)이 됐다. Qwen2.5-7B-Instruct에서도 Pass 0.534에서 0.659(+23.4%), Succ. 0.426에서 0.533(+25.1%)으로 개선됐다. 더 엄격한 Succ. 지표에서 상대 개선이 더 커 단순 통과 기준을 넘어선 개선임을 보여준다. τ²-bench에서는 Qwen3-4B에서 EAU가 종합 21.5로 PPO의 18.5보다 16.2% 높았고 Airline과 Telecom에서 최고 점수를 냈으며, Retail에서는 InfoPO가 가장 좋았다.

절제 실험에서 기호적 사용자만 쓰는 변형은 LLM만 쓰는 변형보다 나빴고, ε=0.5로 기호적 응답과 LLM 응답을 섞은 하이브리드가 평균 Pass와 Succ.에서 LLM 단독보다 약간 높았다. 기호적 사용자와 실행 중 개입 스킬을 제거한 일반 메타 에이전트 베이스라인은 PPO 대비 결과가 엇갈렸고 Qwen2.5-7B-Instruct의 UserGym 성능은 오히려 낮아졌으며, EAU는 두 벤치마크와 두 백본 모두에서 이 베이스라인을 앞섰다. EAU는 UserRL이나 InfoPO와 결합해도 τ²-bench 종합 성능을 개선했고, 기본 메타 에이전트를 Codex(GPT-5.6-Sol)로 바꿔도 InfoPO 단독보다 나았지만 개선 폭은 기본 구성보다 작았다. ColBench에서는 첫 세 실행을 심각한 문제로 사전 재시작한 뒤 4번째 실행에서 여러 수정을 탐색하고 그 관찰을 5번째 실행으로 이어 두 번째 완료 실행에서 기존 최강 베이스라인을 넘었다. UserGym에서는 첫 네 실행의 같은 경험을 주고 5번째 실행에 실행 중 개입을 허용한 쪽이 실행 간 적응만 한 쪽보다 더 큰 개선을 보였다.

개발자 관점에서 이 논문은 다중턴 에이전트의 RL 성능을 보상 함수만으로 끌어올리려 하기보다, 사용자 시뮬레이터의 정보 공개 규칙, 툴 실패와 검증기 오류, 에피소드 제약, RL 하이퍼파라미터를 훈련 루프 안에서 계측하고 수정하는 운영 방식이 유효할 수 있음을 보여준다. 특히 결정적 기호 규칙과 LLM 시뮬레이터를 섞어 통제 가능성과 다양성을 함께 확보하는 설계, 변경을 검증 후 핫스왑하고 실행 간 경험을 축적하는 구조는 사내 시뮬레이터 기반 에이전트 학습 파이프라인을 설계할 때 참고할 만하다. 다만 저자들은 EAU가 훈련 코드, 보상, 사용자 시뮬레이터 동작을 바꿀 수 있어 구현 오류, 오해를 부르는 학습 신호, 의도치 않은 과제 정보 노출 위험이 있다고 밝힌다. 인터페이스 검사는 허용 가능한 업데이트를 제한할 뿐 행동의 정확성을 보장하지 않으며, 훈련 시 적응과 고정된 평가 프로토콜을 분리한 것은 실험 무결성에 대한 통제이지 배포 안전성을 입증하는 것은 아니다. 또한 보고된 설정을 재현하려면 외부 코딩 에이전트와 사용자 시뮬레이터 모델에 접근해야 하고, 실행 간 반복은 최대 5회로 제한되며 메타 에이전트 추론과 모든 시도 학습 실행을 포함한 동일 총컴퓨트 비교는 아니라는 점도 전제로 남는다.