WildAWM이 GUI·MCP·CLI 합성 세계로 컴퓨터 사용 에이전트를 훈련한다

무엇인가

이 논문은 LLM 에이전트 학습이 인간 데이터에서 세계와의 상호작용으로 옮겨가면서 실행 가능한 환경 공급이 병목이 됐다는 문제를 다룬다. 실제 컴퓨터에서 RL을 돌리면 상태 초기화가 어렵고 온라인 서비스가 바뀌며 탐색 행동이 예기치 않은 부작용을 낼 수 있다. 수작업 환경은 통제와 검증을 되찾지만 비싸고 확장이 어렵다. 컴퓨터 사용 에이전트(CUA)는 GUI, CLI, MCP 서버 호출을 섞어 일을 처리할 수 있는데, 기존 합성 파이프라인은 브라우저·도구 호출·터미널처럼 한 인터페이스에 특화되는 경우가 많다. WildAWM은 이 셋을 함께 지원하는 개인 컴퓨터 세계와 교차 인터페이스(XAI) 과제를 합성하려 한다.

어떻게 동작하나

세계 합성은 웹 애플리케이션, MCP로 접근하는 서비스, 로컬 파일이 쌓인 개인 컴퓨터 상태를 세계로 정의한다. WebHarbor의 미러 웹사이트 15개를 붙여 시각적 GUI 상호작용의 범위를 넓힌다. 먼저 직업, 지인, 자주 쓰는 웹사이트, 여러 날에 걸친 진행 중 활동을 담은 페르소나를 만들고, 이를 하루 단위 계획으로 확장한다. 코딩 에이전트가 전날 상태 W(c,d-1)를 보고 연속성을 유지한 채 하루씩 물질화해 누적 상태 W(c,d)를 만든다. 재사용 가능한 이벤트 스킬과 앱 구현 라이브러리를 두고, 새 활동이나 없는 MCP 서비스가 나오면 스킬과 데이터베이스 스키마·백엔드를 새로 만든다. 상태 변경은 결정적이고 재생 가능한 프로그램으로 수행하며, 두 번의 독립 재생이 같은 상태를 내고 서비스가 건강할 때만 남긴다. 별도 코딩 에이전트가 계획과 상태의 일관성을 검증한다.

무엇과 다른가

과제 합성은 W0에서 생성기가 살아 있는 환경을 탐색해 GUI, MCP, CLI를 모두 써야 하는 XAI 과제를 제안하는 방식이다. 이미 수용됐거나 동시에 개발 중인 과제와 가장 덜 비슷한 제안을 고르는 다양성 게이트를 둔다. 선택된 제안마다 과제 명세 τ, 실행 가능한 검증기 V, 루브릭 R, 힌트 h, 하위 과제 분해 문서를 만든다. 검증기는 초기 상태 W0, 최종 상태 W, 에이전트 답 a를 받아 N개의 이진 기준 v_i를 평가하고, 성공은 모든 기준을 만족하는 곱으로 정의한다. 기준별 점수는 장기 RL을 위한 세밀한 피드백과 가치 추정에 쓰인다.

어떻게 쓰나

이어서 과제마다 6개 롤아웃을 수집한다. 절반에는 힌트를 준다. 3개 오픈소스 모델(GLM-5.2, DeepSeek-V4-Flash, MiniMax-M3)과 6개 하네스(OpenCode, Codex, Claude Code, Nanobot, OpenClaw, Hermes Agent)를 조합한 18개 모델-하네스 쌍이 실행한다. 판정은 프로그램 검증기, 의미적으로 평가하는 LLM 심사자, OpenCode로 초기·최종 환경을 여러 턴 검사하는 에이전트 심사자의 세 층으로 교차 확인한다. 다섯 품질 게이트는 모든 롤아웃에서 세 판정이 일치하는지, 초기 상태가 이미 만족되지 않는지, 성공 롤아웃이 최소 하나인지, 힌트 없는 3개 롤아웃의 성공 수 k로 난이도를 나누는지(k≤1 어려움, k=2 보통, k=3 너무 쉬움), 그리고 틀린 결과를 주장하는 반사실적 프로브에도 에이전트 심사자가 원 판정을 유지하는지를 본다. 실패한 후보는 최대 두 번 수정 라운드를 거쳐 모든 게이트를 다시 통과해야 한다. 수용된 과제의 평균 성공률은 21.3%였고, 과제당 평균 4.2개 하위 과제와 3.1회 인터페이스 전환을 가지며 74.5%는 이전에 쓴 인터페이스를 다시 방문한다.

전제와 한계

훈련은 검증된 검증기를 보상으로 쓰는 GRPO로 한다. 포맷 오류가 나면 보상은 -1이고 롤아웃을 종료하며 실패한 스텝의 생성 토큰에만 그래디언트를 준다. 정상 롤아웃의 보상은 min(1, V(W0,W,a) + 0.1/N Σ v_i)로, 성공은 1점을 주고 체크리스트 점수로 부분 신용을 준다. 작은 모델에서 보상 분산이 0이 되는 문제를 줄이려고 DAPO에서 영감을 받은 롤아웃 배수 추정을 둔다. 과제별로 필요한 롤아웃 배수 ⌈K/G⌉를 지수 이동 평균으로 추정하고, 초기값 1, 상한 3, 최적화 스텝마다 가중치 0.8로 갱신한다. K>G이면 보상 하위 절반과 상위 절반을 모두 포함하는 그룹을 골라 다양성을 만든다. 이점은 분산이 양수일 때 표준화하고, 모든 롤아웃이 같은 포맷 오류일 때는 -K^-1/2를 주어 포맷 학습 신호를 남긴다.

실험은 341개 XAI 과제를 100개 SFT, 208개 RL, 33개 인도메인 평가로 나눠 진행한다. OOD 평가는 웹 에이전트의 WebArena와 Online-Mind2Web, 클로 에이전트의 QwenClawBench와 ClawEval, 컴퓨터 사용 에이전트의 CUA-Gym, OSWorld-Verified, OSWorld 2.0, Agents’ Last Exam까지 8개 벤치마크다. 베이스 모델은 Qwen3.6-35B-A3B와 Qwen3.5-4B이고, GPT-6-Astra, GPT-5.6-Sol, GPT-5.5, Claude Opus 5, Claude Opus 4.8, GLM-5.2 같은 프런티어 모델과 비교한다. 합성 세계에서만 훈련한 두 모델은 8개 벤치마크 모두에서 개선됐다. 평균 상승폭은 35B-A3B가 10.58점, 4B가 8.21점이다. 큰 모델이 더 많이 올랐고 ClawEval +16.67, OSWorld-Verified +16.06, WebArena +13.72, CUA-Gym +12.22를 기록했다. 35B-A3B의 평균은 42.84에서 53.42로 올라 WebArena에서 GLM-5.2와 맞먹는 67.26을 냈고, Online-Mind2Web에서는 80.77로 GPT-5.5의 72.22를 넘었다.

분석은 합성 세계의 규모와 검증 품질을 따로 확인한다. WildAWM 환경 상태는 여러 날 활동이 누적돼 중앙값 52.4K 토큰인데, CUA-Gym의 과제별 주입 상태는 1.1K 토큰이다. 그런데도 Vendi 점수는 모든 표본 크기에서 더 높고 최근접 이웃 코사인 거리는 0.25 대 0.20으로 중복이 적다. 24개 모델-하네스로 다시 평가했을 때 모든 과제가 최소 한 에이전트에 의해 풀렸고, 합성에 쓴 세 오픈소스 모델만으로도 95% 이상을 풀었다. 힌트를 주면 세 모델 중 최소 하나가 모든 과제를 풀고 51.5%는 세 모델 모두 풀었다. GPT-6-Astra도 pass@1이 약 60%이고 8번 시도해도 27.3% 과제는 실패했다. 검증기는 무작위 100개 롤아웃에서 다수 판정과 95% 일치, Cohen’s κ 0.90을 보였다. 품질 게이트를 하나씩 빼면 평균이 2.60~9.30점 떨어졌고, 판정 일치와 초기 불만족 게이트를 빼면 인도메인 검증 점수가 21.59에서 각각 3.79, 3.05로 무너졌다. RL에서는 포맷 패널티, 체크리스트 부분 점수, 워밍 스타트가 모두 중요했고 워밍 스타트 제거가 가장 큰 하락을 냈다.

개발자 관점에서 이 논문은 CUA 학습용 환경을 직접 만들 때 참고할 체크리스트를 준다. 환경은 GUI만이 아니라 CLI와 MCP를 함께 노출하고, 과제가 인터페이스 전환을 강제하도록 설계해야 한다. 검증기는 단일 심사자 판정에 기대지 말고 프로그램 검증기와 LLM·에이전트 심사자의 일치율, 초기 상태 불만족, 반사실적 프로브까지 확인하는 편이 좋다. 보상은 성공/실패만 주는 대신 체크리스트 부분 점수를 더해 장기 롤아웃의 신용 할당을 돕고, 작은 모델에서는 보상 분산 0 그룹과 포맷 오류를 별도로 처리해야 한다. 저자들은 별도 한계 절을 두지 않았지만, 가장 어려운 OOD 사분위에서는 어떤 변형도 뚜렷한 이득을 보지 못했고 이는 교사 모델의 도달 범위 밖 과제다. 에이전트 심사자는 비용이 커서 합성 중 교차 검증에만 쓰고 최종 보상은 프로그램 검증기로 대체한다. 수용 과제는 최소 한 에이전트가 풀고 모든 에이전트가 풀지는 못하는 범위에 있으므로, 롤아웃 풀과 난이도 분포가 데이터 품질의 상한을 만든다는 전제도 함께 봐야 한다.