Cowork-Gym이 협업 환경 6만4천개를 합성해 에이전트를 학습시킨다

무엇인가

이 논문이 다루는 것은 언어모델 에이전트가 여러 도구와 파일을 오가며 지속적인 워크스페이스에서 일하는 상호작용 패턴이다. 논문은 이를 cowork라 부르며 Claude Cowork, Codex, QwenPaw, OpenClaw 같은 시스템을 예로 든다. 핵심 문제는 사용자가 작업 도중 새 정보를 주거나 제약을 바꾸거나 입력 자체를 교체하기 때문에, 과제 상태가 처음에 고정되는 것이 아니라 사용자와 에이전트 양쪽에 의해 형성된다는 점이다. 이런 환경을 대규모로 만들려면 과제 목표, 실행 가능한 자원, 사용자 행동, 성공 기준 사이의 일관성을 유지해야 한다. 최종 응답이 맞아 보여도 필수 산출물이 없거나 워크스페이스가 잘못된 상태로 남아 있을 수 있어서, 수작업 준비와 검사 비용이 크고 오류가 나면 과제가 풀 수 없게 되거나 점수가 틀리게 매겨진다.

어떻게 동작하나

논문은 cowork 환경을 다섯 요소의 묶음 E=(g, s0, I, πU, V)로 형식화한다. g는 과제 지시와 완료 요건, s0는 초기 워크스페이스와 지속 상태, I는 도구·스킬·메모리·권한을 포함한 인터페이스 집합, πU는 상태 기반 사용자의 비공개 맥락과 개입 정책, V는 최종 워크스페이스와 산출물을 결정적으로 검사하는 V_code와 의미적 정확성·과정 증거를 평가하는 V_LLM을 결합한 하이브리드 검증기다. 과제 명세는 두 경로로 만든다. 위에서 아래로는 6차원 분류체계(17개 능력 라벨, 14개 최상위 응용 시나리오, 3단계 시나리오 계층)에서 조건을 샘플링하고, 아래에서 위로는 재무보고서·법률문서·진단보고서·코드 저장소·논문 모음 같은 기존 자원의 내용과 조작 가능한 연산에 맞춰 과제를 도출한다. 이렇게 얻은 명세를 실행 가능한 환경으로 만드는 것이 build–execute–revise 루프다. Builder가 s0, I, πU를 구성하고 Verifier Constructor가 Builder와 격리된 샌드박스에서 V를 독립적으로 만들며, Issue Detector가 조립된 환경을 실제로 돌려 결함을 찾아 소유권에 따라 담당 구성자에게 되돌린다. 릴리스 기준을 통과하거나 반복 예산이 소진될 때까지 이 루프가 돈다.

무엇과 다른가

사용자 쪽은 상태 기반 시뮬레이터가 맡는다. 에이전트 샌드박스 밖에서 실행되며 페르소나, 잠재 목표, 지식 경계, 상호작용 이력, 신호 계획을 담은 비공개 프로필을 갖는다. 에이전트의 각 작업 구간이 끝나면 응답과 공개 상호작용 이력, 허용된 워크스페이스 상태를 검토하고 모호함이 남거나 초안 수정이 필요하거나 오류가 나거나 입력이 바뀌면 개입한다. 대화 피드백뿐 아니라 파일 패치나 도구 기반 편집으로 소스 데이터를 직접 고쳐서, 이전 관찰과 중간 결과를 무효화하고 에이전트가 파일을 다시 읽고 가정을 고치고 의존 산출물을 갱신하도록 만든다. 롤아웃으로 얻은 궤적은 필터 F(τ,E)가 기록 무결성, 과제 결과, 성공 주장과 복구 가능성이라는 세 축으로 걸러낸다. 그다음 모델 조건부 선택으로 목표 학생 모델에 맞춰 궤적을 고른다. 평균 음의 로그우도(NLL)와 Rank–Surprisal Ratio(RSR) 두 기준을 쓰며, 궤적 길이 분포가 흔들리지 않도록 동일 빈도의 길이 구간 안에서 순위를 매긴다.

어떻게 쓰나

학습은 두 갈래다. 먼저 SFT를 하고 결과 기반 강화학습을 붙이는 직접 적응 경로에서는, 에이전트가 생성한 토큰에만 손실을 계산하고 공개 사용자 메시지·도구 관찰·워크스페이스 이벤트는 맥락으로만 넣는다. 강화학습은 GRPO를 쓰되 환경의 검증기 V_code와 V_LLM 점수를 가중 기하평균으로 결합하고, 둘 중 하나라도 0이면 보상을 0으로 준다. 산술평균 대신 기하평균을 쓰는 이유는 한쪽만 높은 궤적을 더 강하게 벌하기 위해서다. MoE 모델은 학습 중 라우터 가중치를 동결한다. 다른 갈래는 on-policy distillation으로, 베이스 체크포인트에서 초기화한 학생이 스스로 환경과 상호작용해 궤적을 모으고 같은 크기의 SFT 또는 SFT+RL 교사가 같은 상호작용 접두사에 대해 내놓는 다음 토큰 분포를 KL 발산 최소화로 따라간다.

전제와 한계

실험 규모는 14개 응용 시나리오와 17개 능력에 걸친 64,888개 환경이다. 원시 궤적 77,729개 중 유효성 필터를 통과한 것은 24,732개(31.82%)이고, 모델 조건부 선택을 거쳐 17,312개가 학습에 쓰였다. 강화학습은 2,873개 환경에서 수행했다. 유효 궤적은 중앙값 10개의 도구 사용 어시스턴트 스텝을 가지며 중간 50% 구간이 6~16스텝이다. 단일 턴이 67.01%, 멀티턴이 32.99%이고 멀티턴의 중앙값은 15스텝(9~24)으로, 20스텝을 넘는 비율이 멀티턴 32.69% 대 단일 턴 15.80%로 차이가 난다. Qwen3.5-9B, Qwen3.6-27B, Qwen3.6-35B-A3B를 학습한 결과 6개 에이전트 벤치마크 평균에서 각각 +8.7, +6.4, +4.1점이 올랐고 18개 모델–벤치마크 비교 중 17개에서 개선됐다. 9B는 Workspace-Bench +14.64점, ALE +13.39점에서 가장 크게 올랐고, 27B는 ClawEval +11.97점, ClawMark +10.17점이 두드러진다. Ours-27B는 6벤치 평균 0.6119로 전체 2위(GLM-5.2가 0.6157)이며 PawBench와 ClawEval에서 평가 대상 전체 최고 점수를 기록해 100B 초과 모델들을 앞섰다. 다만 WildClawBench에서는 9B가 1.36점 오르는 데 그쳤고 35B-A3B는 0.52점 하락했으며 세 모델 모두 GLM-5.2에 크게 뒤진다.

절제 실험도 구체적이다. 단일 턴 학습 집합에 멀티턴 궤적을 더하면 세 벤치마크 평균이 모두 오르고 ClawMark에서 +3.23점이 났다. 하네스 전이는 수집에 쓰지 않은 Hermes에서도 나타나는데, QwenPaw만으로 학습하면 +7.2점, OpenClaw만으로 학습하면 +9.0점이었다. OpenClaw만으로 학습한 모델이 QwenPaw에서 +10.0점을 얻어 QwenPaw만 학습한 경우(+9.1점)를 넘었고, 두 소스를 합치면 QwenPaw와 OpenClaw 모두 31.8% 통과율을 기록했다. 궤적 선택에서는 유효 풀의 70%만 남긴 NLL 선택이 세 모델 크기 모두에서 모든 지표를 개선했고, 9B와 27B는 NLL이, 35B-A3B는 RSR이 대부분 지표에서 더 좋았다. on-policy distillation은 ClawEval pass@3를 베이스 대비 +4.5점 올려 교사 이득의 약 80%를 회복했고 격차는 1.1점만 남았으며, GPQA-Diamond에서는 베이스에 근접하면서 SFT 교사보다 +4.54점 높았다.

개발자 입장에서 이 논문의 값은 에이전트 학습 데이터를 사내에서 합성할 때의 참조 설계에 있다. 환경을 과제·워크스페이스·인터페이스·사용자 정책·검증기의 묶음으로 정의하고, 검증기를 코드 검사와 LLM 채점으로 이중화하며, 사용자 시뮬레이터가 대화뿐 아니라 워크스페이스를 직접 고쳐 중간 결과를 무효화하도록 만드는 구조는 그대로 차용할 만하다. 하네스를 명시적 롤아웃 변수로 두고 수집에 쓰지 않은 런타임으로 전이를 측정하는 방식도 실무 검증에 유용하다. 다만 저자들이 밝힌 한계를 함께 봐야 한다. 환경은 개인 업무의 합성 근사치여서 분류체계 기반 생성이 특정 과제·문화·언어·접근성 요구·실패 모드를 빠뜨릴 수 있고, 자원 기반 생성은 가용한 워크스페이스와 인터페이스의 한계를 그대로 물려받는다. 현재 풀은 브라우저·파일·데이터·오피스 워크플로에 치우쳐 있어 복잡한 시각 인터페이스, 전문 데스크톱 소프트웨어, 오디오·비디오 과제는 과소 대표되어 있으므로 규모를 실제 업무 분포의 대표성으로 해석하면 안 된다. 검증기 신뢰도가 데이터 선택과 강화학습을 동시에 제약한다는 점도 명시되어 있다. 프로그램 검사는 취약할 수 있고 언어모델 채점자는 편향되거나 지나치게 관대할 수 있으며, 양성·음성·변이 테스트가 위험을 줄이지만 제거하지는 못하므로 거짓 수용률과 거짓 거부율을 정량화할 대규모 인간 감사가 필요하다고 저자들은 적었다.