CoworkEnv는 장기 협업 에이전트용 실행형 훈련 환경을 합성한다

무엇인가

이 논문은 AI 동료가 여러 턴에 걸쳐 도구를 조율하고, 사용자와 대화하며, 변하는 워크스페이스 상태에 맞춰 행동하고, 워크플로 제약을 지키는 능력을 어떻게 훈련할지 다룬다. 이런 능력의 훈련 경험을 만들려면 사용자 요청, 서비스 기록, 도구 인터페이스, 채점 검사가 서로 맞아떨어져야 한다. 그럴듯한 최종 답변만으로는 의도한 상태 변경이 일어났는지, 금지된 행동을 피했는지 확인할 수 없기 때문에 저자들은 실행 가능한 환경 자체를 합성 대상으로 삼는다.

어떻게 동작하나

CoworkEnv의 기본 단위는 요청, 초기 상태, 도구 인터페이스, 채점 검사로 이루어진 과제 환경이다. 개발자가 고른 역량 요구사항을 서비스 조합, 난이도, 업무 시나리오의 커버리지 계획으로 바꾸고, LLM이 서비스 카탈로그와 출력 형식, 예시를 받아 사용자 요청과 초기 서비스 기록, 구조화된 완료 검사, 금지 행동을 생성한다. 프로그램은 서비스 레지스트리에서 설정을 채우고 완료 검사와 금지 행동을 고정된 채점기 템플릿에 넣어 과제를 실행 가능하게 만든다. 예를 들어 에스컬레이션 과제는 티켓 생성 시각과 고객 등급을 결합해 48시간 넘게 열린 엔터프라이즈 계정 티켓을 고르고, 계정 관리자 주소를 찾아 메일을 보내게 하며, 최근 고우선순위 티켓은 조건을 만족하지 않는 방해 기록으로 둔다.

무엇과 다른가

안전 시나리오는 검색한 정보에 대한 행동을 제한한다. 결제 변경 조사 과제는 의심스러운 메일, 정상 대응 기록, 거래 내역을 함께 두고, 증거 수집에는 완료 점수를 주되 지정된 제출이나 메시징 행동에는 안전 게이트를 작동시킨다. 생성자-판별자 설계에서 생성자는 요청과 기록을 초안하고, 판별자는 별도 문맥에서 안전 시나리오 설명과 기록을 받아 완료 검사와 금지 행동을 정한다. 생성된 명세는 파싱 가능성, 서비스 등록과 초기 기록 존재, 완료 가중치 합 1, 필수 도구와 금지 도구의 충돌 여부, 요청에 정답 식별자가 노출되지 않았는지를 검사한다. 또한 합성 도구 호출과 감사 기록으로 채점 일관성을 시험해, 완료 조건을 만족한 기록은 만점을 받고 빈 기록은 완료 0점, 금지 호출 추가 시 안전 0점이 되는지 확인하며 실패는 진단 피드백으로 돌려 재생성한다.

어떻게 쓰나

교사 모델은 Harbor의 Claude Code 어댑터로 과제를 실행하고, 런타임은 초기 서비스 기록을 로드해 서비스 시작과 초기화를 관리한다. 교사는 요청과 초기 상태에서 행동을 고르고 관찰을 받으며, 한 시도는 요청, 행동과 관찰의 연쇄로 기록되고 채점기는 실행을 점수화한다. 데이터 큐레이션은 교사 평균 완료율로 과제를 나눠 중간 그룹의 시연을 남기고, 일관되게 완료되는 과제는 정규화된 과제 접두사당 하나로 제한하며, 완료율이 가장 낮은 그룹은 제외한다. 내보내기 단계에서는 보상 임계값을 통과한 궤적만 남기고, 변환 단계에서는 사용자·어시스턴트 메시지로 쓸 수 없는 기록, 너무 짧은 시퀀스, 도구 호출이 과도한 시퀀스, 문자 예산을 넘는 예제를 제거한다. SFT는 Qwen3-VL-8B-Instruct에 LoRA를 적용해 어시스턴트 응답과 도구 호출 토큰만 마스킹해 같은 가중치로 학습하고, RL은 학생이 환경과 상호작용해 만든 궤적과 채점기 보상으로 정책을 최적화한다. RL에서는 보상이 없으면 해당 샘플을 중단하고 불완전하거나 인프라 실패한 롤아웃 그룹은 이점 추정 전에 거부·재시도한다.

전제와 한계

실험은 Claw-Eval의 General 161개와 Multi-turn 38개, 총 199개 과제, 그리고 13개 전문 영역의 100개 과제로 구성된 ClawMark에서 진행됐다. 주 지표는 0에서 100으로 환산한 평균 과제 점수이고, Claw-Eval의 베이스와 SFT 결과는 같은 평가 설정에서 과제당 세 번 시도한 평균이다. Pass@3와 Pass 3는 세 번의 시도 중 최소 한 번, 그리고 세 번 모두 0.75 이상에 도달한 과제 비율을 뜻한다. 비교에는 Claw-Eval 공개 참조 모델 14개와 ClawMark 웹사이트 참조 모델 7개가 포함됐다. 저자들은 모든 훈련 과제를 벤치마크 테스트 세트와 독립적으로 구성했다고 밝힌다.

Qwen3-VL-8B-Instruct를 SFT한 PocketWorker-8B(Claw-Eval SFT)는 Claw-Eval Overall이 46.6에서 64.1로 17.5점 올랐다. Multi-turn은 45.9에서 77.8로 31.9점, General은 46.7에서 60.9로 14.2점 향상됐다. Pass@3/Pass 3는 Multi-turn 78.9/50.0, General 44.1/34.2, 합산 50.8/37.2로 베이스의 28.6/21.6보다 높다. 4B 모델도 SFT로 General 28.7에서 36.6, Multi-turn 56.1에서 66.0으로 각각 7.9점, 9.9점 올랐고, ClawMark에서는 PocketWorker-8B(ClawMark SFT)가 11.8에서 19.4로 7.6점 향상됐다. 데이터 규모 실험에서도 8B SFT Overall은 20%, 50%, 100% 데이터에서 50.8, 55.6, 64.1로 늘어 전체 데이터가 가장 높았다. 저자들은 8B의 Multi-turn 77.8이 공개 프런티어 모델 점수 범위 안에 있다고 설명하면서도, 특정 참조 모델을 앞선다고 주장하려면 평가 설정을 맞춰야 한다고 단서를 붙인다.

RL 비교는 감독 워밍업 체크포인트에서 GRPO, Dr.GRPO, GDPO, GiGPO를 약 3에폭 학습해 이뤄졌다. Qwen3-VL-8B-Instruct 베이스 대비 Overall은 GRPO 56.6, GDPO 57.2로 각각 10.0점, 10.6점 높아졌고, Multi-turn은 45.9에서 GRPO 72.5, GDPO 74.9로 26.7점, 29.0점 올랐다. General은 46.7에서 52.8, 53.0으로 6.1점, 6.3점 증가했다. 저자들은 보상 처리, 이점 추정, 신용 할당 방식에 따라 학습 동역학과 과제 범주별 성능이 달라진다고 보고하며, GDPO가 Multi-turn에서 더 높고 GRPO가 Multimodal에서 더 나은 경향을 언급한다. 학습 보상이 최적화 과정에서 상승해 합성 환경이 여러 RL 방법의 정책 최적화를 지지한다는 예비 증거를 제시한다.

개발자에게 이 논문은 장기 협업 에이전트를 작은 모델로 학습시킬 때 환경 합성, 교사 궤적 큐레이션, SFT, RL을 하나의 파이프라인으로 묶는 참조점을 준다. 특히 실행 기록과 감사 로그로 채점하는 방식, 요청 누출 검사, 안전 게이트, 데이터 규모에 따른 성능 곡선은 사내 워크플로 에이전트를 평가할 때 확인할 만하다. 다만 저자들은 실행 점수가 채점기에 인코딩된 속성만 측정하므로 그 밖의 오류를 놓칠 수 있고, 교사 성공 필터가 중복 시연을 선호하거나 유용한 복구 행동을 버릴 수 있다고 밝힌다. 실패 궤적의 활용과 원래 교사 궤적 재생성에 필요한 독점 모델 접근도 남은 과제이며, 합성 워크플로로 학습한 에이전트를 실제 조직에 배포하면 부정확하거나 승인되지 않은 행동을 할 수 있다는 윤리적 경고도 붙는다.