CUA-Master가 오픈월드 영상과 재귀 루프로 컴퓨터 사용 에이전트를 키운다

무엇인가

컴퓨터 사용 에이전트(CUA)는 GUI 클릭과 CLI 명령을 섞어 실제 소프트웨어 워크플로를 자동화하는 모델이다. 논문이 지목하는 병목은 모델 구조가 아니라 데이터다. 작업과 궤적의 다양성이 부족하고, 합성 과정에서 난이도나 적용 범위를 통제하기 어렵고, 복잡한 작업일수록 실제 환경에서 검증된 궤적을 대량으로 모으기 어렵다. 기존 파이프라인은 '데이터 생성 → 학습'의 단방향이라 데이터가 모델의 약점을 겨냥하지 못하며, 최근의 재귀적 자기개선은 모델이 스스로 만든 경험에만 의존하는 닫힌 세계 최적화라 분포 편향이 강화되고 수익이 줄어든다고 저자들은 진단한다.

어떻게 동작하나

CUA-Master는 이 두 문제를 중첩된 이중 루프로 분리해 푼다. 바깥 루프인 world-data-model 플라이휠은 오픈월드 코퍼스에서 새 애플리케이션과 워크플로를 계속 끌어오는 동시에, 현재 모델의 도메인·애플리케이션 단위 실패 사례와 롤아웃 성공률 분석을 다음 반복에서 어떤 데이터를 더 만들어야 하는지에 대한 지시로 사용한다. 안쪽 루프인 데이터 플라이휠은 오픈월드 시딩(외부 지식 주입)과 자기촉매 확산(씨앗을 재사용 단위로 증폭)이라는 두 힘으로 구성된다.

무엇과 다른가

오픈월드 시딩은 8개 대분류, 36개 서브도메인, 650개 이상 애플리케이션으로 구성된 계층적 분류와 "tutorial", "how to" 같은 조작 지향 키워드로 YouTube·TikTok·Bilibili를 검색해 시작한다. 중복 제거와 메타데이터 게이트(영상 길이, 업로드 최신성, 소스 가용성, 분류 일관성), 홍보·오락·언어학습 콘텐츠를 걸러내는 노이즈 필터를 통과한 영상은 Whisper-Large-v3로 타임스탬프 전사를 붙이고, 별도 평가 모델이 CUA 적합도(0~5)와 궤적 재구성 가능성을 채점한다. 통과한 영상은 다시 도입부·광고·슬라이드 설명을 잘라내고 (시작 시각, 종료 시각, 과제) 형태의 독립 실행 가능한 씨앗 과제 여러 개로 분해된다. 궤적 재구성은 두 경로를 동시에 쓴다. 의미 경로는 "click", "press", "scroll" 같은 동작 표현이 담긴 전사 절을, 시각 경로는 FFmpeg의 프레임 외형 변화 점수가 임계값을 넘는 지점을 트리거로 삼고, 두 트리거가 시간 윈도 T 안에서 겹치는 후보만 채택한다. 이후 동작 재검토 모델이 전후 프레임과 문맥을 보고 후보를 추가·삭제·분할·병합하고, 동작 주석 모델이 좌표와 입력 텍스트를 채우고, 궤적 검증 모델이 중복 동작 제거와 불연속 지점 분할을 수행한다.

어떻게 쓰나

자기촉매 확산은 이렇게 얻은 씨앗을 애플리케이션 수준의 능력 원시 연산으로 추상화한다. 각 원시 연산은 (애플리케이션, 재사용 가능한 능력, 실행 전제조건, 환경 요구사항, 검증기 명세) 다섯 항목으로 표현되고, 애플리케이션별 라이브러리에 정규화·중복 제거되어 쌓인다. 과제 합성은 자유로운 문장 재작성이 아니라 제약된 원시 연산 조합이다. 조합할 원시 연산 개수 K와 관여 애플리케이션 수 N이 난이도를 직접 통제하는 노브가 되고, 전제조건과 환경 요구사항이 충돌하는 조합은 배제된다. 합성 과제는 원시 연산들의 환경 요구사항을 하나의 실행 환경 명세로, 검증기 명세를 하나의 과제 수준 검증기로 통합해 갖는다. 여기에 피드백 기반 스냅샷-롤백 재시도가 붙는다. 롤아웃이 검증에 실패하거나 비효율이 감지되면 검출기가 검증 잔차·궤적·환경을 함께 보고 가장 이른 상태 발산 지점과 실행 근거가 담긴 피드백을 내놓는다. 정답 행동을 노출하지 않는 피드백이며, 환경은 그 지점 직전의 증분 스냅샷(활성 앱, 창 배치, 관련 파일, 컨트롤러 메타데이터 포함)으로 되돌아가 유효한 접두사만 유지한 채 재시도한다. 예산이 소진되거나 통과할 때까지 반복하고, 최종적으로는 성공했으면서 가장 효율적인 분기만 남긴다.

전제와 한계

실행 계층은 Linux·Windows·macOS를 아우르는 백엔드 무관 프로필 기반 오케스트레이터로, 기본 이미지에 일회용 쓰기 오버레이를 얹는 방식으로 100개 이상 환경과 2000개 이상 동시 VM을 지원한다. 행동 공간은 GUI(computer.click, computer.scroll 등)와 CLI(shell.exec), 그리고 tool.call을 한 인터페이스로 묶은 하이브리드이며, 포인터 좌표는 해상도 독립적인 0~1000 정규화 좌표로 표현된다. 학습은 Qwen-3.5-27B에서 출발해 같은 베이스 체크포인트로부터 누적 데이터를 사용하는 SFT를 반복하고(각 반복 63K, 38K, 14K 과제, 최종 약 115K), 마지막 반복에서 약 12K 고품질 합성 과제로 GRPO 계열 온라인 RL을 수행한다. 과제마다 실제 VM에서 8개 궤적을 샘플링해 검증기 보상으로 어드밴티지를 추정한다.

결과는 OSWorld Verified 80.2, OSWorld 2.0 36.9, WeaveBench 43.9, Agents' Last Exam 25.0(전체 통과율)이다. 같은 27B급 전문 모델인 UI-Mate-27B 대비 네 벤치마크에서 각각 2.6, 12.9, 25.6, 11.8점 높다. GUI 전용 벤치마크에서는 397B 규모의 Qwen-CUA-397B-A17B와 경쟁하고, GUI+CLI 하이브리드에서는 오히려 앞선다. 교차 플랫폼 일반화도 WindowsAgentArena 56.2, MacOSWorld 43.0, MacAgentBench 59.9로 보고된다. 효율 지표도 함께 제시된다. OSWorld Verified 80.2점을 8분에 달성했고, OSWorld 2.0에서는 Qwen-3.8-27B를 36.9 대 36.5로 근소하게 앞서면서 실행 시간을 24% 줄였으며, WeaveBench에서는 34분으로 GPT-5.6-Luna와 동급 점수를 28% 적은 시간에 냈고, Agents' Last Exam에서는 Kimi-K3·Qwen-3.8-Max와 같은 성능을 34~36% 적은 시간에 기록했다.

분석 실험은 설계 선택의 근거를 보여준다. 하이브리드 행동 공간을 GUI 전용, CLI 전용과 비교하면 WeaveBench에서 43.9 대 6.6 대 11.5로 크게 벌어지고 GUI 전용 대비 실행 스텝이 23.8% 줄며, Agents' Last Exam에서는 5.9에서 25.0으로 오르며 스텝이 26.7% 감소한다. 데이터 플라이휠의 효과는 합성 과제 롤아웃 성공률로 드러난다. 원시 연산 40개·앱 3개 조합(Agents' Last Exam 평균 난이도에 해당)에서 약 50% 성공률을 기록해 처음부터 다시 롤아웃하는 베이스라인의 14.6%를 크게 앞서고, 50개·8개 앱의 최난도 설정에서도 18.7% 대 0.0%다. 반복이 거듭될수록 네 벤치마크 성능이 모두 올라 OSWorld Verified와 WeaveBench는 25점 이상 상승했고, SFT가 포화된 뒤 수행한 최종 RL이 OSWorld 2.0과 Agents' Last Exam을 각각 약 15점씩 추가로 끌어올렸다.

실무 관점에서 이 논문의 값은 모델 아키텍처보다 데이터 파이프라인에 있다. 검증된 궤적을 모으는 비용이 학습 전체 비용을 좌우하는 상황에서, 실패한 롤아웃을 통째로 버리지 않고 유효한 접두사를 재사용하는 스냅샷-롤백은 곧바로 차용 가능한 패턴이다. 또 과제 난이도를 문장 재작성이 아니라 원시 연산 개수 K와 앱 개수 N으로 통제하는 발상은, 자체 CUA 벤치마크나 RL 과제 세트를 만들 때 난이도 커리큘럼을 설계하는 기준이 된다. 다만 재현에는 16노드×8×H200 규모의 학습 자원과 100종 이상 VM 이미지 카탈로그, 그리고 영상 주석을 담당할 별도 대형 모델이 전제된다는 점을 확인해야 한다.

저자들이 인정하는 전제와 한계도 분명하다. 영상에서 재구성한 궤적은 주석 노이즈를 포함할 수 있고 대상 환경에서의 실제 실행과 반드시 일치하지는 않는다. 또한 각 학습 반복의 모델 자체를 주석기로 쓰는 self-policy 전략은 일부 개선은 주지만 이득이 상대적으로 제한적이었고, 더 강한 주석 모델을 쓸수록 반복 과정에서의 성능 이득이 컸다. 즉 이 플라이휠의 상한은 외부의 강한 주석 모델과 오픈월드 소스의 품질에 일정 부분 묶여 있다. 논문에는 별도의 한계 절이나 실패 유형 분석이 제시되어 있지 않으며, 모든 베이스라인은 동일 환경 구성·행동 인터페이스·평가 기준으로 재평가되었다는 점만 명시되어 있다.