NorthCUA는 대규모 경험 파이프라인으로 컴퓨터 사용 에이전트를 학습시킨다

무엇인가

이 보고서는 컴퓨터 사용 에이전트(CUA)를 단일 클릭 예측에서 복잡한 소프트웨어 작업 완수로 확장하려면 의사결정과 결과를 연결하는 경험이 필요하다는 문제를 다룬다. GUI는 API나 CLI로 노출되지 않은 기능을 마지막 구간에서 열어 주지만, 긴 워크플로에서는 이전 행동이 이후 상태를 바꾸고 중간 진행, 사용자 제약, 오류 복구를 계속 유지해야 한다. 그래서 다양한 실행 가능 과제를 만들고, 장기 상호작용을 기록·평가하는 하네스와 그 기록을 학습에 쓰는 절차를 함께 설계해야 한다고 주장한다.

어떻게 동작하나

NorthCUA의 핵심은 경험 생산과 사용을 공동 설계하는 Experience Flywheel이다. 과제는 요청, 입력 자료, 환경 설정, 설치 지시, 결과 평가 요건을 담은 CaseSpec으로 패키징된다. Flywheel은 Scaling Intents로 사용 가능한 소프트웨어와 콘텐츠에서 요청을 만들고, Scaling Environments로 작업 공간을 구축하거나 참조 웹사이트를 재구성하며, Scaling Verifiers로 요청·초기 상태·검증기를 함께 조정해 실행 가능한 과제를 늘린다. 또한 스크린샷과 질의, 대상 위치를 짝지은 그라운딩 예제를 별도로 공급한다. 해결되지 않은 유효 과제는 재귀적 자기개선(RSI)으로 보내 재사용 가능한 절차를 축적하고, 검증된 마일스톤에서 소프트웨어 상태와 에이전트 문맥을 보존해 이후 시도가 이전 진척 위에서 이어지게 한다.

무엇과 다른가

NorthCUA Harness는 이 과제를 실행하고 평가해 학습 가능한 기록으로 바꾸는 전 과정 인프라다. 공유 런타임은 ReAct 방식의 관찰·행동·피드백 루프를 제공하고, Agent Kit이 데스크톱과 웹의 관찰·조작 도구를 공통 인터페이스로 분리한다. 장기 작업을 위해 최근 화면 프레임을 제한적으로 유지하는 action-aware visual context, 클릭·드래그·스크롤 흔적을 이전 프레임에 표시하는 오버레이, 현재 상호작용을 보호하면서 진행 상황을 요약하는 task-preserving context compaction, 구조화된 작업 기억을 사용한다. 실행 후에는 실행 기록과 살아 있는 작업 공간을 함께 검사하는 evaluator가 완료 여부와 실행 품질을 평가하고, Batch Rollout Service가 병렬 워커와 단계 중첩으로 대규모 수집을 조정한다.

어떻게 쓰나

학습은 Staged Learning으로 이어진다. 먼저 Broad GUI mid-training에서 수십 개 애플리케이션에 걸친 400만 단계 이상의 GUI 상호작용과 그라운딩 예제를 섞어 인터페이스 이해와 조작 기반을 만든다. 다음으로 Verified long-horizon SFT가 실행 가능한 검증기를 통과하고 중간 결과가 이후 결정을 뒷받침하는 완전한 워크플로에 집중한다. 마지막으로 joint desktop–web agentic reinforcement learning이 하나의 정책을 데스크톱과 웹 양쪽에서 새로 시도하게 하고, 과제 검증기가 매긴 결과를 GRPO로 학습한다. 갱신된 정책은 같은 Harness로 돌아와 새 시도를 남기고, 그 기록이 다시 학습 경험으로 큐레이션되는 순환을 이룬다.

전제와 한계

실험은 GUI 그라운딩, 데스크톱 실행, 웹 상호작용을 아우르는 여섯 벤치마크에서 이뤄졌다. NorthCUA 계열은 Qwen3.5 기반의 Nano 9B, Mini 35B, Pro 397B로 구성된다. 논문은 세 영역 모두에서 공개 소스 모델 중 최고 성능을 달성했다고 보고한다. 397B Pro는 두 그라운딩 벤치마크와 OSWorld-Verified, WebArena-Verified에서 조 단위 파라미터의 Qwen3.8-Max와 Kimi-K3를 앞선다고 주장한다. 35B Mini도 OSWorld-Verified에서는 Kimi-K3를, WebArena-Verified에서는 Qwen3.8-Max를 능가한다고 밝힌다. 세 모델 크기 모두 long-horizon SFT와 joint RL 이후 데스크톱·웹 실행 성능이 향상됐다는 단계 비교도 제시된다. 다만 본문에 수록된 부분에서는 Nano·Mini·Pro의 벤치마크별 절대 점수 수치는 제시되지 않아, 확인 가능한 것은 순위와 상대 비교다.

지연 시간을 줄이는 별도 변형도 제시된다. NorthCUA-Ultrafast는 RL 이전 Nano에 Jev에서 영감을 받은 choice head를 붙여, 유한한 행동은 직접 선택하고 개방형 출력은 기존 생성 경로로 처리한다. Head-only는 4.21M 파라미터, 전체 멀티모달 체크포인트의 약 0.045%만 학습하고, Head+LoRA는 언어층의 저랭크 업데이트를 더해 47.49M 파라미터를 학습한다. 226,000개의 학습 결정 상태와 5,203/6,087개의 검증·테스트 상태를 사용한다. 검증 route-and-target 정확도는 Head-only 86.1%, Head+LoRA 88.2%다. 테스트에서 Head-only는 85.4%로 전체 생성의 85.0%와 비슷했고, full-action exact-match는 각각 64.0%와 64.6%였다. WebArena-Verified 812개 과제에서 Head-only는 481개, Head+LoRA는 492개(60.6%)를 성공해 전체 생성의 64.2% 성공률 대비 3.6%포인트 차이를 보였다. 생성 우회율은 각각 40.2%, 31.1%였고, 고정 320개 타이밍 하위 집합에서 평균 작업 시간은 616.8초에서 288.8초, 266.8초로 줄어 Head+LoRA가 약 2.3배 빨랐다. 이때 궤적 길이는 9.45단계에서 10.2·10.6단계로 오히려 조금 길어졌다.

한국 개발자에게 이 보고서는 장기 실행형 데스크톱·웹 자동화 에이전트를 만들 때의 시스템 청사진으로 쓸 수 있다. 과제 명세, 실행 하네스, 결과 검증, 학습 샘플 변환을 같은 인터페이스로 묶는 Experience Adapter식 발상은 사내 자동화 데이터를 정책 개선으로 연결하려는 팀에 특히 유용하다. 다만 실제 도입 전에는 검증기의 술어가 업무 요구를 얼마나 덮는지, evaluator의 판단 보정이 충분한지, 격리된 작업 공간과 최소 권한 자격 증명이 적용되는지 확인해야 한다. 외부 페이지와 문서를 통한 간접 프롬프트 인젝션, 라이선스·개인정보·자격 증명 검토도 운영 전제다.

저자들이 밝힌 한계도 분명하다. 낯선 소프트웨어와 바뀌는 인터페이스 관례는 여전히 어렵고, 문서 기반 그라운딩과 스킬·마일스톤 기반 수집으로 커버리지를 넓히는 일은 계속 필요한 과제다. 피드백 품질은 실행 가능한 검증기의 적용 범위와 개방형 콘텐츠에 대한 모델 판단 보정에 의존한다. 긴 워크플로는 많은 결정을 하나의 최종 결과로 몰아넣기 때문에 중간 피드백과 크레딧 할당을 개선할 여지가 있다고 인정한다. 배포 측면에서는 격리된 작업 공간, 명시적 도구 프로필, 실행 기록 보존, 승인된 접근과 중요 행동 확인, 애플리케이션별 적대적 테스트가 필요하다고 강조한다.