VeriCUA가 컴퓨터 사용 에이전트의 완료 판정을 능동 탐색으로 바꾼다

무엇인가

컴퓨터 사용 에이전트(CUA)는 데스크톱·모바일·웹 환경에서 자연어 지시를 받아 화면을 관찰하고 조작한다. 문제는 그 실행이 실제로 지시를 끝냈는지 판정하는 일이다. 저자들은 편집 내용이 저장되지 않았거나 경고 없이 조작이 실패해도 궤적만 보면 성공처럼 보인다고 지적한다. 에이전트가 지시의 일부만 수행하고 완료를 보고하는 경우도 흔하다. 이런 실행을 성공으로 받아들이면 거짓 양성이 되어 평가, 데이터 큐레이션, 강화학습 보상이 모두 오염된다. 기존 자동 검증은 두 갈래인데, VLM 판정자는 주어진 관찰로 제한되고 모델이 생성한 프로그램 검사기는 접근 가능한 상태에 의존한다. 둘 다 복잡한 디지털 환경의 부분적인 시야만 갖는다. 플랫폼과 접근 조건마다 별도 검증기를 맞춤 제작해야 하는 엔지니어링 비용도 문제로 지목된다.

어떻게 동작하나

VeriCUA는 검증을 '에이전트적 탐색'으로 정식화한다. 실행 에이전트의 시도가 끝난 뒤 검증기가 출발해, 먼저 사용 가능한 컨텍스트를 살펴 애플리케이션 구조와 과제 산출물을 파악한다(컨텍스트 검사). 이 관찰과 지시문을 함께 써서 검증 가능한 요구사항 목록인 루브릭 R={(r_i, h_i)}를 만든다. 각 요구사항 r_i에는 hard 또는 soft 표시가 붙는데, hard는 성공에 반드시 필요한 조건, soft는 추가 확인일 뿐이다. 중요한 설계는 hard 요구사항이 지시가 요구한 결과로만 정당화된다는 점이다. 예를 들어 메모 저장 과제에서 요구사항은 저장된 텍스트와 그 지속성이지, 탐색 중 발견한 저장 디렉터리가 아니다. 디렉터리는 증거를 찾을 위치일 뿐 성공 조건으로 승격되지 않는다.

무엇과 다른가

탐색 단계에서 검증기는 아직 해결되지 않은 요구사항마다 GUI 검사와 코드 검사를 골라 실행한다. 선택 규칙은 α_k ~ π_V(· | g, c, R, E_{k-1})로, 지시문 g, 컨텍스트 c, 루브릭 R, 지금까지의 검사 기록 E_{k-1}에 조건화된 정책이 다음 검사 행동을 정한다. 실행 계층(하네스)은 도구 관찰과 함께 증거 유형·출처 속성을 기록한다. GUI 도구는 프레임 선택, 영역 확대, OCR을 지원하고, 코드 도구는 파일 읽기, 데이터베이스 질의, 노출된 서비스 질의를 수행한다. 온라인에서는 여러 읽기와 그 결과를 평가하는 술어를 묶은 '검사기(checker)'를 합성해 한 번의 행동으로 실행할 수 있고, 구조적 술어는 제한된 평가기로, 시각·의미 비교는 모델 판단으로 처리한다.

어떻게 쓰나

이 논문의 핵심은 증거 규율이다. 각 발견(finding)은 어떤 루브릭 요구사항에 대한 지지인지 반박인지 밝히고, 자신을 반환한 검사 호출을 인용해야 한다. 하네스는 실행 기록과 대조해 존재하지 않는 호출을 인용한 발견을 거부한다. 출처 라벨은 attested와 asserted로 나뉜다. 사후 프레임, 파일 읽기, 데이터베이스 질의는 attested 증거이고, 실행 에이전트의 완료 메시지나 행동 직전 프레임은 asserted 증거다. asserted는 다음 검사를 유도할 수는 있어도 단독으로 요구사항을 충족 상태로 만들 수 없다. 중재는 결정적이다. '충족'은 attested 지지를, '미충족'은 서로 다른 탐사에서 나온 일치하는 반박을 요구하며, 결론이 나지 않으면 '미상'으로 남긴다. hard 요구사항이 모두 충족이면 성공, 하나라도 미충족이면 실패, 미충족 없이 미상만 남으면 기권(abstain) 또는 설정된 폴백 정책을 따른다. 같은 발견 집합에 대해서는 집계가 결정적이므로, 저장된 기록만으로 확인 임계값을 다시 평가할 수 있다.

전제와 한계

온라인과 오프라인은 같은 워크플로를 공유하되 접근 조건이 다르다. 온라인은 접근 가능한 기계 상태를 GUI와 코드로 확인하고, 애플리케이션 스키마가 호환되면 같은 과제의 반복 실행에 검사기를 재사용한다. 근거가 부족하면 기권해서 지원되지 않는 학습·필터링 라벨을 만들지 않는다. 오프라인은 고정된 타임스탬프 기록을 순방향(지지 탐색)과 역방향(반박 탐색) 두 경로로 감사하고, 완료된 모든 경로가 attested 지지를 줄 때만 충족으로 본다. 해결되지 않은 과제에는 탐색 전에 미리 계산해 감사 경로에서 숨겨둔 단일 패스 VLM 초기 판단을 폴백으로 쓴다. WebArena 궤적의 23%에서 이 폴백이 발동했다.

실험은 온라인에서 AndroidWorld(안드로이드 에뮬레이터), OSWorld(가상 머신), ScienceBoard(과학 데스크톱 환경)를, 오프라인에서 세 실행 에이전트가 만든 WebArena 궤적과 사람이 라벨링한 OSReward 궤적(4개 플랫폼, 여러 에이전트)을 쓴다. 비교 대상은 단일 패스 VLM 판정자(TRM 계열), 과제별로 모델이 생성한 평가 스크립트를 한 번 실행하는 자동 생성 검증기, 체크리스트 판정자 CUAJudge, 마일스톤 판정자 OS-Themis다. 지표는 골드 라벨과의 일치율, 성공 클래스의 정밀도·재현율·F1, 거짓 양성률이며 기권은 실패로 집계한다. 본문은 표 1·2의 개별 수치를 나열하지 않지만, 온라인 세 환경 모두에서 VeriCUA가 최고 정확도와 최저 거짓 양성률을 기록했다고 보고한다. 자동 생성 검증기는 세 환경 모두에서 VLM 판정자보다 정확했고, ScienceBoard에서 격차가 가장 컸다. 컨텍스트 검사 없이 만든 스크립트가 잘못된 상태 위치를 질의하기 때문이다. VeriCUA의 거짓 양성률은 생성형 검증기의 약 4분의 1 수준이며, 생성형 검증기는 OSWorld와 ScienceBoard에서 더 높은 재현율을, VeriCUA는 더 높은 정밀도와 정확도를 보였다. 오프라인에서도 최고 정확도와 균형 정확도를 냈고, OSReward에서는 어려운 하위 집합에서 가장 강한 판정자와의 격차가 전체 집합보다 커졌다. WebArena에서는 세 롤아웃 에이전트 모두에 대해, 또 베이스라인 판정자에게 접근성 트리만 따로 줄 때도 앞섰다.

분석은 방법의 어느 부분이 성과를 만드는지 분해한다. AndroidWorld에서 GUI 검사에 코드 기반 상태 확인을 더하면 거짓 양성은 그대로인 채 결정률과 재현율이 올라갔고, 코드 채널이 추가로 맞힌 결정은 모두 파일 또는 앱 저장소 읽기로 뒷받침됐다. WebArena에서 스크린샷에 접근성 트리를 더하면 정확도는 유지한 채 결정률이 올랐고, 트리만 쓰면 결정률이 가장 높고 비용이 가장 낮았지만 정확도는 떨어졌다. 테스트타임 탐색도 효과가 있다. 기본 설정(코드·구조화 상태 검사) 3회에 스크린샷과 파일 이미지 읽기를 쓰는 비전 폴백 1회를 더하고, 결정된 패스끼리 불일치하면 기권하는 규칙으로 묶자 일치율과 결정률이 각각 87%까지 올랐다. 같은 패스 수에서도 비전 패스는 지표를 개선했고, 이 결합 규칙은 같은 패스에 대한 다수결보다 잘못된 실패 판정을 적게 냈다. 거짓 완료 보고 탐지에서는 VeriCUA가 약 80%를 거부하며 세 환경 모두에서 두 베이스라인을 앞섰고, 생성형 검증기가 잘못된 완료 주장을 거의 거부하지 못하는 ScienceBoard에서 차이가 가장 컸다. 백본을 gemini-3-flash-preview에서 gemini-3.1-pro-preview로 바꾸면 OSReward-Hard에서 VeriCUA의 정확도와 균형 정확도가 올랐지만 비교 판정자들은 변화가 작거나 오히려 나빠졌다. 골드 라벨 감사에서도, 탐색이 실패로 확정한 부분집합은 각 벤치마크에서 실패 정밀도를 높였고, 블라인드 모델 심판은 표시된 궤적의 63%에서 VeriCUA의 판정을 지지했다(OSWorld에서 가장 명확).

실무 관점에서 이 논문이 주는 시사점은 검증기를 '판정하는 모델'이 아니라 '증거를 모으는 에이전트'로 다뤄야 한다는 것이다. 에이전트 궤적을 학습 데이터나 보상 신호로 쓰는 파이프라인이라면, 완료 메시지와 사후 화면만 신뢰하지 말고 파일·DB 같은 지속 상태를 attested 증거로 직접 확인하는 채널을 두는 것이 안전하다. 확신할 수 없을 때 기권해 라벨을 비워두는 정책은 데이터 오염을 줄이는 대신 재현율을 포기하는 트레이드오프이므로, 용도에 따라 기권을 실패로 볼지 별도 큐로 뺄지 정해야 한다. 저자들이 밝힌 한계도 분명하다. 오프라인 검증은 기록에 남아 있는 관찰에 묶여 있어, 그 관찰이 과제를 해결하지 못하면 초기 판단 폴백에 의존한다(WebArena의 23%). 즉 기록 품질이 나쁘면 탐색의 이점이 줄어들고, 온라인 역시 접근 가능한 기계 상태가 전제다. 또한 본문은 표에 담긴 세부 수치를 제시하지 않으므로, 도입 전 특정 환경에서의 정확도·거짓 양성률은 표와 부록을 직접 확인해야 한다.