GUI 에이전트가 미래 화면을 그리지 않고 잠재공간에서 행동을 고른다

무엇인가

이 논문은 GUI 에이전트가 다음 화면을 미리 그려보고 그걸 다시 인식해서 행동을 고르는 기존 방식이 왜 비싸고 부정확한지를 분석하고, 그 예측 대상을 화면 픽셀이 아니라 잠재공간의 미래 정보로 옮기는 방법을 제안한다. 대상 환경은 안드로이드 앱 조작 같은 모바일 GUI로, 결제나 계정 삭제처럼 되돌릴 수 없는 조작이나 긴 행동 시퀀스에서 실패를 미리 감지하는 것이 동기다.

어떻게 동작하나

문제 진단은 두 갈래다. 첫째, 자기회귀·확산 기반 화면 합성은 지연이 커서 실시간 상호작용의 병목이 된다. 둘째, GUI 전환은 외형 변화가 크고 다양해서 픽셀 공간 월드 모델이 행동 선택에 필요하지도 않은 외형 디테일까지 재구성해야 한다. 저자들은 여기서 정체성 지름길(identity shortcut) 문제를 지목한다. 화면 전체를 재구성하도록 학습하면 모델이 행동이 유발한 변화를 잡는 대신 현재 화면 정보를 그대로 재사용하는 쪽으로 기운다는 것이다. 실제로 렌더러블 HTML 예측이나 확산 기반 스크린샷 생성 모델은 다음 상태가 크게 바뀌는 경우에도 현재 GUI와 시각적으로 가까운 미래 화면을 내놓았고, 전환 폭이 클수록 이 경향과 함께 하위 성공률도 떨어졌다.

무엇과 다른가

제안 구조는 LoRA를 붙인 대형 멀티모달 모델 하나를 공유 백본으로 쓴다. 현재 스크린샷, 과제 목표, 상호작용 이력, 그리고 고정된 GUI 에이전트가 제시한 K개의 후보 행동을 하나의 프롬프트에 무작위 순서로 넣고, 마지막 토큰의 은닉 상태를 후보별 잠재 표현으로 얻는다. 가벼운 액션 헤드가 이 표현을 스칼라 점수로 매핑해 소프트맥스로 후보 분포를 만들고, 정답 행동의 원-핫 분포와 교차엔트로피로 학습한다. 동시에 트랜지션 헤드가 같은 은닉 표현에서 다음 상태의 잠재 표현을 예측하고, 목표 인코더가 실제 다음 스크린샷을 인코딩해 그 타깃으로 삼는다. 후보 순서가 매 예제마다 섞이기 때문에, 정답 행동의 다음 상태를 맞히려면 공유 표현이 어떤 후보가 맞는지와 그것이 무엇을 초래하는지를 함께 담아야 한다.

어떻게 쓰나

정체성 지름길을 막기 위해 행동 인지 대조 학습(action-aware contrastive objective)을 추가한다. 예측한 미래 잠재를 앵커로, 실제 다음 상태 잠재를 양성으로 두고, 현재 스크린샷의 잠재를 명시적 음성으로 쓴다. 여기에 다른 전환들의 잠재를 담은 FIFO 메모리 뱅크를 음성 집합에 더한다. 현재 상태만 음성으로 쓰면 'Most popular'와 'Closest'처럼 정렬 옵션만 다른 유사한 결과를 구분하지 못하기 때문이다. 모든 잠재는 L2 정규화하고 온도 τ를 두며, 최종 손실은 행동 손실과 λ를 곱한 전환 손실의 합이다. 추론 시에는 트랜지션 헤드를 버리고 공유 백본과 액션 헤드만으로 후보를 단일 포워드 패스에서 평가한다.

전제와 한계

오프라인 평가는 AndroidControl, AITZ, 분포 외 일반화용 GUI-Odyssey에서 했다. 백본은 GPT-5.6, Gemini 3.6 Flash, GUI-Owl-7B, Qwen3-VL-8B, Qwen3-VL-32B이고 비교 대상은 렌더러블 코드를 예측하는 Code2World와 확산 기반 스크린샷 생성 월드 모델이다. 행동 타입 예측은 AndroidControl에서 +0.9~+4.3점, AITZ에서 +0.3~+4.9점 올랐고, 8개 백본-데이터셋 조합 중 7개에서 스텝 단위 성공률이 최대 +4.8점 개선됐다. 반면 픽셀 공간 월드 모델은 모든 오프라인 설정에서 베이스 에이전트보다 성공률이 최대 8.6점 낮았다. 좌표 정밀도(Grounding)는 상대적으로 개선이 일관되지 않은데, 이 방식이 어떤 후보를 고를지 바꿀 뿐 개별 후보의 좌표를 다듬지는 않기 때문이라고 저자들은 설명한다.

온라인 AndroidWorld에서는 다섯 백본 모두에서 최고 전체 성공률을 기록해 베이스 에이전트 대비 +4.5~+12.5점, 어려운 과제에서 +5.6~+11.1점 올랐다. 비용은 Code2World가 베이스 대비 약 2.1~4.1배, Diffusion2Image가 약 4.5~18.2배 실행 시간이 걸린 반면, 이 방법은 훨씬 낮은 지연으로 더 높은 성공률을 냈다. 초록 기준으로 픽셀 공간 월드 모델 대비 성공률 상대 이득은 오프라인 31.9%, 온라인 40.6%까지이며 추론 지연은 최대 98.9% 감소한다. 모듈 절제 실험에서는 베이스 27.68에서 액션 헤드만 추가해 36.36, 트랜지션 헤드를 코사인 회귀(point-wise)로 붙여 38.18, 이를 대조 학습으로 교체해 40.18로 올라 총 +12.50점을 확인했다. 분포 외 GUI-Odyssey에서도 잠재 모델이 두 백본 모두 최고 성공률을 냈고 픽셀 기반 모델들은 베이스보다 낮았다.

실무 관점에서 이 논문이 주는 신호는 명확하다. GUI 자동화 파이프라인에 예측 모듈을 넣을 때 '다음 화면을 생성'하는 접근은 지연과 토큰 비용이 크고, 전환 폭이 큰 화면에서 오히려 성능을 떨어뜨릴 수 있다. 대신 후보 행동 재평가기(rescorer)를 잠재공간에서 학습하면 베이스 에이전트 위에 얹는 비용이 실행 시간 0.08~0.46초, 토큰 61~675개 수준으로 억제된다. 다만 이 방식은 고정된 GUI 에이전트가 던져준 후보 집합을 재순위화하는 구조이므로, 후보 자체에 정답이 없으면 개선 여지가 없다는 점을 먼저 확인해야 한다. 학습 설정은 LoRA rank 16, alpha 32, dropout 0.05, AdamW 학습률 4e-5, 배치 8, 3 에폭, λ=1.0, τ=0.07이며 A6000 한 장으로 8시간이 걸린다.

한계로 저자들이 명시한 것은 좌표 수준 그라운딩이 개선되지 않는다는 점, 그리고 베이스 에이전트 대비 실행 시간과 토큰이 소폭 증가한다는 점이다. 또한 이 방법은 후보 행동을 제안하는 외부 GUI 에이전트에 의존하며, 트랜지션 헤드는 추론에서 폐기되므로 예측 능력 자체를 런타임에 활용하지는 않는다. 논문 본문에는 별도의 한계 절이 따로 제시되어 있지 않다.