FocusGUI는 GUI 에이전트가 매 단계 필요한 단서에 집중하도록 만든다

무엇인가

이 논문은 GUI 에이전트가 스크린샷, 오디오, 비디오, 상호작용 이력, 기기 상태 같은 스트리밍 멀티모달 관찰 위에서 행동하는 상황을 다룬다. 문제는 매 단계 전체 관찰을 균일하게 노출하는 기본 방식이 현저성의 일시성과 희소성을 무시한다는 점이다. 어떤 행동을 결정하는 신호는 다음 단계에서는 잡음이 될 수 있고, 실행된 행동이 다시 관찰과 이력에 들어가면서 오독이 누적된다. 저자들은 이를 Sequential Distraction이라 부르고, 해결 요구를 단계 적응적이고 행동에 충분하며 비침습적인 Focused Perception으로 정식화한다. 화면을 자르는 기존 공간 정제 방식은 결정적 신호가 오디오·비디오·기기 상태에 있을 수 있고, 좌표와 텍스트 인자를 접지하는 데 필요한 주변 맥락을 잃을 수 있다고 지적한다.

어떻게 동작하나

FocusGUI는 백본과 입력을 그대로 두고, 고정된 디코더의 임베딩에 작은 잔차를 더하는 어댑터다. 각 단계에서 관찰을 분리 가능한 지각 채널로 노출하고, 소스별 프로젝터로 128차원 공간에 매핑한다. 전체 관찰의 통합 표현에서 만든 결정 참조 q_t와 각 채널의 호환성을 점수화해 소프트맥스(τ=1.0)로 단계별 우선순위를 만든다. 우선순위로 가중합한 표현을 64차원의 초점 잠재 z_t로 압축한 뒤, K=4개의 잔차 토큰으로 펼쳐 행동 생성 직전 마지막 네 프롬프트 임베딩에 더한다. 이때 W_p와 b_p를 0으로 초기화해 학습 시작 시 원래 입력과 같아지게 하고, 원본 임베딩은 보존한다. 학습은 다음 행동 토큰의 음의 로그우도만 사용하며, 모달리티 관련성 라벨이나 백본 미세조정은 필요 없다. 백본에 따라 1.15M~1.45M개의 학습 파라미터만 추가한다.

무엇과 다른가

실험은 스마트폰 GUI 상호작용 벤치마크 OmniGUI에서 수행했다. 29개 앱, 708개 에피소드, 2,572개 행동 단계를 사용하며 각 단계는 스크린샷과 동기화된 오디오, 비디오, 행동 이력을 함께 제공한다. 평가 지표는 Type Match(TM), Exact Match(EM), Goal Progress(GP)다. 네 개의 오픈소스 옴니모달 백본 Qwen2.5-Omni, VITA-1.5, MiniCPM-o 4.5, Baichuan-Omni-1.5를 고정하고 비교했다. 베이스라인은 DRS-GUI, OmniParser, RegionFocus, GUI-Actor이며, 모두 같은 관찰과 디코딩 절차를 쓰되 행동 생성 전 관찰을 조직하는 방식만 다르다. 학습은 3 에포크, AdamW, 학습률 2×10^-4, 가중치 감쇠 10^-3으로 수행했다.

어떻게 쓰나

주요 결과로 네 백본 평균에서 직접 추론 대비 TM +33.2, EM +22.3, GP +6.6을 기록했고, 각 백본의最强 베이스라인 대비 TM +30.1, EM +23.6, GP +8.0을 보였다. 평균 TM은 31.0%에서 64.2%, EM은 11.2%에서 33.5%로 올랐으며, 24개 백본-카테고리 셀 전부에서 최고 TM과 EM을 기록했다. 반면 화면 정제 베이스라인들은 TM이 평균 +0.9에 그쳤고 EM은 상대적으로 28%, GP는 35% 낮아졌다(각 지표 12/12 사례). 이는 화면을 좁히면 행동 원형은 두드러지지만 좌표와 텍스트를 고정하는 맥락이 사라진다는 해석을 뒷받침한다. 상호작용 깊이가 늘수록 격차도 커졌다. Qwen2.5-Omni는 첫 단계 TM 64.79에서 세 번째 이후 32.79로 절반을 잃었지만, FocusGUI는 같은 구간에서 86.8%를 유지했고 EM은 38.73에서 46.72로 오히려 상승했다. EM 이득도 +22.54에서 +35.25로 단조 증가했다. 즉각 반응형 과제의 첫 두 단계에서는 백본과 통계적으로 구분되지 않았고(-8.70, -17.39 TM, 90% 구간이 0 포함), 이력이 쌓이는 깊이 2와 3+에서 각각 +28.57, +46.67 TM을 보였다.

전제와 한계

절제 실험에서 행동 충분 투영, 잔차 정렬, 단계 적응 우선순위화, 채널 분해를 제거하면 TM이 각각 0.51, 1.20, 4.27, 5.39포인트 하락했고 GP는 1.38, 5.38, 5.93, 5.29포인트 하락했다. 상대적으로 각 구성요소는 단일 단계 행동 유형보다 에피소드 진행에 4~5배 더 크게 기여했다(TM 최대 7.5% 대 GP 최대 33.9%). 학습된 우선순위는 에피소드 안에서 재배열됐다. 상호작용 상태 채널은 시작 단계 우선순위 질량 30.9%에서 종반 7.7%로 줄었고, 오디오와 비디오는 13.4%·11.3%에서 18.8%·18.3%로 늘었다. 화면은 10.9~12.8%로 모든 단계에서 균등 분배보다 낮았고, 공간 화면 채널은 9.1%를 넘지 않았다. 용량 민감도에서는 K를 16배 범위로 바꿔도 TM 2.6, EM 2.4, GP 3.0포인트 범위에서 추세가 없었고, d_z=32는 기본값 대비 EM 6.9, GP 6.5포인트를 잃었으며 64 이상에서는 안정적이었다.

개발자 관점에서 이 방법은 고정된 옴니모달 백본 위에 GUI 에이전트를 얹으면서, 입력을 자르거나 제거하지 않고 행동 경계의 작은 잔차만 학습하는 패턴을 보여준다. 특히 관련성이 모달리티와 단계 사이를 옮겨 다니고 에피소드가 길어질수록 오류가 누적되는 환경에서, 행동 라벨만으로 주의 재배분을 학습할 수 있다는 점이 실무적이다. 다만 OmniGUI의 스마트폰 GUI 29개 앱과 네 백본에서 검증된 결과이므로, 자체 앱·기기·입력 분포에서 지연과 메모리, 좌표·텍스트 인자 접지(EM), 긴 궤적에서의 안정성을 별도로 확인해야 한다. 또한 저자들은 우선순위가 보조 경로의 증거 조직 방식이며 고정 백본 내부의 모달리티 사용을 완전히 설명하는 것은 아니라고 밝힌다.

저자가 명시한 한계는 현재 우선순위화가 현재 관찰에 의존한다는 점이다. 미래 작업으로 채널 관련성을 미리 예측해 궤적 표류를 더 이른 시점에 줄이는 확장을 제안한다. 원문에는 실서비스 지연이나 비용에 대한 수치는 제시되지 않았다.