AdaGround가 작은 GUI 타깃을 토큰 기준 줌과 검증으로 찾아낸다

무엇인가

이 논문은 GUI 에이전트의 지각 핵심인 GUI grounding, 즉 스크린샷과 자연어 지시가 주어졌을 때 클릭할 요소의 좌표를 찾는 문제를 다룬다. 고해상도 전문 소프트웨어에서는 타깃이 작고 밀집해 좌표 생성이 쉽게 깨지며, ScreenSpot-Pro의 타깃 짧은 변 중앙값은 24픽셀이다. 학습 기반 전문 모델은 주석 데이터와 백본별 재학습이 필요하므로, 저자들은 학습 없이 테스트 시점에 크롭·재탐색하는 방법에 주목한다. 다만 기존 파이프라인은 줌 배율을 타깃 크기와 무관하게 고정하고, 줌 답을 무조건 채택하며, 틀린 답을 다시 보지 않고, 어텐션/투표 같은 모델 내부나 공간 투표에 의존하고, 타깃이 화면에 없거나 구조로 정의된 경우에도 항상 줌하고 답한다는 다섯 가지 문제를 가진다고 지적한다.

어떻게 동작하나

AdaGround는 모델 가중치를 바꾸지 않는 블랙박스 프레임워크다. 모델에는 이미지와 텍스트만 넣고, 출력 텍스트와 첫 토큰 확률만 읽는다. 한 샘플은 TNZ 체인과 고정 4×4 체인을 거치고, VLR이 하나의 Yes/No 검증기로 줌 답의 채택·체인 선택·재탐색·기권을 결정한다. CSG는 지시문을 먼저 읽어 스프레드시트 셀처럼 구조로 정의된 타깃을 별도로 조합한다. 저자들은 Qwen3-VL-8B와 32B, 네 벤치마크에 같은 상수 구성을 쓴다고 강조한다.

무엇과 다른가

TNZ의 핵심은 줌을 픽셀이 아니라 시각 토큰 수로 정규화하는 것이다. Qwen3-VL은 16픽셀 패치를 2×2로 합치므로 한 토큰이 32 렌더링 픽셀을 덮고, 원본에서 짧은 변 s인 타깃이 선형 배율 k로 보일 때 토큰 스팬은 σ=s·k/π가 된다. 먼저 화면을 대략 A0=2.2MP에 맞춰 렌더링해 coarse 점을 얻고, 같은 뷰에 별도 질의로 타깃 바운딩 박스를 받아 짧은 변을 원본 픽셀 s_hat으로 환산한다. 그러면 배율 k=clip(τπ/s_hat,1,kmax), 크롭 변 d=clip(max(γs_hat, επ/k_prev),dmin,dmax)로 정한다. τ=3, γ=16, ε=4, kmax=4, dmin=192, 최대 깊이 D=2이며, 첫 줌은 λ=2로 더 느슨하게 발동하고 이후에는 σ_hat<τ일 때만 발동한다. 논문은 이 설계가 해상도와 무관하게 타깃을 τ토큰으로 렌더링하고, 이전 점의 위치 오차 ε/2토큰까지 크롭이 덮는다는 불변성·커버리지 성질을 제시한다.

어떻게 쓰나

VLR은 후보 점 p에 대해 표시된 클릭을 그린 검증 뷰를 만들고, '이 원이 지시 대상 위에 있는가'라는 Yes/No 질문의 첫 토큰 확률로 v(p)=P(Yes)/(P(Yes)+P(No))를 계산한다. 검증 뷰는 변 d0=clip(√(WH/8),512,1024)의 창을 4배 면적으로 렌더링하고 p에 빨간 원을 그린 것이다. TNZ 답 p'은 v(p')≥v(p)일 때만 현재 답을 대체한다. 또한 c_TNZ와 c_4× 두 체인을 고정 포트폴리오로 돌리고, 답들을 14픽셀 완전연결 기준으로 묶어 가장 큰 K=3 그룹의 대표를 각각 검증해 v가 가장 높은 대표를 고른다. 검증 점수가 θr=0.99 미만이면 거부된 위치를 빨간색으로 지우고 그 판단을 지시문에 덧붙여 다시 coarse-to-fine 재탐색하며, 새 답이 더 높은 검증 점수를 받을 때만 교체한다. 기권은 전체 화면 존재 질의 확률 e(S,I)와 v(p)의 평균이 θe=0.03 미만일 때만 하며, OSWorld-G처럼 기권이 허용된 과제에서만 켠다.

전제와 한계

CSG는 스프레드시트 셀을 외형이 아니라 구조로 찾는다. 셀은 열 헤더와 행 헤더로 정의되지만, 셀을 크게 확대할 만큼 타이트한 크롭은 두 헤더를 잘라내기 쉽다. 그래서 같은 모델이 지시문 텍스트만 읽고 ground 또는 cell(col,row) 프로그램으로 재작성하고, cell이면 열 헤더와 행 헤더를 각각 전체 화면과 3배 확대 크롭에서 grounding한 뒤 (x_col,y_row)를 조합한다. 열 헤더가 행 헤더보다 오른쪽·위쪽에 있을 때만 이 조합을 쓰고, 아니면 VLR 답으로 되돌린다. 논문은 이 방식이 슬라이더 위치나 텍스트 커서 배치는 다루지 않는다고 명시한다.

실험은 Qwen3-VL-8B-Instruct와 Qwen3-VL-32B-Instruct(FP8)에서 진행됐다. OSWorld-G는 564개 지시 중 54개가 화면에 타깃이 없는 경우를 포함하고, ScreenSpot-Pro는 1,581개 고해상도 전문 소프트웨어 지시로 타깃 짧은 변 중앙값이 24픽셀이며, ScreenSpot-v2는 1,272개에 중앙값 85픽셀, held-out인 UI-Vision은 5,479개에 중앙값 26픽셀이다. AdaGround는 OSWorld-G에서 MVP 공개 결과보다 3.4·7.3포인트, ScreenSpot-Pro에서 0.9·1.9포인트 앞서고, ZoomClick의 Qwen3-VL-32B ScreenSpot-Pro 결과도 넘는다. 자체 single pass 대비로는 ScreenSpot-Pro에서 14.9·20.6포인트, OSWorld-G와 ScreenSpot-Pro 전체로 7.4~20.6포인트 개선을 보고한다. MVP의 per-sample 예측과 짝지은 비교에서는 8B 재현 기준 OSWorld-G +6.2, ScreenSpot-Pro +4.2포인트, MVP가 공개한 32B ScreenSpot-Pro 예측 대비 +1.8포인트다. UI-Vision에서는 8B 32.0% 대 MVP 31.9%, 32B 47.6% 대 44.1%, ZoomClick 39.2%를 기록했다. 반면 타깃이 큰 ScreenSpot-v2에서는 개선이 유의하지 않았다.

절제 실험에서 TNZ 게이트 체인은 single pass를 4.8~17.1포인트 올렸고, ScreenSpot-Pro에서 두 체인이 45%·34% 샘플에서 불일치할 때 체인 중재가 c_TNZ를 5.9·3.2포인트 올려 더 나은 체인과 오라클 사이 격차의 39%·36%를 회복했다. CSG는 OSWorld-G 스프레드시트 셀을 2개·5개 샘플 순증했고, 기권은 OSWorld-G에서 2.5·1.4포인트를 더하면서 정답을 최대 1개만 철회했다. 두 체인과 중재만으로도 ScreenSpot-Pro에서 고정 크롭을 앞선다고 보고한다.

실무에서는 고해상도 화면의 작은 버튼·아이콘을 찾고, 여러 번의 VLM 호출 비용을 감당할 수 있으며, 화면에 없는 타깃에 대해 기권이 필요한 GUI 에이전트에 바로 시험해 볼 만하다. 다만 TNZ는 모델이 박스 질의에 바운딩 박스를 돌려준다고 가정하므로 점만 반환하는 모델에는 줌이 걸리지 않고, 검증기 점수 하나가 채택·재탐색·중재·기권을 모두 좌우해 그럴듯하지만 틀린 요소를 선호하면 오류가 전파된다. 저자들도 Qwen3-VL 8B/32B와 네 벤치마크로 범위를 한정했고, 32B OSWorld-G의 MVP 비교는 공개 수치에 기반한 비짝지 비교이며, 긴 에이전트 에피소드로 확장하지 않았다. TNZ 중앙값 기하로 고정한 두 번째 크롭은 중재와 전체 파이프라인에서 유의차 없이 더 적은 토큰을 썼고, 비용은 고정 크롭보다 3.5~3.9배, single pass보다 6~12배 많은 시각 토큰을 읽는다. 기권은 OSWorld-G의 54개 부재 타깃 중 15개·8개만 잡았고, CSG는 스프레드시트 셀 외 슬라이더·텍스트 커서는 다루지 않는다.