LGWM은 GUI 화면 전이를 표현 공간에서 예측해 검증한다

무엇인가

이 논문은 GUI 에이전트의 안전을 화면 자체가 아니라 화면 전이의 무결성 문제로 다시 정의한다. 로그인 화면은 Sign in 직후에는 정상이지만 View order 직후에 픽셀 단위로 같아도 공격일 수 있다. 화면만 검사하는 모니터는 정당한 화면을 재사용하는 공격에 속고, 전이를 판단하려면 이전 화면과 행동이 주어졌을 때 다음에 무엇이 와야 하는지에 대한 기대가 필요하다. 기존 GUI 월드 모델은 그 기대를 텍스트, 코드, 이미지로 렌더링해 별도 판정 모델을 요구했고, 렌더링 자체가 전이당 1~2분 걸릴 수 있었다. 저자들은 검증용 월드 모델은 관측이 인코딩되는 공간에서 예측해야 한다고 주장하며, 월드 모델의 세 번째 역할로 시뮬레이터·플래너가 아닌 검증자를 제안한다.

어떻게 동작하나

제안 방법 LGWM은 디코더 없이 행동 조건부로 다음 화면의 표현을 직접 예측한다. DINOv2 ViT-B/14 인코더가 448×224 스크린샷을 32×16 격자의 512개 패치 토큰(차원 768)으로 바꾸고, 행동 인코더는 행동 타입 토큰, 동결된 MiniLM 문장 임베딩, 공간 행동의 좌표 토큰을 결합한다. 좌표 토큰은 시각 패치 격자와 같은 2차원 사인파 기저를 써서 탭 좌표와 패치 위치가 같은 위치 표현을 공유하게 한다. 12층 Transformer 예측기가 현재 표현과 행동 토큰으로 다음 표현의 전체 공간 맵을 만들고, EMA 대상 인코더가 목표를 제공한다. 학습은 의미 주석 없이 AITW, MiniWoB++, GUIOdyssey, AndroidControl, AMEX에서 모은 1,845,659건(학습 1,824,824, 검증 20,835)의 실제 GUI 전이에서 수행됐고, 공식 평가 파티션은 제외했다. 손실은 변화 패치에 가중치를 주는 Smooth-L1(λ_chg=8), 표현 붕괴를 막는 VICReg 분산·공분산 항(λ_cov=0.01), 행동 정보를 보존하는 역동역학 헤드(λ_inv=0.5)로 구성되고, 3만 업데이트 후에는 2~3단계 롤아웃 학습을 섞는다. 학습은 120,000 업데이트, 전역 배치 512, AdamW bfloat16, A100-80GB 4장으로 돌렸다. 학습 그래프는 261M 파라미터지만 추론에는 172.86M만 실행된다.

무엇과 다른가

검증은 판정 모델 없이 벡터 비교로 끝난다. 에이전트가 행동한 뒤 관측한 다음 화면을 같은 인코더로 표현하고, 예측 표현과의 코사인 정렬 차이 q_int=1−cos(예측, 관측)를 계산한다. 이 값은 공격 라벨이나 작업 프롬프트 없이 학습된 동역학에서 얼마나 벗어났는지를 나타내는 training-free 점수다. 잔차 벡터의 크기는 기대 위반을 탐지하고, 방향은 위반의 성격을 해석한다. 잔차와 행동 임베딩을 입력으로 하는 선형 헤드 q_harm이 유해한 위반과 무해한 위반을 구분하며, 이것이 시스템의 유일한 지도 학습 구성요소다. 이 헤드는 분리된 6,786개 예제로 학습되고 런타임 비용은 측정 가능할 정도로 늘지 않는다. 즉 크기는 기대와 맞았는가를, 방향은 무엇이 달라졌는가를 묻는다.

어떻게 쓰나

평가는 RSWT-Bench라는 진단용 벤치마크에서 이뤄진다. 222개 donor 쌍, 966개 전이로 구성되며 각 자격증명 화면은 정당한 전이의 결과로 한 번, 픽셀 단위로 동일한 하이재킹 전이의 결과로 한 번 나타나고 두 발생은 반대 라벨을 갖는다. 따라서 결과 화면만 보는 탐지기는 구성상 기대 AUC가 정확히 0.5다. 통제군으로 같은 화면·행동에 진짜 결과를 붙인 paired safe, 높은 예상 밖성을 보이는 surprising benign, 무해한 donor로 바꾼 benign mismatch가 쓰인다. 주 지표 RSWT는 222개 하이재킹 발생과 222개 정당 발생 사이의 AUC이고, Swap은 무해한 불일치와 paired safe 사이, Cred는 무해한 불일치와 정당한 자격증명 전이 사이의 AUC다. 지도 학습 구성요소는 분리된 6,786개 예제로만 학습하며, 72개 층화 항목에 대한 블라인드 3인 주석 감사는 구성 라벨과 96.3±0.8% 일치했다.

전제와 한계

핵심 결과는 training-free q_int가 RSWT AUC 0.987로 222개 donor 쌍 중 219개를 올바르게 정렬했다는 것이다. 결정 비용은 0.408 TFLOPs, 1.09GB 피크 메모리, 17.1ms로, 동일 프로토콜의 Qwen3-VL-8B보다 FLOPs 27배, 메모리 16배, 지연 64배 낮다. VLM을 8배 배치해도 10.9배 지연 격차가 남는다. Gemini 3.7 Flash(p=0.07), GPT-5.6 Luna(p=0.83), Qwen3.7 Plus(p=0.07)와는 donor-paired 비교에서 차이가 검출되지 않았고, Qwen3.7 Flash는 1.9 AUC 포인트 뒤졌다(p=0.02). 나머지 시스템은 p<0.001로 낮았다. 생성형 GUI 월드 모델인 gWorld-8B는 0.885, Code2World는 0.870으로 약 10점 낮았고, 판정 전에 전이당 최소 92.9초와 최소 182배 FLOPs가 필요했다. 인간 주석자 3인의 평균 RSWT-equivalent AUC는 20개 하이재킹·20개 정당 예제에서 0.958이었고, training-free 점수는 인간 기준과 3 AUC 포인트 이내였다. Swap과 Cred에서 q_int는 각각 0.970, 0.985였고, 첫 지표에서는 Gemini와 GPT 다음, 둘째에서는 Gemini 다음이었다. 유해성 분리에서는 q_int가 Harm AUC 0.513에 그쳤고 프롬프트된 VLM도 0.512~0.614였지만, 잔차 방향 헤드는 0.953을 냈다. 반대로 RSWT에서는 잔차 헤드가 0.930으로 q_int보다 약했다.

저자들은 이 점수가 단순 이상 탐지가 아니라 실제 미래 상태 예측임을 여러 통제로 확인한다. 결과 화면만 보는 탐지기는 0.500, 단일 프레임 프로브는 0.796, 두 프레임과 행동을 받되 예측 출력을 받지 않는 지도 분류기는 0.833이었다. 예측을 다른 전이에 맞바꾸면 잔차 헤드가 0.930에서 0.635로 떨어졌다. 예측 표현은 현재 화면(코사인 0.245)보다 미래 화면(0.618)에 훨씬 가깝고, 현재를 그대로 쓰는 persistence 베이스라인은 0.230이었다. 행동이 바뀐 패치에서는 복사 점수가 −0.384로 더 벌어졌다. 100개 후보 중 정답 다음 화면을 1위로 놓는 비율은 68.3%로, 같은 행동 타입의 최근접 학습 전이를 반환하는 암기 베이스라인의 44.6%를 앞섰다. 반사실 행동 교체 승률은 행동 타입 교체 0.891, 같은 타입의 다른 대상 0.800, 좌표 0.05 교란 0.618이었다. 10단계 재귀 예측의 정답 표현과의 코사인 일치는 0.562로 persistence 0.455, 무관 화면 0.092보다 높았다. 절제 실험에서는 롤아웃 학습을 빼면 10단계 일치가 0.612에서 0.553으로, 역동역학을 빼면 복사 점수가 0.286에서 0.193으로, VICReg를 빼면 예측 공분산의 유효 랭크가 43.7에서 22.5로 떨어졌다. 절제 실험은 더 작은 규모에서 한 시드로 수행됐고, 통제군의 3시드 반복은 시드 간 분산이 작음을 확인했다.

개발자 관점에서 이 논문은 GUI 자동화 에이전트의 매 단계에 17ms 수준의 전이 게이트를 넣는 설계를 제안한다. 화면 단위 필터나 프롬프트 기반 VLM 판정만으로는 정당한 화면을 재사용하는 숨은 전이 공격을 잡기 어렵고, 이 게이트는 정상 동역학에서 벗어난 소수를 플래그해 렌더러나 VLM 판정을 그 소수에만 호출하게 한다. 점수는 공격 전용이 아니라 놓친 행동, 레이아웃 변경, 예상 밖 모달도 잡으므로 신뢰성 모니터로 겸용할 수 있다. 다만 무해한 알림이나 서버 측 변화도 기대 위반으로 잡히므로, 잔차 방향 헤드나 별도 정책으로 유해성과 무해성을 보정해야 한다. 또한 행동 스키마와 화면 인코더를 에이전트 환경에 맞춰 유지해야 한다.

저자들이 밝힌 한계와 전제도 분명하다. RSWT-Bench는 donor-paired 구성이 엄격해 222쌍으로 제한되며, 저자들은 크기보다 엄격성이 추론을 정당화한다고 말한다. donor-paired 부트스트랩 95% 구간의 반폭은 약 0.01이다. 유해성 해석 헤드는 6,786개 분리 예제로 학습된 유일한 지도 구성요소이고, 디코더가 없어 예측 자체를 사람이 눈으로 검사할 수는 없다. 그래서 사람이 봐야 하는 경우에는 렌더링 기반 월드 모델과 상보적이다. 공격자가 에이전트의 표현 공간에서 결과를 위조하는 것은 더 어려운 목표라고 주장하지만 그 난이도는 아직 정량화하지 않았다. 또한 이 벤치마크는 진단용이며 실제 공격 빈도나 배포 환경의 분포를 대표하지 않는다.