GUI 에이전트가 기억을 텍스트로 줄지 이미지로 줄지 매 단계 다시 고르는 SwitchMem
Learning How to Remember: Memory Modality Selection for GUI Agents
무엇인가
GUI 에이전트는 스크린샷을 해석해 탭·스와이프·텍스트 입력 같은 행동을 반복 수행하고, 최근에는 과거 상호작용에서 뽑은 기억을 붙여 같은 실수를 줄인다. 문제는 기존 메모리 증강 GUI 에이전트가 검색된 경험을 텍스트, 이미지, 또는 고정된 조합 중 하나로만 제공한다는 점이다. 표현 전략은 한 번 정해지면 상호작용 단계가 바뀌어도 그대로 유지된다. 장기 호라이즌 작업에서는 한 단계의 오류가 이후 결정으로 전파되기 때문에, 단일 모달리티가 모든 단계에서 최적인지, 단계별 선호가 달라지는지는 중요한 미검증 질문이었다.
어떻게 동작하나
저자들은 먼저 이 질문을 통제 실험으로 분해한다. 동일한 검색 데모를 텍스트 형태와 이미지 형태로 각각 인스턴스화하고, 고정된 액터(Qwen3.5-9B)에서 K개의 행동을 샘플링해 벤치마크별 행동 스코어러로 효용을 추정한다. 단계별 선호는 두 효용의 차이 Δ = û(Image) − û(Text)로 정의된다. AITW와 LearnGUI에서 어느 한쪽 모달리티가 일관되게 우세하지 않았다. 이미지 기억이 평균 성능은 약간 높지만, 집계에서 더 약한 모달리티도 수많은 개별 단계에서 더 높은 효용을 준다. 같은 평가 시드로 텍스트와 이미지를 각각 돌려 더 높은 점수를 취하는 단계별 오라클을 만들면, 이 오라클이 가장 강한 고정 모달리티 전략을 모든 벤치마크에서 지속적으로 앞선다. 고정 표현이 성능을 남겨두고 있다는 직접적인 증거다.
무엇과 다른가
선호가 어디에 드러나는지도 파고든다. 저자들은 Directional Chain-of-Embedding(D-CoE)을 정의해, 같은 검색 데모를 텍스트로 줬을 때와 이미지로 줬을 때의 액터 은닉 상태 차이 d(i,ℓ) = h(Image) − h(Text)를 레이어별 시퀀스로 모은다. 이 차이 벡터를 PCA로 줄이고 선형 프로브를 학습시키면 어느 모달리티가 더 나은지 예측할 수 있었고, 이 신호는 보지 못한 GUI 궤적으로도 일반화됐다. 행동 샘플링의 확률적 잡음을 줄이기 위해 7회 샘플 중 5회 이상 같은 모달리티가 선호된 예만 사용했다.
어떻게 쓰나
SwitchMem은 이 표현 수준 신호를 라우터로 바꾼다. 1단계에서는 최종 트랜스포머 블록의 D-CoE를 표준화하고 PCA로 64차원까지 줄인 뒤 로지스틱 프로브를 적합시켜, 그 결정값을 연속적인 선호 타깃 t로 삼는다. t가 양수면 이미지, 음수면 텍스트를 뜻한다. 2단계에서는 현재 상태의 은닉 표현과 각 모달리티 기억 임베딩을 정규화하고, [상태; 기억; 원소별 곱; 절대 차이] 특징을 공유 MLP 스코어러에 통과시켜 q(Image)와 q(Text)를 얻는다. 두 점수의 차 r = q(Image) − q(Text)를 앞서 만든 타깃 t에 MSE로 회귀시킨다. 추론 시 r이 임계값 τ 이상이면 이미지 기억, 아니면 텍스트 기억을 골라 선택된 하나만 고정 액터에 넣는다.
전제와 한계
실험은 MobileMiniWob++, AITW, LearnGUI 세 모바일 GUI 벤치마크에서 이뤄졌다. 액터는 Qwen3.5-9B를 고정하고, top-1 검색과 기억 임베딩에는 Qwen3-VL-Embedding-2B를 쓴다. 비교 대상은 GPT-5.4-mini, Qwen3.5-9B 같은 범용 VLM, Aguvis와 UI-TARS 계열 GUI 특화 에이전트, 그리고 RAG-GUI, M3A, AppAgent, EchoTrail, AGMem과 고정 Text/Image/Both 베이스라인이다. SwitchMem은 세 벤치마크 모두에서 최고 성능을 냈다. 이미지 기억은 AITW와 LearnGUI에서 강했고 MobileMiniWoB에서는 두 모달리티를 함께 주는 쪽이 더 효과적이었다. 또한 정교한 메모리 구성 전략이 원시 컨텍스트 주입을 일관되게 앞서지 못했다는 관찰도 보고된다. MobileMiniWoB++는 공식 학습·검증 분할이 없어 LearnGUI에서 학습한 라우터를 가중치 고정 상태로 전이했다. 표 1의 구체적인 점수 수치는 본문에 제시되지 않았다.
분석 파트는 라우팅이 실제 효용 패턴과 정렬됨을 보인다. UI 요소 밀도(고유 요소 수를 화면 점유 면적으로 나눈 값)가 높을수록 이미지 우위가 커지고, 좌표 기반 Spatial 행동보다 인터페이스 기능을 다루는 Function 행동에서 이미지 이점이 커지며, 초기 상태를 지난 뒤에는 이미지-텍스트 효용 격차가 더 벌어진다. SwitchMem의 라우터는 이 세 축 모두에서 이미지를 더 자주 선택한다. 대안 라우팅(효용 회귀, 이진 분류, 액터 은닉 상태를 쓰지 않는 기본 라우팅)은 정적 이미지 정책 대비 이득이 미미했지만 SwitchMem은 일관된 개선을 냈다. 이미지 선택률을 맞춘 랜덤 라우팅과 비교해도 모든 중간 선택률 구간에서 앞서는데, 이는 이득이 텍스트 대 이미지 비율이 아니라 어느 단계에 어느 모달리티를 배정했는지에서 나온다는 뜻이다. 효율 측면에서 SwitchMem은 최고 행동 점수를 내면서 지연 증가는 소폭이며, RAG-GUI는 11.118초/스텝의 높은 지연을 보였다. GUI 특화 액터인 UI-TARS-7B-SFT로 옮겨도 세 벤치마크 모두에서 정적 기억 베이스라인을 앞섰다.
실무적으로 이 논문은 메모리 증강 GUI 에이전트를 만들 때 기억 표현을 전역 설정으로 고정하지 말고 단계별 선택 문제로 다루라는 신호를 준다. 다만 라우터가 액터의 은닉 상태에 접근해야 하므로 자체 호스팅하는 오픈 웨이트 모델에서만 바로 쓸 수 있고, 선호 타깃을 만들려면 텍스트·이미지 조건으로 각각 forward pass를 돌려야 하는 학습 비용이 든다. 도입 전에는 자신의 도메인에서 단계별 오라클 격차가 실제로 존재하는지부터 확인하는 편이 좋다.
저자들이 밝힌 한계는 분명하다. 평가가 안드로이드 인터페이스 중심의 모바일 GUI 벤치마크와 통제된 상호작용 환경에 한정되어 있어 iOS나 최신 안드로이드 버전으로의 일반화는 검증되지 않았다. 온라인 평가도 물리 기기가 아닌 에뮬레이터에서 이뤄져 기기 렌더링 차이, 시스템 인터럽트, 네트워크 변동, 하드웨어 제약을 반영하지 못한다. 또한 SwitchMem은 선호 타깃 구성과 추론 라우팅 모두에 액터의 은닉 상태가 필요하므로, 이런 표현을 노출하지 않는 API 기반 모델에는 직접 적용할 수 없다.