GUI 에이전트 RL에서 학습 위치와 롤아웃 범위를 함께 적응시켜 효율을 높인다
Where to Learn and How Far to Roll Out: Efficient Adaptive Training for GUI Agents
무엇인가
GUI 에이전트를 강화학습으로 학습시키는 표준 방식은 태스크 루트에서 궤적 전체를 롤아웃하고 최종 성공/실패로 정책을 업데이트하는 궤적 수준 GRPO다. 이 논문은 이 방식의 비효율을 두 갈래로 지적한다. 첫째, 태스크 단위 보상은 어느 중간 결정이 개선 대상인지에 대해 너무 거친 신호만 준다. 둘째, 이미 안정적으로 처리하는 접두 구간을 어려운 상태에 도달할 때마다 다시 실행한다. 그래서 저자들은 "어디서 배울 것인가(where to learn)"와 "얼마나 멀리 롤아웃할 것인가(how far to roll out)"를 동시에 결정하는 2단계 적응형 학습 프레임워크를 제안한다.
어떻게 동작하나
첫 번째 구성 요소는 성공한 전문가 궤적에서 뽑아낸 재사용 가능한 중간 체크포인트다. 시점 t의 체크포인트를 c_t=(x, h_t, o_t, e_t)로 정의하는데, x는 태스크, h_t는 정책이 보는 상호작용 이력, o_t는 현재 관측, e_t는 실행 환경 상태에 대한 복구 참조다. 이 체크포인트를 복원하면 앞선 궤적을 다시 실행하지 않고 같은 중간 상태에서 여러 번 분기 롤아웃을 만들 수 있다. 논문은 10스텝 접두 구간의 복구 지연을 MobileGym에서 81.1%, CUA-Gym-Hub에서 71.6% 줄였다고 보고한다.
무엇과 다른가
두 번째는 '행동 불일치(action disagreement)' 기반 피벗 선택이다. 각 후보 상태에서 정책을 N=8회 샘플링해 나온 GUI 행동의 서로 다른 빈도 n_j로 D̂(c_t)=1−Σ n_j(n_j−1)/(N(N−1))를 계산한다. 이는 두 샘플이 서로 다른 GUI 행동을 낼 확률, 즉 행동 수준의 불확실성이다. 저자들은 보상 분산 기준과의 차이를 강조한다. 보상이 0/8로 모두 같아도 행동은 갈릴 수 있는데, 보상 분산은 이런 상태를 놓치지만 행동 불일치는 잡아낸다. 임계값 τ_dis=0.45를 넘는 상태를 피벗으로 쓴다.
어떻게 쓰나
세 번째는 과제 진행도에 따른 Local·Suffix·Root 적응형 혼합 학습이다. 루트 성공률 p̂(x)가 τ_low=0.25 미만이면 Local, 0.25~0.75면 Suffix, 0.75 초과면 Root로 배정한다. Local 구간에서는 롱 롤아웃이 같은 실패로 수렴해 신호가 약하므로 피벗에서 전문가의 다음 행동을 즉각 보상으로 삼는 원스텝 RL을 한다. Suffix 구간에서는 전문가 궤적상 가장 깊은 피벗부터 궤적 종료까지 롤아웃하고, 접미 성공률이 τ_suffix=0.75를 넘으면 다음 라운드에서 시작 지점을 한 피벗 앞으로 당긴다. Root 구간에서는 소수(2회)의 가벼운 루트 롤아웃으로 결과 변동이 있을 때만 업데이트한다. 최종 방법은 1단계에서 행동 불일치 피벗에 대한 원스텝 국소 학습으로 워밍업한 뒤, 2단계에서 이 혼합 학습을 적용하는 2단계 구성이다.
전제와 한계
실험은 MobileGym(공식 256개 태스크를 128/128로 나눠 83개를 학습, 128개 홀드아웃 평가)과 CUA-Gym-Hub(80개 학습, 60개 평가)에서 수행했다. 정책은 Qwen3.5-4B 기반 SFT 초기화 모델이고, SFT 데이터는 두 벤치마크와 무관한 환경에서 수집해 RL 효과만 분리했다. 피벗 선택만 비교한 실험에서 MobileGym은 All Pivots가 38.4k 샘플로 홀드아웃 Avg@4 50.00%에 도달한 반면 행동 불일치는 8.2k 샘플(약 21% 예산)로 48.83%에 도달했고, CUA-Gym-Hub에서는 행동 불일치가 3.1k 샘플로 Avg@4 55.00%·Pass@4 65.00%를 기록해 Reward Variance와 All Pivots의 50.42%를 앞섰다. 전체 학습에서는 MobileGym에서 Base→Hybrid가 17.9k 샘플·25.0k 롤아웃 스텝으로 Train Avg@4 58.43%에 도달했고, 같은 수준에 도달하는 Base→Vanilla는 43.3k 샘플·71.5k 스텝이 필요해 각각 58.6%·65.0%를 절감했다. CUA-Gym-Hub에서도 9.0k 샘플·9.2k 스텝으로 63.75%를 냈고 Vanilla는 33.3k 샘플·40.5k 스텝이 들었다. 2단계 전체 방법은 MobileGym Train Avg@4 63.86%를 30.5k 샘플·37.8k 스텝으로 달성해 Action→Vanilla 최고 62.65%보다 샘플 40.8%·환경 상호작용 50.2%를 덜 썼고, CUA-Gym-Hub 홀드아웃에서는 57.92% 대 53.33%로 앞섰다. 같은 전문가 데이터를 전부 쓰는 SFT와 비교해도 CUA-Gym-Hub 홀드아웃에서 57.92% 대 50.83%, Pass@4 66.67% 대 58.33%로 우위를 보였다. 초록 기준 전체 환경 상호작용 감소는 Vanilla GRPO 대비 56~61%다.
개발자 관점에서 이 논문의 실무적 함의는 학습 예산을 '상태'와 '롤아웃 길이' 두 축에 함께 배분하는 스케줄링이 단순 하이퍼파라미터 튜닝보다 큰 절감을 준다는 점이다. 특히 성공률이 낮은 태스크에 긴 롤아웃을 계속 던지는 대신 중간 상태에서 짧게 학습하고, 성공률이 오르면 자동으로 롤아웃 구간을 늘리는 라우팅은 롤아웃당 비용이 큰 실제 GUI 환경에서 바로 참고할 만하다. 다만 도입 전에 확인할 것은 세 가지다. 환경이 중간 상태 저장·복원(체크포인트)을 지원하는지, 검증된 전문가 궤적을 확보할 수 있는지, 그리고 로컬 보상으로 쓰는 전문가 다음 행동이 실제 배포 환경의 행동 공간과 정합적인지다.
저자들이 밝힌 전제와 한계도 분명하다. 방법 전체가 성공이 검증된 전문가 궤적에 의존하며, 로컬 원스텝 학습의 보상은 전문가의 다음 행동에서 나온다. 또한 중간 상태 복구는 환경별 체크포인팅 지원이 필요하고 그 세부는 부록에 위임되어 있으며, 저자들은 동적 인터페이스에서 행동 재실행으로 상태를 되돌리는 방식이 비용이 크고 불안정할 수 있다고 지적한다. 평가 규모도 MobileGym 학습 83개·평가 128개, CUA-Gym-Hub 학습 80개·평가 60개로 제한적이며, Root 구간에 진입한 태스크는 다시 하위 구간으로 돌아가지 않는다는 스케줄 고정도 전제로 깔려 있다.