오픈소스 스마트폰 에이전트 OpenMobile-2, 앱 다양성이 성능을 가른다

the-decoder7일 전조회 1

난징대와 센스타임, 여러 대학 연구진이 공개한 OpenMobile-2는 스마트폰 화면을 직접 조작하는 AI 에이전트를 학습시키기 위한 오픈소스 프로젝트다. 110개가 넘는 앱을 갖춘 시뮬레이션 환경, 학습 데이터, 재현 절차까지 함께 배포되며, 그 위에서 학습된 에이전트 모델 두 종도 같이 공개됐다. 폐쇄형 모델이 독식해 온 모바일 자동화 영역에서 재현 가능한 오픈 베이스라인을 내놓은 것이 핵심이다.

모델은 Qwen3.5 기반 90억 파라미터와 Qwen3.6 기반 270억 파라미터 두 가지로 구성된다. 학습 환경은 중국에서 많이 쓰이는 타오바오, 징둥, 디디추싱, 메이투안과 슬랙, 구글 드라이브 같은 글로벌 서비스를 포함해 35개 앱을 연구진이 직접 다시 구현한 것이다. 여기에 기존 시뮬레이션과 안드로이드 에뮬레이터에서 도는 앱을 더해 전체 실습장이 110개 앱 규모로 커졌다.

실제 앱으로 학습하는 방식은 로그인과 결제, 상태 초기화 문제 때문에 반복 실험이 어렵다. 재구축한 앱은 사람 검토자가 원본과 비교하며 화면 흐름과 인터페이스가 일치할 때까지 다듬었고, 주문·예산·여행 계획 같은 상태가 세션을 넘어 유지되며 클립보드를 통해 앱 간 데이터도 오간다. 에이전트는 스크린샷만 보고 내부 데이터에는 접근하지 못한다. 이 환경에서 약 1만1600개의 예시 워크플로와 자동 성공 판정이 붙은 2000여 개의 실습 과제가 만들어졌고, 예시 생성에는 구글 Gemini 3.1 Pro가 교사 모델로 쓰였다.

성능 수치는 기존 벤치마크에서 뚜렷하게 올랐다. AndroidWorld에서 큰 모델은 67.1점에서 79.9점으로, 작은 모델은 54.3점에서 74점으로 상승했다. 선행 버전인 OpenMobile-1의 64.7점을 크게 앞선다. 여러 앱을 넘나드는 긴 작업을 다루는 MobileWorld에서는 큰 모델이 35.9점에서 50.4점이 됐고, 실제 안드로이드 기기에서 평가하는 SPA-Bench에서는 31.9점에서 59.6점으로 뛰며 오픈 모델 중 최고 기록을 기록했다. 이 벤치마크에서 앞선 것은 Gemini 3.1 Pro뿐이다.

연구진이 강조하는 지점은 데이터 양이 아니라 환경의 다양성이다. 학습 데이터 총량을 고정한 채 학습에 투입한 앱 수만 늘렸더니, 학습 중 보지 못한 앱에서의 성공률이 60.7%에서 67.5%로 상승했다. 같은 데이터 예산이라면 소수 앱의 예시를 더 만드는 것보다 앱 종류를 넓히는 편이 낫다는 뜻이다. 반면 추가적인 강화학습의 효과는 제한적이어서, 학습 환경과 비슷한 조건에서만 소폭 개선됐고 AndroidWorld에서는 큰 모델이 80.8점에서 79.9점으로 오히려 조금 내려갔다.

실험적 시도도 포함됐다. 시뮬레이션 앱 50여 개에 '장바구니에 담기' 같은 직접 명령 인터페이스를 붙여, 에이전트가 메뉴를 헤매지 않고 바로 실행하도록 선택지를 준 것이다. 별도 학습 없이는 모델이 이런 지름길을 거의 무시했지만, 학습을 거치면 최대 10.3%포인트 더 많은 과제를 약 5스텝 적게 풀었다. 학습 중 만난 적 없는 도구에도 이 능력이 전이됐다는 설명이다. 다만 이런 인터페이스는 현재 시뮬레이션 앱에만 존재하며 연구진 스스로 실험적 접근이라고 밝힌다.

평가 방식도 자체 제작이다. 215개 과제 중 절반 가까이가 여러 앱을 넘나들며, 성공 여부는 언어 모델이 아니라 실행 전후 앱에 저장된 데이터를 비교하는 프로그램이 판정한다. 학습 과제와 평가 과제의 중복 여부도 별도로 점검해 유사성이 크지 않음을 확인했다.

개발자 입장에서 이 사례가 주는 실무적 시사점은 두 가지다. 첫째, 실제 서비스에 붙여 에이전트를 학습시키는 대신 상태 초기화와 자동 검증이 가능한 재구축 환경을 만드는 편이 반복 실험 비용을 크게 낮춘다. 둘째, 에이전트 성능을 끌어올릴 때 예시 데이터를 늘리는 것보다 커버하는 앱과 화면 흐름의 폭을 넓히는 쪽이 처음 보는 대상에 대한 일반화에 유리하다. GUI 조작과 앱이 제공하는 직접 명령을 섞는 하이브리드 방식도 도구 사용 학습이 뒷받침될 때만 실효가 있다는 점이 확인됐다.

한계도 분명하다. 학습 데이터의 상당 부분이 Gemini 3.1 Pro가 만든 예시에서 나왔다는 점에서, 결과적으로 폐쇄형 모델에 의존한 학습 파이프라인이다. 직접 명령 인터페이스는 시뮬레이션 환경에만 존재해 실제 앱 생태계로 일반화된다고 보기 어렵고, 강화학습 이득이 학습 분포와 유사한 환경에 국한된 것도 주의할 부분이다. 참고로 마이크로소프트 리서치는 2025년 연구에서 API 기반 에이전트가 더 안정적이고 GUI 기반 에이전트가 더 유연하다고 정리했으며, Oppo의 X-OmniClaw처럼 딥링크로 실제 기기에서 경로를 재생하는 접근, Gemini 3.5 Flash에 내장된 스마트폰 제어도 같은 문제를 다른 방식으로 푸는 사례다.