웹 에이전트는 전체 과업보다 재사용 스킬을 먼저 연습해야 한다

무엇인가

웹 브라우저 에이전트 연구는 대개 더 많은 전체 과업 궤적을 모으는 방향으로 확장해 왔다. 그러나 논문은 파라미터와 학습 예산이 제한된 소형 오픈웨이트 모델에게는 "무엇을 연습하는가"가 더 중요하다고 지적한다. 인간이 자전거를 배우기 전에 균형·협응·공간 이동을 먼저 익히듯, 웹 에이전트도 재사용 가능한 상호작용 스킬을 먼저 몸에 익히고 그것을 조합하는 능력을 따로 길러야 한다는 문제 설정이다. 기존 벤치마크는 과업 전체의 성공 여부나 진행률만 채점할 뿐, 실패가 어느 스킬에서 발생했는지 귀속시키지 못한다.

어떻게 동작하나

이를 위해 저자들은 MiniWeb을 만들었다. 15개 도메인에 걸친 65개 합성 웹사이트와 369개의 사람 작성 과업(43개는 사이트 간 과업)으로 구성되며, 37개의 재사용 상호작용 프리미티브가 7개 스킬 패밀리로 묶인다. 중요한 것은 구축 순서다. 과업을 먼저 만들고 스킬을 사후 라벨링하는 대신, 프리미티브를 먼저 정의하고 그 위에 웹사이트를 세운 뒤 프리미티브를 연결해 과업을 만들었다. 프리미티브 집합은 WebArena, WebShop, WebVoyager, Mind2Web의 1만5,700개 과업을 Claude Opus 4.8로 라벨링해 139개 후보를 뽑고, 중복 병합과 누락 보강을 거쳐 46개로 정리한 뒤 주석 과정에서 3회 미만 사용된 9개를 제거해 37개로 확정했다. 흥미로운 관찰은 원본 벤치마크 5만2천 개 라벨 중 드래그가 0.3%에 불과했고 그림 그리기, 파일 업로드, 스프레드시트 셀 편집은 전혀 없었다는 점이다. 각 프리미티브는 시작·끝 구간 규칙과 검증기 V_m을 가지며, 과업 성공은 필수 프리미티브 검증기의 논리곱으로 판정된다. 채점은 백엔드 요청 로그를 보는 파라미터화 검증기와 VLM 판정자를 함께 쓰며, 549개 케이스에서 각각 98.9%, 98.2% 정확도를 보였고 미학습 에이전트의 3,689개 에피소드에서 두 채점자는 93.1%(κ=0.85) 일치했다.

무엇과 다른가

진단 결과는 명확하다. 평가한 오픈웨이트 에이전트 10종 모두에서 drag & gesture가 가장 약한 패밀리였고, 어떤 모델도 해당 인스턴스의 24%를 넘기지 못했다. 전체를 합치면 드래그 성공률은 12.4%로, 차순위로 약한 out-of-page I/O의 38.0%와 큰 격차를 보였다. 웹·컴퓨터 사용 특화 에이전트는 타이핑에서는 일반 VLM보다 나았지만 드래그에서는 평균 9.0%로 일반 모델의 18.0%보다도 낮았다. 실패 양상도 국소적이어서, 드래그 실패의 72%는 올바른 슬라이더나 캔버스에 도달한 뒤 제스처 중이나 직후에 무너졌다. 또 과업 성공률은 프리미티브 개수 n에 대해 대략 p^n(p=62%)을 따르며 모든 길이에서 3.8포인트 이내로 맞아떨어졌다. 실패가 스킬 단위에서 복리로 누적된다는 뜻이다.

어떻게 쓰나

MiniWebGen은 이 약점을 메우기 위한 검증된 스킬 중심 학습 데이터 생성 파이프라인이다. 요약(사람 시연을 사이트 불문 가이드로 정리), 샘플링(사이트·컨트롤·인자·초기 상태 추출), 지시문 생성(LLM이 문장을 쓰되 통과 조건 κ는 절대 LLM이 쓰지 않고 실제 요청이나 드라이런 일치로 결정), 실행(DOM 읽기 권한만 가진 코딩 LLM이 보이는 요소에 마우스·키보드 이벤트만 쓰는 제한 래퍼로 스크립트 작성), 게이트(κ(s0)=0 ∧ κ(sT)=1일 때만 채택)의 다섯 단계다. Gemini 3.5 Flash로 약 0.04달러씩 총 3,128개 궤적을 확보했다. Qwen3.5-4B에 rank-64 LoRA를 붙여 2만7,600 스텝으로 1에포크 학습한 결과, 미학습 사이트의 단일 프리미티브 과업 103개에서 성공률이 55.3%에서 80.3%로 올랐고 모든 스킬 패밀리에서 향상됐다. 그러나 전체 과업에서는 프리미티브 성공률이 44.1%에서 45.1%로, 과업 성공률이 38.7%에서 39.2%로 사실상 제자리였고 외부 벤치마크 세 곳에서는 오히려 하락했다. 짧은 단일 프리미티브 에피소드로 학습한 모델이 여러 스킬을 연결해야 하는 과업에서 첫 스킬을 마친 뒤 멈춰버리는 구성(composition) 문제다.

전제와 한계

MiniWebAgent는 이 간극을 플래너-실행기 분리로 해결한다. 플래너는 학습하지 않은 베이스 모델 자체로, 페이지를 조작하지 않고 관찰만 하면서 drag, select, io, rest, reasoning 중 하나의 패밀리와 짧은 지시를 위임하거나 최종 답을 낸다. 위임을 받은 실행기는 모든 스킬 패밀리로 학습된 LoRA 어댑터를 붙인 모델이 최대 15개 행동까지 수행하고 페이지 변화 여부를 보고한다. 미학습 단일 에이전트 대비 미학습 MiniWeb 사이트에서 19.4포인트, WebArena-Lite 9.3포인트, WebVoyager 20.0포인트, Online-Mind2Web 16.1포인트가 올랐으며 대상 벤치마크 궤적으로는 전혀 학습하지 않았다. 프리미티브 성공률도 49.8%에서 63.7%로 상승했고, 프리미티브 3개 이상 과업에서는 14.5% 대 33.3%로 두 배 이상이 됐다.

이득이 단순히 웹 궤적을 더 많이 학습한 효과인지도 통제했다. InSTA 파이프라인을 MiniWeb 위에 재구현해 크기를 맞춘 과업 중심 코퍼스를 만들고 같은 실행기를 학습시켰으나, 과업 중심 실행기는 네 벤치마크 어디에서도 미학습 플래너 대비 유의미한 향상을 주지 못했다. 반면 스킬 중심 실행기는 네 곳 모두에서 향상됐고, 정면 비교에서도 Online-Mind2Web +10.7포인트(p<0.001), 미학습 MiniWeb +10.2포인트(p=0.027, Holm p=0.081)로 앞섰다.

개발자 관점에서 이 논문의 실무적 함의는 명확하다. 소형 모델로 브라우저 자동화를 만들 때 전체 태스크 데모를 모으는 것만으로는 드래그, 파일 업로드, 캔버스 조작처럼 코퍼스에 드물게 등장하는 상호작용이 학습되지 않는다. 엔드투엔드 성능이 정체된다면 스킬 단위 성공률을 따로 측정해 어느 패밀리가 병목인지 확인하고, 그 스킬만 짧은 궤적으로 집중 학습시킨 뒤 플래너로 조합하는 구성을 우선 검토할 만하다. 특히 여러 스텝을 요구하는 긴 과업일수록 스킬 단위 개선이 복리로 누적된다는 점이 이 접근의 근거다.

저자들이 밝힌 한계도 분명하다. MiniWeb의 사람 작성 과업 수는 Mind2Web이나 WebArena보다 적고, MiniWebGen은 학습 데이터 부족을 완화할 뿐 광범위한 사람 평가를 대체하지 못한다. 폐쇄형 프론티어 에이전트는 비용 문제로 평가하지 않았고 소형 오픈웨이트 모델에 초점을 맞췄다. 벤치마크가 드러낸 drag & gesture 결함 자체를 완전히 해결하지는 않았으며, 스킬 중심 학습을 더 큰 데이터·더 다양한 사이트·더 큰 모델로 확장하는 스케일링 실험도 수행하지 않았다.