약한 에이전트의 잠재 불확실성으로 강한 모델 호출 시점을 정하는 LEASH

무엇인가

컴퓨터 사용 에이전트(CUA)는 자연어 지시와 화면 관찰을 실행 가능한 행동으로 옮겨 GUI 작업을 자동화하며, 최근에는 평균 한 시간이 넘는 장기 작업에 투입된다. 문제는 비용이다. 프런티어 독점 모델은 성능이 좋지만 수백 스텝짜리 작업을 매 스텝 돌리면 비용이 감당되지 않고, 작은 오픈웨이트 모델만 쓰면 훨씬 단순한 작업에서도 실패한다. 이 논문이 다루는 약한-강한 에스컬레이션(W2SE)은 약한 에이전트가 기본 실행자로 일하고 필요할 때만 강한 에이전트에 제어를 넘기는 절충안이다. 여기서 두 가지 질문이 남는다. 언제 넘길 것인가, 그리고 넘긴 뒤 강한 에이전트를 누가 감시할 것인가. 기존 연구는 매 스텝 검증용 모니터 에이전트를 하나 더 돌리거나(추론 비용 증가), 주석 궤적에 별도 모니터 모듈을 학습시키거나(주석·학습 비용 발생), 외부 지식베이스나 참조 모델, 스텝마다 여러 번 샘플링에 의존했다.

어떻게 동작하나

LEASH는 이 두 질문을 하나의 잠재 불확실성 신호로 푼다. 학습이 필요 없다. 먼저 소규모 홀드아웃 과제 집합에서 약한 에이전트를 그대로 돌려 궤적을 모으고, 마지막 레이어의 은닉 상태 두 종류를 뽑는다. 과제 쿼리의 마지막 프롬프트 토큰에서 얻는 h0와, 각 실행 스텝에서 마지막으로 생성된 행동 토큰에서 얻는 ht다. 전자는 디코딩 전 지시와 초기 화면 정보를, 후자는 실행된 행동까지 반영한다. 이렇게 쿼리 뱅크는 과제 결과(Pass/Fail)로, 행동 뱅크는 매니저 에이전트가 판정한 하위 목표 구간 결과(성공적으로 완료되면 Pass, 수정이 필요하면 Fail, 그 외에는 최종 과제 결과)로 라벨링된다. 이 뱅크 위에 채널별로 공유 공분산 가우시안 판별 모델, 즉 풀드 LDA를 적합한다. 은닉 상태를 뱅크 통계로 표준화한 뒤, 성공 중심까지의 마할라노비스 제곱거리에서 실패 중심까지의 거리를 빼서 불확실성 점수 u_c(h) = d²_Pass(h) − d²_Fail(h)를 만든다. 값이 클수록 과거 실패 쪽에 가깝다는 뜻이다. 가우시안 적합은 클래스별 평균과 특이값 분해만 필요하고 경사 기반 학습이 없으며, 뱅크가 커지면 반복 갱신할 수 있다.

무엇과 다른가

이 점수는 세 계층에 쓰인다. 첫째, 초기 라우팅 게이트 g0는 쿼리 불확실성 u_q(h0)가 임계값 τ_q를 넘으면 강한 모델로 넘긴다. 둘째, 런타임 게이트 g_t는 초기 게이트가 약한 에이전트에 남긴 과제의 각 행동을 u_a(h_t) > τ_a로 감시하고, 처음 걸리는 즉시 강한 모델에 제어를 넘긴다. 임계값은 목표 에스컬레이션 비율의 분위수로 정한다. 초기 비율을 p_q, 전체 목표를 p_esc라 하면 런타임 게이트는 남은 과제의 p_a = (p_esc − p_q)/(1 − p_q) 비율을 에스컬레이션하도록 맞춘다. τ_a는 개별 스텝이 아니라 각 참조 궤적의 최대 런타임 점수 분포에서 뽑는다. 한 스텝만 넘어도 핸드오프가 일어나기 때문이다. 셋째, 핸드오프 이후다. 강한 모델은 블랙박스 API라 내부 상태를 볼 수 없고, 언어화된 확신도는 긴 문맥에서 신뢰하기 어렵다. 그래서 약한 모델을 실행자에서 관찰자로 전환한다. 강한 에이전트가 실행한 스텝을 약한 모델 자신의 행동 형식으로 이력에 덧붙이고 기본 3스텝마다 현재 관찰과 함께 질의해 후보 행동을 생성하게 한 뒤, 같은 위치의 그림자 표현 h_sh에서 u_sh = u_a(h_sh)를 계산한다. 이 값이 참조 행동 뱅크 스텝 점수의 90퍼센타일을 넘으면 강한 에이전트의 대기 중 행동을 버리고, 더 높은 추론 노력으로 자기 진행 상황을 재평가해 새 행동을 고르게 한다. 과제당 최대 6회 개입이며, 두 번의 개입이 강한 에이전트의 제안 행동을 바꾸면 이후 개입을 종료한다.

어떻게 쓰나

실험은 OSWorld에서 수행했다. 약한 백본은 EvoCUA-8B, Qwen3.5-35B-A3B, Nemotron-3-Nano-Omni(30B-A3B), Qwen3.8-27B 네 가지이고, 강한 실행자와 과제를 하위 목표로 분해·검증하는 매니저는 Claude Opus 5다. 비교 대상은 항상 켜둔 Opus 5와 Sonnet 4.5, 동일 에스컬레이션 비율로 맞춘 랜덤 에스컬레이션, StepWise, Progress Advantage다. 결과적으로 LEASH는 네 백본 모두에서 단독 약한 에이전트 실행보다 성공률을 올렸고, 에스컬레이션 비율을 맞춘 랜덤 대비 6.55~11.94퍼센트포인트 앞섰다. 약한 모델 단독과 항상 켜둔 Opus 사이의 격차 중 75~102%를 회복했으며(랜덤은 37~69%), 비용은 항상 켜둔 Opus의 69~81% 수준이었다. Qwen3.5-35B-A3B에서는 과제의 64.1%를 에스컬레이션하면서 73.66% 성공률을 기록해 항상 켜둔 Opus의 72.90%를 앞섰고, 과제당 추론 비용은 0.4117달러로 Opus의 0.5094달러보다 19.2% 낮았다. Nemotron-3는 45.04%에서 66.03%로(43.1% 에스컬레이션), EvoCUA-8B는 42.37%에서 67.18%로(45.4% 에스컬레이션) 개선됐다. 네 구성 모두 항상 켜둔 Sonnet보다 성공률이 높았고 그중 셋은 비용도 더 낮았다.

전제와 한계

불확실성 추정기 자체도 비교했다. 출력 확률 기반 지표(음의 로그확률, 선택 토큰 확률, 예측 엔트로피, 뉴클리어스 집합 크기)와 중심까지의 유클리드 거리, kNN, 풀드 LDA를 놓고 봤을 때, 초기 쿼리 단계에서는 Nemotron에서 풀드 LDA가 가장 좋았지만 Qwen3.8-27B에서는 확률 기반이 더 강했다. 런타임 스텝 단계에서는 두 백본 모두 풀드 LDA가 가장 높은 AUROC를 냈으나 전반적 효과는 중간 수준이었다. 구성 요소별 절제에서는 매니저만 쓸 때 41.15%였던 성공률이 불확실성 기반 에스컬레이션을 켜면 67.94%로 오르고, 그림자 감시와 개입을 더하면 73.66%가 됐다. 그림자 관찰자가 발동한 과제는 특히 어려운 궤적에 몰렸다. 항상 켜둔 Opus조차 발동 과제의 51.6%만 성공했고(발동 없는 에스컬레이션 과제는 74.5%), 발동 부분집합에서 그림자를 켠 정책은 64.5%로 그림자 없는 48.4%를 크게 앞섰다. 타이밍 민감도 실험에서는 같은 과제 집합에서 LEASH가 64.6% 성공률을 0.67달러에 낸 반면, 핸드오프 시점을 섞은 기준선은 60.4%를 0.79달러에 냈다. 참조 뱅크를 40개에서 99개로 늘리면 초기 단계 AUROC가 Qwen3.5-35B-A3B에서 0.701에서 0.770으로, EvoCUA-8B에서 0.633에서 0.696으로 올랐다. 이론적으로는 공유 공분산 가우시안 가정 아래에서 이 점수가 실패 로그오즈의 두 배(상수 차이)와 같아지며, 같은 에스컬레이션 비율을 쓰는 어떤 규칙보다 약한 에이전트가 실패할 과제를 더 많이 넘긴다는 명제를 제시한다.

실무 관점에서 이 논문의 쓸모는 두 가지다. 첫째, 별도 모니터 모델이나 학습 파이프라인 없이 이미 생성 중인 활성값을 재사용해 스텝마다 점검 가능한 불확실성 신호를 만든다는 점이다. 액션 생성 시 나온 활성값을 그대로 쓰므로 추가 순전파가 필요 없다. 둘째, 에스컬레이션 비율을 분위수로 직접 조절할 수 있어 비용 예산과 성공률 사이의 운영점을 정량적으로 고를 수 있다. 다만 도입 전에 확인할 것은, 이 신호가 약한 에이전트의 실패 위험을 추정하는 것이지 에스컬레이션의 기대 이득을 추정하는 것이 아니라는 점이다. 약한 모델과 강한 모델이 같은 과제에서 함께 헤매는 상황에서는 이득이 줄어든다. 또한 참조 뱅크를 만들 홀드아웃 과제와, 하위 목표 판정을 해 줄 매니저 에이전트가 필요하다.

저자들이 밝힌 한계는 분명하다. 평가가 OSWorld의 컴퓨터 사용 에이전트에 국한돼 있어 다른 도메인으로의 일반성은 검증되지 않았다. 불확실성 점수는 약한 에이전트의 실패 위험을 추정할 뿐 에스컬레이션의 기대 이득을 추정하지 않으며, 이론적 최적성 명제는 에스컬레이션 이득이 점수에 대해 단조 비감소라는 조건을 요구하는데 두 모델이 같은 과제에서 어려움을 겪으면 이 조건이 깨질 수 있다. 핸드오프 이후의 그림자 감시는 약한 에이전트 궤적과 다른 분포 이동 아래에서 작동하며, 개입 효과가 인과적으로 분리되지 않았다는 점도 남은 과제다.