에이전트의 반복 선택을 4B 결정 모델에 맡겨 비용과 시간을 줄인다
JevAgentHarness: Benchmarking, Deploying and Training Decision Models That Share Control with LLMs
무엇인가
LLM 에이전트 하네스는 스텝마다 대형 모델을 호출하고, 그 호출의 대부분은 '다음에 어떤 도구를 부를까' 같은 객관식 선택으로 끝난다. 논문은 이런 구조 때문에 긴 작업이 느리고 비싸진다고 지적하며, 공개 리더보드 하나를 평가하는 데 약 4만 달러가 들었다는 수치를 근거로 든다. 결정 모델은 텍스트를 생성하는 대신 주어진 선택지에 대한 확률을 바로 돌려주는 모델로, 기록된 한 에피소드에서 Jev 호출은 LLM 호출 시간의 28%, 가격의 2.6%를 차지했다. 논문의 질문은 명확하다. 하네스가 성공률을 거의 잃지 않으면서 루틴한 선택을 결정 모델에 넘길 수 있는가.
어떻게 동작하나
저자들은 이 질문을 세 조건으로 쪼개고 각각에 대응하는 구성요소를 만든다. 에이전트 안에서 결정 모델을 시험하는 AgentDecisionBench, 신뢰할 때만 위임하는 JevAgentHarness, 그리고 에이전트가 스스로 도달한 상태로 학습한 AgentDecision-4B다. 논문은 결정 지점을 8개로 정의한다. 도구, 도구 인자, 도구가 없을 때의 다음 행동이 에이전트의 행동을 정하고, 메모리 기록 여부, 실패 후 성찰, 종료, 더 싼 LLM으로의 라우팅, 저장된 노트 중 무엇을 읽을지가 루프를 제어한다. 통합 모드는 5가지다. 결정 모델이 먼저 답하고 신뢰도가 임계값을 넘을 때만 채택하는 Cascade, 항상 결정 모델이 정하는 Replace, 선택지를 좁혀 주는 Assist, LLM의 선택을 승인하거나 거부하는 Guard, 선택적 단계 실행 여부를 정하는 Trigger다. 논문은 이 40개 지점·모드 조합을 모두 구현했다고 밝힌다.
무엇과 다른가
핵심은 언제 위임할지를 정하는 규칙이다. 결정 모델의 신뢰도 c(s)가 LLM이 그 선택을 맞히는 비율 q_L에서 저장되는 호출 비용 ΔC를 오답 비용 V로 나눈 값을 뺀 값 이상이면 위임이 이득이다. 즉 결정 모델이 LLM보다 조금 부정확해도 절약분이 위험을 덮으면 넘긴다. 임계값은 에이전트 LLM별 150개 태스크를 shadow 모드로 돌려, 결정 모델이 모든 질문에 조용히 답하게 하면서 궤적을 모아 적합한다. 이 궤적에서 LLM의 정답률, 호출 가격, 오답 하나가 태스크 성공을 얼마나 떨어뜨리는지를 추정한다. Jev와 Gemini 3.5 Flash 조합에서 적합된 임계값은 도구 1.00, 인자 0.99로, 거의 확실한 답만 쓰였다.
어떻게 쓰나
AgentDecisionBench는 세 수준으로 나뉜다. L1은 에이전트 없이 단일 질문만 푸는 수준으로, BFCL v4의 도구 선택 1,114개와 인자 1,949개, When2Call 928개를 객관식으로 바꿔 쓴다. L2는 기록된 에이전트 실행의 각 스텝에서 답하되 그 답이 실행되지 않고 채점만 되는 수준으로, DecisionGym의 새 태스크 200개에서 나온 5,314개 상태를 모든 모델이 공통으로 답한다. L3는 실행 중인 에이전트의 모든 도구 선택을 결정 모델이 내리고 그 선택이 실제로 수행되는 수준이다. 이를 위해 저자들은 68개 도구와 finish를 섞어 제시하는 시뮬레이션 고객 서비스 환경 DecisionGym을 직접 만들었다. 핵심 도구 7개, 고객에게 묻는 도구 1개, 핵심 도구의 유사 중복 31개, 무관한 도구 29개가 섞여 있고, 스크립트된 계획 덕분에 에이전트가 우회한 뒤에도 풀 수 있는 상태마다 정답 키를 도출할 수 있다.
전제와 한계
결과의 첫 번째 요점은 고립된 질문의 정확도가 에이전트 성능을 예측하지 못한다는 것이다. BFCL 도구 선택에서 가장 정확한 모델은 StartLux-9B로 92.2%였지만 실제 태스크는 69.5%만 풀었다. 반면 BFCL 정확도가 89.3%로 더 낮은 AgentDecision-4B는 91.5%를 풀었고 Jev는 82.0%였다. 스텝 수준 정확도는 태스크 성공과 거의 같은 순위를 보였다(켄달 상관 0.84). 격차는 고객에게 물어야 하는 상태에서 갈렸는데, AgentDecision-4B가 67.4%, Jev가 58.3%를 맞혔다. 두 번째 요점은 임계값의 효과다. Flash를 에이전트 LLM으로 쓸 때 Jev가 도구 선택의 27.2%, 인자 선택의 20.8%를 맡아 비용을 14.2% 줄이면서 500개 태스크의 결과를 하나도 바꾸지 않았다. 임계값 없이 Jev가 모든 도구 선택을 하면 성공률이 19.0점 떨어졌고, Jev가 3개 후보를 추려 주는 방식은 7.8점을 잃으면서 비용을 53.7% 줄였다. 고정 임계값은 21.5점을 잃었다.
배포 수준의 수치는 더 크다. AgentDecision-4B를 자체 GPU에서 서빙하면 DecisionGym 에이전트가 86.3% 싸지고 2.5배 빨라지면서 성공률 3점 이상을 잃지 않았고, ALFWorld에서는 그 환경으로 학습한 4B 모델이 에이전트를 89.0% 싸게 만들고 약 2배 빠르게 하면서 성공률은 오히려 높였다. 반면 코딩 에이전트의 이득은 작았다. Jev가 각 스텝을 강한 LLM과 빠른 LLM으로 라우팅할 때 비용 절감은 7.0~10.5%에 그쳤고 하네스별로 성공률이 달라졌다. 어려운 DecisionGym 태스크에서는 성공률을 지키거나 올렸지만 절감은 4.6~30.5%였고 더 느렸다. 새 태스크 500개에서 AgentDecision-4B는 도구 선택의 99.9%, 인자 선택의 75.0%를 맡아 태스크당 LLM 호출 4.5회를 아꼈고, L4 GPU 한 장에서 답변 중앙값 31ms를 기록해 Flash 호출 809ms와 대비됐다. 학습에서는 에이전트 자체 상태에 대한 SFT가 shifted 상태의 스텝 정확도를 52.9%에서 98.4%로 올렸지만 고립 질문 정확도는 7점만 올랐다. SFT는 2.2 GPU시간이 걸렸고, GRPO는 4.5 GPU시간과 26.53달러의 LLM 호출을 더 썼지만 측정 가능한 이득이 없었다. SFT 없이 GRPO만 돌리면 미학습 모델은 shifted 태스크를 11.5% 풀어 GRPO 전 13.5%보다 나빠졌다. Qwen3-4B의 shifted 태스크 성공률은 13.5%에서 96.0%로, StartLux-4B는 49.0%에서 98.0%로 올랐다.
실무에서 봐야 할 지점은 세 가지 실패 모드다. 되돌릴 수 없는 단계에서 확신에 찬 오답이 나오면 태스크가 끝난다. Jev가 실패한 34개 태스크는 모두 되돌릴 수 없는 잘못된 도구 선택으로 시작했고, 대개 물어야 할 상황에서 취소를 골랐다. 에이전트 상태로 학습한 모델은 이런 오류를 내지 않았다. 새 규칙이 등장하는 상황도 취약하다. 고객 10명짜리 어려운 태스크에서 이 규칙을 학습하지 않은 AgentDecision-4B는 취소·배송 결정의 81.6%만 맞혀 에이전트 성공률이 3.0%까지 떨어졌고, LLM 단독은 88.0%였다. 임계값을 다시 적합하면 Jev로도 성공률이 회복됐고, 규칙을 포함해 재학습하면 held-out 정확도가 76.5%에서 95.3%로 올랐다. 또 LLM을 여전히 호출하는 Guard 같은 모드는 절감이 거의 없다. 따라서 도입 전에 자신의 에이전트 궤적으로 임계값을 적합하고, 되돌릴 수 없는 행동에는 결정 모델을 유일한 통제로 두지 않아야 한다.
저자들이 밝힌 한계도 분명하다. 모든 태스크와 프롬프트가 영어이고 대부분 Gemini 계열 에이전트 LLM을 썼으므로 다른 언어나 다른 LLM에서는 위임할 가치가 있는 선택이 달라질 수 있다. 주요 검정은 동등성이 아니라 비열등성 검정으로, 성공률이 정해진 마진(3점, τ²-bench는 5점)보다 적게 떨어짐을 보일 뿐 같음을 보이지는 않는다. 임계값과 학습된 결정 모델은 해당 에이전트의 실행에 맞춰져 있어 새 에이전트, 새 도구, 새 태스크 계열에는 재적합과 재학습이 필요하다. 행동이 자유 텍스트인 코딩 에이전트에서는 결정 모델이 어느 LLM이 스텝을 쓸지만 고를 수 있어 절감이 작았고, 파일을 읽기만 하는 스텝을 빠른 LLM으로 보내는 것도 신뢰할 만한 절감을 주지 못했다. 가격과 지연은 측정 시점의 값이며 제공자, 하드웨어, 서빙 방식에 따라 변한다. RouteLLM 같은 학습된 라우터와 같은 태스크에서 비교하지 않았고, GRPO는 SFT 대비 측정 가능한 이득이 없었다. 윤리 항목에서는 Flash-Lite를 에이전트 LLM으로 쓸 때 stop guard가 LLM 자신의 잘못된 종료 시도의 40.7%를 받아들였다는 점을 들어, 결정 모델 가드를 되돌릴 수 없는 행동의 유일한 통제로 쓰지 말라고 경고한다. 어댑터는 비용과 속도만 제어하며 보안 경계로 쓸 수 없고, 적대적 관찰이나 정책 주입은 시험하지 않아 결과는 정상 상태에만 적용된다.