ParetoSaddler는 에이전트 하네스의 품질과 비용을 함께 최적화한다

무엇인가

이 논문은 LLM 에이전트의 하네스, 즉 프롬프트와 도구, 미들웨어, 제어 로직을 모델 가중치 변경 없이 자동 최적화하는 문제를 다룬다. 기존 자동 하네스 최적화는 주로 응답 품질만 최적화하는데, 실제 배포에서는 토큰 비용도 중요하다. 문제는 단계적 평가에서 중간 후보를 승격할 때 최종 배포 선호를 그대로 적용하면, 당장은 품질과 비용의 trade-off가 불리해 보여도 나중 개선의 발판이 되는 후보를 조기에 버릴 수 있다는 점이다. 게다가 같은 하네스를 반복 실행해도 품질과 비용 변동이 커서 평균만 비교하면 우연한 개선을 과대평가할 수 있다.

어떻게 동작하나

ParetoSaddler는 탐색 중 승격과 배포 시 선택을 분리한다. 각 반복에서 최적화기는 부모 하네스를 업데이트해 후보를 만들고, 부모와 후보를 스크리닝 샘플에서 과제당 R회 반복 실행한다. 이 실행 결과에 베이지안 부트스트랩을 적용해, 과제별 R개 실행에 디리클레 가중치를 주고 품질과 비용에 같은 가중치를 적용한 뒤 과제별로 평균해 Q와 C의 부트스트랩 분포를 만든다. 각 draw에서 품질 변화 ΔQ와 상대 비용 변화 ΔC를 계산하고, 품질이 개선되면서 비용 악화가 ε_C 이내이거나, 비용이 줄면서 품질 악화가 ε_Q 이내이면 승격 지지로 본다. 이 지지 비율이 γ 이상이면 후보를 승격한다. 즉 최종 배포 선호를 중간 필터로 쓰지 않는다.

무엇과 다른가

논문의 구현은 AutoSaddler 위에 얹었다. 승격된 후보는 개발 세트에서 다시 R회 실행으로 평가되고, 개발 평가를 거친 모든 하네스 집합 V와 개발 추정에서 비지배적인 후보로 구성한 경험적 Pareto 아카이브 A에 반영된다. 승격되지 않은 후보는 집합을 바꾸지 않는다. 중요한 점은 V가 현재 Pareto 아카이브 밖의 후보도 보관해 이후 최적화의 부모로 남긴다는 것이다. 배포 선호 π는 다음 부모를 고르는 방향을 유도할 수 있지만 하드 필터로 작동하지 않아, 제약을 일시적으로 위반하거나 아카이브 밖에 있다는 이유만으로 후보를 배제하지 않는다. 예산이 끝난 뒤에야 π를 최종 V에 적용해 가중합, 품질 하한을 둔 비용 최소화, 또는 Pareto 집합 선택을 수행한다. 실험 기본값은 J=10,000회 부트스트랩, γ=0.7, ε_Q=0.1, ε_C=무한대, 과제당 R=3회, 3개 과제 미니배치이며, PS-MinCost에서는 품질이 초기 하네스보다 10퍼센트포인트 넘게 떨어지지 않도록 했다.

어떻게 쓰나

실험은 ClawMark와 GAIA2의 도메인 분리 학습·개발·테스트 분할에서 수행했다. ClawMark는 stage-0 루브릭이 있는 92개 과제에서 GPT-5.4 고추론 OpenClaw를, GAIA2는 GPT-5.5 중간 추론의 기본 ReAct 하네스를 최적화했다. 비교 대상은 단계적 평가 없이 전체 학습 세트로 하네스를 업데이트하는 Meta-Harness와 품질만 최적화하는 AutoSaddler다. ParetoSaddler의 품질극단 PS-Pareto Q는 ClawMark에서 품질을 70.86%에서 81.35%로 올리고 작업당 비용을 1.17달러에서 1.01달러로 낮췄다. GAIA2에서는 56.22%에서 62.89%로 올리고 0.78달러에서 0.45달러로 낮췄다. 이는 각각 품질 14.8% 상승과 비용 13.7% 절감, 품질 11.9% 상승과 비용 42.3% 절감이다. 비용극단 PS-Pareto C도 두 벤치마크에서 품질과 비용을 모두 개선했고, PS-Pareto Q는 품질만 최적화한 AS-Quality보다 ClawMark에서 7.49점, GAIA2에서 5.56점 높은 품질을 더 낮은 비용으로 달성했다. 품질 제약 비용 최소화 설정의 PS-MinCost는 ClawMark 0.82달러, GAIA2 0.44달러까지 비용을 낮추면서 요구 품질을 유지했고, 두 벤치마크에서 MH-MinCost를 품질과 비용 모두에서 앞섰다.

전제와 한계

분석은 왜 중간 승격 기준을 분리하는지 보여준다. ClawMark의 I-7 사례에서 부모는 미니배치 세 과제 모두에서 완벽한 품질을 냈고, 후보는 평균 비용을 17.22% 줄였지만 품질이 1.33점 떨어졌다. 품질 게이트라면 거부했을 후보를 Pareto 승격은 개발 평가로 보냈고, 개발 평가에서 품질은 72.94% 대 72.27%, 비용은 0.88달러 대 1.13달러로 모두 개선됐다. PS-MinCost에서 Pareto 승격을 MinCost 로컬 게이트로 바꾼 통제 실험에서는 Pareto 게이트가 11개 후보를 승격한 반면 MinCost 게이트는 3개만 승격했고 테스트 운영점도 더 나빴다. I-11은 미니배치 품질을 83.65%에서 87.62%로 올리면서 비용을 10.5% 늘렸는데, MinCost 게이트는 이를 거부했지만 Pareto는 유지해 이후 I-14와 I-16으로 이어졌다. 반복 실행도 중요하다. 과제당 1회 실행과 3회 실행을 비교하면 3회 실행이 비용극단에서 79.60% 품질과 0.92달러를 기록해 1회 실행의 76.95%와 0.95달러보다 좋았고, 품질극단에서는 75.71%에서 81.35%로 올랐다. 베이지안 스크리닝은 평균 기반 게이트보다 약한 이득을 걸러냈다. 같은 17개 후보를 재생했을 때 평균 기반 게이트는 14개를 승격했지만 베이지안은 12개를 승격했고, I-12는 평균적으로 품질 5.55점 하락과 비용 7.19% 절감처럼 보였으나 개발 평가에서는 부모보다 품질이 2.80점 나쁘고 10.66% 더 비쌌다. 전체 절제 실험에서도 베이지안은 비용극단 79.60%와 0.92달러, 품질극단 81.35%와 1.01달러로 평균 기반의 76.86%와 1.09달러, 76.53%와 1.15달러를 앞섰다.

개발자에게 이 논문은 에이전트 하네스를 자동 튜닝할 때 품질과 비용을 동시에 관리하는 운영 패턴을 제공한다. 특히 프롬프트, 도구, 미들웨어, 제어 로직을 바꾸는 실험에서 최종 예산이나 품질 하한을 스크리닝 단계의 하드 필터로 쓰지 말고, 반복 실행으로 통계적 지지를 확인한 뒤 개발 평가로 승격하고, 최종 배포 선택은 최적화가 끝난 뒤에 하는 편이 낫다는 주장이다. 실무에서는 과제당 반복 실행과 실행 궤적, 신선 입력·캐시 입력·출력 토큰별 가격을 기록해야 하며, 품질 지표는 루브릭 점수나 Pass@1처럼 벤치마크에 맞게 정의해야 한다. 논문은 ClawMark 20개 과제와 과제당 6회 반복에서 과제 내 변동계수가 품질 18.8%, 비용 25.6%에 이른다고 보고해, 단일 실행 평균 비교의 위험을 뒷받침한다.

한계는 저자들이 명시한 범위에 있다. 이 연구는 벤치마크 환경에서 에이전트의 과제 품질과 LLM 토큰 비용만 최적화하며, 공정성, 무해성, 안전성, 사회적 영향은 평가하지 않는다. 따라서 품질과 비용 개선을 안전성이나 제한 없는 실제 배포 준비의 증거로 해석하면 안 된다. 프라이버시 보호 기법도 연구하지 않았고, 비용은 고정 가격표 아래의 토큰 비용이며 모델 가중치는 고정이다. 또한 반복 실행과 부트스트랩, 승격 임계값 γ에 의존하고, 실험에서는 ε_C를 무한대로 두어 국소적 비용 증가에는 상한을 두지 않았으므로, 실제 도입에서는 반복 실행 비용과 임계값 민감도를 함께 확인해야 한다.