HERA는 하네스와 환경을 함께 진화시켜 에이전트의 중단 판단을 학습시킨다

무엇인가

LLM 에이전트는 도구를 여러 번 호출하며 복잡한 과제를 수행하지만, 요청이 불충분하거나 환경에 실행 전제가 없을 때 스스로 멈추지 못한다. 논문은 이 능력을 agentic abstention이라 부른다. 불가능한 과제에서 계속 행동하면 성능이 떨어지고, 불필요한 API 비용과 지연이 발생하며, 되돌릴 수 없는 조작으로 이어질 수 있다. 기존 연구는 모델 자체를 파인튜닝·강화학습으로 최적화하거나, 모델은 고정한 채 하네스(컨텍스트 구성, 메모리, 스킬, 도구 사용, 행동 검증, 계속/복구/중단 제어 로직)를 최적화했다. 문제는 고정된 과제 집합에 하네스를 맞추면 그 과제가 드러낸 실패만 학습되고, 같은 예시는 개선 신호를 점점 잃는다는 점이다. HERA는 이 지점에서 과제 분포 자체가 하네스와 함께 진화해야 한다고 주장한다.

어떻게 동작하나

1단계는 검증 가능한 환경-과제 생성을 자동화한다. 먼저 다양한 환경 테마마다 딥리서치 에이전트가 주제 정합적인 구조화 데이터베이스를 구축하고, 바운드된 코딩 절차가 도구 생성 정책 아래 후보 도구 집합을 만든 뒤 데이터베이스 스키마와 대조해 실행 불가능하거나 불일치하는 도구를 걸러낸다. 이렇게 얻은 실행 환경이 E_θ다. 다음으로 과제 제안기가 데이터와 도구 능력에 근거한 후보 과제를 만들고, 제안한 모델이 스스로 채점하지 않도록 독립적인 솔버가 공개 도구 인터페이스로 각 과제를 실제 수행한다. 성공과 검증을 통과한 과제만 Q_θ로 남고, 그 실행 궤적이 이후 환경 변이가 과제 가능성을 어떻게 바꾸는지 판정하는 기준이 된다. 마지막이 환경 변이다. N개의 독립 제안기가 변이안 풀을 만들고, 의미 정책 π_sem이 과제·환경과 의미적으로 일관되는지, 구조 정책 π_res가 변이 후에도 의도하지 않은 우회 경로로 과제가 풀리지 않는지를 검토한다. 통과하지 못한 제안은 정제 루프를 거쳐 재검토되고, 통과한 제안 p*_θ를 변이 연산자 M으로 원래 환경에 적용해 E'_θ = M(E_θ, p*_θ)를 얻는다. 같은 과제 지시문에 대해 환경 변이가 가능/불가능을 갈라놓는 쌍이 이렇게 만들어진다.

무엇과 다른가

2단계는 하네스-환경 공진화다. 라운드마다 공유 과제 지시문과 짝지어진 가능 환경(Act)과 불가능 환경(Abstain)을 담은 환경 풀 E_g를 두고, 현재 하네스 H_k의 에이전트를 양쪽 모두에서 실행해 궤적 R_k를 모은다. LLM 기반 실패 분석기가 궤적과 평가 결과를 읽어 과제 완수 실패와 중단 실패를 원인별로 묶어 구조화된 진단 F_k를 만든다. 환경 진화에서는 이 진단을 받은 환경 설계자가 부모 환경의 데이터, 도구 동작, 제약을 수정하고, 수정된 환경을 다시 과제 생성·환경 변이 단계에 넘긴다. 새로 만든 가능/불가능 쌍은 이전과 같은 검증을 통과해야 하며, 현재 하네스가 불가능 인스턴스 5개 중 최소 2개(임계값 τ=0.4)에서 중단에 실패해야 그 배치가 다음 라운드 훈련 풀에 편입된다. 하네스 진화는 H_{k,i+1} = Optimize(H_{k,i}, F_{k,i})를 i=0부터 n-1까지 반복하는 절차로, 기반 모델은 고정한 채 프롬프트, 메모리, 하네스 수준 도구, 스킬, 제어 로직, 서브에이전트 구성을 수정한다. 각 후보는 전체 풀에 대한 쌍 단위 롤아웃으로 평가되고, 라운드 종료 시 훈련 풀과 hera-bench 어디에도 속하지 않는 고정 검증 세트에서 Abstain과 Pair 두 지표가 모두 떨어지지 않으면서 하나는 엄격히 개선된 후보만 채택된다. 검증 결과는 최종 체크포인트 선택에만 쓰이고 최적화기에는 피드백되지 않는다.

어떻게 쓰나

실험은 20개 과제 쌍으로 훈련 풀을 시작해 라운드마다 5쌍씩 30쌍을 추가, 총 50쌍(100개 인스턴스)까지 늘리며 6라운드를 돌린다. 평가는 훈련과 도메인이 겹치지 않게 1단계 파이프라인으로 생성한 뒤 저자들이 수작업으로 검토·수정한 60쌍의 held-out 벤치마크 hera-bench에서 이뤄진다. 베이스 하네스 H_0는 OpenAI Agents SDK 위에 MCP로 환경 도구를 노출한 최소 도구 호출 에이전트이고, 30턴 제한이 있다. 주 실행 모델은 GPT-5.6-Luna다. hera-bench에서 HERA의 최종 하네스는 abstention 정확도를 61.7%에서 83.3%로, 가능 과제 완수를 68.3%에서 76.7%로, 쌍 단위 성공(Pair)을 48.3%에서 70.0%로 올려 비교 방법 중 최고치를 기록했다. 누적 훈련 풀의 최종 50쌍에서는 abstention 86.0%, 쌍 성공 78.0%로 차순위 베이시스보다 두 지표 모두 10.0%포인트 앞섰다. 명시적 중단 프롬프트를 넣는 베이스라인은 abstention은 올랐지만 가능 과제 완수가 떨어졌고, 하네스만 진화시키는 방법은 두 지표 모두 H_0보다 개선되긴 했으나 공진화에 미치지 못했다.

전제와 한계

전이 실험도 눈에 띈다. GPT-5.6-Luna로 개발한 최종 하네스를 모델별 추가 최적화 없이 19개 모델에 그대로 적용했더니 abstention은 평균 15.3%포인트, 쌍 성공은 12.5%포인트 개선됐다. 모델별 개선폭은 abstention 6.7~40.0%포인트, 쌍 성공 1.7~28.3%포인트로 편차가 컸다. 이미 H_0에서 GPT-5.6-Luna보다 강했던 GPT-6-Astra조차 abstention 81.7%→91.7%, 쌍 성공 70.0%→80.0%로 올랐다. 비용 분석에서는 하네스 적용이 API 비용과 토큰 사용량을 각각 중앙값 2.09배, 3.31배 늘리지만, GPT-5.6-Luna에 HERA를 붙여 70.0% 쌍 성공을 달성하면 베이스 하네스의 GPT-6-Astra와 같은 성능을 에피소드당 0.0091달러 대 0.0610달러, 약 85% 낮은 비용으로 내는 것으로 추정됐다.

공진화 역학 분석은 방법의 핵심 가정을 뒷받침한다. 새로 진화한 과제 배치는 같은 하네스에서 이전 배치보다 낮은 성능으로 시작하는 경향이 있었는데, 이는 환경 진화가 현재 하네스의 약점을 실제로 겨냥했다는 신호다. 예컨대 H_5는 새 배치 B_6에서 초기 배치 B_0보다 크게 낮은 성능을 보였지만, B_6가 하네스 진화에 편입된 뒤 H_6 업데이트로 B_6의 Abstain과 Act가 60.0%에서 80.0%로 함께 올랐다. 반면 이전 배치들의 Act 성능은 진화 과정에서 대체로 안정적이었고 약간의 상승 추세를 보였다. 새 과제 생성이 Act를 직접 겨냥하지 않는데도 가능 과제 수행 능력이 희생되지 않았다는 뜻이다. 하네스 업데이트 사례로는 증거 기반 중단, 출처 간 증거 조정, 제약 동시 검증, 권한·프라이버시 확인 같은 로직이 단계적으로 추가되는 흐름이 제시된다.

개발자 관점에서 이 논문의 실용적 메시지는 두 가지다. 첫째, 에이전트 신뢰성 문제를 모델 재학습 없이 하네스 계층에서 다룰 수 있고, 그 하네스가 다른 모델로 전이되므로 모델을 갈아탈 때마다 처음부터 튜닝할 필요가 줄어든다. 둘째, 평가 세트를 고정해두지 말고 현재 시스템이 틀리는 지점을 겨냥해 계속 재생성해야 한다는 것이다. 다만 도입 전에 확인할 것은 비용이다. 하네스가 길어지고 검증 단계가 붙으면서 API 비용이 중앙값 2배 이상, 토큰은 3배 이상 늘어나므로, 저가 모델과 조합해 총비용을 낮추는 그림이 성립하는지 자체 워크로드로 측정해야 한다. 또한 이득의 크기가 모델마다 크게 달라지므로(쌍 성공 개선 1.7~28.3%포인트) 사용 중인 모델에서의 전이 효과를 별도로 검증하는 편이 안전하다.

한계와 전제도 분명하다. 실험은 합성 과제와 통제된 실행 환경에서 이뤄졌고 사람 대상이나 개인정보는 다루지 않는다고 저자들은 밝힌다. 하네스 최적화는 기반 모델을 고정한 상태에서만 이뤄지므로 모델 자체의 abstention 능력을 키우는 접근과는 직교하며, 두 접근을 결합했을 때의 효과는 제시되지 않았다. 배치 편입 기준 τ=0.4와 30턴 실행 제한, 6라운드 일정 같은 하이퍼파라미터는 저자 설정이며 다른 값에서의 민감도는 원문에 수치가 제시되지 않았다. 또한 선행 연구를 인용해 하네스 진화의 이득이 최적화에 반복 사용된 과제 너머로 일반화되는지에 대한 의문을 함께 언급하고 있으며, hera-bench는 저자들이 수작업으로 검토·수정한 60쌍 규모라 도메인 범위가 넓지 않다.