에이전트 프롬프트 최적화에서 어떤 실패를 학습 신호로 쓸지 선별한다

무엇인가

이 논문이 푸는 문제는 "에이전트의 실패에서 무엇을 배울 것인가"다. 반성적 프롬프트 최적화(reflective prompt optimization)는 에이전트가 도구를 쓰며 환경과 상호작용한 트레이스와 최종 상태를 Reflector가 읽고 교훈을 뽑아 시스템 프롬프트를 고치는 방식이며, GEPA 같은 기존 방법은 실패한 롤아웃에서 학습한다. 그런데 저자들은 에이전트 실패가 프롬프트 약점에서만 나오지 않는다고 지적한다. 하네스의 한계, 필요한 도구의 부재, 실행과 평가의 확률적 잡음, LLM-as-a-judge 판정의 흔들림, 애초에 모호하거나 불가능한 과제도 실패를 만든다. 논문의 예시가 명확하다. 쇼핑몰에서 필수 옵션을 놓쳐 실패한 것은 프롬프트를 고칠 좋은 신호지만, 구매 버튼이 일시적으로 오작동해서 실패한 것을 프롬프트 탓으로 오귀속하면 "우회 경로를 찾아라" 같은 불필요하거나 해로운 규칙이 프롬프트에 심긴다. 저자들은 검증셋 기반 게이팅(GEPA는 변이 후 미니배치를 다시 평가하기까지 한다)도 충분하지 않다고 본다. 집계 점수가 잡음에 흔들려 나쁜 변이가 통과하고 좋은 변이가 기각될 수 있고, 게이팅은 변이가 생성된 뒤에야 작동하므로 반성 자체의 품질을 높이지 못한다는 것이다.

어떻게 동작하나

GEPA-Curator는 최적화기 자체를 수정하지 않고 그 위에 얹히는 하네스다. 과제별 히스토리(이전 최적화 스텝의 트레이젝터리와 평가 결과)를 유지하면서 두 가지 역할을 한다. 첫째는 task curation으로, 미니배치를 무작위로 뽑는 대신 학습 신호가 깨끗할 과제를 고르고 잡음이 의심되는 과제를 버린다. 초기에는 미탐색 과제를 우선해 과제별 히스토리를 쌓고, 히스토리가 쌓이면 반복적이고 안정적인 성공, 프롬프트 밖 요인(하네스·환경 한계)으로 인한 반복 실패, 유사한 결과에 대한 일관성 없는 평가를 근거로 해당 과제를 건너뛴다. 중요한 것은 스킵이 영구 결정이 아니라 매 에폭 재검토된다는 점이다. 다른 과제를 겨냥한 프롬프트 갱신(압축이나 상충하는 규칙 추가)으로 이전에 풀던 과제가 퇴행할 수 있고, 반대로 처음엔 너무 어려워 스킵했던 과제가 프롬프트 개선으로 풀릴 수 있기 때문이다.

무엇과 다른가

둘째는 prior success retrieval이다. 현재 미니배치의 실패한 실행에 대해 같은 과제의 과거 성공 트레이젝터리 하나를 골라 추가 컨텍스트로 Reflector에 제공한다. 실패 행동을 신뢰할 수 있는 참조와 대조하게 만들어, 실패 원인을 추측하는 대신 구체적 근거 위에서 수정하게 하려는 것이다. Curator는 일관된 평가 근거로 뒷받침된 성공을 선호하고 애매하면 아예 아무것도 주지 않는다(abstain). 잡음 섞인 성공이 잘못된 양성 예시가 되는 것을 막는 장치다. 두 역할은 Curator 호출 한 번에서 공동으로 수행되므로 추가 LLM 호출이 들지 않고, 전달되는 것은 추가 입력 메타데이터뿐이라 최적화기 인터페이스는 그대로다.

어떻게 쓰나

실험은 GEPA와 ACE를 베이스라인으로 삼는다. GEPA-Curator는 Pareto 기반 후보 선택을 제거한 단순 그리디 GEPA 변형 위에 구현했고, 단일 계보를 유지하며 16 iteration마다 검증셋으로 평가해 최고 검증 점수의 체크포인트를 최종 모델로 고른다. 액터는 gpt-oss-120b, 옵티마이저 모델은 Gemini 3.1 Pro Preview와 Claude Opus 5를 각각 사용했으며 Reflector와 Curator를 포함한 모든 옵티마이저 측 에이전트에 같은 모델을 썼다. 미니배치 크기는 16, 액터 컨텍스트 상한은 131072, 수치는 5회 반복 평균이다. 벤치마크는 GoBrowse(WebArena의 GitLab 720, Shopping 585, Shopping Admin 750, Reddit 585 과제, 3:1:1 분할, 사이트·방법당 5,000 롤아웃), ALFWorld(150 학습·50 검증, 2,000 롤아웃, valid_unseen 134개 평가), AppWorld(공식 분할, 1,500 롤아웃, Task Goal Completion), τ-bench(상호작용을 제거해 평탄화한 115개 시나리오를 48 학습·32 검증·35 테스트로 분할, 800 롤아웃, 4 iteration마다 검증)다.

전제와 한계

WebArena 결과에서 Gemini 3.1 Pro를 옵티마이저로 쓸 때 시드 프롬프트 대비 GEPA는 6.3%, GEPA-Curator는 9.7% 개선됐다. GEPA-Curator는 네 사이트 모두에서 GEPA를 앞섰고 개선 폭은 1.6~7.4%, 집계 차이는 3.4%로 GEPA 최적화 이득의 1.54배다. Claude Opus 5에서는 시드 대비 6.4% 대 11.4%, 사이트별 0.6~7.4%, 집계 차이 5.0%, GEPA 이득의 1.78배였다. 추가 벤치마크에서 Gemini 기준 네 테스트셋 평균 GEPA 대비 14.3%, ACE 대비 5.0% 개선됐고, Opus 5 기준으로는 ALFWorld +2.6%, AppWorld Test-N +15.9%, Test-C +13.9%, τ-bench는 평균 성공률 동률이었으며 네 테스트셋 평균 GEPA 대비 8.1%, ACE 대비 12.6%다. 전체 최대 개선치는 GEPA 대비 20.7%, ACE 대비 21.2%다. GitLab 부분집합(520 학습·200 검증, 5회 반복) 어블레이션에서는 task selection만으로 +1.4%, success selection만으로 +1.9%였고 둘을 합치면 88.6%로 가장 좋았다. 두 장치가 "어떤 실패를 쓸지"와 "그 실패를 어떤 맥락에서 반성할지"를 각각 개선하며 상보적이라는 해석이다. 동기 실험도 인상적이다. GitLab 과제를 Easy, Optimizable, Impossible, Flaky로 나눴을 때 Optimizable에 Easy를 섞으면 거의 완벽한 정확도에 도달하지만, Impossible이나 Flaky를 섞으면 12/16에서 정체한다. 또 48 Easy·54 Optimizable·45 Impossible·21 Flaky 구성에서 이진 성공·실패만 쓰는 수치적 커리큘럼 학습은 62.5%로 GEPA의 66.2%보다 낮았고, task curation 단독은 67.4%, 전체 GEPA-Curator는 70.2%였다.

부가 분석으로 Curator는 1,581개 학습 과제 중 75개(4.7%)를 불가능 또는 플래키로 진단했는데, 불가능 진단의 대부분은 필요한 도구 부재 같은 하네스·환경 한계였고 플래키 진단의 최다 원인은 모호하거나 잘못 기술된 과제 설명이었다. 같은 아이디어를 하네스 코드 자체를 최적화하는 Meta-Harness에 확장한 Meta-Harness-Curator는 Math-RAG 테스트 정확도를 45.33%에서 46.33%로, 평균 리워드를 45.69%에서 47.26%로, 텍스트 분류 정확도를 48.06%에서 51.04%로 올렸다(이득은 LawBench와 Symptom2Disease에 집중되고 USPTO는 소폭 하락). 비용을 줄인 Efficient GEPA-Curator는 스킵 인터벌 지정, 최근 실행만 전문으로 주고 과거는 요약으로 대체하는 압축 히스토리, 성공 트레이젝터리 보존의 세 가지 변경으로 성능을 유지하면서 WebArena +3.6%, 비WebArena +18.5%를 기록했고 총 최적화 비용은 1.31배, 비WebArena 비용은 173.98달러로 ACE의 768.69달러보다 4.42배 저렴했다.

개발자 관점에서 이 논문의 쓸모는 "프롬프트 자동 최적화 루프를 돌릴 때 검증 게이팅만 믿지 말라"는 실무적 결론이다. 과제별로 트레이스와 평가 결과를 히스토리로 남기고, 반복 성공·프롬프트 밖 요인 실패·평가 불일치를 판정해 학습 대상에서 일시 제외하며, 실패 케이스에는 과거 성공 트레이스를 대조군으로 붙이는 설계가 성능에 직접 기여한다는 근거가 된다. 도입 전에 확인할 것은 판정자(LLM-as-a-judge)의 신뢰도, 스킵의 재검토 주기, 그리고 큐레이션 자체의 LLM 호출 비용이다. 한계와 전제는 저자들이 직접 밝힌다. 이득의 크기는 벤치마크와 옵티마이저 모델에 따라 달라지며(Gemini 기준 14.3%와 Opus 기준 8.1%처럼), Efficient 변형의 비용 분석은 상대적으로 저렴한 액터 모델을 전제로 한 것이라 더 큰 모델을 최적화하면 GEPA 대비 비용 비율은 줄어든다. Meta-Harness 실험은 설정당 한 번의 최적화 실행만 수행했고, 큐레이션은 환경 때문에 불가능한 과제를 해결하지 않고 건너뛸 뿐이며, WebArena 호스팅 비용은 비용 계산에서 제외됐다. 저자들은 최적화된 에이전트도 의도된 환경에서 평가하고 인간 감독과 모니터링을 유지해야 한다고 덧붙인다.