LLM 에이전트가 자기 실패를 예측하도록 신뢰도를 보정한다
Can an Agent Learn to Predict Its Own Failure? Outcome-Grounded Confidence Calibration in LLM Agents
무엇인가
긴 호라이즌 과제를 수행하는 LLM 에이전트를 런타임에 통제하려면 매 스텝마다 지금의 롤아웃이 최종적으로 성공할지에 대한 확률 추정이 필요하다. 이 논문은 그 신호를 에이전트가 스스로 말하는 신뢰도(verbalized confidence)에서 얻으려 한다. 문제는 기존 강화학습 기반 보정 방법들이 신뢰도를 '현재 스텝의 정답 여부'에 맞춰 학습한다는 점이다. 저자들은 긴 호라이즌 과제에서는 유효한 해법 경로가 여러 개라 스텝 단위 정답이 잘 정의되지 않으며, 라벨로 쓸 수 있는 것은 에피소드 최종 결과뿐이라고 지적한다.
어떻게 동작하나
방법의 핵심은 GRPO가 이미 샘플링하는 롤아웃 그룹을 신뢰도 학습 신호로 재활용하는 것이다. 한 과제에 대해 G개의 롤아웃을 뽑으면 각 롤아웃의 성공/실패 라벨이 그 롤아웃의 모든 스텝에 그대로 상속되어, 추가 비용 없이 스텝별 신뢰도를 라벨에 대조할 수 있다. 스텝별 어드밴티지는 (Y_i − Ȳ) + (r − r̄)로, 그룹 평균 대비 성공 여부와 그룹 평균 대비 스텝 보상을 더한 형태다. 스텝 보상은 r = w_cal·cal(c,Y) + w_φ·φ(c) + w_fmt·e 구조이며, 기본 cal은 Brier 규칙 1−(c−Y)²이다. 이는 strictly proper라서 기댓값이 c = P(Y=1|h)에서 최대화된다. φ(c)=4c(1−c)는 신뢰도가 0이나 1로 붕괴하는 것을 막는 스프레드 정규화 항이고, e는 <conf>NN</conf> 태그 형식 보상(가중치 0.2)이다. 오프라인 경로는 기록된 트레이젝토리에서 잘라낸 (프리픽스 → 행동+신뢰도) 행에 GRPO를 돌리며 r_off = 0.5a + 0.2e + w_cal·cal(c,Y) + w_φ·φ(c)를 쓴다(a는 기록된 행동 일치 여부, w_cal=0.3). 온라인 경로는 실제 에이전트를 120 이터레이션 동안 자기 롤아웃으로 학습한다(배치 4과제 × 6롤아웃, 학습률 1e-6, clip 0.2, KL 계수 1e-3).
무엇과 다른가
저자들은 풀링된 AUROC 하나로는 신뢰도가 잘 맞는 이유 세 가지(과제가 쉬움, 시도가 잘 풀림, 에피소드 끝자락)를 구분할 수 없다고 보고 네 가지 추정량을 제안한다. 전체 스텝 풀링 AUROC, 과제 난이도만 남기는 between-task AUROC, 같은 과제의 성공/실패 시도를 비교해 난이도를 상쇄하는 within-task AUROC, 같은 스텝 인덱스끼리만 비교해 깊이까지 제거한 depth-matched within-task AUROC다. 여기에 조기 구간(k≤2)과 스텝 0을 따로 보고하고, 모든 스텝을 −t로 점수화하는 깊이 전용 베이스라인을 대조군으로 둔다.
어떻게 쓰나
오프라인 RL에서 Qwen2.5-7B-Instruct(LoRA rank 32, α=64)를 ALFWorld, TextWorld, WebShop에 각각 학습시킨 결과, 풀링 AUROC가 0.517/0.578/0.462에서 0.681/0.722/0.850으로 올랐고, 신뢰도 상위 10% 스텝의 성공률은 기저율의 1.1~1.6배에서 약 4.3배로 뛰었다. 학습 전에는 화이트박스 신호인 평균 토큰 엔트로피(부호 반전)가 세 환경 모두에서 자기 신뢰도보다 예측력이 좋았지만, 학습 후에는 역전된다(TextWorld 0.722 대 0.399, WebShop 0.850 대 0.430). 다만 깊이와 출력 길이만 쓰는 베이스라인이 ALFWorld 0.787, TextWorld 0.855, WebShop 0.799로 ALFWorld와 TextWorld에서는 학습된 신뢰도를 앞선다. 깊이·길이에 잔차화한 뒤에도 학습된 신뢰도는 0.626/0.677/0.811을 유지한 반면 학습 전 신뢰도는 0.534/0.479/0.509로 chance 근처로 떨어져, 깊이 독립 성분은 학습의 산물임을 보인다. 보상 함수 형태는 크게 중요하지 않아 여섯 가지 형태가 0.820~0.882로 겹쳤고, 과제 보상만 준 경우는 0.559로 학습 전 0.502에 가까웠다. 반면 어드밴티지 추정기는 결과를 바꿔 RLOO가 0.801/0.876으로 GRPO의 0.613/0.676을 앞섰고, 학습된 가치 헤드를 쓰는 PPO는 두 시드 모두 0.500으로 학습에 실패했다.
전제와 한계
실제 ALFWorld 에이전트를 온라인 학습시킨 결과 네 가지 보정 보상 모두 조기 구간 풀링 AUROC를 올렸다(Brier+φ +0.072 [.026,.112], balanced Brier +0.076 [.038,.111], Brier+dispersion +0.101 [.069,.134], balanced+dispersion +0.048 [.002,.086]). 형식만 보상한 대조군은 +0.019 [-.010,.051]에 그쳤다. ECE는 0.419에서 0.053~0.115로, Brier 점수는 0.250에서 0.044~0.054로 떨어졌다(형식 대조군은 각각 +0.010, +0.003). 다만 평균 신뢰도가 0.475에서 0.082~0.163으로 내려가는데 스텝 단위 성공률이 0.057이므로, ECE와 Brier 개선의 상당 부분은 기저율을 배운 효과이고 판별력 증거는 AUROC와 선택적 실행 쪽이다. 실제로 조기 구간 상위 10% 신뢰 스텝의 성공률은 0.493에서 0.56~0.66으로, 상위 25%는 0.363에서 0.415~0.446으로 올랐고 형식 대조군은 두 구간 모두 움직이지 않았다(−0.024, −0.012). 과제 성공률은 0.189~0.203으로 학습 전 0.201과 사실상 같아 비용이 없었고, <conf> 형식 파싱 정확도는 0.978에서 1.000으로 올랐다. TextWorld로 옮긴 온라인 학습에서는 에피소드 성공률이 0.146에서 0.262로 오르고 within-task 판별이 조기 구간에서 개선됐다(스텝 0 +0.265 [.107,.428], 첫 세 스텝 +0.070 [.010,.130]). 14B 모델에서도 풀링 AUROC가 0.697에서 0.729로 같은 방향의 개선(+0.032)을 보였다.
추정량별 분해는 이득이 어디서 오는지 정확히 보여준다. between-task 조기 구간 AUROC는 0.825에서 0.848~0.897로 올랐지만(Brier+dispersion만 +0.072 [.029,.115]로 유의), within-task 추정량은 0.606에서 0.585~0.661로 움직이지 않았다. 즉 학습된 에이전트는 '어떤 과제를 실패할지'를 더 잘 알아볼 뿐, '같은 과제에서 이번 시도가 성공할지'를 읽어내지는 못한다. 흥미로운 점은 그 과제 랭킹이 스텝 0으로 앞당겨진다는 것이다. 풀링 스텝 0 AUROC가 0.562 [.530,.600]에서 0.642~0.700으로 오르는데, 이는 환경 피드백을 받기 전 첫 샘플링 행동 직후에 나온 신뢰도만으로 얻은 것이다. 스텝 0의 within-task AUROC는 0.450~0.602로 모든 신뢰구간이 0.5를 포함해 chance 수준이므로, 에이전트는 자기 첫 행동을 채점하는 게 아니라 풀게 될 과제를 랭킹하는 것이다. 학습 전 모델이 greedy 디코딩에서 64개 과제 프로브 전체에 스텝 0 신뢰도로 정확히 0.50만 내놓았다는 점도 이를 뒷받침한다.
실무적으로 이 논문은 에이전트를 언제 믿고 언제 사람에게 넘길지 정하는 게이팅 신호를 어떻게 만들 수 있는지에 대한 레시피를 준다. 특히 GRPO를 이미 쓰고 있다면 롤아웃 그룹의 성공 라벨을 신뢰도 보정에 공짜로 재활용할 수 있다는 점이 실용적이다. 다만 도입 전에 확인할 것은 세 가지다. 첫째, 이득은 과제 단위 트리아지에 집중되므로 특정 스텝에서 중단하는 식의 스텝 단위 개입을 기대하면 안 된다. 둘째, 신뢰도 상위 10% 안에서도 신뢰도가 높다고 성공률이 비례하지 않고 최상위 빈은 과신 경향이 있어, 최고값 하나가 아니라 높은 신뢰 구간을 임계값으로 쓰는 편이 안전하다. 셋째, 깊이·길이만으로도 풀링 AUROC가 상당히 나오므로 자체 환경에서 깊이 통제 베이스라인과 반드시 비교해야 한다.
저자들이 밝힌 한계는 명확하다. 가장 강한 증거는 between-task 효과이고, attempt 수준 예측력은 TextWorld의 조기 구간에서만 나타났을 뿐 ALFWorld에서는 확인되지 않아 더 넓은 검증은 future work로 남긴다. 긍정적인 라이브 멀티턴 결과는 7B 스케일의 텍스트 기반 환경 두 곳(ALFWorld, TextWorld)에 한정되며, 14B 결과는 풀링 효과만 뒷받침한다. 라이브 WebShop 결과는 두 팔 모두 held-out 성공률이 낮아 신호를 평가할 만큼 정보량 있는 과제가 남지 않아 결론을 내릴 수 없다고 밝힌다. 또한 온라인 실험은 보정 팔마다 단일 시드로 돌렸고, within-task 델타는 두 팔 모두 mixed-outcome인 소수 과제에만 의존해 신뢰구간이 넓다.