예측과 결과의 차이로 자기보정 강화학습을 훈련한다

무엇인가

이 논문이 다루는 문제는 장기 호라이즌 에이전트 강화학습의 구조적 사각지대다. 현재의 에이전트 RL은 사후 신호에만 의존한다. 프로세스 리워드 모델은 다음 환경 상태를 보고 각 스텝을 채점하고, 온폴리시 증류는 행동 이후에야 알 수 있는 문맥을 조건으로 한 사후 교사를 만든다. 메커니즘은 달라도 모두 학습 신호가 행동 이후에 관측된 양으로만 계산되며, 행동 시점에 에이전트가 품었던 전망적 신념은 그래디언트에 전혀 들어가지 않는다. 저자들은 이를 hindsight trap이라고 부른다. 그 결과 같은 결과를 낸 두 롤아웃, 예컨대 자신 있게 맞힌 성공과 운 좋게 맞힌 성공, 또는 과신에 찬 실패와 스스로도 예상한 실패가 동일한 업데이트를 받는다. 이것이 사후 학습이 정확도는 꾸준히 올리면서도 과신을 해소하지 못하는 이유라고 논문은 지적한다. 기존 캘리브레이션 연구는 추론 시점 보정이나 별도의 confidence target 손실을 추가하는 방식이었고, 그 과정에서 능력과 캘리브레이션이 서로 상충한다는 보고가 따라붙었다.

어떻게 동작하나

제안 방법인 Prospective Hindsight(PH)는 이 간극을 진단 지표가 아니라 학습 신호로 바꾼다. 구성은 세 부분이다. 첫째, 자기평가자다. 정책 πθ에 다른 프롬프트를 주어 해당 행동의 최종 결과가 성공일지를 묻고, 답을 \boxed{} 필드에서 {-1, 0, +1} 삼진 점수로 파싱한다. +1은 성공 예상, -1은 실패 예상, 0은 명시적 불확실성이다. 자기평가자는 (s_t, a_t)만 보고 평가자가 보는 특권 문맥 c_t는 보지 못한다. 분산을 줄이려고 스텝마다 M개를 독립 샘플링해 다수결로 z_t를 정하며, 추가 비용은 롤아웃 스텝당 M번의 forward pass뿐이다. 둘째, (z_t, y_t) 쌍으로 롤아웃을 네 칸으로 나누는 캘리브레이션 분류다. 대각선의 CS(자신 있는 성공)와 AF(인지된 실패)는 보정된 셀이고, 비대각선의 OF(과신 실패)와 US(과소신 성공)는 미보정 셀이다. 셋째, surprise 지시자 ξ_t = 1[(z_t, y_t) ∈ {OF, US}]를 곱해 베이스 손실을 재가중한다. ℓ_t^PH = (1 + α·ξ_t)·ℓ_t^base이며 ξ_t에는 stop-gradient가 걸린다. α가 유일한 하이퍼파라미터이고 기본값은 1, α=0이면 베이스 방법이 그대로 복원된다. 롤아웃 샘플링 분포와 GRPO·OPD·결합 방식의 내부 구조는 건드리지 않는다.

무엇과 다른가

이론적 근거도 제시된다. Proposition 1은 Var(y_t | s_t, a_t)를 특권 문맥을 줘도 줄지 않는 aleatoric noise와, 행동 시점 예측자가 결코 해소할 수 없는 몫인 특권정보 간극 I*(s_t, a_t) ≥ 0으로 분해한다. 이는 에이전트 RL을 Learning Under Privileged Information 틀 안에 놓는다. 이어서 PH의 기대 손실이 베이스 목적에 surprise residual R(θ) = E[ξ_t·ℓ_t^base]를 더한 형태로 분해되고, 타워 규칙에 의해 R(θ) = c(θ)·M(θ)라는 정확한 항등식이 성립한다고 보인다. 여기서 M(θ) = Pr[ξ_t = 1]은 미보정률이며 결정론적 예측자에 대한 이진 Brier 점수와 같고, c(θ)는 미보정 롤아웃에서의 평균 베이스 손실이다. 이 항등식은 두 개의 하강 경로를 준다. 전망 신념을 검증자 결과에 정렬해 M을 줄이거나, 미보정 집합에서 베이스 손실을 낮춰 c를 줄이거나. 별도의 캘리브레이션 손실 없이 매 그래디언트 스텝이 둘 중 하나를 밟는다는 것이다. 다만 저자들은 이를 형식적 보장이 아니라 동기 부여로 명시한다. 수렴기에 c와 M이 함께 0으로 가면 PH와 베이스는 같은 고정점을 공유하므로, 캘리브레이션 해석은 최적화 전 구간이 아니라 실제로 작동하는 훈련 구간에 대한 설명이라는 단서를 붙인다.

어떻게 쓰나

실험은 두 개의 상이한 영역에서 이뤄진다. 단일턴은 Science Q&A와 Tool Use에 검증자를 붙이고 SDPO를 베이스 손실로 썼다. 멀티턴은 OpenClaw-RL의 Personal Agent 과제에서 GPT-4.1 사용자 시뮬레이터와 LLM 기반 PRM 판정을 쓰고, GRPO, 온폴리시 증류(OPD), 그리고 두 신호를 합친 Combined에 PH를 얹었다. 모든 메인 실행은 OLMo-3-7B-Instruct를 정책과 자기평가자로 동시에 사용하며(프롬프트는 분리, 파라미터는 공유), 전망 예측자는 단일턴에서 M=1, 멀티턴에서 M=3을 쓴다. gpt-oss-20B로 스케일 교차 확인도 수행했다.

전제와 한계

수치는 다음과 같다. Science Q&A에서 후반부 OFR(과신 실패율)이 SDPO의 34.2%에서 α=0.5에서 20.9%로 떨어졌고, surprise rate도 35.2%에서 21.8%로 함께 줄었다. Tool Use에서는 α=1.0이 능력과 캘리브레이션을 동시에 최고로 만들었다(mean@16 = 58.2/61.7, OFR 33.6%, surprise 33.5%). 재가중 자체가 아니라 선택 규칙이 이득을 만든다는 것을 확인하려고 두 개의 통제 실험을 뒀다. 같은 스텝 총 가중치를 무작위 부분집합에 준 Random Reweight는 Science Q&A에서 OFR 33.3%로 SDPO의 34.2%와 사실상 차이가 없었고, 검증자 실패를 전부 올리는 Failure-only Reweight는 OFR 25.0%까지 내려갔지만 PH의 20.9%에는 못 미쳤으며 surprise rate도 24.4% 대 21.8%로 뒤졌다. 전망 정확도 PAcc는 약 30%에서 약 80%까지 올라간 반면 SDPO 베이스라인은 73% 근처에서 정체했다. 멀티턴에서는 α=1.0에서 세 베이스 모두 개선됐다. 궤적 평균 점수 기준 RL +7.2, OPD +15.3, Combined +3.9이며 OPD 블록의 상승폭이 가장 컸다. PAcc는 RL+PH(α=1.0)에서 87.8%, OPD+PH(α=0.5)에서 86.3%로 정점을 찍었다.

흥미로운 구조적 관찰이 하나 있다. 지배적인 미보정 모드가 영역에 따라 뒤집힌다. 단일턴 롤아웃은 과신 실패가 지배적이지만(OF 34.1% 대 US 2.7%), 멀티턴은 과소신 성공이 지배적이며 베이스 방법별로 RL 13.8% < OPD 27.9% < Combined 34.5%로 커지는 반면 OF는 4~5%로 균일하게 작다. 즉 단일턴 에이전트는 틀린 행동을 과신하고, 멀티턴 에이전트는 맞는 행동을 과소평가한다. 그런데도 동일한 스칼라 α가 재조정 없이 두 영역을 모두 커버한다. 또한 PH 가중치는 학습이 진행되며 스스로 소멸한다. Science Q&A에서 OF 셀은 단조 감소하고 CS 셀은 증가하며, 평균 PH 가중치는 검증자 통과율이 오르면서 1로 수렴한다. surprise 가중치를 위한 학습률 스케줄이 필요 없다는 뜻이다.

실무 관점에서 PH는 GRPO나 OPD 파이프라인 위에 얹는 한 줄짜리 재가중이다. 추가 파라미터도, 별도 캘리브레이션 헤드도, 롤아웃 분포 변경도 없다. 비용은 스텝당 M번의 추가 forward pass이고, 자기평가자가 정책과 파라미터를 공유하므로 예측기와 정책이 함께 진화한다. 도입한다면 확인할 것은 네 가지다. 자기평가 프롬프트와 \boxed{} 파싱이 안정적으로 동작하는지, α를 0.5~1.0 범위에서 스윕했는지(2.0은 OFR을 2.5%까지 낮추지만 예측자가 상수 z=-1로 붕괴해 surprise rate 16.0%, PAcc 84.0%가 되면서 자기모델이 퇴화한다), 검증자가 결정론적인지 확률적인지에 따라 M을 1 또는 3으로 잡았는지, 그리고 OFR과 PAcc 같은 캘리브레이션 지표를 학습 로그에 남기고 있는지다.

저자들이 밝힌 한계와 전제는 분명하다. 캘리브레이션 개선은 최적화의 부산물이라는 동기 수준의 주장이며, PH 업데이트 방향과 -∇M(θ)의 정렬은 점별 보장이 아니라 정량적 동기라는 점을 명시한다. R = c·M 항등식이 캘리브레이션 레버로서 유의미한 것은 c(θ)가 0에서 떨어져 있는 구간이며, 수렴하면 PH는 베이스 방법으로 환원된다. Combined 블록은 US 비중이 셋 중 가장 큰데도 PH 이득은 가장 작은 부분적 예외로 남는다. 실험 범위도 이진 검증자와 턴별 PRM에 국한되며, 소프트웨어 엔지니어링·터미널·GUI·연구 에이전트처럼 더 긴 호라이즌과 GRPO·온폴리시 증류 외의 베이스 방법으로의 확장은 검증되지 않은 향후 과제로 남겨져 있다.