PPO 크리틱이 놓치는 가치 변화를 누적 로짓으로 추적하는 TPPO

무엇인가

이 논문은 검증 가능한 보상 기반 강화학습(RLVR)으로 언어모델 추론을 학습시킬 때, PPO의 크리틱이 토큰 수준 신용 할당에 필요한 정보를 제대로 잡지 못한다는 문제를 다룬다. 응답 전체가 하나의 종료 보상만 받는 희소 보상 환경에서 토큰별 상대적 기여를 결정하는 것은 각 프리픽스의 가치 자체가 아니라 가치의 변화량 ΔV_t = V(s_{t+1}) − V(s_t)다. 그런데 표준 PPO 크리틱은 각 프리픽스 가치를 독립적으로 예측할 뿐 이 변화를 명시적으로 모델링하지 않는다. 저자들은 몬테카를로 연속 샘플링으로 추정한 가치 변화와 크리틱 예측의 부호 일치율을 측정해, 이 문제가 체계적임을 보인다. 부호 정확도는 학습이 진행될수록 50.34%에서 45.91%로 오히려 떨어져 사실상 무작위 수준에 머문다. 논문은 정답 단계에서 오답 선언으로 넘어가는 구간에서 MC 추정 ΔV는 −0.992인데 PPO 크리틱은 +0.036을 예측해, GAE 어드밴티지의 상대 순서를 뒤집는 사례를 제시한다.

어떻게 동작하나

해법의 출발점은 연속한 프리픽스 가치 사이의 관계를 베이즈 갱신으로 본 것이다. 이진 종료 보상과 γ=1, 고정된 정책을 가정하면 V(s_t)는 해당 프리픽스에서 이어갈 때 성공할 확률이고, 다음 토큰을 조건으로 추가하면 갱신이 된다. 이 갱신을 로짓 공간에서 쓰면 logit V(s_{t+1}) − logit V(s_t) = log [Pr(a_t | s_t, R=1) / Pr(a_t | s_t, R=0)] 라는 덧셈 형태가 된다. 이를 재귀적으로 풀면 V(s_t) = σ(Σ_{i=1}^{t} c_i)가 되어, 가치가 위치별 증분의 누적 합으로 표현된다.

무엇과 다른가

TPPO(Tracking-Value PPO)는 이 구조를 그대로 크리틱 파라미터화에 옮긴다. 크리틱은 각 위치에서 스칼라 출력 f_φ(s_i)를 내고, 이를 t까지 누적한 뒤 시그모이드를 적용해 V̂_t = σ(Σ_{i=1}^{t} f_φ(s_i))로 프리픽스 가치를 복원한다. 이 복원된 값은 표준 PPO와 동일한 종료 결과 R(y) ∈ {0,1}을 정답으로 하는 BCE 손실로 학습된다. 로짓 변화에 대한 별도 타깃은 주지 않으며, 각 증분은 자신에 의존하는 이후의 모든 복원 가치로부터 그래디언트를 받는다. 학습된 V̂_t는 표준 GAE에 그대로 들어가고 정책은 기존 PPO 클리핑 목적함수로 최적화된다. 추가 롤아웃도, 프로세스 수준 주석도, 보조 보상 모델도 필요 없다는 점이 이 방법의 실무적 핵심이다.

어떻게 쓰나

실험은 Qwen3-4B-Base와 Qwen3-8B-Base를 주 모델로, PPO·GRPO·SPPO·VAPO를 베이스라인으로 삼는다. 수학 추론은 Polaris에서 약 3만 개 예시로 학습하고(프롬프트당 n∈{1,8}, 온도 1.0, 최대 8,192 토큰, Math-Verify로 정답 판정, Slime 프레임워크, H200 8장 노드), AIME24/25/26·AMC·MATH-500·Minerva·OlympiadBench의 in-domain과 ARC-C·AGI-Eval·BBH의 OOD 벤치마크로 평가한다. n=8 설정에서 TPPO는 PPO 대비 평균 정확도를 Qwen3-4B-Base에서 7.0점, Qwen3-8B-Base에서 8.4점 올렸다. n=1 설정에서도 Qwen3-4B에서 평균 +10.1점이 나온다. Countdown에서는 Qwen2.5-Math-1.5B로 입력 수 3~4개 문제 +4.6점, 5개 문제 +3.2점을 기록했고, Qwen3.5-9B 과학 코딩에서는 평균 +7.0점, LiveCodeBench Code Gen v6에서 +15.5점을 냈다.

전제와 한계

크리틱 자체를 검증한 결과도 제시된다. Qwen3-8B-Base 학습 체크포인트 5개에서 고정 프롬프트 64개, 프롬프트당 8개 응답(약 5.1k 롤아웃)을 쓰고, 응답의 10~90% 구간에 9개 앵커를 두어 앵커당 128개 연속 샘플(총 약 590만 개)로 MC 가치를 추정했다. 마지막 네 체크포인트에서 국소 가치 변화 방향의 일치율 이득은 잡음 임계값 τ=0에서 3.9~6.8%p, τ=1에서 4.9~7.4%p였고, MC 기준 어드밴티지와의 부호 일치율은 15.3~19.9%p 개선됐다. 파라미터화 효과를 분리하기 위해 액터를 고정하고 표준 크리틱(BCE)과 TPPO를 비교한 통제 실험에서는 τ=0에서 2.01%p, τ=1에서 2.80%p의 방향 정확도 향상이 나왔다. 절제 실험에서 PPO+BCE는 PPO보다 낫지만 TPPO보다 낮았고, TPPO+MSE는 초반부터 무너졌다. 즉 이득의 주된 원인은 누적 파라미터화이며 BCE는 추가적 이점이라는 것이 저자들의 해석이다. GAE의 λ를 바꾼 실험에서도 TPPO는 모든 설정에서 PPO 대비 우위를 유지했다.

개발자 관점에서 이 논문이 주는 실용적 시사점은 크리틱 헤드를 누적 스칼라 합 구조로 바꾸는 것만으로 PPO 파이프라인의 신용 할당 품질을 끌어올릴 수 있다는 주장이다. 별도 프로세스 감독 데이터나 추가 샘플링 비용이 들지 않으므로 기존 RLVR 학습 루프에 통합하기 쉽다. 다만 도입 전에 확인할 것은 보상 형태다. 이 방법의 베이즈 분해는 이진 종료 보상과 γ=1을 전제로 유도되며, 검증 가능한 정답/오답 판정이 아닌 연속 보상이나 중간 보상이 섞인 환경에서는 이론적 근거가 그대로 성립하지 않는다. 또한 논문의 주 실험은 위치별 출력이 하나의 공유 스칼라 헤드를 쓰는 구성이며, 별도 헤드 대안은 부록에서 다룬다.

저자들이 명시한 전제와 한계도 분명하다. 베이즈 항등식은 정책을 고정한 상태의 참 가치에 대한 성질이고, 학습된 출력이 실제 로그 우도비를 복원한다는 보장은 없다. TPPO는 그 구조를 모델링에 빌려 쓸 뿐이다. 또한 0 < V(s_t) < 1인 경우를 가정하며 경계값 처리는 부록에서 다룬다. 크리틱 가치 추정 실험에서 TPPO의 오차는 응답 후반부로 갈수록 커지지만, 그럼에도 PPO보다는 낮게 유지된다고 보고된다.