보상 예산 배분이 LLM 추론 강화학습의 조기 정체를 줄인다
Reward Budgeting Reduces Premature Convergence in Reinforcement Learning for LLM Reasoning
무엇인가
이 논문은 LLM 추론용 강화학습이 초반에는 빠르게 좋아지다가 정책 분포가 날카로워지면서 일찍 성능 정체에 들어가는 문제를 다룬다. 저자들은 이를 자연스러운 수렴과 구분해 알고리즘이 만든 조기 수렴으로 부르고, 흔히 엔트로피 붕괴로 설명되는 현상이 실제로는 엔트로피를 높이는 것만으로 해결되지 않는다고 본다. Qwen3-8B GRPO 실험에서 처음 500스텝 동안 손실에 엔트로피 항을 더하거나 보상에 엔트로피 항을 더해 엔트로피를 올렸지만, 이후 500스텝을 baseline으로 되돌리자 최종 성능 정체는 개선되지 않았고 궤적도 baseline 쪽으로 돌아왔다. 따라서 이 설정에서 엔트로피는 유용한 진단 지표이지만 충분한 개입 대상은 아니라고 주장한다.
어떻게 동작하나
저자들은 KL 정규화 RL 목적 J=E[R]-βDKL(πθ||πref)이 π*∝πref·exp(R/β)를 향한 reverse KL 최소화와 같다고 보고, 높은 보상 응답과 낮은 보상 응답의 목표 확률비가 참조 정책 확률비에 exp((r+-r-)/β)를 곱한 형태가 됨을 유도한다. 여기서 κ=(r+-r-)/β를 선명도 계수로 정의해 보상 격차가 확률비 격차로 얼마나 강하게 증폭되는지를 나타낸다. 실제 구현의 경우 최대-최소 어드밴티지 응답에 대해 업데이트 전후의 로그 오즈 변화를 비교한 κeff도 정의한다. Qwen3-8B를 DAPO-Math-17K에서 DRGRPO로 학습한 통제 실험에서 κ=5000, 2000, 200의 세 설정을 비교했을 때, 큰 κ는 더 이른 정체를 보였지만 작은 κ는 최종 성능도 낮았다. 즉 κ를 전역적으로 낮추는 것만으로는 해결되지 않고, 학습 신호에 맞춰 조절해야 한다는 문제의식이다.
무엇과 다른가
제안 방법인 reward budgeting은 프롬프트마다 고정된 총 보상 예산을 롤아웃들에 재분배하는 플러그인 어드밴티지 구성법이다. 각 프롬프트에서 G개의 롤아웃과 원시 보상 ri를 얻은 뒤 그룹 최솟값 r-=min ri를 빼고 양의 격차 gi=ri-r-만 남긴다. 모든 gi가 0이면 업데이트를 건너뛰고, 그렇지 않으면 R(oi)=gi/Σgj가 되도록 총합 1의 보상을 분배한 다음 Ai=R(oi)-(1/G)ΣR(oi)로 센터링해 어드밴티지를 만든다. 이진 보상에서 G개 중 k개가 정답이면 각 정답 롤아웃은 1/k씩 받으므로, 정답이 흔해질수록 어드밴티지 격차가 줄어든다. 그 결과 성공이 드문 어려운 프롬프트에는 강한 업데이트가, 이미 쉬운 프롬프트에는 약한 업데이트가 가해진다.
어떻게 쓰나
이론적으로는 이진 보상과 독립 on-policy 롤아웃에서 클리핑 전 센터링된 score-function 추정량의 기대 업데이트가 J_{G-1}=E[f_{G-1}(p_correct)], f_{G-1}(x)=Σ_{m=1}^{G-1}[1-(1-x)^m]/m의 그래디언트가 된다고 보인다. 이 목적은 성공 확률이 0 근처에서는 거의 선형이고, 성공 확률이 커질수록 한계 이득이 줄어드는 오목 목적이다. 이 결과는 G=8에서 해당 추정량에 대해 정확하다고 하며, 로그 형태의 극한은 큰 G에서만 성립한다. 일반 보상에서는 충분한 조건 아래 J_gap=E[log(E[R|p]-a(p))]라는 shifted log-mean 해석이 점근적으로 성립하지만, 이는 임의의 graded reward에 대한 정확한 유한-G 목적이 아니다. 저자들도 클리핑된 실제 구현에 대해서는 목적 함수의 정확한 동등성을 입증한 것이 아니라 동기를 부여한 것이라고 밝힌다.
전제와 한계
실험은 DAPO-Math-17K로 학습하고 AMC23, AIME24, AIME25, MATH500, OlympiadBench Physics에서 평가했다. 모델은 Llama3.2-3B-Instruct와 Qwen3-8B이고, 프롬프트당 8개 롤아웃, 업데이트당 32개 프롬프트를 사용했으며 검증 정확도가 정체될 때까지 학습했다. 평가는 최대 8192토큰, 프롬프트당 8개 응답, temperature 0.7로 수행했고 Qwen3-8B는 평균 정확도, Llama3.2-3B-Instruct는 pass@8을 보고한다. 베이스라인은 GRPO, DrGRPO, GSPO, DAPO와 엔트로피 기반 DAPO 변형인 ClipCov, KLCov다. 저자들은 reward budgeting이 거의 모든 경우에 일관되게 개선하며 AMC23에서 최대 12.50점, AIME24와 AIME25에서 10.00점 향상을 냈다고 보고한다. 엔트로피 제어 계열은 결과가 엇갈렸는데, Qwen3-8B 평균에서 DAPO 61.94, ClipCov 57.98, KLCov 61.11이었고 Llama3.2-3B에서는 KLCov 25.12, DAPO 23.95, ClipCov 23.26이었다. 학습 중 엔트로피는 대체로 오히려 낮아졌고 κeff 진동은 작아졌다.
개발자 관점에서 이 방법은 이진 또는 검증 가능한 보상으로 그룹 롤아웃을 뽑는 GRPO·DAPO 계열 파이프라인에 비교적 간단히 끼워 넣을 수 있다. 구현 핵심은 그룹 최솟값을 빼서 양의 보상 격차만 남기고, 그 합이 1이 되도록 정규화한 뒤 그룹 평균을 빼 어드밴티지를 만드는 것이며, 모든 보상이 같은 그룹은 건너뛰는 규칙이다. 이미 쉬운 프롬프트의 반복 학습을 약화하고 어려운 프롬프트에 상대적으로 큰 학습 신호를 주고 싶을 때 유용하다. 다만 보상이 이진성이 아니거나 학습된 보상 모델·노이즈가 큰 보상일 때의 이론 보장은 약하므로, 보상 분포와 그룹 크기 G, 클리핑, KL 유지 여부를 함께 확인해야 한다. 논문의 ablation에서는 Qwen3-8B GRPO에서 KL을 제거하는 것만으로는 평균이 59.87%에서 60.27%로 바뀌며 벤치마크별 효과가 엇갈렸지만, reward budgeting은 KL 유지 시 평균 +6.66%p, KL 제거 시 +5.38%p를 냈고 두 설정 모두 모든 벤치마크를 개선했다. 저자들은 이득이 주로 reward budgeting에서 온다고 해석한다.
저자가 밝힌 한계는 분명하다. 실험은 주로 이진 보상이 있는 검증 가능한 추론 과제에 한정되며, 일반 보상 분석은 추가 가정을 요구하고 노이즈가 있거나 학습된 보상, open-ended 보상에서의 성능을 입증하지 않는다. 주요 설정은 학습 시드 1개와 롤아웃 그룹 크기 G=8만 사용했고 그룹 크기 sweep은 하지 않았다. 프롬프트당 8개 평가 응답은 디코딩 변동성을 보여줄 뿐이며 보고된 점수는 해당 학습 실행의 점추정치다. 개입 실험과 회귀 분석은 유한 지평의 행동을 설명하며 최종 성능의 유일한 인과 매개자를 확립하지 않는다. 또한 학습은 검증 정확도 정체 시 중단했지만 수치적 정체 임계값, 실행별 학습 길이, 체크포인트 선택 규칙은 보고하지 않았다.