토큰별 중요도 가중의 편향을 미래 KL 크레딧으로 교정하는 RLVR 학습법
Enabling Token-wise Importance Sampling in Off-Policy RLVR with Proximal KL Regularization
무엇인가
RLVR(검증 가능 보상 강화학습)에서 학습 데이터는 최적화 대상 정책이 아닌 다른 정책이 만든 경우가 많다. 비동기 시스템이 생성과 최적화를 겹치면서 응답이 이전 정책 버전에서 나오고, 수집한 궤적을 여러 옵티마이저 미니배치에 걸쳐 재사용하면서도 불일치가 생긴다. 문제는 보정 방식이다. 응답 수준 중요도 보정은 확률비를 응답 전체 토큰에 곱하는데, 응답이 길어지면 분산이 지수적으로 커진다. 토큰별 중요도 가중은 이 곱셈을 피하지만 그래디언트에 편향을 남긴다. 이 논문은 토큰별 가중과 샘플된 보상만으로, 적합된 가치·Q 함수 없이도 KL 정규화 목적함수의 근접 최적해(proximal optimizer)를 유지할 수 있는 조건을 묻는다.
어떻게 동작하나
이론적 핵심은 다음과 같다. 라운드 k에서 참조 정책 π_k를 고정하고 J_k(θ)=E[R]−β·D_KL(π_θ‖π_k)를 최대화하면 최적해는 깁스 형태 π_k(τ|x)e^{R/β}/Z_k(x)가 된다. 저자들은 coverage와 국소 표현력 조건 아래에서, 각 토큰에 현재 및 모든 미래 토큰의 로그비용을 부여하는 전체 미래 KL 크레딧(full future KL credit)을 더하면, 토큰별 업데이트의 기대값이 0이 되는 정책이 정확히 이 근접 최적해이며 유일한 정상 정책임을 증명한다. 이 결과는 응답이 여러 오래된 행동 정책의 혼합에서 와도 성립하고, 응답 수준 중요도 가중이나 크리틱을 요구하지 않는다. 여기에 더해 지속적 coverage와 시변 행동 정책 하에서 연속시간 tabular population 업데이트의 수렴을 증명하고, 선형 로지스틱 모델에 대해 추가 가정 아래 유한 표본 보상 보장을 제시한다.
무엇과 다른가
실용 알고리즘인 Proximal KL은 근접 참조 π_k와 샘플링 정책 π_behav를 분리한다. 각 토큰마다 두 비율을 쓴다. ρ는 학습자 대 참조 비율로 정책이 참조에서 얼마나 움직였는지 재고, w는 학습자 대 행동정책 비율로 샘플링 분포를 보정한다. KL 보정은 ℓ=log ρ에 대해 C=β·Σ clip(ℓ, −ε_F, ε_F)로 계산하며, 창 크기 H가 현재 토큰부터 H−1개 이후 토큰까지를 덮는다. 손실은 stop-gradient로 고정한 계수 w·(Â−C)에 log π_θ를 곱해 토큰 평균한다. PPO 클리핑은 쓰지 않는다. 비용 클리핑은 개별 토큰의 기여를 제한하고, 호라이즌 H는 미래 항의 누적 수를 제한한다. 비용이 상한에 닿아도 해당 토큰의 스코어 그래디언트는 살아 있다. 참조 정책은 라운드마다 주기적으로 갱신된다.
어떻게 쓰나
실험은 Qwen3-1.7B와 Qwen3-4B, 8개 수학 벤치마크에서 진행됐다. 두 학습률, 응답 재사용, 롤아웃 staleness를 아우르는 7개 매칭 오프폴리시 비교 전부에서 Proximal KL이 GRPO보다 높은 마이크로 평균 정확도를 기록했고, 절대 개선폭은 최대 2.58%p다. 별도의 온폴리시 비교에서는 두 방법의 집계 정확도가 비슷했다. 안정성 실험에서는 1.7B·4B·8B·32B에서 PG와 CISPO가 학습 중 정확도 급락(붕괴)을 겪는 반면 Proximal KL은 같은 기본 설정으로 이득을 유지했다. 8B에서 EMA 스무딩 학습 정확도가 50%에 처음 도달하는 시점은 Proximal KL이 약 200 업데이트, GRPO가 약 640 업데이트였다. staleness 16과 4를 비교하면 Average가 Proximal KL은 상승하고 GRPO는 하락했으며, 8개 벤치마크 중 6개에서 Proximal KL의 변화가 더 유리했다.
전제와 한계
Ablation은 설계 선택을 뒷받침한다. 미래 KL 크레딧을 유지한 채 비교했을 때 토큰별 IS가 sequence-level IS(토큰 비율의 기하평균)와 IS-free보다 홀드아웃 정확도가 높았고, 두 대조군은 상당한 정확도 하락을 겪었다. 기준선 교란 실험에서는 Proximal KL이 GRPO보다 MATH500 greedy pass@1과 AIME24 mean@16·pass@16에서 성능을 더 잘 보존해, 이점 의존적 클리핑 게이트보다 가산적 미래 KL 피드백이 덜 민감함을 보였다. 비용 상한 ε_F를 풀면 정확도는 유지되지만 그래디언트 노름 변동이 커졌고, 기본 상한은 정확도와 작은 변동을 함께 달성했다. 전체 꼬리(full tail) 대신 중간 윈도를 쓰면 AIME24 mean@16과 pass@16이 오히려 개선됐으며, βH를 맞춘 1토큰 보정은 중간 윈도보다 개선 속도가 느렸다. 정책과 응답을 고정한 진단에서는 호라이즌이 길수록 보정값의 분산이 커져, 절단이 변동을 줄인다는 설명과 일치했다. GRPO의 ε_clip을 0.2에서 0.4로 늘리면 그래디언트 변동과 일시적 학습 정확도 하락이 나타났다.
실무 관점에서 이 논문은 비동기 생성이나 응답 재사용으로 오프폴리시 데이터가 섞이는 RLVR 파이프라인에 직접 적용된다. 토큰별로 행동 정책 확률을 기록해 두고, 참조 정책을 주기적으로 갱신하며, 그룹 상대 어드밴티지에서 미래 KL 비용을 빼는 구조다. 도입 시 확인할 것은 세 가지다. 첫째, 그룹 정규화된 어드밴티지를 쓰면 정상 정책 보장이 자동으로 확장되지 않는다고 저자들이 명시했다. 둘째, 비용 상한 ε_F와 호라이즌 H가 정확도와 분산의 트레이드오프를 좌우하므로 함께 튜닝해야 한다. 셋째, 참조 갱신 주기와 행동 정책 확률의 정확한 기록이 전제다.
한계도 분명하다. 정상 정책 정리는 coverage와 국소 표현력 조건에 의존하고, tabular 수렴은 독립 tabular 로짓과 지속적 coverage를 전제한다. 유한 표본 보상 보장은 선형 로지스틱 모델, 참조 주변 파라미터 볼로의 투영, 정답 커버리지 가정 아래에서만 성립하며, 그 보장은 토큰별 로그비의 2차 모멘트 합에 의존한다. 또한 토큰별 오프폴리시 가중 자체가 별도의 근사를 도입한다는 점을 저자들이 인정한다. 호라이즌 H를 적응적으로 고르는 것은 향후 과제로 남겨졌다.