PIVOT은 교사 교정 구간에 토큰 수준 KL 감독을 더해 희소 보상 문제를 푼다

무엇인가

RLVR(검증 가능한 보상 기반 강화학습)은 추론 능력을 끌어올리는 표준 패러다임이지만, 어려운 문제에서는 그룹 안의 롤아웃이 전부 실패해 보상이 모두 0이 되는 순간 학습 신호 자체가 사라진다. 더 강한 교사 모델을 붙이면 된다는 발상이 자연스럽게 나오지만, 교사 신호를 넣는다고 학생이 그것을 학습할 수 있다는 보장은 없다. 이 논문이 던지는 질문은 그래서 "교사 신호가 성공적인 롤아웃을 만들어 주면서 동시에 학생에게 학습 가능하게 만들려면 어떻게 해야 하는가"다.

어떻게 동작하나

저자들은 교사 활용을 두 메커니즘으로 분해한다. 궤적 수준 개입은 교사가 만든 궤적이나 구간을 학습에 집어넣어 보상을 받는 경로에 대한 접근성을 높이는 것이고(SFT+RL, LUFFY, POPE), 토큰 수준 감독은 학생 롤아웃 위에서 교사의 예측 분포로 조밀한 목표를 주는 것이다(KDRL). 통제 실험 결과 둘 중 하나만으로는 부족하다. 교사 궤적은 학생 자신의 분포와 크게 어긋나 모방 대상으로 삼기 어렵고, POPE처럼 교사 접두사만 주고 학생이 이어 쓰게 하면 Survo에서 정답 풀이에서 뽑은 오라클 접두사를 줘도 진전이 거의 없었다. 반대로 KDRL처럼 학생 롤아웃 위에만 역KL 증류를 걸면, 학생이 초반에 오류를 냈을 때 교사 확률이 교정 토큰("Wait")과 계속 진행하는 토큰("Let", "So")으로 갈라져 상충하는 목표가 생기고 회복 경로 자체를 보여주지 못한다.

무엇과 다른가

PIVOT의 절차는 명확하다. 프롬프트마다 롤아웃 그룹을 학생 단독 롤아웃 G_S개와 교사 개입 롤아웃 G_T개로 구성한다. 교사 개입 롤아웃은 τ=(u,v,w) 구조로, 학생이 먼저 추론 접두사 u를 생성하고, 교사가 그 접두사에 조건화해 제한된 길이의 구간 v를 생성하며, 학생이 그 결과 문맥에서 다시 w를 이어 쓴다. 샘플링 분포는 π_θold(u|q)·π_T(v|q,u)·π_θold(w|q,u,v)다. 학습 목표는 기존 RLVR 손실에 교사 감독 항을 더한 L_GRPO + β_ref·L_ref + β_T·L_KL(θ, S_T)이고, 여기서 S_T는 교사가 생성한 구간 v의 토큰 위치만 가리킨다. 즉 궤적 수준 개입과 토큰 수준 감독을 같은 구간에 겹쳐 놓는 것이 핵심이다.

어떻게 쓰나

어디에 개입할지도 실험으로 정했다. 접두사 개입(ℓ_u=0)과 학생이 512·1024·2048토큰 먼저 시도한 뒤 개입하는 경우를 비교했는데, ℓ_u=512가 세 게임 모두에서 avg@8과 pass@8을 앞섰다. 학생 접두사를 교사 접두사로 바꾸면 성능이 크게 떨어져, 이득이 "더 나은 토큰 위치"가 아니라 "학생 자신의 부분 풀이에 조건화된 지도"에서 온다는 해석을 뒷받침한다. 다만 2048토큰까지 늘리면 Minesweeper avg@8이 19.25%에서 12.50%로 떨어져 접두사 개입의 14.81%보다도 낮아졌고, 남은 생성 공간이 줄어 절단이 늘어난 것이 원인으로 지목된다.

전제와 한계

감독 방식은 KL 방향으로 나뉜다. 기반 학생이 거의 성공하지 못하는 세 가지 hard 논리 게임에서 역KL이 전부 우세해, forward KL 대비 평균 avg@8이 24.5%에서 35.6%로, 평균 pass@8이 54.2%에서 63.8%로 올랐다. 베이스가 5.04%만 푸는 Math-ID에서도 역KL이 0.57%p 앞섰다. 반면 AIME 2024/2025와 MATH500처럼 학생이 이미 상당수 푸는 OOD 벤치마크에서는 forward KL의 평균 정확도 이득이 근소하게 더 컸다. 저자들은 역KL의 mode-seeking 성향이 초기 성공률이 낮을 때 하나의 유효한 추론 모드를 확립하는 데 유리하고, forward KL의 mode-covering 성향은 이미 성공이 가능할 때 여러 전략을 넓히는 데 유리하다고 해석한다.

주변 설정도 수치로 정리했다. 교사를 Qwen3-4B-Thinking에서 Qwen3-30B-A3B-Thinking으로 키우면 Minesweeper avg@8이 19.25%에서 40.12%로, Kakurasu가 3.52%에서 17.27%로 뛰었다. 교사 토큰 예산 8k를 2개 롤아웃에 4k씩, 4개에 2k씩, 8개에 1k씩 나누면 적고 긴 쪽이 계속 우세했다(Survo avg@8 50.70% → 43.50% → 33.50%). top-k는 10에서 30으로 넓히면 세 게임 모두 개선됐지만 50은 일관된 이득 없이 Kakurasu에서 오히려 나빠져 k=30을 쓴다. 최종 레시피는 512토큰 학생 접두사 뒤 개입, 프롬프트당 학생 단독 6개·교사 개입 2개, 교사 생성 구간에만 top-k 30 역KL 감독이다.

실험은 SynLogic의 hard 서브셋(Survo, Minesweeper, Kakurasu)과 수학 추론(Polaris-53K와 Skywork-OR1-RL-Data 수학 서브셋을 Qwen3-4B로 난이도 필터링해 30k 학습/1k 검증/2k 테스트 구성)에서 이뤄졌다. 학생은 논리 게임에 Qwen3-1.7B, 수학에 Qwen3-4B를 쓰고 교사는 둘 다 Qwen3-4B-Thinking, 프레임워크는 verl+GRPO다. hard 논리 게임에서 SFT+RL과 LUFFY, POPE는 제자리이거나 SFT+RL보다도 낮았고 KDRL이 19.5%로 가장 강한 베이스라인이었는데, PIVOT은 평균 avg@8을 35.6%까지 올려 거의 두 배로 만들었다. Math-ID에서는 23.05%로 최강 베이스라인 POPE의 22.09%를 넘었고, AIME와 MATH500에서도 두 KL 변형 모두 베이스라인을 앞섰으며 forward KL이 가장 높은 정확도를 냈다. 평가는 논리 게임·Math-ID·MATH500에 avg@8/pass@8, AIME에 avg@64/pass@64를 쓴다.

개발자 입장에서 이 논문의 값은 "보상이 0으로 붙는 태스크에서 교사를 RL 루프에 어떻게 넣을 것인가"에 대한 조작 가능한 레시피에 있다. 개입은 학생이 어느 정도 자기 추론을 펼친 뒤에, 토큰 예산은 여러 짧은 개입보다 소수의 긴 개입에, 감독은 초기 성공률이 낮으면 역KL·높으면 forward KL 쪽으로 기울이라는 판단 기준을 준다. 도입 전에 확인할 것은 교사 모델 접근성과 비용(개입당 4k~8k 토큰), 롤아웃 그룹 크기 대비 교사 개입 비중, top-k 로짓 저장·매칭 비용이다. 저자들이 밝힌 한계는 두 가지다. 평가가 논리 게임과 수학 추론에 한정돼 코드 생성·지시 따르기·개방형 추론으로의 일반화는 검증되지 않았고, PIVOT은 학습 내내 개입 위치와 감독 설정을 고정한 채 학생 능력이 변해가는 과정에 적응하지 못한다. 학생 수준에 맞춰 교사 개입을 조정하는 방법은 미해결 과제로 남아 있다.