교사를 학생이 실제로 지나가는 상태에 먼저 적응시켜 온폴리시 증류를 안정화한다

무엇인가

이 논문은 온폴리시 증류(OPD)에서 교사 감독의 신뢰성 문제를 다룬다. OPD는 학생이 생성한 궤적에서 다음 토큰의 KL을 맞추므로 노출 편향을 줄이지만, 교사는 학생이 만든 접두사를 조건으로 토큰 확률을 내야 한다. 학생 접두사에는 오류 추론이나 교사가 학습 때 보지 못한 표현이 섞일 수 있고, 접두사가 길수록 교사의 정답률이 떨어진다. 원문은 Qwen3-4B 교사가 깨끗한 문제에서 60.99%인데 학생 롤아웃의 50% 접두사에서는 28.91%, 90%에서는 22.36%로 떨어졌다고 보고한다. DeepSeek-R1-Distill-Qwen-7B도 46.63%에서 50% 접두사 37.08%, 90% 36.51%로 하락했다. 즉 교사의 독립 문제 풀이 성능이 학생 상태에서의 감독 품질을 보장하지 않는다는 것이 핵심 문제다.

어떻게 동작하나

SPTA는 두 단계다. 먼저 OPD 전에 학생 롤아웃을 생성해 하나를 무작위로 고르고, 길이 비율 r~U(0.01,0.90)로 잘라 접두사 h^S=(x, y_{1:k}^S)를 만든다. 교사는 이 접두사 뒤에 이어쓸 continuation을 샘플링하고, 최종 답이 정답인지로 verifiable reward를 받는다. RLVR에서 action loss는 continuation 토큰에만 걸리고 학생 접두사 토큰은 조건 문맥일 뿐 감독 대상이 아니다. 그래서 교사는 학생의 추론을 모방하는 것이 아니라, 학생이 만든 상태에서 정답으로 복구하는 방법을 학습한다. 이후 교사를 고정하고 표준 OPD를 수행한다. 수식적으로는 OPD 목적함수의 교사 phi0가 적응된 phi*로 바뀔 뿐, 증류 목적함수 자체는 바꾸지 않는다. 학생의 접두사 분포가 증류 중 이동하므로 두 단계를 반복할 수도 있지만, 기본 설정은 한 라운드다.

무엇과 다른가

실험은 DAPO-Math-17k로 학습하고 AIME24, AIME25, AMC23, HMMT24, HMMT25에서 avg@16으로 평가했다. 세 교사-학생 조합은 Qwen3-4B→Qwen3-4B-Base, DeepSeek-R1-Distill-Qwen-7B→DeepSeek-R1-Distill-Qwen-1.5B, JustRL-DeepSeek-1.5B→DeepSeek-R1-Distill-Qwen-1.5B다. 비교는 원 교사를 쓰는 OPD, 동일 RL 일정으로 깨끗한 프롬프트에서 교사를 RLVR한 Tea-RL-OPD, 그리고 인용된 Prune-OPD다. Prune-OPD는 같은 교사-학생 조합이지만 동일 파이프라인에서 재현한 수치는 아니다.

어떻게 쓰나

단일 라운드에서 SPTA-OPD는 평균을 Qwen3-4B 조합에서 31.52에서 35.30으로 3.78점, DeepSeek-R1-Distill-Qwen-7B 조합에서 30.20에서 33.23으로 3.03점, JustRL-DeepSeek-1.5B 조합에서 41.97에서 42.79로 0.82점 올렸다. 특히 DeepSeek-R1-Distill-Qwen-7B 조합에서 OPD는 미증류 학생 29.58에서 30.20으로 0.62점 오르는 데 그쳤고 5개 벤치마크 중 3개에서 미증류 학생보다 낮았다. SPTA는 이 조합에서 미증류 학생 대비 3.65점을 얻고 5개 벤치마크 모두를 개선했다. Tea-RL-OPD와 비교하면 Qwen3-4B 조합에서 Tea-RL은 OPD 대비 0.45점, SPTA는 3.78점으로 3.33점 우세했고, DeepSeek 조합에서는 2.16점 대 3.03점으로 0.87점 우세했다. 두 교사는 RLVR 롤아웃의 시작 상태만 다르므로 저자들은 이 차이를 접두사 조건화에서 온 것으로 해석한다.

전제와 한계

분석에서 SPTA는 교사의 깨끗한 문제 정확도와 접두사 복구 정확도를 분리한다. Qwen3-4B는 깨끗한 정확도가 60.99%에서 54.39%로 6.60점 하락했지만, 50% 접두사 복구는 28.91%에서 49.88%, 90%는 22.36%에서 47.68%로 상승했다. DeepSeek-R1-Distill-Qwen-7B는 깨끗한 정확도가 2.51점 오르고, 50% 복구는 6.28점, 90% 복구는 7.32점 올랐다. 교사가 자기 학생보다 얼마나 나은지를 보면 Qwen3-4B의 리드는 깨끗한 문제 48.50점에서 90% 접두사 9.87점으로 줄었고, SPTA 후 35.19점으로 회복됐다. DeepSeek는 17.05점에서 6.93점으로 줄었다가 14.25점으로 회복됐다. 저자들은 OPD가 실제로 질의하는 상태에서 교사 우위가 거의 사라질 수 있고, 그 조합에서 표준 OPD가 정체했다고 본다.

두 번째 라운드는 Qwen3-4B 조합에서 35.30에서 36.57로 1.27점 추가 상승했고 OPD 대비 누적 5.05점을 보고했다. 5개 벤치마크가 각각 2.08, 0.42, 2.41, 1.25, 0.21점 올랐다. 다만 새 접두사 재수집과 교사·학생 추가 최적화가 뒤섞여 있어 순수한 재수집 효과가 아니고, 동일 교사로 더 길게 OPD한 계산량 매칭 비교도 없다. 한계로는 교사가 만든 접두사나 무관한 모델의 접두사 통제가 없어 접두사 출처와 길이 효과가 얽혀 있다는 점, continuation 정확도가 토큰 수준 보정이나 오류 위치를 입증하지 않는다는 점, 접두사 선택·롤아웃 할당 방법과의 직접 결합 비교가 없다는 점을 밝힌다. 또한 깨끗한 성능 비용이 모델 의존적이며, 수학 추론과 1.5B–7B 교사에 한정되고, multi-seed나 신뢰구간이 없어 0.82점 같은 작은 차이는 확립된 개선으로 보기 어렵다고 적는다.