BSD는 교사 확률 없이 추론 흔적만으로 온폴리시 증류를 통일한다

무엇인가

온폴리시 증류(OPD)는 학생 모델이 스스로 만든 롤아웃을 강한 교사가 토큰 단위로 채점하게 하는 후학습 방법이다. 문제는 교사가 더 강할수록 두 가지 불일치가 생긴다는 점이다. 교사의 해법은 작은 학생이 그대로 모방하기 어렵고, 교사의 다음 토큰 확률 분포는 학생의 토크나이저와 호환되지 않거나(교차 토크나이저) 아예 얻을 수 없다(폐쇄 API). 기존 연구는 전자에는 토큰 공간 매핑(xOPD), 후자에는 루브릭 채점(ROPD)처럼 상황별로 다른 지도 신호를 만들어 대응했고, SFT는 확률 없이 텍스트만 모방하지만 교사와 학생의 격차가 크면 성능이 오히려 무너지는 경우가 있었다. 이 논문은 이 세 갈래를 하나의 절차로 묶는 Bridged Self-Distillation(BSD)을 제안한다.

어떻게 동작하나

BSD의 출발점은 증류 대상 모델인 외부 교사(external teacher)에게 텍스트만 요구한다는 것이다. 질문 x에 대해 외부 교사가 만든 추론 흔적 z를 오프라인으로 미리 생성해 두고, 이를 학생이 학습 중에만 볼 수 있는 특권 문맥(privileged context)으로 쓴다. 학생 π_θ는 z 없이 x만 보고 롤아웃 y를 생성하며 각 토큰에 확률 p_t = π_θ(y_t | x, y_<t)를 부여한다. 자기 교사(self-teacher)는 학생의 동결된 복사본 π_θ̄에 x와 z를 함께 조건으로 걸어, 새 답을 생성하는 대신 같은 롤아웃 y를 토큰별로 다시 채점해 q_t = π_θ̄(y_t | x, z, y_<t)를 낸다. 두 점수는 같은 모델, 같은 토큰 공간에서 나오므로 교사 로짓도 어휘 정렬도 필요 없다. 토큰 수준 지도는 두 로그확률의 차이 δ_t = sg[log q_t − log p_t]로 정의된다. δ_t가 양수면 z를 읽은 자기 교사가 학생이 고른 토큰에 더 높은 확률을 준다는 뜻이고, 음수면 더 낮게 본다는 뜻이다.

무엇과 다른가

학습 신호의 방향은 검증기가 정한다. 검증기는 롤아웃의 정답 여부로 이진 보상을 주고, GRPO가 그룹 내 상대 어드밴티지 A를 계산한다. BSD는 이기고 있는 롤아웃(A ≥ 0)에는 손대지 않고, 실패한 롤아웃(A < 0)에만 토큰별 가중치 w_t = (1−λ) + λ·clip_{1±ε}(e^{−δ_t})를 곱한다. δ_t < 0인 토큰, 즉 추론 흔적을 보고도 자기 교사가 확률을 낮춘 토큰은 패널티가 강해지고, δ_t > 0인 토큰은 패널티가 약해진다. λ는 재가중 강도를 조절하며 학습 중 감쇠하고, 클리핑이 효과의 상한을 건다. 가중치가 항상 양수이므로 어드밴티지의 부호는 바뀌지 않는다. 최종 목적함수는 J(θ) = E[Σ_t Ã_t log π_θ(y_t | x, y_<t)]이고, Ã_t = A·w_t (A<0일 때), 그 외에는 A다. 성공한 롤아웃에서는 GRPO와 동일하게 동작하고, 실패한 롤아웃에서만 1차 근사적으로 OPD식 보정이 더해지는 구조다.

어떻게 쓰나

실험은 Qwen3-0.6B·1.7B·4B와, Qwen3-4B-Instruct-2507을 1,000개 추론 흔적으로 파인튜닝한 Qwen3-4B-Instruct를 학생으로 쓴다. 교사는 세 가지 접근 형태로 나뉜다. Qwen3-32B는 토크나이저를 공유하는 교사, Nemotron-3-30B-A3B는 교차 토크나이저 교사, GPT-5.6 Luna는 폐쇄 API 교사다. 데이터는 OpenThoughts의 수학 추론 부분집합에서 교사-학생 쌍마다 2,400문제를 뽑아 문제당 추론 흔적 1개를 붙였다. Qwen3-32B와 Nemotron의 흔적은 평균 약 4,000토큰인 반면 GPT-5.6 Luna는 최종 응답만 돌려주며 평균 247토큰이다. verl과 vLLM으로 150회 업데이트했고, 평가는 AIME 2024, AIME 2025, HMMT 2025에서 문제당 4개 샘플을 뽑아 Avg@4로 측정했다.

전제와 한계

결과는 12개 교사-학생 쌍 전부에서 베이스 모델 대비 1.2~4.7점 향상, 11개 쌍에서 증류 방법 중 최고 평균 점수다. 토크나이저를 공유하는 Qwen3-32B 구간에서 BSD는 SFT를 3.3~8.6점 앞섰고, SFT는 4명 중 3명에서 베이스 모델보다 낮았다. 같은 토크나이저를 쓰는 vanilla OPD와 비교해도 모든 학생에서 동등하거나 우수했는데, Qwen3-1.7B는 동점이었고 나머지 셋은 최대 3.6점 높았다. 교차 토크나이저 구간에서 xOPD는 Qwen3-0.6B만 3.4점 올렸을 뿐 Qwen3-4B와 Qwen3-4B-Instruct는 0.5점, 0.6점에 그쳤고 Qwen3-1.7B는 0.8점 떨어뜨렸다. BSD는 네 모델 모두 1.2~4.4점 올리며 4개 중 3개에서 xOPD를 앞섰다(유일한 예외가 Qwen3-0.6B). 폐쇄 API 구간에서는 SFT가 4명 중 3명에서 베이스보다 낮았고 Qwen3-0.6B는 10.8점에서 2.8점으로 주저앉았다. BSD는 SFT를 3.1~9.7점, ROPD를 0.6~3.6점 앞섰다.

훈련 중 거동에서도 차이가 드러난다. 평균 247토큰짜리 짧은 응답을 그대로 모방하는 SFT는 네 학생 모두 출력을 점점 짧게 만들었고, Qwen3-4B-Instruct를 GPT-5.6 Luna로 증류한 사례에서는 학습이 끝날 무렵 성능이 거의 0에 가깝게 떨어졌다. 반면 BSD와 OPD 계열 베이스라인은 12개 쌍 전부에서 응답 길이를 안정적으로 유지했다. 절제 실험은 Qwen3-4B 학생과 Qwen3-32B 교사 조합에서 이뤄졌다. Avg@4 기준 베이스 59.2, 특권 문맥이 없는 GRPO 60.6, 정답만 문맥으로 주는 RLSD 61.7, 전체 추론 흔적을 주는 BSD 63.9 순이다. 문맥을 3문장 힌트로 줄이면 61.7, 계산을 뺀 8단계 가이드로 줄이면 62.5로, 추론이 완전할수록 이득이 컸다. 성공 롤아웃까지 가중하면 61.4로 오히려 떨어졌고, 검증기 없이 자기 교사 신호만 모든 롤아웃에 쓰는 OPSD는 59.7로 25스텝의 63.3에서 150스텝에 55.8까지 하락하며 응답도 16.8k에서 12.5k 토큰으로 줄었다.

토큰 수준 지도가 어디에 집중되는지도 분석했다. 실패 롤아웃에서 지도 크기와 학생의 토큰 엔트로피 사이 상관계수는 0.83~0.90으로, 지도가 학생이 가장 불확실한 토큰에 몰린다는 것을 보여준다. 지도가 강한 학생이 더 큰 이득을 냈다. Qwen3-4B-Instruct는 지도가 가장 약하고 이득도 가장 작았고, Qwen3-1.7B와 Qwen3-4B는 더 강한 지도를 받고 더 크게 개선됐다. AIME24 사례에서는 베이스 Qwen3-4B가 정수 N=5694를 구하고도 1000으로 나눈 몫과 나머지를 잘못 읽고 그대로 진행한 반면, 같은 접두사에서 BSD로 학습한 학생은 그 단계를 다시 검산해 정답에 도달했다. 같은 접두사에서 8번 이어 생성했을 때 BSD 학생은 6번, 베이스는 4번 풀었다.

저자들이 밝힌 한계는 분명하다. 실험은 한 모델 패밀리의 4B 이하 학생과 영어 경시 수학에 국한되며, 더 큰 학생이나 다른 모델 패밀리, 다른 도메인에서도 이득이 유지되는지는 검증되지 않았다. BSD는 검증기가 업데이트 방향을 정하므로 정답을 자동으로 채점할 수 있는 과제에만 적용되고, 개방형 과제에는 쓸 수 없다. 학생과 외부 교사의 합의를 검증기 대신 쓸 수 있는지는 미탐구 과제로 남겼다. 또한 토큰 지도와 성능 이득의 관계는 학생들 간 상관으로만 제시됐을 뿐, 어떤 토큰에 실제로 도움이 되는지는 규명하지 않았다. 실무 관점에서 BSD의 매력은 교사 쪽 요구사항이 텍스트 하나로 줄어든다는 점이다. 폐쇄 API나 토크나이저가 다른 교사를 쓰면서도 별도 매핑 모듈 없이 동일한 학습 파이프라인을 돌릴 수 있고, 대신 정답 검증기, 자기 교사용 동결 복사본의 메모리 비용, λ와 ε 같은 재가중 하이퍼파라미터를 함께 설계해야 한다.