교사 활성 조향으로 자기 증류 사고 모델의 참조 환각과 재검토 억제를 줄인다

무엇인가

이 논문은 사고 모델(thinking model)을 위한 on-policy self-distillation(OPSD)에서 교사가 참조 답안을 받기 때문에 생기는 두 가지 부작용을 다룬다. 학생은 질문만 보고 추론 궤적을 생성하는데, 같은 모델에서 초기화된 교사는 참조 해답까지 조건으로 받아 토큰 단위 감독을 준다. 이때 학생이 접근할 수 없는 참조를 인용해 추론 단계를 정당화하는 참조 환각과, 불확실한 분기점에서 확인·수정을 하지 않도록 만드는 재검토 억제가 학습될 수 있다. 저자들은 이것이 긴 추론 예산에서도 정확도 이득 없이 추론을 짧게 만들고, 참조 없는 시험 상황에서 독립적 추론 전략을 약화한다고 본다.

어떻게 동작하나

ST-OPSD의 핵심은 학생이 아니라 교사의 은닉 상태를 조향하는 것이다. 먼저 held-out 질문에서 기본 모델이 만든 추론 궤적으로 두 방향을 추출한다. 특정 층 출력의 선택 토큰 은닉 상태를 긍정 예와 부정 예로 나눠 평균하고, 그 차이를 정규화해 단위 조향 벡터를 만든다. 참조 방향은 재검토 이후 구간에서 “example solution”, “provided solution”, “in the example” 같은 명시적 참조 인용이 있는 세그먼트를 긍정, 없는 세그먼트를 부정으로 삼아 만든다. 재검토 방향은 검증(“let me check”), 되돌아가기(“wait”), 헤징(“maybe”)의 세 마커 계열별로 문장 시작이 마커인 예를 긍정으로 하고, “let me think” 같은 일반 계획 표현을 제외한 공유 부정 풀과 대비해 계열별 단위 방향을 만든 뒤 비음수 최소제곱 가중치로 합친다. 이 가중치는 교사의 마커 확률을 참조 없는 기본 모델 쪽으로 보정하도록 보정된다.

무엇과 다른가

증류 중에는 학생이 참조 없이 궤적을 생성하고, 고정된 교사가 참조와 함께 그 궤적을 채점한다. 이때 교사의 ℓ층 은닉 상태를 h~ = h - α_ref v_ref + α_recon v_recon로 바꿔 참조 인용은 빼고 재검토는 더한다. α는 별도 held-out 세트에서 교사 응답 길이와 잘림률이 기본 모델에 가깝고, 재검토 마커 뒤 참조 인용률이 기본 모델 수준에 가까워지도록 고른 뒤 학습 내내 고정한다. 교사가 만든 다음 토큰 분포 q를 목표로 학생 분포 p를 전체 어휘에 대한 대칭 Jensen-Shannon 발산으로 맞춘다. 학생은 파라미터 업데이트로만 배우고 학습·추론 어느 쪽에서도 조향되지 않는다.

어떻게 쓰나

실험은 Qwen3-4B, Qwen3-8B, OLMo-7B-Thinking에서 수행됐다. OpenThoughts의 필터링된 수학 부분집합으로 학습하고 AIME24, AIME25, HMMT25로 평가했으며, Omni-Math 학습 변형도 비교했다. 조향 벡터 구성용 64개 질문은 학습에서 제외했고, LoRA rank 64, 학습률 2×10^-5, 200 업데이트 스텝, 배치 32, vLLM 롤아웃 온도 1.0·top-p 1.0·최대 8,192토큰을 썼다. 평가는 문제당 4개 응답을 온도 0.6·top-p 0.95·응답당 최대 81,920토큰으로 샘플링하고 math_verify로 채점해 avg@4를 보고했다. 조향은 모든 모델에서 22층에 적용했고, 조향 벡터 크기 대 출력 활성 크기 비율은 대략 10%였다. 비교 대상은 Vanilla OPSD, Purified OPSD, 같은 노름의 Random SV다. 표 1의 모델별 정확도 세부 수치는 원문 본문에 수치로 제시되지 않았고, α의 구체값도 본문에 수치가 제시되지 않았다.

전제와 한계

저자 서술에 따르면 ST-OPSD는 세 모델 모두에서 Purified OPSD보다 평균 정확도가 높고 Vanilla OPSD보다도 분명히 개선된다. 두 Qwen 모델에서는 기본 모델도 넘고, OLMo-7B에서는 기본 모델에 거의 맞먹어 Vanilla OPSD에서 잃은 정확도를 대부분 회복한다. Vanilla OPSD는 HMMT25에서 두 Qwen 모델 응답의 70% 이상이 참조를 인용할 정도로 참조 인용을 크게 늘리지만, ST-OPSD는 평균 참조 인용률을 세 모델 모두에서 기본 모델과 비슷하거나 더 낮은 수준으로 되돌린다. 재검토 마커 빈도는 세 모델 모두 기본 모델보다 높아진다. 다만 마커 빈도만으로 정확도가 결정되지는 않는다. Qwen3-4B에서 Purified OPSD는 ST-OPSD보다 재검토 빈도가 높고 참조 인용률이 낮은데도 정확도는 더 낮았다. 같은 노름의 Random SV는 ST-OPSD의 정확도 이득을 재현하지 못했고 Vanilla OPSD보다 나쁠 수도 있었다.

절제 실험도 Qwen3-4B에서 AIME24, AIME25, HMMT25로 이뤄졌다. 재검토 방향만 또는 참조 방향만 적용하면 Vanilla OPSD보다는 낫지만 기본 모델과 전체 ST-OPSD에는 못 미쳤고, 두 방향을 함께 써야 기본 모델을 넘었다. 교사에게 재검토와 참조 이해를 요청하는 프롬프트 기반 OPSD는 Vanilla OPSD보다 오히려 나빴고, 기본 모델에 추론 시점 조향을 직접 적용하는 것은 평균 정확도를 거의 바꾸지 못했다. 교사가 새 추론 아이디어를 제공하는 예제를 골라 학습한 선택 부분집합에서는 ST-OPSD가 세 벤치마크 모두에서 Vanilla OPSD를 앞섰고, Qwen3-4B 설정 중 가장 높은 평균 정확도 64.2%를 기록했다. 효율은 OLMo-7B와 OpenThoughts, 200스텝, H100 한 장 비교에서 ST-OPSD가 Purified OPSD와 거의 같은 생성 처리량을 보이면서 학습 처리량은 약 31% 높았다. Purified OPSD가 학습 중 순전파를 두 번 더 요구하기 때문이다. 다만 ST-OPSD 학생은 교사 조향 때문에 더 긴 추론 궤적을 생성하는 경향이 있어 생성·학습 시간이 늘어나고, 조향 벡터용 궤적 생성에는 약 15분이 들지만 벡터를 재사용해 비용이 분산된다.

개발자 관점에서 이 논문은 OPSD나 교사-학생 증류를 추론 모델에 적용할 때 정확도만 보지 말고 참조 인용률과 재검토 행동을 함께 계측해야 한다는 신호를 준다. 참조 답안이 있는 교사는 학생보다 유리한 정보를 갖기 때문에, 그 감독이 학생의 독립 추론 습관을 망가뜨릴 수 있다. ST-OPSD는 학생 추론 시점이 아니라 교사 채점 시점의 은닉 상태를 건드리는 방식이라, 학생 모델 자체를 조향하거나 프롬프트로 행동을 요구하는 것과 구분된다. 적용하려면 층 선택, 조향 강도, held-out 보정 세트, 응답 길이·잘림률·참조 인용률 같은 진단 지표를 준비해야 한다. 저자들도 넓게 참조 관련 활성을 억제하면 교사의 특권 정보 활용이 약해질 수 있어 재검토 이후의 참조 인용에 초점을 맞췄고, 재검토 조향이 과하면 응답이 지나치게 길어질 수 있다고 전제한다. 또한 마커 빈도 같은 행동 지표는 유용한 진단이지만 학습된 추론의 질을 완전히 설명하지는 못하며, OLMo-7B에서는 참조가 교사에게 추가 추론 이득을 거의 주지 않았을 수 있다는 가설을 저자들이 제시한다.