교사 프롬프트로 자기증류의 엔트로피 붕괴를 막는다

무엇인가

온폴리시 자기증류(OPSD)는 하나의 언어모델을 학생과 교사로 동시에 쓴다. 학생은 특권 정보(PI) 없이 자기 정책으로 답을 생성하고, 같은 모델에 검증된 정답 해설 같은 PI를 조건으로 붙인 자기교사가 그 응답의 각 위치에서 다음 토큰 분포를 내놓는다. 학생은 이 교사 분포를 따라가도록 학습된다. 별도 교사 모델이 필요 없어 비용이 싸지만, PI가 검증이나 재고 없이 정답으로 곧장 뛰어드는 단축 추론을 강화하고 출력 분포의 엔트로피를 급격히 떨어뜨린다는 것이 이 논문이 지적하는 문제다. 교사 분포가 뾰족해지면 학생도 그 뾰족함을 물려받고, 이후 롤아웃에서 대안적 추론 경로가 샘플링될 확률 자체가 줄어든다.

어떻게 동작하나

제안 방법인 언어적 정규화 자기증류(VRSD)는 모델 구조도, 증류 목적함수도, PI 자체도 건드리지 않는다. 오직 자기교사의 조건에만 개입한다. 교사에게만 적용되는 시스템 프롬프트 d를 추가해 중간 단계를 검증하고, 대안을 고려하고, 답을 확정하기 전에 앞선 추론을 재검토하도록 지시한다. 학생은 추론 시점은 물론 학습 시점에도 이 프롬프트와 PI를 보지 않는다. 손실 함수는 기존 OPSD의 일반화 Jensen-Shannon 발산 항에서 교사 분포 q_t를 프롬프트가 붙은 q_t^d로 바꾼 것뿐이다. 프롬프트는 두 가지로 설계된다. 단일(single)은 모든 롤아웃에 하나의 종합 프롬프트를 쓰고, 다중(multi)은 입력별 롤아웃을 K개의 측면별 프롬프트에 최대한 균등하게 나눠 서로 다른 교사 분포를 쓰게 한다.

무엇과 다른가

이론적 분석은 프롬프트의 효과를 PI가 만든 로그확률 이동의 아핀 감쇠로 모델링한다. 토큰 v에 대한 PI 유발 이동을 u_t(v)=log(q_t(v)/p_t(v)), 즉 조건부 PMI로 정의하고, 프롬프트가 붙으면 u_t^d(v)=γ_t·u_t(v)+κ_t (γ_t<1)가 된다고 본다. 이 모델에서 프롬프트된 교사 분포를 유도한 뒤, 감쇠 강도 λ를 γ_t에서 1까지 움직이는 경로를 따라 엔트로피 변화를 정확히 표현한다. 정리 4.1은 H(q_t^d)−H(q_t)가 그 경로 위 중간 분포들에서 계산한 PMI 점수와 로그확률의 공분산을 적분한 값과 같다고 말한다. 따름정리 4.2는 γ_t가 1에 충분히 가까울 때, 원래 교사 분포에서 Cov(u_t, log q_t)>0이면 프롬프트가 엔트로피를 증가시킨다는 국소적 충분조건을 준다. 부록에서는 |u_t(y_t)|>1인, 즉 PI가 샘플링된 다음 토큰을 크게 바꾼 접두사에서 공분산을 측정해 평균 0.43~0.58, 해당 접두사의 79~91%에서 양수임을 보고한다.

어떻게 쓰나

실험은 자동 검증기가 있는 네 과제에서 이뤄진다. ASAP-SAS 단답 채점, SciKnowEval 화학, Spider 개발 서브셋 SQL, LiveCodeBench 파이썬 코드 생성이다. PI는 같은 문제에 대한 올바른 모델 롤아웃에서 얻은 검증된 해설이다. Qwen3-4B, Qwen3-8B, OLMo-3-7B-Instruct를 파인튜닝하며, 프롬프트당 8개 롤아웃, 배치당 32개 프롬프트, 프롬프트 길이 2048토큰, KL 정규화 없음, 4회 연속 검증 개선 없으면 조기 종료를 쓴다. 비교 대상은 파인튜닝 전 원본 모델(Untrained), OPSD, AntiSD다. 평가는 문제당 16개 응답을 온도 0.6, top-p 0.95로 샘플링해 Pass@1, Maj@16, Worst@16, 그리고 학생 롤아웃의 평균 다음 토큰 엔트로피 H(p)를 보고한다.

전제와 한계

결과는 VRSD(다중)가 OPSD 대비 평균 Pass@1을 Qwen3-4B에서 7.2%p, OLMo-3-7B-Instruct에서 2.8%p, Qwen3-8B에서 1.6%p 올려 평균 약 3.9%p 개선을 보였다. 12개 모델-과제 조합 중 11개에서 Pass@1이 더 높다. Maj@16은 모든 설정에서 OPSD와 같거나 높고, 평균 Worst@16도 세 모델 모두에서 개선된다. OPSD가 오히려 시작 모델보다 성능을 떨어뜨린 Qwen3-4B SQL에서는 OPSD 69.8%로 시작 모델 71.3%보다 낮았지만, VRSD(다중)는 81.0%까지 올렸다. 엔트로피 측면에서는 두 프롬프트 변형을 합쳐 24개 비교 중 19개에서 OPSD보다 높았고, Qwen3-4B SQL에서 OPSD의 H(p)가 0.03까지 붕괴한 반면 VRSD는 단일 0.49, 다중 0.54를 유지했다.

절제 실험에서는 VRSD(다중)가 네 과제 모두에서 개별 프롬프트와 그 단순 연결(concatenation)을 앞섰고, 가장 강한 개별 프롬프트보다 0.5~4.7%p 높았다. 연결 방식은 세 과제에서 OPSD보다도 낮았다. 학생이 교사 프롬프트가 권장한 추론 패턴을 실제로 습득하는지도 측정했는데, 화학 과제에서 성찰형 교사 프롬프트는 결론 점검 행동을 OPSD 대비 73.6%p 늘린 반면 다중 설계는 5.7%p 늘리는 데 그쳤고, 다중 설계는 선택지 검토·배제 진술에서 더 큰 증가를 보였다. 추론 충실성은 Lanham 등의 절단 개입으로 평가했다. 추론 사슬을 점진적으로 더 많이 남긴 뒤 최종 답을 재생성했을 때 정확도 향상폭(RG)은 VRSD 단일 5.8%p, 다중 5.0%p로 OPSD의 3.7%p를 웃돌았고, 오답을 유도하는 비율(MR)은 8개 비교 중 7개에서 OPSD보다 낮았다.

개발자 관점에서 이 논문의 실용적 가치는 개입 지점이 극히 얕다는 데 있다. 학습 파이프라인이나 목적함수를 다시 짤 필요 없이, 기존 OPSD 코드에서 교사 쪽 시스템 프롬프트만 바꾸면 된다. 정답 해설을 교사에게 주는 자기증류를 돌리는데 검증 세트 성능이 오히려 시작 모델보다 떨어지거나, 학생 출력 엔트로피가 한 자릿수 근처로 붕괴하는 증상을 본다면 우선 시도할 만한 처방이다. 다만 프롬프트가 과제별로 손으로 작성돼야 하고, 다중 프롬프트는 롤아웃을 K개 그룹으로 나누는 추가 관리가 필요하다. 도입 시에는 Pass@1뿐 아니라 학생 엔트로피 H(p)와 Worst@16을 함께 모니터링해, 정확도가 오르면서 분포 다양성이 유지되는지 확인하는 것이 좋다.

저자들이 밝힌 한계는 두 가지다. 첫째, 현재 접근은 과제별로 사람이 직접 큐레이션한 프롬프트에 의존한다. 어떤 추론 행동을 장려할지에 대한 인간의 판단이 필요하고, 그 프롬프트가 모든 문제에 적합하거나 학습이 진행되며 학생 능력이 변해도 계속 유효하다는 보장이 없다. 프롬프트 선택과 적응을 자동화하는 것이 향후 과제로 남는다. 둘째, 언어적 지시는 그 문구에 대한 모델의 반응을 통해 감쇠를 간접적으로만 통제한다. 따라서 PI가 만든 로그확률 이동을 직접 추정하고 조정하는 방법이 필요하며, 이때 이 논문의 엔트로피 분석이 어디를 얼마나 감쇠할지 정하는 지침이 될 수 있다고 저자들은 제안한다.