토큰마다 다른 교사를 골라 자기증류하는 적응형 온폴리시 학습

무엇인가

온폴리시 자기증류(OPSD)는 별도의 큰 교사 모델 없이 같은 모델을 학생과 교사로 동시에 쓰는 후학습 방식이다. 학생이 자기 롤아웃을 생성하고, 교사는 같은 모델이되 참조 해답 같은 특권 정보를 프롬프트에 덧붙여 조건화된다. SFT와 달리 학생이 실제로 밟은 궤적 위에서 학습해 노출 편향을 줄이고, 결과 보상만 주는 RLVR과 달리 토큰 단위의 조밀한 신호를 준다. 문제는 이 특권 참조가 너무 강력하다는 점이다. 참조 전문을 그대로 노출하면 교사 분포가 과도하게 뾰족해져 학생의 학습 역학과 어긋나고 추론 성능이 오히려 떨어질 수 있다. 기존 적응형 OPSD들은 학생-교사 격차에 따라 참조 노출 비율을 조절하지만, 그 조절은 응답 단위에서 일어난다. 한 응답 안의 모든 토큰이 같은 교사에게 지도받는다.

어떻게 동작하나

이 논문은 그 전제를 정면으로 반박한다. 같은 응답 안에서도 토큰마다 선호하는 교사가 다르다는 것이다. 이를 검증하려고 저자들은 교사 개입 파일럿 연구를 설계했다. 학생이 만든 접두부를 유지한 채 특정 토큰 위치에서 후보 교사가 짧은 구간(k=64, 128, 256토큰)을 이어 쓰고, 다시 학생이 나머지를 완성하는 '학생-교사-학생' 릴레이를 만든다. 순수 학생 생성 대비 정확도 이득이 그 위치에서의 교사 적합도 대리 지표가 된다. DeepMath-103K에서 최소 중간 난이도 프롬프트 64개를 뽑고 Qwen3-1.7B와 4B를 학생으로 써서, 개입 위치 7종(롤아웃의 25·50·75% 지점, 학생 엔트로피 최고·최저 지점, 학생-교사 KL 최대·최소 지점)과 교사 7종(접두·접미·랜덤 구간 절단에 노출 비율 0.5·0.75, 그리고 전문 참조)을 교차해 총 75,264회 생성을 평가했다.

무엇과 다른가

결과는 세 가지로 요약된다. 첫째, 교사 선호는 토큰마다 달라진다. Qwen3-1.7B에 k=256 설정에서 같은 롤아웃의 규칙 간격 토큰들이 선호 교사를 공유하는 비율이 약 50%에 그쳤다. 둘째, 다수결이 신뢰할 만한 교사 부분집합을 걸러낸다. 어떤 토큰에서 교사가 학생의 선택을 지지하는지는 로그 확률 차이, 즉 advantage의 부호로 판정되는데, 개입 이득이 가장 컸던 교사가 다수결 부분집합에 속하는 경우가 약 80~90%였다. 셋째, 선호 교사는 항상 학생과의 KL 거리가 크다. 다수결 부분집합 안에서 KL이 가장 큰 교사와 가장 작은 교사를 비교하면, 규칙 간격 위치에서 전자가 일관되게 더 큰 평균 이득을 냈다.

어떻게 쓰나

제안 방법 MTA-OPSD는 이 발견을 두 단계 선택 절차로 옮긴다. 먼저 참조의 절단 방식과 노출 비율을 달리한 7개 교사로 다중 교사 풀을 만든다(전문 참조, 접두-0.5, 접두-0.75, 접미-0.5, 접미-0.75, 랜덤구간-0.5, 랜덤구간-0.75). 모든 절단 설정에서 최종 정답은 보존해 비교의 공정성을 맞춘다. 각 토큰 위치에서 7개 교사의 advantage 부호를 투표로 모아 다수 방향을 정하고(동점이면 절댓값이 큰 쪽을 택함), 그 방향에 동의한 교사들만 남긴 부분집합에서 학생 분포와의 KL이 최대인 교사를 고른다. 학습 목표는 응답 전체에 대해 학생 분포와 이렇게 토큰별로 선택된 교사 분포 사이의 KL을 합하는 것이다. 즉 같은 응답 안에서도 토큰마다 감독자가 바뀐다.

전제와 한계

이 순서가 핵심이라고 저자들은 강조한다. 다수결은 감독의 '방향'이 신뢰할 만한지 먼저 판정하고, KL은 그 방향 안에서 '정보량'이 큰 교사를 고르는 데만 쓴다. 다수가 학생 토큰을 지지할 때 KL 최대 교사는 학생의 현재 선택을 강화하면서도 전체 확률 분포는 상당히 다르게 제시해, 단순 모방에 그치지 않는 신호를 준다. 반대로 다수가 반대할 때 KL 최소 교사는 토큰을 약하게 깎는 데 그치지만, KL 최대 교사는 확률 질량을 다른 후보로 재분배해 더 강한 교정 신호를 만든다. 부호 판정 없이 KL만으로 교사를 고르는 것은 위험하다는 것이 이 설계의 논리다.

실험은 Qwen3-1.7B·4B·8B 세 규모에서 thinking 모드를 켠 채 진행했고, DeepMath-103K로 학습해 AMC23, AIME24, AIME25로 평가했다. 비교 대상은 고정 교사 방식의 OPSD(forward KL에 토큰별 포인트와이즈 KL 클리핑)와 SDPO(Jensen-Shannon 발산), 그리고 응답 단위 적응형인 Paint(학생-교사 격차로 참조 노출 비율 결정)다. 300스텝 학습, 50스텝마다 체크포인트 평가 후 최고 Avg@12를 보고했으며, 학습 최대 생성 4096토큰, 검증 38912토큰을 썼다. 평균 성능에서 MTA-OPSD는 모든 규모에서 최고였고 베이스 모델 대비 Qwen3-1.7B +5.9, 4B +1.5, 8B +2.8을 기록했다. 특히 더 어려운 AIME25에서 개선이 일관되고 컸다. 절제 실험(Qwen3-1.7B)에서는 풀 안의 개별 교사로 따로 학습한 경우, 토큰마다 무작위로 교사를 뽑는 경우, 모든 교사 손실을 평균하는 경우보다 MTA-OPSD가 모든 벤치마크에서 앞섰다. 학습 중 각 교사가 선택된 빈도는 풀 전체에 비교적 고르게 분포해 특정 교사로 붕괴하지 않았고, 같은 절단 전략이라면 노출 비율이 높다고 해서 학생-교사 KL이 반드시 커지지는 않았다.

실무 관점에서 이 논문이 주는 시사점은 명확하다. 참조 해답을 교사에게 통째로 주는 자기증류를 돌리고 있다면, 응답 단위 노출 비율 스케줄만 조정하는 것으로는 부족할 수 있다. 다만 구현 부담은 있다. 토큰 위치마다 7개 교사의 다음 토큰 분포를 모두 계산해야 하므로 교사 순전파 비용이 교사 수에 비례해 늘어난다. 또한 이 논문의 방법은 참조 해답이 데이터셋에 붙어 있는 수학 추론 과제를 전제로 하며, 참조가 없거나 잡음이 많은 도메인에서 다중 교사 풀이 여전히 유효한지는 원문에 수치가 제시되지 않았다. 파일럿 연구 자체도 64개 프롬프트와 두 모델 규모로 제한돼 있다. 저자들은 결론에서 자기 진화하는 교사 풀과 더 안정적인 다중 교사 학습을 향후 과제로 남겼다.