SimOPD는 응답 간 유사도로 교사 내부 지식을 학생에 전이한다

무엇인가

이 논문은 온폴리시 증류(OPD)에서 교사 지식으로부터 효과적인 감독 신호를 뽑는 문제를 다룬다. OPD는 학생이 현재 정책으로 생성한 응답에 대해 고정된 교사가 토큰 수준의 조밀한 감독을 주는 방식이다. 기존 토큰 확률 기반 감독은 교사 내부 표현에 담긴 지식을 충분히 쓰지 못하고, 은닉 상태를 직접 맞추는 OPRD 계열은 학생을 교사의 특징 공간으로 끌어당겨 표현 자유도를 제한하며 차원이 다른 교차 아키텍처 전이를 어렵게 만든다. 저자들은 인스턴스 간 관계를 이용하는 대조 학습에서 착안해, 학생이 생성한 응답들 사이의 유사도 관계를 감독 신호로 쓰는 SimOPD를 제안한다.

어떻게 동작하나

SimOPD의 핵심은 교사와 학생이 같은 과거 응답 목록을 각자의 표현 공간에 저장하는 쌍둥이 메모리 뱅크다. 각 모델에서 응답 표현은 선택한 층과 응답 위치의 정규화된 은닉 상태를 평균해 만든다. 교사 뱅크와 학생 뱅크는 같은 순서의 같은 응답을 담지만 차원은 달라도 된다. 첫 학습 배치로 뱅크를 초기화하고, 학습 업데이트 중 저장된 표현은 고정한다. 학생 업데이트 후에는 미리 추출한 교사·학생 표현 쌍을 같은 순서로 양쪽 뱅크에 추가하고, 용량을 넘으면 가장 오래된 쌍을 선입선출로 제거한다.

무엇과 다른가

새 응답이 들어오면 각 모델은 현재 응답 표현과 자기 뱅크의 과거 표현들 사이 코사인 유사도를 계산하고, 온도 τ로 정규화한 소프트맥스 분포를 만든다. 두 뱅크의 같은 인덱스가 같은 과거 응답을 가리키므로 교사 분포와 학생 분포는 서로 다른 특징 공간에서도 직접 비교할 수 있다. 학습 목표는 교사의 유사도 분포를 소프트 타깃으로 두고 학생 분포와의 KL 발산을 최소화하는 것이다. 교사와 저장된 뱅크 표현은 고정되고 그래디언트는 현재 학생 표현으로만 흐르므로, 학생은 교사 은닉 상태 자체가 아니라 응답 간 관계 구조를 자기 공간 안에서 모방한다.

어떻게 쓰나

실험은 verl과 vLLM 기반 온폴리시 생성으로 수행됐다. 동일 아키텍처는 Qwen3-4B에서 Qwen3-4B-Base로, 교차 아키텍처는 Qwen3-8B에서 Qwen3-1.7B-Base로 증류했다. 수학 추론은 DAPO-Math-17K로 학습해 AIME 2024, AIME 2025, AIMO(AMC 2022/2023)에서 Avg@16을, 코드 생성은 Eurus의 중복 제거 코딩 부분집합으로 학습해 HumanEval, MBPP, LeetCode에서 pass@1을 측정했다. 비교 대상은 Sampled-token OPD, Top-k OPD(k=16), ExOPD, PowerOPD, OPD², OPRD 및 OPRD-Bridge다. 동일 아키텍처에서 SimOPD는 수학과 코드 평균을 각각 24.7, 65.3으로 올려 강한 베이스라인 대비 0.3, 1.8포인트 개선했고 Overall 45.0으로 ExOPD보다 2.0포인트, OPRD보다 수학 4.4·코드 5.7포인트 앞섰다. 토큰 OPD를 더하면 수학 25.1, 코드 66.1, Overall 45.6으로 강한 베이스라인 대비 2.6포인트 개선됐다.

전제와 한계

교차 아키텍처에서는 수학 평균 17.9로 PowerOPD와 OPRD-Bridge보다 1.0포인트 높았고, 코드에서는 HumanEval 72.6으로 OPD²보다 3.1포인트 높았다. 단독 Overall은 33.7로 OPRD-Bridge+OPD보다 1.5포인트 높았고, OPD를 결합하면 수학 18.6, 코드 52.1, Overall 35.3으로 강한 베이스라인 대비 3.1포인트 우위를 보였다. 다만 MBPP에서는 성능 하락이 있었고 저자들은 비교적 단순한 과제와 출력 형식 민감성으로 설명한다.

절제 실험에서 과거 메모리 뱅크는 현재 배치만 쓰는 In-Batch Matching보다 동일·교차 아키텍처 평균을 각각 1.9, 5.5포인트 높였다. 코사인 유사도 값을 MSE로 회귀하는 변형은 SimOPD보다 1.5, 0.7포인트 낮았고, 교사 뱅크를 두 모델이 공유하는 Single Memory Bank는 동일 아키텍처 평균을 22.8로 떨어뜨렸다. 교사 층을 25%에서 100% 깊이로 늘리면 평균이 6.5, 14.3포인트 올랐고, 뱅크 용량은 1024 이상에서 민감도가 낮았으며 2048 대비 1024가 0.9, 0.5포인트 차이에 그쳤다. 온도 0.05~0.2에서 평균 변동은 0.5, 1.3포인트였고, 마지막 2000토큰 풀링은 전체 응답 풀링과 0.3포인트 이내였다. 수학 증류 체크포인트를 ARC-C, GPQA, MMLU-Pro로 평가한 OOD 평균은 25.9에서 48.8로 올라 PowerOPD보다 1.2포인트 높았다.

개발자 관점에서 SimOPD는 교사와 학생의 은닉 차원이 다르거나 아키텍처가 다른 증류에서 별도 투영 학습 없이 내부 표현을 활용하는 구현 패턴을 제시한다. 토큰 확률만으로 부족할 때 응답 단위 표현과 과거 응답 메모리 뱅크를 추가하는 방식으로 응용할 수 있다. 다만 은닉 상태 추출과 응답 간 유사도 계산이 추가되어 학습 처리량이 떨어질 수 있으므로, 뱅크 크기·교사 층 선택·응답 커버리지를 먼저 튜닝해야 한다. 또한 코드 생성의 MBPP처럼 단순하거나 형식에 민감한 과제에서는 이득이 줄거나 하락할 수 있음을 확인해야 한다.

저자들이 밝힌 한계는 평가가 수학 추론과 코드 생성에 주로 한정되어 개방형 생성과 다른 모달리티로의 적용은 아직 검증되지 않았다는 점이다. 표현 기반 관계 증류는 추가 은닉 상태 처리와 교차 응답 유사도 계산 때문에 현재 구현의 학습 효율이 제한된다. 메모리 뱅크 초기화, 워밍업 일정, 업데이트 전략과 표현 학습·유사도 매칭에 추가 정규화를 넣는 문제도 체계적으로 탐구되지 않았다.