질문을 분포 유도자로 학습해 온폴리시 증류 데이터를 합성한다

무엇인가

이 논문은 온폴리시 증류(OPD)에서 훈련 질문을 어떻게 고르고 생성할지를 다룬다. OPD는 학생이 실제로 방문한 상태에서 교사의 토큰 분포를 감독으로 쓰기 때문에, 질문은 학생의 궤적과 교사 피드백이 발생하는 위치를 결정한다. 최근 OPD가 적은 질문으로도 큰 성과를 낼 수 있고 자기 생성 질문도 쓸 수 있다는 관찰에서 출발해, 저자들은 질문을 정답을 담은 예제가 아니라 특정 학생-교사 쌍에서 분포적 감독을 끌어내는 유도자로 본다. 핵심 질문은 새로 생성한 질문의 정답 없이 그 질문이 증류에 얼마나 유용한지 평가하고, 그 평가로 더 나은 질문 생성기를 학습할 수 있느냐다.

어떻게 동작하나

제안 방법 A2D는 세 단계를 한 번씩 수행한다. 먼저 학생 초기화 복사본을 질문 생성기로 두고 GRPO로 학습한다. 각 지시문에서 여러 후보 질문을 샘플링하고, 고정된 학생이 각 질문에 한 번 응답하며, 고정된 교사가 같은 학생 생성 프리픽스에서 평가된다. 이때 정답, 정답성 보상, 후보별 학생 업데이트는 쓰지 않는다. 학습된 생성기에서 질문을 대량 샘플링한 뒤 형식 오류·반복 n-gram·낮은 어휘 다양성·불균형 수식 구분자·정답 누출·문맥 누락·없는 그림 참조 등을 필터링하고, 토큰 집합 Jaccard와 Qwen3-Embedding-4B 코사인 유사도로 어휘·의미 중복을 제거해 프롬프트만 있는 질문 뱅크를 만든다. 마지막으로 원래 학생을 이 뱅크로 표준 OPD한다.

무엇과 다른가

질문 가치는 학생 궤적 위에서 support-aware 토큰 점수로 계산된다. 각 위치에서 학생 top-K 후보 A_t와 교사 top-K 후보 B_t의 합집합 U_t를 만들고, U_t 위에서 재정규화한 교사-학생 KL δ_t를 계산한다. 이는 교사가 선호하지만 학생이 상대적으로 낮게 보는 후보를 강조하는 방향이다. 동시에 교사가 학생 top-K 후보 A_t에 실제로 얼마나 확률 질량을 두는지 ω_t를 계산한다. 토큰 점수는 s_t = min(δ_t/(δ_ref+ε),1)·ω_t로, 불일치와 호환성이 같은 위치에서 함께 커야 높아진다. δ_ref는 초기 학생 정책에서 뽑은 N_cal 질문의 토큰 불일치 백분위로 고정한다. 궤적 집계는 (1/L^α)Σs_t로 길이와 신호 밀도의 균형을 잡고, 응답 예산 대비 길이 페널티와 배치 내 BLEU 클러스터 점유율 기반 다양성 페널티를 곱한다. 최종 보상은 길이·다양성 페널티를 곱한 형태이며, 저자들은 이를 하류 성능의 직접 추정이 아닌 대리 지표로 명시한다.

어떻게 쓰나

하류 OPD는 원래 학생에서 시작하는 candidate-restricted OPD다. 각 질문에 대해 현재 롤아웃 정책이 n_roll개 응답을 샘플링하고, 각 위치에서 학생 top-K 후보 A_t에 대해 정규화한 학생 확률로 고정 어드밴티지 r_t(v) = -p̄_S,old^A(v)[log p_S,old(v)-log p_T(v)]를 계산한다. 로그 확률은 전체 어휘 기준이고, 가중치만 A_t로 정규화된다. 이후 PPO식 클리핑 목적함수로 학생을 업데이트하며, 한 롤아웃 배치당 한 번의 내부 에폭, 가치 함수·리턴 누적·어드밴티지 그룹 정규화·참조 모델 KL 앵커는 쓰지 않는다. 저자들은 이 목적을 전체 어휘 역KL 최소화와 동일시하지 않는다고 밝힌다.

전제와 한계

실험은 수학 추론, 코드 생성, 에이전트 과제를 여러 모델 규모에서 다룬다. 수학에서는 Qwen3-1.7B 비사고 학생과 Qwen3-4B-Non-Thinking-RL-Math 교사, DeepSeek-R1-Distill-Qwen-1.5B와 JustRL-DeepSeek-1.5B, DeepSeek-R1-Distill-Qwen-7B와 Skywork-OR1-Math-7B 조합을 쓴다. 비교 대상은 최적화하지 않은 학생 생성 프롬프트, KL 필터링한 실제 질문, 실제 질문 뱅크 OPD다. 저자들은 A2D가 평균 성능과 교사 격차 회복에서 전자 둘을 개선하고 평가 설정에서 실제 뱅크 OPD와 동등하거나 능가한다고 보고한다. 본문 후반의 신호 분석에는 구체 수치가 있다. 사례 연구에서 실제 기하 질문과 합성 조합론 질문을 같은 학생-교사 쌍으로 비교했을 때, 합성 질문은 1,241토큰으로 실제 질문 2,002토큰보다 짧았고 평균 s_t는 0.172 대 0.117(약 1.5배), 평균 불일치는 0.513 대 0.307(약 1.7배)이었다. 누적 점수는 214 대 234로 합성 질문이 62% 토큰으로 약 91% 신호를 유지했다. DAPO-17k-Math와 합성 뱅크에서 각 1,000질문을 비교하면 합성 질문 응답은 평균 1,020.7토큰으로 1,280.2토큰보다 20% 짧았고, 평균 누적 점수는 181.7 대 141.7로 28% 높았다. 1,500개 홀드아웃 DAPO 질문에 단일 OPD 업데이트를 적용한 분석에서는 평균 불일치와 교사-학생 KL 감소의 상관이 ρ=0.727(95% CI 0.695–0.755)이었고, 길이·통과율·엔트로피를 통제한 부분 상관은 0.386(0.329–0.443)이었다. 전체 점수도 원 상관 0.750, 부분 상관 0.399였고, 점수 최고 분위는 최저 분위보다 KL 감소가 2.15배였다. 동일 24.4M 토큰 예산의 5개 점수 순위 뱅크 실험에서는 평균 정확도가 R1 41.06%에서 R4 43.49%로 올랐고 R5는 43.11%로 R1보다 2.05%p 높았다. 다만 순위가 엄격히 단조롭지는 않았다.

개발자에게 이 논문은 OPD용 합성 데이터 파이프라인에서 질문의 표면 난이도나 정답 유무보다, 특정 학생-교사 쌍이 학생 궤적에서 얼마나 쓸모 있는 분포 감독을 노출하는지를 지표로 삼으라는 제안이다. 정답 라벨 없이 프롬프트 뱅크를 만들 수 있지만, 후보 질문마다 고정 학생 응답과 교사 평가가 필요하고 GRPO 학습·임베딩 중복 제거 비용이 든다. 질문 가치가 쌍 의존적이므로 다른 학생-교사 조합에 뱅크를 그대로 재사용할 때는 재검증해야 한다. 구현은 공개 GitHub 저장소에서 확인할 수 있다.

저자들이 밝힌 한계는 보상이 질문당 한 번의 학생 응답으로 추정한 대리 지표라는 점, 생성기가 고정된 학생-교사 쌍에 대해 한 번만 최적화된다는 점이다. 학생이 향상됨에 따라 질문 생성을 적응적으로 바꾸는 전략과 토큰 수준 선택 기법과의 결합은 향후 과제로 남긴다. 또한 파이프라인을 업데이트된 학생으로 반복하는 실험에서는 수익 체감이 관찰됐고, 저자들은 라운드가 거듭될수록 불일치와 호환성을 동시에 유지하기 어려워진다는 가설을 제시하지만 하류 점수만으로 신호 변화를 입증하지는 못한다고 인정한다. 보상은 유용한 감독의 대리일 뿐 모든 고점 위치가 큰 학습 이득을 보장하지는 않는다.