작은 모델의 지속 학습을 같은 계열 큰 모델의 합성 재작성으로 해결한다
Continually Post-training Small Models via Synthetic Self-distillation
무엇인가
지속적 후학습(continual post-training)은 이미 학습된 언어모델에 새 능력을 주입하는 작업으로, 두 축을 동시에 만족해야 한다. 하나는 습득(acquisition)으로 같은 도메인 테스트셋 성능을 올리는 것이고, 다른 하나는 유지(retention)로 기존 능력을 그대로 보존하는 것이다. 후자를 깨뜨리는 치명적 망각은 지도 미세조정(SFT) 데이터로 teacher forcing을 할 때 특히 심하게 나타난다. 최근 SDFT는 in-context 데모를 자기 자신에게 주고 on-policy 증류를 하는 방식으로 이 문제를 완화했지만, in-context learning과 instruction-following 능력에 의존하기 때문에 온디바이스 배포·초안 모델·검증자 등에 쓰이는 소형 모델에서는 작동하지 않는다.
어떻게 동작하나
논문은 먼저 실패의 원인을 규명한다. Qwen2.5-3B-Instruct를 23개 수학 데이터셋(각 2.5M 완성 토큰으로 크기 맞춤)으로 지속 미세조정하면서 측정한 결과, 망각의 크기와 학습 후 정책의 분포 이동 D_KL(π_after‖π_before)이 Spearman ρ=-0.85로 강하게 상관했다. OpenR1-Math-220k 코퍼스를 고정하고 목표 텍스트의 이동만 바꾼 실험에서도 같은 경향이 나온다. 전체 R1 추론 트레이스(고이동), 최종 해답만(중간), 모델이 스스로 생성해 정답 검증을 통과한 풀이(저이동) 순으로 비교했을 때, 이동이 큰 데이터는 도메인 내 망각과 치명적 망각을 유발한 반면 저이동 자기 생성 샘플은 수학 습득을 올리면서 코딩 능력을 유지했다. 즉 분포 안에 머무는 것이 지속 학습의 핵심이다.
무엇과 다른가
문제는 SDFT의 자기 감독 품질이 작은 모델에서 무너진다는 점이다. 학생 모델 크기가 작아질수록 SDFT의 SFT 대비 상대 성능이 단조 감소했고, on-policy 교사 품질을 근사하려고 오프라인 데이터셋을 만들어 평가해 보니 프롬프트와 무관하게 평균 정확도가 60%까지 떨어지고 CoT 트레이스가 8.2%의 경우 누락됐다.
어떻게 쓰나
SynthSelf는 이 두 요구를 분리해서 해결한다. 첫째, on-policy 대신 off-policy 증류를 택해 오프라인 데이터셋을 만들고, 그 덕분에 거부 샘플링(rejection sampling)으로 정확도 필터링을 할 수 있게 했다. 데이터 품질에 민감한 소형 모델에는 이 필터가 필수적이다. 둘째, 분포 정렬 재작성을 학생이 아니라 '최소한으로 더 큰 같은 계열 aligner'에게 위임한다. aligner는 재작성 프롬프트 P_rewrite(x_i, y_i)를 받아 데모의 정답과 형식은 유지하되 추론 과정을 자기 표현으로 다시 쓴다(greedy 디코딩). aligner 선택은 두 지표로 정식화된다. 감독 품질 R(π_A)은 재작성에서 추출한 답이 정답과 일치하는 비율이고, 분포 정렬 L(π_A)은 그 재작성을 학생이 모방할 때의 음의 로그우도, 즉 NLL이다. 표준 SFT의 골드 데모 NLL을 L_gold라 할 때, L(π_A) < L_gold이면서 R(π_A) > R(π)인 aligner 중 L이 가장 작은 것을 고른다. 실제로는 같은 계열(Qwen2.5)의 7B·14B가 이 조건을 만족했고, 타 계열의 더 강한 모델들은 NLL을 의미 있게 낮추지 못했다. 절차는 단순하다. 배치 단위로 aligner가 재작성을 생성하고, 거부 샘플링을 통과한 샘플만 오프라인 데이터셋에 쌓은 뒤, 그 데이터로 SFT를 수행한다. 추가 하이퍼파라미터는 없다.
전제와 한계
실험은 습득 데이터셋 4종(과학 SciKnowEval Chemistry L-3, 툴 사용 ToolAlpaca, 의료 MedMCQA, 4과목 과학 혼합)과 유지 벤치마크 14종, 베이스 모델 3개 스케일(0.5B·1.5B·3B)에서 6개 방법과 비교했다. SynthSelf는 4개 벤치마크 전부에서 최고 습득 성능을 냈고, 14개 유지 과제에서는 최강 베이스라인과 동등했다. 교사 모델 크기라는 교란 요인을 통제한 비교에서도 off-policy·on-policy 증류보다 습득에서 +5.7%p~+16.9%p 앞섰다. 흥미롭게도 최근 방법들(DFT, ASFT)은 이 소형 스케일에서는 습득에서 SFT를 넘지 못했고, DFT는 의료 도메인 성능이 특히 크게 나빠졌다. 반면 SDFT와 ASFT의 on-policy·in-distribution 기제는 유지 성능을 SFT보다 끌어올렸다. 의료 도메인에서는 SynthSelf가 Off-/On-PD 대비 유의미한 이득을 내지 못했는데, aligner가 이미 해당 학습 데이터를 완벽히 알고 있어 데모 주입이 중복이기 때문으로 저자들은 해석한다.
추가 분석은 실무적으로 중요하다. 더 큰 타 계열 aligner(Qwen3.5-27B, Gemma-4-31B)는 데이터 생성 정확도는 더 높지만 베이스 모델 대비 분포 이동이 커서 습득 성능이 비슷하거나 오히려 나빴다. 즉 aligner의 능력보다 분포 정합이 중요하다. 같은 계열 aligner를 쓰면 데이터 생성 추론 비용이 62.9%~76.9% FLOPs 줄고, 정렬 비용은 69.9% 감소한다. 프롬프트 차이를 통제한 SDFT와의 비교에서도 습득 +18.96%p, 유지 +1.68%p를 기록했다. 거부 샘플링은 툴 사용 데이터를 17.1% 줄였는데도 평균 습득은 +4.2%p 올라, 이득이 데이터 양이 아니라 감독 품질에서 온다는 것을 보여준다.
개발자 관점에서 이 방법은 같은 패밀리의 한두 단계 큰 모델을 확보할 수 있는 상황에서, 소형 모델에 새 도메인 지식을 주입하면서 기존 능력을 지키고 싶을 때 쓸 수 있다. 튜닝이 필요 없고 하이퍼파라미터가 늘지 않는다는 점이 실무적으로 매력적이다. 다만 도입 전에 세 가지를 확인해야 한다. 같은 계열 aligner가 존재하는지, 재작성 정답을 자동 검증할 수 있는 추출기(거부 샘플링용)가 있는지, 그리고 대상 도메인 지식을 aligner가 이미 알고 있지는 않은지다. 마지막 조건이 충족되면 데모 주입의 이득이 사라진다.
저자들이 밝힌 한계는 명확하다. SynthSelf는 더 큰 같은 계열 aligner를 전제로 한다. 대부분의 주요 오픈웨이트 패밀리(Qwen2.5, Qwen3.5, OLMo 2, Llama 3, Gemma 4)가 크기 스펙트럼을 제공하고 소형 변형이 대형 모델에서 증류되는 경우가 많아 이 조건은 자연스럽게 충족되지만, 그렇지 않은 환경에서는 별도 대책이 필요하다. 향후 과제로 타 계열 aligner를 in-distribution 감독 생성기로 적응시키는 방향, 예컨대 베이스 모델의 답변을 적절한 프롬프트와 함께 in-context로 제공해 재작성하게 하는 방법을 제안한다.