UTT는 교사와 학생 모델의 격차를 자연어 교재로 바꿔 학습 없이 성능을 높인다

무엇인가

대형 언어모델 지식 증류(KD)는 강한 교사 모델의 능력을 작은 학생 모델로 옮기는 방법이지만, 기존 방식은 대부분 학생 모델의 파라미터를 학습시킨다. 그 결과 증류된 지식이 특정 아키텍처와 체크포인트에 묶여 해석하거나 다른 모델로 재사용하기 어렵고, API로만 접근 가능한 모델이나 학습 비용이 큰 모델에는 적용하기 힘들다. 이 논문은 여기서 한 발 물러나 근본적인 질문을 던진다. 교사와 학생 사이의 지식 격차를 파라미터 갱신 없이 명시적이고 해석 가능하며 재사용 가능한 자연어 표현으로 증류할 수 있는가.

어떻게 동작하나

제안 방법은 Universal Textual Teaching(UTT)이다. 논문은 기존 KD를 수식 (1)처럼 학생 파라미터 θ_S를 최소화하는 문제로 정식화한 뒤, 이를 수식 (2)처럼 두 모델을 고정한 채 자연어 텍스트 P를 최적화하는 문제로 재정식화한다. 여기서 P는 Primer라고 부르는 일종의 입문 교재이며, 입력 x 앞에 P를 결합한 P⊕x를 학생에게 넣어 성능을 끌어올린다. 최적화 대상이 실수 벡터가 아니라 이산적인 텍스트이기 때문에, 목표는 검색이나 LLM 기반 반복으로 근사한다.

무엇과 다른가

UTT는 먼저 무엇을 가르칠지 정하기 위해 교사와 학생을 짝지어 평가한다. 각 샘플 x에 대해 두 모델이 K번 생성한 결과의 정확도 q_T(x), q_S(x)를 계산하고, 데이터셋을 세 부분으로 나눈다. 교사가 학생보다 잘한 distillation 집합, 학생이 이미 잘하거나 교사와 비슷한 retention 집합, 둘 다 실패한 frontier 집합이다. 증류 대상은 첫 번째 집합뿐이며, 이마저 다시 학습용과 테스트용으로 분리해 격차 샘플에 과적합하지 않도록 한다. 모든 교사 생성을 쓰면 중복 감독이 되고, 교사가 실패한 문제는 신뢰할 시연이 될 수 없기 때문이다.

어떻게 쓰나

프라이머 합성은 배치 단위의 다중 역할 상호작용으로 진행된다. 학생 역할이 현재 프라이머를 붙여 문제를 풀고, 틀리면 Prompter 역할이 평가 피드백을 교수 지시문으로 바꾸고, Teacher 역할이 그 지시에 맞춘 시연을 생성하며, Synthesizer 역할이 검증된 교수 기록을 기존 프라이머에 통합해 후보 프라이머를 만든다. 이때 교사 시연이 평가를 통과한 기록만 남긴다. 후보는 같은 배치에서 기존 프라이머보다 정답 수가 적지 않을 때만 채택되는 검증 게이트를 통과해야 한다(수식 9). 이 전 과정에서 어떤 모델 파라미터도 갱신되지 않는다.

전제와 한계

실험은 코드 생성(KernelBench)과 수학 추론(Omni-MATH-2) 두 과제에서 이뤄졌다. KernelBench는 정답 구현이 하나로 정해지지 않은 개방형 벤치마크로 정확도와 Fast 1@5(다섯 샘플 중 하나가 정답이면서 PyTorch 참조보다 빠른 비율)를 보고, Omni-MATH-2는 올림피아드급 수학 문제다. 모델 구성은 DeepSeek V4 Pro→Flash, Pro→Qwen3.6-27B, Claude Opus 5→Flash 세 가지다. Pro→Flash에서 프라이머는 KernelBench 정확도를 9.4%에서 48.6%로, Fast 1을 9%에서 35%로, 수학 정확도를 27.6%에서 51.7%로 올렸다. 같은 교사로 Qwen용 프라이머를 새로 합성하면 50.0%, 32%, 62.4%가 나온다.

논문이 강조하는 것은 프라이머의 재사용성이다. Flash용 프라이머를 재합성 없이 Qwen에 적용하면 KernelBench 정확도, Fast 1, 수학 정확도가 각각 32.0, 25, 25.8 포인트 오르고, 반대로 Qwen용 프라이머는 Flash를 34.4, 21, 16.1 포인트 끌어올린다. 교사를 Opus로 바꿔 Flash용으로 만든 프라이머는 38.8, 30, 19.0 포인트를 개선했고, 이를 합성에 참여하지 않은 Qwen에 그대로 적용해도 KernelBench 51.0%, Fast 1 22%, 수학 65.8%를 기록했다. 비교 실험에서 UTT는 one-shot, few-shot, teacher summary, APE, MIPROv2, GEPA 같은 프롬프트 엔지니어링 기법보다 여섯 개 조합 모두에서 앞섰고, SeqKD, Fine-tune-CoT, RSR, LUFFY 같은 파라미터 갱신형 KD보다도 Omni-MATH-2 정확도, KernelBench 정확도, Fast 1에서 각각 7.2, 8.2, 4 포인트 높았다.

세부 분석은 UTT가 단순 암기가 아님을 보여준다. 증류 학습 집합에서 Pro→Flash의 KernelBench 정확도는 6.7%에서 65.2%로, 증류 테스트 집합에서 Pro→Qwen의 수학 정확도는 9.7%에서 64.8%로 올라 합성에 쓰이지 않은 문제로도 일반화됐다. retention 집합에서는 KernelBench 세 구성 모두 하락 없이 34.0→74.0%, 27.0→81.0%, 37.1→78.6%로 개선됐다. 다만 Omni-MATH-2의 Pro→Qwen과 Opus→Flash는 각각 9.2, 14.2 포인트 하락해 기존 능력을 대부분 유지하는 수준에 그쳤다. frontier 집합에서는 여섯 구성 중 다섯 개에서 0이 아닌 정확도가 나와, 교사도 학생도 못 풀던 문제 일부를 프라이머가 풀게 했다.

실무 관점에서 UTT는 학생 모델 가중치를 건드릴 수 없거나 건드리기 비싼 상황, 예컨대 상용 API 모델을 쓰거나 파인튜닝 인프라가 없는 팀에 직접 쓸 수 있는 선택지다. 결과물이 사람이 읽고 고칠 수 있는 텍스트이므로 무엇을 가르쳤는지 감사할 수 있고, 모델을 바꿔도 같은 프라이머를 재사용할 수 있다. 다만 논문이 명시한 전제를 확인해야 한다. 프라이머 합성에는 교사·프롬프터·합성자 역할을 맡길 강한 모델이 필요하고, 검증 게이트는 배치 단위 비교라 전체 성능을 보장하지 않는다. 수학 과제의 retention 하락처럼 기존 능력이 일부 깎이는 경우도 있다. 저자들은 지식 격차 선택, 프롬프터, 검증 게이트에 대한 절제 실험과 배치 크기·양자화·사고 모드 분석, 그리고 한계와 향후 과제를 부록 C와 E로 미뤄 두었고, 본문에는 다중모달 LLM으로의 전이를 부록 B.1에서 예비적으로 확인했다고만 밝히고 있다. 기본 배치 크기는 16, 평가 예산은 KernelBench 100개, Omni-MATH-2 200개 샘플이다.