역방향 CoT를 정방향 분포로 번역해 추론 증류 비용을 줄인다

무엇인가

추론 증류(reasoning distillation)는 정답이 검증된 사고 연쇄(CoT) 데이터를 필요로 하는데, 이 데이터를 효율적으로 얻는 것이 병목이다. 질문만 주고 정방향으로 CoT를 생성한 뒤 정답이 맞는 응답만 남기는 거부 샘플링(FCG+RS)은 검증된 응답을 주지만, 어려운 문제에서는 한 문제를 통과시키기까지 여러 번의 교사 호출이 필요하고 고정 샘플링 예산 안에서 아예 통과되지 않는 문제도 생긴다. 반대로 정답까지 함께 조건으로 주는 역방향 CoT 생성(RCG)은 훨씬 저렴하지만, 교사가 정답을 문제로부터 유도하지 않고 사후적으로 정당화하는 post-hoc rationalization이 발생하고, 정답에 접근한 상태로 생성된 응답은 정답 없이 추론해야 하는 학생의 추론 환경과 불일치한다. 기존의 의미 억제(SUP)나 구조적 가이드(SSR)는 여전히 정답을 프롬프트에 넣기 때문에 이 불일치를 완전히 해소하지 못한다.

어떻게 동작하나

이 논문은 역방향 CoT와 정방향 CoT 사이의 간극을 기계번역 문제로 재정식화하고 CoTranslator를 제안한다. 먼저 소량의 질문 집합에 대해 같은 질문의 RCG 응답 x와, 정방향 생성 후 거부 샘플링으로 채택된 FCG 응답 z를 짝으로 수집한다. 여기서 RCG 응답이 원문(source), 채택된 FCG 응답이 번역 대상(target)이다. 번역기 G_φ는 RCG 원문 x만을 입력으로 받아 target을 예측하도록 teacher forcing 목적함수(수식 5)로 미세조정되며, 목표는 채택된 FCG 응답의 분포 P_RS(·|q,a)를 근사하는 것이다. 중요한 설계는 번역기 입력에서 질문 q와 정답 a를 의도적으로 제외한 점으로, 저자들은 이것이 질문-정답 직접 우회 경로를 차단하고 모델이 x를 실제로 번역하도록 강제한다고 설명한다. 수식 4는 RCG 원문에 대한 주변화로 번역기 출력 분포가 P_RS에 근접함을 보이며, 분포 복원에 대한 상세 분석은 부록 C에 있다.

무엇과 다른가

대규모 데이터 생성 단계에서는 번역기를 고정한 뒤 질문마다 교사 호출 1회로 RCG 응답 x를 얻고, 번역기 호출 1회로 ẑ ~ G_φ(·|x)를 만들어 학생 학습 데이터 (q, ẑ)를 구성한다. 즉 거부 샘플링처럼 여러 번 재시도하지 않는다. 학생 모델은 질문 q로부터 번역된 전체 응답 ẑ을 생성하도록 지도 미세조정된다(수식 6).

어떻게 쓰나

실험에서 번역기는 nvidia/Nemotron-SFT-Math-v4의 cot 서브셋 1/8(35.7k) 짝 데이터로 학습되었고, target은 DeepSeek-V4-Pro가 생성해 거부 샘플링과 정답 검증을 거친 응답, 입력은 같은 모델이 의미 억제(SUP) 프롬프트로 만든 RCG 응답이다. 이 번역기로 전체 cot 서브셋 약 285.5k 레코드의 SUP 응답을 번역해 학생 학습에 사용했다. 학생은 Qwen3-4B-Base, Qwen3-4B-Thinking-2507, Qwen3-8B-Base, Qwen3-8B, Qwen2.5-Math-7B-Instruct, Qwen2.5-Math-7B이고, 평가는 AIME 2025/2026, HMMT 2025년 11월/2026년 2월, Omni-MATH, IMO-AnswerBench에서 이뤄졌다. 베이스라인은 SUP, SUP-AUG(정답 누출에 대한 처벌 경고 추가), SSR, 그리고 이론적 참조선인 RS 학습 학생이다. 결과적으로 CoTranslator는 모든 학생 모델에서 SUP 대비 평균 수학 정확도를 개선했으며, 번역기와 크기가 같은 4B 학생에서 Qwen3-4B-Base는 5.82%p, Thinking-2507은 2.34%p 향상됐다. 특히 4B-Base는 RS 응답으로 학습한 동일 모델보다 평균 정확도가 높았다. 8B 학생과 Qwen2.5-Math 계열에서도 SUP 대비 이득이 나타났다. 반면 SSR은 추론 데이터에서 SUP를 능가하지 못했고, SUP-AUG는 처벌 경고가 오히려 학생 성능을 해친다는 결과를 보였다.

전제와 한계

전이 실험은 재학습 없이 같은 번역기를 새 수학 데이터셋, 다른 교사 모델, STEM 도메인에 적용했다. 새 데이터셋으로 OpenDataArena/ODA-Math-460k 전체 460k 문제를 DeepSeek-V4-Pro 교사로 쓸 때 평균 수학 정확도가 SUP 대비 4B에서 4.76%p, 8B에서 1.66%p 올랐다. 교사를 Kimi-K3로 바꾼 경우 이득은 18.73%p와 19.02%p로 훨씬 컸는데, 저자들은 Kimi-K3가 응답 초반에 정답을 누출하는 경향이 있어 SUP 성능이 나쁘고, 번역기가 이런 나쁜 사례에서 회복하도록 돕는다고 해석한다. STEM 전이는 nvidia/Nemotron-SFT-Science-v2의 vendor 서브셋 221.6k 문제로 학습 데이터를 만들고 OlympiadBench STEM 부분집합, SciBench, AA-Omniscience로 평가했으며, SUP 대비 4B에서 4.88%p, 8B에서 4.31%p 향상됐다. 저자들은 이 실험이 일반화 확인에 초점을 둔 것이며 STEM 짝 데이터로 번역기를 따로 학습하면 더 개선될 수 있다고 밝힌다.

분석 파트에서는 번역된 응답이 RS 응답 분포에 더 가까워졌음을 MAUVE(가장 높음), MMD(가장 낮음), 코사인 유사도(가장 높음)로 보였고, 난이도 구간 전반에서 이 경향이 유지됐다. 질문만 조건으로 한 교사 하의 평균 NLL도 CoTranslator가 가장 낮았다. 사후 합리화 측면에서는 GPT-6-Luna 주석과 휴리스틱 규칙으로 측정했을 때 예상 정답 언급과 정답 의존 지름길이 줄고, 정답을 전제로 쓰지 않는 완전한 독립 유도가 늘었으며, 응답 내 정답의 첫 등장 위치도 번역 후 뒤로 밀렸다. 번역기 크기와 학습 데이터 크기 실험에서는 1.7B 번역기는 성능이 나쁘고 4B와 8B는 충분했으며, 성능은 데이터 크기보다 모델 크기에 더 민감했다. 35.7k 예시만으로도 큰 모델은 잘 작동했고 데이터를 늘려도 개선이 작았다. 짝 데이터 없이 4B 번역기를 쓰면 성능이 크게 떨어져 짝 학습이 필수임이 확인됐다. 같은 데이터 크기에서 4B-Thinking-2507 번역기가 8B보다 일관되게 좋았는데, 저자들은 4B가 사고 모드만 지원하는 반면 8B는 하이브리드라 사고 전용 모델이 CoT 궤적 학습에 유리하다고 본다. 비용은 MoE 활성 파라미터 기준(DeepSeek-V4-Pro 49B, Kimi-K3 104B)으로 추정해 거부 샘플링 대비 본 실험에서 64.1%, 전이 실험에서 82.0%를 절약했고, 본 실험 연산의 35.9%로 두 4B 학생의 RS 평균 정확도의 95.0%를 유지했다.

실무 관점에서 이 방법은 교사 모델 API 호출이 병목이거나 어려운 문제에서 거부 샘플링 통과율이 낮은 파이프라인에 직접 적용할 수 있다. 다만 번역기 자체를 만들려면 같은 질문에 대한 RCG 응답과 채택된 FCG 응답의 짝 데이터가 필요하고, 번역기 학습에는 짝 데이터가 필수라는 점이 확인됐으므로 초기 구축 비용을 감안해야 한다. 또한 번역기는 특정 교사·프롬프트(SUP 템플릿)로 만든 RCG 응답을 입력으로 학습되므로, 교사나 프롬프트를 바꿀 때 전이 성능이 어느 정도 유지되는지 자체 검증이 필요하다. 저자들은 교사를 Kimi-K3로 바꿨을 때 이득이 오히려 커진 사례를 보고하지만, 이는 해당 교사의 정답 누출 경향이라는 특수성에 기인하므로 일반화된 보장으로 읽으면 안 된다.

저자들이 명시한 한계는 두 가지다. 실험이 최대 8B 파라미터의 학생 모델과 지도 미세조정(SFT)에 국한되며, 더 큰 모델이나 강화학습(RL), on-policy distillation(OPD) 같은 다른 학습 설정에서의 적용 가능성은 검증되지 않았다.