추론 학습 데이터를 불확실성으로 압축해 0.22%만 학습한다
Learning More by Training Less: Uncertainty-Guided Progressive Contraction for Efficient Reasoning Post-Training
무엇인가
대규모 언어모델의 추론 능력은 사후학습(post-training)용 추론 코퍼스를 키우는 방식으로 발전해 왔지만, 저자들은 데이터를 늘려도 성능이 비례해 오르지 않는다는 문제를 정면으로 다룬다. 그래서 던지는 질문은 "능력을 잃지 않으면서 추론 감독(supervision)을 어디까지 압축할 수 있는가"다. 기존 연구가 더 강한 교사로 더 좋은 궤적을 만들거나(생성 측), 정답 여부·난이도·품질로 고정 코퍼스를 필터링하는(활용 측) 두 갈래로 나뉘어 있었다면, 이 논문은 감독 구성과 학습 할당을 결합해야 극단적 효율이 나온다고 주장한다.
어떻게 동작하나
핵심 개념은 '추론 분기점(reasoning fork)'이다. 하나의 풀이는 소수의 중간 상태에서 갈라지는데, 같은 상태에서 이어지는 다른 경로가 성공과 실패로 나뉠 수 있다. 저자들은 교사가 만든 사고사슬(CoT)을 하나의 실현된 경로로 취급하지 않고, 각 중간 상태(접두 상태 h_i,t)를 중심으로 몬테카를로 추론 트리(MCRT)를 만든다. 각 상태에서 K개의 독립적인 접두 조건부 연속 생성을 샘플링하고, 최종 정답 도달 여부를 베르누리 확률 p_i,t로 추정한 뒤 정규화된 베르누이 분산 U_i,t = 4p(1-p) ∈ [0,1]을 국소 과정 불확실성으로 정의한다. 이 값은 같은 상태에서 뽑은 두 연속 생성의 정답 여부가 다를 확률의 두 배, 즉 U_i,t = 2·Pr(Z1 ≠ Z2 | h_i,t)와 같다. 단순히 어렵거나 틀린 상태가 아니라, 이어지는 경로에 따라 결과가 갈리는 상태를 잡아낸다는 뜻이다. 궤적 길이로 정규화한 평균 과정 불확실성 Ū_i를 교사측 정보량 점수 q_i^T로 삼아, 검증된 궤적 중 상위 ρ 비율만 남겨 후보 풀 P_ρ를 만든다. 중요한 점은 이 과정이 텍스트 접두사·샘플링·결과 검증만으로 이뤄져 로짓이나 은닉 상태, 그래디언트, 모델 파라미터가 필요 없다는 것이다. 그래서 API로만 접근 가능한 블랙박스 교사에도 그대로 적용되고, 한 번 만든 프로파일은 학생이 바뀌어도 재사용된다.
무엇과 다른가
두 번째 단계는 학생 인지 라우팅이다. 교사측 불확실성 프로파일은 학생의 학습 상태를 반영하지 못하므로, 후보 풀 P_ρ 위에서 한 번의 탐색 에폭(probing epoch)을 돌려 각 궤적의 길이 정규화 응답 손실 ℓ_i를 계산하고, 이 값이 큰 상위 M개 궤적 H_M만 남겨 실제 SFT를 수행한다. 손실이 크다는 것은 현재 학생이 그 교사 궤적을 아직 잘 따라가지 못한다는 뜻이므로 우선순위가 높다. 라우팅 점수는 학습 중 갱신되어 활성 부분집합이 학생 상태에 적응한다. 효율 계산은 명시적이다. 3에폭 전체 SFT가 3N개 인스턴스를 처리하는 반면, 제안 방법은 압축된 교사 풀을 한 번, 이후 두 에폭을 라우팅된 활성 집합에만 적용해 ⌊ρN_c⌋ + 2M으로 줄인다. 상대 최적화 예산 B = (⌊ρN_c⌋ + 2M) / 3N이며, 본문은 이를 전체 SFT의 0.74% 미만, 샘플 노출 기준 135배 이상 감소라고 적고, 초록은 최소 0.22% 예산·450배 이상 감소를 제시한다.
어떻게 쓰나
실험은 Qwen3-8B를 교사로, Qwen3-14B와 Qwen3.5-4B/9B를 학생으로 삼아 DAPO-17K에서 LoRA 기반 SFT로 수행했다. 평가는 AIME24/25/26, AMC, HMMT25/26, Math-500, GSM8K, GPQA-Diamond를 아우른다. 주요 결과로 Qwen3.5-4B/9B 학생에서 전체 SFT 최적화 예산의 0.22~1.91%만 사용해 SFT 시간을 8.47/9.23시간에서 0.01~0.07시간으로 줄였고, ρ=1% 설정에서 800배 이상의 실시간(wall-clock) 가속을 얻으면서 대부분의 벤치마크에서 전체 SFT와 대등하거나 앞섰다. 압축을 더 공격적으로 해도 성능이 안정적으로 유지됐다.
전제와 한계
일반화 실험도 폭이 넓다. 같은 Qwen3-8B 교사로 Gemma-4-E4B-IT, Llama-3.2-3B-Instruct, Mistral-7B-Instruct를 학습시켜 전체 SFT 예산의 약 0.45%, 200배 이상 가속으로 성능을 유지하거나 개선했다. 교사측 프로파일은 학생 간 공유가 가능하다. 약한 교사에서 강한 학생으로의 전이도 확인했는데, Qwen3-1.7B 교사가 Qwen3.5-4B/14B 학생을 ρ=5%에서 최대 14.4% 향상시켰고 학생 학습은 0.1 GPU시간 이하였다. 블랙박스 교사 실험에서는 DeepSeek-V4-Pro와 Kimi-K2.6을 각각 Qwen3.5-4B/9B와 짝지어 Nemotron-Math 앞 1000개 샘플로 실험했고, 최대 13.4% 향상을 보고했다. 또한 9B 학생이 30B~671B 규모의 추론 모델과 경쟁력 있는 성능을 보였다고 적었다.
메커니즘 분석에서는 두 단계의 기여를 분리했다. 동일한 최적화 예산에서 표준 CoT 증류와 비교해 4B/9B 학생 평균 성능이 각각 3.6%, 4.0% 향상됐고, 학생 라우팅을 끄고 같은 크기의 무작위 선택과 비교했을 때 불확실성 기반 선택이 평균 1.6~4.5% 앞섰다. 즉 최종 정답의 정오만으로는 감독 가치를 다 설명하지 못한다는 것이 저자들의 주장이다. 최적화 궤적을 추적한 결과 제안 방법은 150스텝 만에 전체 SFT를 앞서는데, 전체 SFT는 최적점까지 약 1500스텝이 필요해 10배 적은 스텝으로 수렴했다. 두 단계를 모두 제거하는 절제 실험에서 각 구성 요소가 개별적으로도 기여하고 결합했을 때 최고 성능을 냈다.
개발자 관점에서 이 논문의 실용적 가치는 두 가지다. 첫째, 데이터 선별 기준을 '정답 여부'에서 '과정 불확실성'으로 바꾸는 것만으로 같은 예산에서 더 나은 결과를 얻을 수 있다는 신호를 준다. 둘째, 프로파일링이 순수 블랙박스 동작 기반이라 상용 API 교사에도 적용 가능하고, 교사측 풀은 학생이 바뀌어도 재사용되므로 여러 학생 모델을 돌리는 파이프라인에서 비용을 크게 절감할 수 있다. 다만 도입 전에 확인할 것은 접두 조건부 샘플링과 결과 검증이 가능한 교사 환경인지, 그리고 검증된 궤적만 후보가 되므로 N_c ≤ N이라는 전제가 자신의 데이터에서 얼마나 성립하는지다.
한계와 전제는 원문에 별도의 한계 절로 정리되어 있지 않다. 다만 방법 자체가 (1) 교사에 대한 접두 조건부 샘플링과 결과 검증이 가능할 것, (2) 정답이 검증된 궤적만 후보 풀에 들어갈 것, (3) 불확실성을 관찰 가능한 생성 행동에서만 추정한다는 가정 위에 서 있다. 또한 실험은 LoRA 기반 SFT와 특정 데이터셋(DAPO-17K, Nemotron-Math 1000샘플)에 한정되어 있고, 블랙박스 교사 실험은 API 질의 비용을 고려해 샘플 수를 1000개로 줄였다고 밝히고 있다. 초록의 0.22%·450배와 본문의 0.74%·135배라는 수치가 서로 다른 설정을 가리키므로, 실제 적용 시에는 자신의 ρ와 M 설정에서 예산 공식 B로 직접 계산해 확인하는 편이 안전하다.