WISD는 모델을 일부러 약화시켜 추론 성능을 높인다
Weaken to Strengthen: Weakening-Induced On-Policy Self-Distillation for Large Reasoning Models
무엇인가
이 논문은 외부 교사나 정답 없이 추론 모델을 더 개선할 수 있는가를 다룬다. 온폴리시 증류는 학생이 스스로 생성한 궤적에 토큰 단위 교사 피드백을 주는 방식으로 추론 성능을 높여 왔다. 자기증류는 같은 모델을 교사와 학생으로 함께 쓰지만, 기존 방법은 참조 해답, 전문가 시연, 환경 피드백 같은 특권 정보를 넣어 더 강한 자기 교사를 만든다. 이런 정보가 없고 라벨 없는 프롬프트만 있을 때 적용이 제한된다는 것이 저자들이 던진 문제의식이다.
어떻게 동작하나
WISD의 핵심은 기존 자기증류의 구성을 뒤집는 것이다. 원본 모델 π0를 강한 쪽에 두고, 양자화나 가지치기로 만든 약한 복제본 πw를 약한 쪽에 둔다. 같은 프롬프트와 생성된 접두사에 대해 두 모델의 토큰 로그확률 차이 r_w(a|s)=log π0(a|s)−log πw(a|s)를 계산한다. 원본에서 더 그럴듯한 토큰은 양의 대비를, 약한 모델에서 더 그럴듯한 토큰은 음의 대비를 받는다. 이 대비를 α로 기울인 목표 분포 q_w(a|s)=π0(a|s)exp(r_w(a|s)/α)/정규화 항으로 만들고, 학생을 q_w에 역KL로 맞춘다. 두 모델이 완전히 같으면 대비가 0이 되므로, 약화 자체가 토큰별 감독 신호를 만드는 셈이다.
무엇과 다른가
훈련 절차는 오프라인 DOPD를 따른다. 원본 모델이 라벨 없는 프롬프트에서 궤적을 생성하고, 고정된 원본과 약한 복제본이 각 상태를 채점해 감독을 캐시한다. 학생은 원본 가중치에서 초기화되어 이 캐시된 감독으로 학습하며, 궤적과 두 채점 모델은 최적화 중 고정된다. 추론 때는 학습된 학생만 쓴다. 약화 연산은 두 가지다. 저비트 양자화는 128개 입력 열을 한 그룹으로 묶어 대칭 반올림 양자화를 적용하고 기본 b=3을 쓴다. 크기 가지치기는 그룹 상대 임계값 τ=1/6으로 |W|≤τM_G인 가중치를 제거한 뒤 각 출력 행의 L2 노름을 복원한다. 두 연산 모두 보정 데이터나 추가 학습 없이 가중치에 직접 적용되며, 어텐션과 피드포워드 투영, MoE 전문가 투영에 적용된다. 임베딩, 출력 헤드, 정규화 파라미터, 라우팅 파라미터는 보존된다. 약화는 고정된 약한 채점 모델에만 적용되고 학생은 원본 가중치에서 출발한다.
어떻게 쓰나
실험은 Qwen3-4B, Qwen3.5-4B, OLMo-3-7B-Think, Qwen3.6-27B, Qwen3.6-35B-A3B 다섯 모델에서 진행됐다. 수학과 코드 각각 3,200개 프롬프트를 사용했고, 원본 모델이 프롬프트당 네 개 응답을 생성해 자기증류용 궤적으로 캐시했다. 수학은 AIME 2024, AIME 2025, HMMT 2025에서 Avg@32로, 코드는 LiveCodeBench v5와 v6에서 Avg@4로 평가했다. 학습률 10^-6, 전역 배치 64, 증류 계수 α=2를 썼고, OPSD, SDPO, PW-OPSD, LOPD 같은 특권 정보 기반 방법과 비교했다. 결과적으로 양자화와 가지치기는 원본 대비 평균 정확도를 각각 4.0점, 5.5점 올렸고, 25개 모델-벤치마크 조합 중 각각 21개와 23개 설정에서 양의 이득을 냈다. Qwen3.5-4B에서는 가지치기가 HMMT 2025를 57.7%에서 70.5%로, LiveCodeBench v6를 39.1%에서 56.7%로 올렸고, 다섯 벤치마크 평균은 양자화가 11.3점, 가지치기가 13.4점 상승했다. Qwen3.6-27B는 가지치기로 평균 5.2점, Qwen3.6-35B-A3B는 양자화로 평균 5.9점이 올랐으며, 후자는 HMMT 2025가 68.5%에서 74.6%, LiveCodeBench v6가 61.8%에서 69.5%로 개선됐다. Qwen3-4B와 OLMo-3-7B-Think에서는 OPSD, SDPO와 경쟁할 만했고, 두 변형 모두 특권 정보를 쓰는 베이스라인의 보고된 다섯 벤치마크 평균을 넘었다.
전제와 한계
약화 강도에 대한 절제 실험은 Qwen3.5-4B의 HMMT 2025에서 이뤄졌다. 양자화 비트 수를 8비트에서 3비트로 낮추면 정확도가 56.04%에서 68.33%로 올랐지만 2비트에서는 49.90%로 떨어졌다. 가지치기 임계값도 τ=1/16에서 60.94%, 1/8에서 69.38%, 기본값 1/6에서 70.52%로 올랐다가 1/4에서 54.79%, 1/2에서 49.58%로 내려갔다. 즉 약화가 약하면 대비가 부족하고, 너무 강하면 약한 모델의 추론 능력이 무너져 잡음이 커진다. 중간 정도의 손상이 유용한 대비와 신호 품질을 함께 확보한다는 것이 저자들의 설명이다. 대체 약화 방법으로는 Smooth W4A4, Wanda, SparseGPT가 유용한 신호를 냈고 GPTQ와 일반 W4A4는 일관된 이득을 보이지 않았다. 원본 모델의 확신만 강화하는 자기강화나 온도 약화 기반 기준선은 원본과 비슷한 수준에 머물렀다. ThinkARM 분류로 신호 배분을 보면 양자화와 가지치기는 탐색에 약 22%, 검증에 약 11%의 감독을 배분해, 해당 역할의 토큰 비중 14.8%와 8.1%보다 더 큰 비중을 준다.
개발자에게 이 방법은 외부 교사, 참조 해답, 환경 피드백이 없고 체크포인트와 라벨 없는 프롬프트만 있을 때 시도할 수 있는 자기증류 옵션이다. 별도 교사 모델 없이 양자화나 가지치기만으로 대비 신호를 만들 수 있고, 코드 저장소도 공개돼 있다. 다만 약화 하이퍼파라미터 b와 τ를 스윕하지 않으면 이득을 보장하기 어렵고, 원문도 너무 약하거나 너무 강한 약화가 실패한다는 점을 보여준다. 25개 설정 중 일부에서는 이득이 없었고, 실험은 수학과 코드 각각 별도 학생을 학습시키는 오프라인 절차를 전제로 한다. 원문은 별도의 한계 절을 두지 않았지만, 저자가 명시한 전제와 절제 실험에서 드러난 제약은 이 정도다.