DCSD가 교사 신호의 방향과 크기를 분리해 자기증류를 보정한다

무엇인가

이 논문은 강화학습 기반 추론 학습에서 크레딧 배정(credit assignment)이 왜 불안정한지를 다룬다. RLVR은 검증 가능한 보상으로 궤적 수준의 신뢰할 만한 크레딧을 주지만, 성공한 궤적 안의 불필요한 단계까지 강화하고 실패한 궤적 안의 유용한 단계에는 아무 보상도 주지 못한다. 반대로 OPSD(온폴리시 자기증류)는 정답이나 참조 풀이 같은 특권 정보를 가진 교사로 토큰 수준의 밀집 감독을 제공하지만, 문제는 그 교사 신호 하나에 크레딧의 방향(이 단계를 장려할지 벌할지)과 크기(얼마나 기여했는지)가 함께 묶여 있다는 점이다. 교사가 단계의 유익·유해를 오판할 수 있고, 특권 정보를 어떻게 제시하느냐에 따라 신호 세기도 흔들린다. RLSD나 RLCSD처럼 방향을 궤적 수준 어드밴티지 A_τ에 고정하는 방법은 강건성을 얻는 대신 국소적 방향 유연성을 잃는다. 성공 궤적의 해로운 단계에 음의 크레딧을, 실패 궤적의 유용한 단계에 양의 크레딧을 줄 수 없다.

어떻게 동작하나

논문의 이론 분석은 이 딜레마의 원인을 정식화한다. 상태 S_k에서 단계 C_k를 생성했을 때의 오라클 국소 어드밴티지는 A_k* = V(S_{k+1}) − V(S_k), 즉 최종 성공 확률의 변화량이다. 성공 조건부 정책 π+와 학생 정책의 로그비로 정의되는 오라클 신호 Z_k* = log[Q(S_k,C_k)/V(S_k)]는 sign(Z_k*) = sign(A_k*)를 만족한다. 중요한 건 이 일치가 방향에만 해당하고, |Z_k*|가 |A_k*|를 뜻하지는 않는다는 점이다. 실제 교사 신호는 Z_k^T = Z_k* + ε_judge + ε_prefer로 분해되는데, 앞 항은 교사 판단 편차, 뒤 항은 선호도 실현에 따른 변동이다. 이 편차가 충분히 크면 부호 자체가 뒤집혀, 어떤 방향으로 업데이트할지와 얼마를 줄지가 동시에 오염된다.

무엇과 다른가

DCSD(Decoupled Credit Self-Distillation)는 이 둘을 분리한다. 방향은 belief-margin probing으로 정한다. 각 상태 S_k에 고정된 정답 readout 접미사를 붙이고, 정답·롤아웃 예측·단계 경계에서 수집한 유효 후보로 구성한 후보 집합 A_τ에 대해 완전 답변 로그확률 ℓ_k(a)를 채점한다. 정답에 대한 상대적 지지도 M_k = ℓ_k(a+) − logsumexp(경쟁 후보들의 ℓ_k)를 구하고, 단계가 만든 신념 변화 ΔM_k = M_{k+1} − M_k의 부호를 방향으로 쓴다. 다만 readout 불일치나 후보 누락으로 작은 변화는 믿기 어려우므로, ΔM_k가 임계값 τ_M+, τ_M−를 넘을 때만 sign(ΔM_k)를 쓰고 그렇지 않으면 궤적 수준 sign(A_τ)로 폴백한다. 논문의 정리 2는 탐침 오차 Ξ_k가 임계값보다 작으면 이 방향이 오라클 방향 sign(A_k*)와 일치함을 보인다.

어떻게 쓰나

크기는 marginal information gain으로 정량화한다. 고정된 학생 레이어에서 뽑은 은닉 표현 h_t로 단계별 특징 그룹 H_k를 만들고, 정보 부피 F(S) = ½ log det(I_d + β Σ h h^T)를 정의한 뒤 ΔF_k = F(H_≤k) − F(H_<k)를 단계 C_k가 선행 문맥 너머로 기여한 비중복 정보량으로 삼는다. 이를 α_k = ΔF_k / max_j ΔF_j로 최대값 정규화해 0과 1 사이의 상대 크기로 만든다. 정리 3은 이 값이 오라클 크레딧의 점별 복원이 아니라, E[(A_k*)^2] ≤ min{½ΔF_k, ¼} 같은 상한을 주는 날카로운 정보 봉투(envelope)임을 밝힌다. 특권 교사는 이제 단계 내 토큰 배분에만 쓰인다. 토큰별 교사-학생 로그확률 차이 δ_t에 그래디언트를 끊고(sg), 가중치 w_{k,t} = clip(e^{σ_k δ_t}, 1−ε_w, 1+ε_w)를 단계 내에서 정규화한 q_{k,t}로 최종 토큰 크레딧 A_t^tok = σ_k κ_τ |A_τ| α_k q_{k,t}를 만든다. 정리 4에 따르면 단계 내 절대 크레딧 합은 κ_τ|A_τ|α_k로 보존되고 부호도 σ_k로 유지된다. 즉 교사는 방향도 크기도 정하지 못하고 배분만 한다.

전제와 한계

실험은 두 축이다. 수학 추론은 Qwen3-4B를 DAPO-17K로, 멀티모달 추론은 Qwen3-VL-8B-Instruct를 MMFineReason-123K로 학습했다. 베이스라인은 GRPO, OPSD, RLSD, 그리고 수학에서 추가로 RLCSD다. 평가는 AIME24/25/26, AMC23, MATH500, HMMT와 MMMU, MathVista, MathVision, ZeroBench-Sub, WeMath 등 11개 벤치마크에서 mean@4 정확도로 이뤄졌다. 논문이 보고한 수치는 베이스 모델 대비 수학 추론 종합 점수 8.45점, 멀티모달 추론 7.01점 향상이며, 전체적으로 GRPO·OPSD·RLSD·RLCSD를 상대로 최고 종합 점수를 냈다고 주장한다. 학습 중 분석에서는 토큰의 약 6%에서 크레딧 방향이 교정되었고(실패 궤적의 양의 교정과 성공 궤적의 음의 교정 모두 포함), 토큰 크레딧 크기는 1.5배 줄었다. RLCSD와의 효율 비교에서는 6개 벤치마크 평균 Pass@1이 4.02%p, Pass@4가 3.74%p 높으면서 평균 응답 길이는 6.3% 짧았다. 다만 각 벤치마크별 세부 수치는 제공된 본문에 표로 실려 있지 않다.

교사 신호 자체의 신뢰도도 따로 측정한다. Qwen3-4B의 응답을 90개 AIME24–26 문제에 고정해 두고 특권 정보만 바꾼다. 정답 없음(C0), 정답(C1), 오답(C2), 정답의 동등한 형태(C3), 정답과 풀이 과정(C4)의 다섯 조건에서 Qwen3-32B를 프록시 오라클로 삼아, 전체 어휘 top-1 예측이 달라진 비율(TDR)과 샘플링 토큰 로그확률의 평균 절대 오차(MAE)를 잰다. DCSD는 모든 조건에서 가장 낮은 TDR과 MAE를 기록했고, 정답 정보가 전혀 없는 C0에서도 우위가 나타나 이득이 추가 정보 때문만은 아니라고 논문은 해석한다.

실무에서 이 논문이 쓸모 있는 지점은 검증 가능한 보상이 있는 추론 파이프라인에 자기증류를 얹을 때다. 교사 신호를 그대로 손실에 꽂는 대신, 방향은 학생 자신의 답 신뢰도 변화에서, 크기는 표현 정보량에서 뽑고 교사는 단계 내 배분에만 제한하는 설계는 구현 부담이 크지 않으면서 교사 편향을 구조적으로 차단한다. 도입 전에 확인할 것은 몇 가지다. 단계 경계를 표현 변화점 검출로 잡기 때문에 분할 품질이 방향·크기 추정 전체를 좌우한다. 후보 집합 A_τ 구성과 임계값 τ_M 설정이 방향 교정의 민감도를 결정한다. α_k가 합이 아니라 최댓값 기준 정규화이므로 응답 전체의 절대 크레딧 총합은 κ_τ|A_τ|와 같지 않고, A_τ = 0이면 모든 토큰 크레딧이 0이 된다. 또 하나, 교사 가중치는 clip으로 유한하고 양수로 유지되므로 교사가 아무리 틀려도 단계 부호를 뒤집지 못한다.

저자들이 밝힌 한계도 분명하다. 멀티모달 벤치마크 중 ZeroBench-Sub에서는 DCSD가 RLSD보다 낮은 성능을 보였는데, 세밀한 시각 지각과 공간 추론에 대한 요구가 큰 문제에서는 시각 증거에서 비롯된 오류가 이후 추론과 국소 크레딧 추정 자체를 제한해 크레딧 보정만으로 해결되지 않는다고 설명한다. 이론 쪽에서도 정리 3은 |A_k*|의 점별 복원이 아니라 기대 제곱값의 상한을 주는 것에 그친다. 향후 과제로는 더 긴 호라이즌과 상호작용형 추론처럼 복잡한 의사결정 열에서 크레딧을 배정하는 문제를 제시한다.