OC-OPD가 역방향과 순방향 KL 교정을 하나의 업데이트로 조율한다

무엇인가

온폴리시 증류(OPD)는 학생이 스스로 생성한 프리픽스에서 고정된 교사가 같은 다음 토큰 결정에 감독을 주는 방식이다. 이때 정렬된 학생 분포 q와 교사 분포 p는 두 개의 상보적 목표를 만든다. 역방향 KL은 학생이 이미 확률을 배분한 후보들의 상대 순위를 다듬고, 순방향 KL은 교사가 지지하는 후보 쪽으로 질량을 옮긴다. 문제는 하나의 업데이트 안에서 이 두 교정의 상대적 영향력을 어떻게 정할 것인가다. 기존 방법들은 엔트로피 게이트, 토큰 중요도, 교사-학생 불일치, 발산 라우팅 등으로 적응해 왔지만, 각 모델의 자기 불확실성과 두 모델 사이의 불일치를 KL 그래디언트와 직접 연결하는 통일된 틀은 없었다.

어떻게 동작하나

이 논문의 출발점은 같은 프리픽스에서 학생과 교사를 각각 후보 질량의 공급자이자 평가자로 동시에 취급하는 것이다. 그러면 2x2 관측 행렬 M(s)가 나온다. 대각 원소 H(q), H(p)는 학생과 교사의 자기 엔트로피로 불확실성을 재고, 비대각 원소 H(p,q), H(q,p)는 한 모델이 다른 모델이 강조한 후보를 얼마나 잘 수용하는지를 잰다. 여기서 각 열을 그 열의 후보 공급자 자기 관측으로 중심화하면 R = M21 − M11 = KL(q‖p), F = M12 − M22 = KL(p‖q)가 그대로 복원된다. 즉 역방향·순방향 KL은 별개의 손실이 아니라 같은 관측 행렬의 중심화된 교차 관측 차이다. 학생 엔트로피는 M11, 교사 엔트로피는 M22, 불일치는 비대각에서 대각을 뺀 초과분으로 읽힌다.

무엇과 다른가

이 표현은 교정의 기하학으로 이어진다. 학생 로짓에 대한 그래디언트는 g_R = q ⊙ (log(q/p) − R·1)과 g_F = q − p로 유도된다. 범주형 피셔 행렬 J(q) = diag(q) − qq^T의 무어-펜로즈 역행렬에 대해, 논문의 정리 1은 g_R^T J(q)^+ g_F = Σ(q_i − p_i)log(q_i/p_i) = M12 + M21 − M11 − M22 = R + F라는 항등식을 세운다. p ≠ q인 양수 분포에서 두 그래디언트는 모두 양의 노름을 갖고 유클리드 코사인은 −1보다 엄격히 크므로, 두 그래디언트와의 내적이 모두 양수인 단위 방향 d가 항상 존재한다. 두 KL이 유클리드상 둔각으로 보이는 상황에서도 공통 하강 방향이 있다는 사실을 관측 행렬의 값 자체가 증명서로 제시하는 셈이다.

어떻게 쓰나

OC-OPD는 이 관측값을 선호, 방향, 강도라는 세 가지 결정으로 바꾼다. 선호는 정규화 엔트로피 h_S = M11/(M11+h0), h_T = M22/(M22+h0)로 정해지고, ν_R = ε + (1−h_T)h_S, ν_F = ε + h_T를 정규화한 ω가 두 교정의 비중이 된다. 교사 분포가 퍼져 있으면 커버리지(순방향)가, 교사가 집중되고 학생이 퍼져 있으면 순위 정교화(역방향)가 더 큰 영향력을 갖되 두 쪽 모두 양의 선호를 유지한다. 방향은 정규화 그래디언트 e_R, e_F와 코사인 c를 가지고 가중 상대 개선을 최대화하는 그래디언트 베너링 문제로 정식화되며, κ = [c(ω_R−ω_F) + sqrt(c²(ω_R−ω_F)² + 4ω_Rω_F)] / (2ω_F), d* = (κe_R + e_F)/D, D = sqrt(κ² + 2κc + 1)라는 폐형해를 갖는다. 선호가 같으면 (e_R+e_F)를 정규화한 방향으로 퇴화한다. 강도는 B = ½Σ(√p_i − √q_i)²로 측정한 대칭 분포 격차를 w = min(B/τ, 1)로 잘라 결정한다. 최종 토큰 로짓 신호는 g*_s = a_s g_R + b_s g_F, a_s = w n_F κ/(D n_R), b_s = w/D이며, 계수는 미분 중 고정되고 학생 역전파는 한 번만 수행한다.

전제와 한계

업데이트의 성질도 증명돼 있다. 신호의 노름은 √2 이하로 유계다. 학생 확률이 교사보다 낮은 후보(q_j < p_j)에 대해 −g*_{s,j} ≥ w ω_F (p_j − q_j)가 성립해서, q_j가 0으로 가도 고정된 내부 교사가 있는 한 교사 지지 후보로의 교정이 사라지지 않는다. 두 분포가 거의 일치할 때는 격차의 세제곱으로 감쇠하고, 그래디언트가 정렬된 경우에는 w(q − p)로 환원된다. 순수 역방향 KL이 확률이 0에 가까운 후보에 대해 그래디언트를 잃는 반면, 조율된 방향은 그 교정을 유지한다는 점이 이 방법의 핵심 차이다.

실험은 Qwen3-1.7B와 Qwen3-4B(비사고 생성), Qwen3-4B-Base(베이스 초기화), 사고 생성 학생까지 세 가지 이질적 설정에서 이뤄졌다. 교사는 Qwen3-30B-A3B-Instruct-2507과 Qwen3-30B-A3B-Thinking-2507이고, 모든 방법이 DAPO-Math-17k로 새 학생 롤아웃을 사용해 학습했다. AIME24–26에서 1.7B 학생은 가장 강한 베이스라인 대비 평균 +6.88 Avg@32, +11.11 Pass@32를 기록했고, 4B 학생은 EOPD를 +2.74 Avg@32, +3.33 Pass@32 앞섰다. 4B 설정의 6개 지표 중 5개에서 최고 또는 동률이었고, 유일하게 AIME24 Avg@32에서만 순수 역방향 KL이 0.10점 앞섰다. 같은 4B에서 역방향 KL은 AIME24에서 순방향 KL을 5.62점 앞서지만 AIME25–26에서는 순방향이 더 강한데, OC-OPD는 AIME24에서 역방향 대비 0.10점 이내를 유지하면서 AIME25–26에서는 더 강한 쪽보다 +2.92, +4.37점 높았다. 또한 적응적 선형 혼합보다 6개 AIME 지표 모두에서 앞서, 이득이 단순 혼합이 아닌 조율에서 온다는 것을 보였다.

수학 외 전이는 GPQA-Diamond와 MBPP+로 확인했다. 1.7B 학생은 초기화 대비 GPQA-Diamond +4.42점, MBPP+ +2.98점을 얻었고, 4B는 46.80과 66.01로 EOPD를 각각 +1.35, +1.20점 앞섰다. MBPP+에서 OC-OPD는 초기화 위에 머무는 반면 EOPD와 OPD(역방향 KL)는 0.74점, 1.26점 하락했다. 베이스 초기화 설정에서는 Qwen3-4B-Base가 AIME24와 AIME25에서 각각 Pass@8 40.00을 기록해 베이스 모델을 +16.67점, EOPD를 +6.67점 앞섰다. 사고 생성 설정에서도 OPD 대비 1.7B가 평균 +5.76 Avg@32, +2.22 Pass@32, 4B가 +1.91, +7.78점 개선됐고 두 규모 모두 GPQA-Diamond와 MBPP+에서도 OPD를 넘었다. 절제 실험에서는 어떤 변형도 전체 OC-OPD를 따라잡지 못했고, 위치 게이트를 제거한 변형이 가장 큰 타격으로 세 벤치마크 모두에서 Pass@32를 약 3.33점 떨어뜨렸다.

개발자 관점에서 이 방법은 두 KL 중 하나를 고르거나 고정 비율로 섞는 대신, 교사 로짓을 전 어휘에 걸쳐 평가할 수 있는 OPD 파이프라인에서 토큰별 계수를 자동으로 얻는 레시피다. 교사가 퍼진 구간과 집중된 구간에 따라 커버리지와 순위 정교화의 비중이 알아서 바뀌고, 추가 하이퍼파라미터 탐색 없이 폐형해로 방향이 정해지며, 학생 역전파는 한 번이면 된다는 점이 실무적으로 매력적이다. 다만 정리와 구현 모두 정렬된 어휘에 대한 전 어휘 확률과 양수 분포를 전제하므로, 샘플링된 토큰만으로 근사하는 환경에서는 이론적 보장이 그대로 성립하지 않는다. 평가는 Qwen3 계열과 수학 중심 학습 데이터, OOD 두 벤치마크에 국한돼 있고, 저자들도 증류가 교사의 특성을 학생으로 옮기는 만큼 하류 배포 전에 사실성·편향·안전을 과제에 맞게 평가하고 표준 배포 안전장치를 두라고 명시한다. 원문 발췌에는 별도의 한계 절이 제시되지 않았다.