상대 정책 차이 전이는 모델 크기가 아니라 과제 학습에서 나온다

무엇인가

온폴리시 증류(OPD)는 학생이 직접 생성한 롤아웃 위에서 교사가 토큰 단위 감독을 주는 사후학습 방식이다. 문제는 교사가 학생보다 충분히 강해야 신호가 의미를 갖는다는 점이다. 최근에는 교사의 절대 분포를 모방하는 대신 expert와 reference 사이의 상대 정책 차이를 전이하는 방법이 제안됐지만, 어떤 차이가 유용한 감독인지, 어떤 타깃이 그 차이를 받아들일 수 있는지는 정리되지 않았다. 이 논문은 그 조건을 규명한다.

어떻게 동작하나

방법의 핵심은 상대 정책 차이를 implicit reward로 해석하는 것이다. 기존 OPD의 reverse KL 목적을 초기 정책 π_ref 기준으로 다시 쓰면, log π_T − log π_ref가 보상처럼 작동하고 KL 항이 정책을 π_ref에 묶는 KL 정규화 정책 최적화가 된다. 이때 같은 π_ref가 보상 항과 정규화 항에 두 번 등장해 상쇄되므로 결과적으로 교사 분포를 그대로 매칭하는 절대 매칭이 된다. 논문은 이 상쇄를 없애고 상대 차이만 전이한다. proxy pair (π_φ⁺, π_φ)를 두고, π_φ⁺를 π_φ에서 토큰 수준 과제 보상 r*로 한 스텝 KL 정규화 최적화를 푼 해로 정의하면 Δ_φ(s,a) = log(π_φ⁺/π_φ) = r*/τ − log Z_φ(s)가 된다. 상태에만 의존하는 log Z_φ는 행동 간 비교에서 사라지므로 Δ_φ는 행동별 보상 차이를 1/τ 스케일로 보존하는 implicit reward가 된다(DPO와 같은 형태다).

무엇과 다른가

이 위에서 A²-OPD 목적함수는 J = E[α·Δ_φ(s,a)] − β·KL(π_θ‖π_ref)로 정의된다. proxy pair가 전이할 신호를 정하고, 타깃의 reference π_ref가 그 신호를 받는 위치를 정하며, α/β가 전이 강도를 조절한다. π_φ⁺=π_T, π_φ=π_ref, α=β로 두면 기존 OPD가 특수 사례로 복원된다. 그래디언트는 u_θ = α·Δ_φ − β·ℓ_θ (ℓ_θ = log π_θ/π_ref)를 가중치로 하는 정책 그래디언트 형태가 되는데, α·log Z_φ(s)는 행동 무관 오프셋이라 행동에 대해 centering해 제거하고 분산을 줄인다. 최종 손실은 −E[sg(A_θ)·log π_θ]이며, Δ_φ는 학습 중 고정된다.

어떻게 쓰나

실험은 Qwen3와 Qwen2.5 계열에서 α/β=1로 고정하고, 계산 효율을 위해 전체 어휘 대신 top-16 토큰 분포만 사용한다. proxy pair는 DeepMath-103K(수학)와 Eurus-RL-Code(코드)에서 규칙 검증 가능 보상으로 RL 또는 SFT를 돌려 만든다. 평가는 수학 8개 벤치마크(AIME24/25/26, SMT25, CMIMC25, HMMT25-Feb/Nov, HMMT26-Feb)에서 16샘플, 코드 3개(HumanEval+, MBPP+, LCB)에서 8샘플로 수행한다. 지표는 proxy pair의 성능 향상 G_P, 타깃 향상 G_T, 비율 R_perf=G_T/G_P, 그리고 K_Proxy·K_Base·K_Target·K_Induced 같은 KL 진단량이다.

전제와 한계

첫 번째 결과는 강한 모델이 곧 좋은 감독원이 아니라는 것이다. RL·SFT로 과제 지향 학습을 거친 차이는 G_T가 9.78에서 32.23까지 일관되게 향상됐고, Qwen3-4B-RL에 Qwen3-1.7B를 reference로 쓴 쌍도 25.85를 기록해 reference가 expert의 학습 출발점일 필요가 없음을 보였다. 반면 크기만 다른 네 쌍은 proxy pair 자체의 능력 격차는 양수인데도 타깃 향상이 훨씬 작았다. G_P와 G_T는 강하게 연관되지만(Pearson r=0.96, Spearman ρ=0.93), 업데이트 크기만으로는 설명되지 않는다. K_Induced가 0.3531과 0.4181로 비슷한 두 쌍이 G_T 25.85와 3.42로 갈렸다. 토큰 오버랩 추적에서도 과제 학습 쌍은 20스텝 내에 0.75에서 약 0.81로 올라 역전하는 반면, 크기만 다른 쌍은 0.78로 내려간다.

두 번째 결과는 expert와 reference의 역할 분담이다. reference를 Qwen3-4B로 고정하고 expert를 RL 초기·중간·후기 체크포인트로 옮기면 G_P가 22.09→26.89→32.28, G_T가 22.42→26.84→28.18로 따라 오르지만 R_perf는 1.015에서 0.873으로 떨어진다. 반대로 expert를 Qwen3-4B-RL로 고정하고 reference를 RL 초기 체크포인트로 바꾸면 G_T가 26.84에서 9.62로 급감한다. reference는 두 모델이 이미 공유하는 부분을 걸러내고 남은 잔차만 노출하는 필터다. expert와 reference의 top-1 오버랩은 0.916(초기 RL reference), 0.839(Qwen3-4B), 0.625(Qwen2.5-3B)로 줄어들고 타깃 이득은 9.62, 26.84, 29.09로 커진다. Qwen2.5-3B reference는 K_Base가 1.23으로 가장 큰데도 최대 이득을 냈다.

세 번째 결과는 유용한 차이도 모든 타깃에 전이되지 않는다는 것이다. 같은 차이를 Qwen3 타깃에 적용하면 9.78~29.09가 나오지만, Qwen3 reference 아래의 Qwen2.5 타깃은 G_T가 −2.46에서 2.72에 그쳤다. K_Base와 결과는 단조 관계가 아니며, K_Base가 1.2를 넘어도 Qwen3 타깃은 R_perf 약 0.65를 유지한다. 갈림은 거리가 아니라 모델 계열에서 나온다. reference만 Qwen2.5로 바꾼 Qwen3-4B-RL/Qwen2.5-3B 쌍에서는 Qwen2.5 타깃이 6.74/2.25/5.76으로 양전하고 Qwen3 타깃도 성공을 유지한다. 성공한 타깃은 proxy expert 쪽으로 이동하지만 실패한 타깃(G_T=−1.7)은 expert 쪽으로도 자기 base 쪽으로도 가지 않는다. Qwen2.5-Math-7B는 학습 정확도가 튀어도 검증 정확도가 0 근처에 머물러, 실패는 과소훈련이 아니라 일반화 실패다. 수학과 코드 양쪽에서 성공·실패 패턴이 같은 부호와 순서로 재현된다(Qwen3 간 전이 +26.8/+25.9 수학, +2.3/+1.9 코드, Qwen3 차이를 Qwen2.5 타깃에 전이하면 −1.7/−6.4).

개발자 관점에서 이 논문은 증류 파이프라인의 교사 선택 기준을 바꾼다. 교사를 무조건 크게 잡는 대신, 이미 갖고 있는 RL·SFT 체크포인트를 expert로, 그 학습 이전 상태나 다른 계열 모델을 reference로 조합해 상대 차이만 뽑아 쓰는 편이 실용적일 수 있다. 다만 전이 성공 여부는 차이의 크기가 아니라 타깃과의 계열 호환성에 크게 좌우되므로, 실제 적용 전에 소규모로 토큰 오버랩과 검증 성능 궤적을 확인해야 한다.

한계도 분명하다. 논문 스스로 “원리상 임의의 source–target 조합이 가능하지만 모든 전이가 효과적인 것은 아니다”라고 못 박는다. 실험은 Qwen3·Qwen2.5 계열과 수학·코드 도메인에 한정되고, 효율을 위해 top-16 토큰 분포로 근사하며, 전이 강도는 α/β=1로 고정하고, proxy pair는 RL과 SFT로만 구성한다. 제공된 본문에는 별도의 한계 절이 없어, 다른 모델 계열이나 도메인, 다른 α/β 값에서의 거동은 검증되지 않은 상태다.