학생 오류를 따라가는 교사를 비평으로 되돌리는 CriticOPD

무엇인가

온폴리시 증류(OPD)는 학생 모델이 스스로 생성한 롤아웃에 교사의 토큰 단위 감독을 붙여 학습시킨다. 이 방식은 오프라인 증류의 약점을 겨냥한다. 오프라인 증류는 교사가 만든 시퀀스로 학습하지만 추론 시점의 학생은 자기 접두사에서 이어가므로, 학습 때 본 접두사 분포와 추론 때 방문하는 접두사 분포가 어긋난다. 논문은 이 간극을 occupancy mismatch라고 부르고, 이 때문에 학생 오류가 학습에서 과소 대표되어 추론에서 한 번 틀리면 학습에서 거의 본 적 없는 접두사로 들어가 오류가 누적된다고 설명한다. OPD는 학생이 생성한 시퀀스에 교사의 다음 토큰 분포를 감독으로 붙여 이 간극을 줄이지만, 그 감독이 오류를 교정하는 힘은 교사가 학생의 접두사에서 정답에 도달할 수 있는 능력, 즉 논문이 recoverability라고 명명한 성질에 달려 있다. 저자들은 이 성질이 오답 롤아웃에서 무너진다는 것을 먼저 보인다.

어떻게 동작하나

측정은 Qwen3-1.7B 학생(OPD 80스텝 학습 후), Qwen3-4B-Instruct-2507 교사, DAPO-Math-17k 문제로 이뤄졌다. 900개 문제에서 롤아웃을 하나씩 생성해 정답 150개와 오답 150개를 무작위로 고르고, 빈 접두사와 길이의 1/8부터 7/8에 가장 가까운 일곱 개 문단 경계에서 잘라 교사와 학생이 각각 16개 연속 생성을 하도록 해 recoverability를 추정했다. 정답 롤아웃에서는 교사 recoverability가 0.93 이상을 유지하고 학생 recoverability는 0.81에서 0.94로 올랐다. 즉 접두사가 길어지는 것만으로는 교사 정확도 하락이 설명되지 않는다. 반면 교사의 초기 성공률이 높은 문제의 오답 롤아웃에서는 교사 recoverability가 0.82에서 0.29로, 학생 recoverability가 0.34에서 0.10으로 떨어졌다. 교사 초기 성공률이 낮은 문제에서는 0.14에서 0.05로 떨어져 교사 자체의 능력 한계도 불안정한 감독의 원인임이 드러났다. 오답 롤아웃 토큰의 53%가 교사 recoverability 0.2 미만인 접두사에 대응하고 0.8 이상인 접두사는 21%뿐이었다. 오답 롤아웃이 전체 학습 토큰의 61%를 차지하므로, 전체 학습 토큰의 약 3분의 1이 교사가 거의 올바르게 이어가지 못하는 접두사에서 감독을 받는 셈이다.

무엇과 다른가

교사가 왜 recoverability를 잃는지도 분석했다. 접두사가 길어질수록 교사 연속 생성의 정답 비율은 0.82에서 0.29로 떨어지고, 학생의 오답으로 끝나는 비율은 1%에서 35%로 올랐다. 실패한 연속 생성만 놓고 보면 8%에서 50%로 증가한 것이다. 교사가 빈 접두사에서는 이 답을 거의 내지 않는다는 점에서, 교사는 원래 문제를 풀지 못해서가 아니라 학생 접두사의 오류를 따라가는 경우가 많다. 그런데 오류 인식 능력은 거의 유지된다. 교사 recoverability 구간 다섯 개에서 평균 recoverability가 0.07에서 0.93까지 변하는 동안, 교사가 지적한 오류가 실제 오류라는 비율은 73%에서 81% 사이를 유지했다. recoverability 0.2 미만 구간에서 73%, 0.8 이상 구간에서 74%다. 이 비대칭, 즉 계속 이어가기는 실패하지만 오류는 알아본다는 관찰이 제안 방법의 출발점이다.

어떻게 쓰나

CriticOPD의 절차는 다음과 같다. 학생이 문제마다 롤아웃을 생성하고, 오답이거나 길이 한계에 도달해 답이 없는 롤아웃이 비평과 재작성 대상이 된다. 정답 롤아웃은 표준 OPD로 학습한다. 교사가 비평자 역할을 맡아 문제, 참조 답, 번호를 매긴 학생 풀이 문단을 받고 오류 목록을 만든다. 각 오류는 해당 문단 인덱스, 잘못된 문장, 짧은 수정으로 구성되며, 이 오류들과 참조 답을 합쳐 비평 c를 만든다. 참조 답이 있기 때문에 교사가 스스로 풀지 못하는 문제도 비평할 수 있다. 학생은 비평에 나온 마지막 오류의 문단까지 접두사를 유지하고 나머지를 버린 뒤, 비평을 붙여 새 접미사를 생성해 수정된 롤아웃을 만든다. 학습 목표는 두 항의 합이다. 정답 롤아웃과 유효한 비평이 없는 롤아웃에는 학생이 생성한 각 접두사에서 reverse KL을 최소화하는 표준 OPD 손실을 적용한다. 유효한 비평이 있는 롤아웃에는 수정된 시퀀스의 컷 지점 이후 접미사에 대해서만 KL(πθ(·|h̃t) ‖ πT(·|h̃t, c))를 적용한다. 핵심은 교사가 비평을 문맥에 넣고 채점하지만 학생은 비평 없이 학습한다는 점이다. 비평은 학습 시에만 주어지는 특권 정보이며, 추론 시점에는 필요 없다. 접미사 토큰의 advantage는 OPD advantage에 토큰과 비평 사이의 점별 상호정보량 항을 더한 형태로 정확히 분해된다. 다만 접미사는 비평과 함께 샘플링되고 학생 로그확률은 비평 없이 계산되므로, 이 업데이트는 편향 없는 그래디언트가 아니라 서로게이트다. 저자들은 재작성에서 교사 recoverability가 실제로 회복되는지도 확인했다. 연속 생성의 75% 지점에서 교사 recoverability는 원래 롤아웃 0.14에서 재작성 0.67로 올랐고, 비평 없이 평가한 학생 성공률은 0.03에서 0.16으로 올랐다.

전제와 한계

실험은 Qwen3-1.7B와 Qwen3-0.6B(둘 다 non-thinking 모드)를 Qwen3-4B-Instruct-2507 교사로 DAPO-Math-17k 프롬프트에서 증류했고, AIME 2024, AIME 2025, AMC 2023, MATH500, OlympiadBench, Minerva Math에서 32,768 토큰 예산으로 평가했다. 앞 세 벤치마크는 문제당 32개, 나머지는 8개 샘플의 평균 정확도를 보고하고, 시드 3개로 학습해 평균과 표준편차를 제시한다. CriticOPD는 OPD를 Qwen3-1.7B에서 4.57점(50.08→54.65), Qwen3-0.6B에서 4.06점(34.80→38.86) 끌어올렸다. 1.7B에서 가장 큰 상승은 AIME 2024(+6.01), AIME 2025(+7.36), AMC 2023(+6.94)이었고 두 스케일 모두 여섯 벤치마크 중 다섯 곳에서 최고 정확도를 기록했다. 1.7B에서 FastOPD를 2.10점, RelayOPD를 0.97점 앞섰고, 0.6B에서는 각각 1.57점과 0.76점 앞섰다. 특권 정보를 쓰는 다른 베이스라인인 OPSD-T는 OPD 대비 +0.93/+1.82에 그쳤고, Critique-GRPO는 초기 학생보다도 낮은 성능을 냈다. OLMo-3 모델에서도 평균이 54.69에서 57.23으로 올랐다. 수학 외 영역에서는 평균 70.69로 OPD의 70.47과 비슷했고 코드 벤치마크에서는 소폭 하락했다.

구성 요소별 절제 실험도 수치로 제시된다. 비평에서 참조 답을 빼면 평균이 0.85점, 비평을 빼면 5.90점, 둘 다 일반적인 피드백으로 바꾸면 1.46점 떨어졌다. 참조 답만 주면 오히려 OPD보다 낮아졌는데, 학생이 올바른 유도 없이 답만 진술하는 법을 배우기 때문으로 해석된다. 컷 지점 이후 접미사를 교사가 쓰게 하면 0.66점 하락했고, 교사가 비평 없이 접미사를 채점하면 1.19점 하락했다. 후자는 교사가 학생 오류 이후 상태에서 채점하게 되어 recoverability가 낮아지는 경우다. Occupancy mismatch를 보면 CriticOPD는 0.16으로 OPD의 0.10보다는 크지만 FastOPD의 0.21, RelayOPD의 0.35보다 낮다. FastOPD는 8,192 토큰 이후를 감독하지 않고 RelayOPD는 두 번째 개입 후 롤아웃을 끝내므로 추론 시 학생이 도달하는 응답 후반부를 잘라내는 반면, CriticOPD의 재작성은 컷 지점부터 응답 끝까지 이어진다. 비평이 교정에 부여하는 신용도 측정됐다. 132개 컷 지점에서 64토큰 연속 생성 두 개(오류를 잇는 것과 교정하는 것)를 비교하면, OPD 채점에서는 교정이 토큰당 0.24만 앞서지만 CriticOPD 채점에서는 1.47 앞선다. 이 증가분의 87%가 처음 32개 토큰에서 나온다. 학습 데이터에 없는 OlympiadBench의 오답 접두사에서 CriticOPD 학생은 OPD 학생을 평균 0.023 앞섰고 마지막 두 컷 지점에서는 약 0.04 앞섰으며, 빈 접두사와 정답 접두사에서는 차이가 거의 없었다.

실무 관점에서 이 논문이 주는 신호는 명확하다. 온폴리시 증류를 쓸 때 롤아웃이 틀린 뒤의 구간을 그대로 감독하면 교사가 학생 오류를 따라가면서 잘못된 목표를 학습시킬 수 있으므로, 오류 이후 구간의 감독 신뢰도를 따로 점검할 필요가 있다. CriticOPD는 참조 답이 검증 가능한 과제, 즉 수학이나 단위 테스트가 있는 코드처럼 정답 판정이 가능한 영역에 바로 적용할 수 있고, 교사가 학생 대신 토큰을 쓰지 않아 모든 감독 토큰이 학생 생성이라는 점이 특징이다. 다만 학습 비용은 늘어난다. 비평 대상 롤아웃마다 교사 생성 한 번과 학생 생성 한 번이 추가로 필요하다. 저자들은 그럼에도 선택된 학습 스텝에 더 일찍 도달해 OPD의 0.42배 총 학습 연산을 쓴다고 밝힌다.

한계도 저자들이 직접 명시한다. CriticOPD는 참조 답을 사용해 어떤 롤아웃에 비평을 줄지 정하고 비평자를 접지시키므로, 검증 가능한 답이 있는 과제에 직접 적용된다. 검증 불가능한 과제에는 보상 모델이나 스스로 정답성을 판단하는 비평자가 필요하며 이는 향후 과제로 남긴다. 코드의 경우 단위 테스트가 참조 답 역할을 할 수 있다고 제안한다. 실험 범위도 제한적이다. Qwen3 학생 두 크기를 Qwen3 교사 하나로 non-thinking 모드에서 증류했고, OLMo-3 학생은 시드 하나로 실험했으며, 모두 수학 문제에 한정된다. thinking 모드로 추론하는 학생, 코드 같은 학습 도메인, 더 큰 교사와 학생은 검증되지 않았다. 비평 품질 자체도 완벽하지 않아 교사가 나열한 오류 중 실제 오류는 73%에서 81%였고, 롤아웃당 비평을 하나만 사용하므로 여러 비평을 샘플링하면 잡음을 더 줄일 수 있다고 본다. 진단에 모델 판정자를 사용하기 때문에 사람 주석자와 의견이 갈릴 수 있다는 점도 밝힌다.