정책 증류의 증거 우회를 측정하고 EP-OPD로 교정한다

무엇인가

이 논문은 on-policy distillation(OPD)이 답 정확도를 올리면서도 근거 문서에 대한 반응성을 약화시킬 수 있다는 문제를 다룬다. 과학 문서 질의응답에서 질문과 무관한 문맥은 유지한 채 지원되는 정답만 바꾸는 문서 개입을 사용해, 학생 모델이 문서가 다른 답을 지지하도록 바뀐 뒤에도 원래 정답을 유지하는 evidence bypass를 규명한다. 이는 문서 QA와 RAG에서 정답률만으로는 포착되지 않는 실패 모드다.

어떻게 동작하나

연구는 같은 질문에 대해 서로 다른 답을 지지하는 matched documents를 구성하고, answer-critical evidence를 겨냥한 통제된 perturbation으로 효과가 어디서 생기는지 좁힌다. 또 teacher targets, privileged information, divergence, supervision density를 분해해 비교한다. 그 결과 교사에게 주석된 answer-critical spans를 명시적으로 제공하는 설정이 evidence response와 claim support를 함께 가장 크게 개선했다고 보고한다.

무엇과 다른가

이 발견을 바탕으로 제안하는 Evidence-Paired OPD(EP-OPD)는 같은 질문에 다른 답을 지지하는 문서 쌍에 대한 on-policy supervision과, 각 문서가 지지하는 답을 paired alternative보다 선호하도록 하는 answer-level margin을 결합한다. 즉 학생이 문서의 증거 변화에 따라 답을 바꾸도록 훈련하면서도 문서별로 지지되는 답을 구분하게 만드는 구조다.

어떻게 쓰나

QASPER에서 Qwen3-4B 학생 모델로 표준 OPD를 적용하면 원문 문서 정확도는 3.4%p 오르지만 반사실 문서 정확도는 5.3%p 내려가고 bypass는 15.7%p 증가한다. PeerQA에서도 같은 방향의 패턴이 나타난다. EP-OPD는 두 데이터셋과 두 학생 크기에서 표준 OPD의 반사실 정확도 손실 중 54~66%를 회복하면서 원문 문서 정확도 이득의 80~85%를 유지한다. 또한 bypass는 증류 전 학생의 closed-book 선호가 원래 답에 강할수록 커진다.

전제와 한계

개발자에게 이 논문은 문서 QA나 RAG용 학생 모델을 증류할 때 원문 정답률만 보고 판단하면 위험하다는 신호다. 배포 전에 질문은 같고 근거 문서만 반대 답을 지지하도록 바꾼 반사실 평가를 넣고, 학생의 사전 closed-book 선호와 증거 반응성을 함께 확인해야 한다. EP-OPD식 문서 쌍 감독과 answer-level margin은 증류 파이프라인에서 검토할 만한 훈련 목표로 제시된다.

이 초록이 밝히는 범위는 과학 문서 QA, 특히 QASPER와 PeerQA, Qwen3-4B 학생 및 두 학생 크기 실험에 한정된다. 다른 도메인이나 다른 교사·학생 구조, 더 큰 모델에서 같은 효과가 유지되는지는 초록만으로 확인할 수 없다. 또한 교사에게 주석된 answer-critical span을 제공하는 설정이 핵심 비교 대상이라는 점은 그런 주석이 있는 환경을 전제한다.