OPSD에서 특권 정보는 정답 노출보다 오류 겨냥이 중요하다

무엇인가

이 논문은 온폴리시 자기증류(OPSD)에서 특권 정보(PI)를 어떻게 구성해야 실제 훈련 이득으로 이어지는지를 다룬다. OPSD는 별도 교사 모델 없이 같은 모델을 학생과 PI 조건부 교사로 나누고, 학생이 생성한 궤적 위에서 교사의 분포를 모방하게 한다. 기존 연구는 PI를 고정된 설계 선택으로 취급해 왔지만, 다중 턴 에이전트에서는 행동·관찰·추론을 여러 방식으로 PI로 바꿀 수 있어 무엇이 효과적인지, 훈련 전에 평가할 수 있는지가 불명확했다. 저자들은 16개 PI 구성, 3개 벤치마크, 3개 학생 모델로 이 질문을 통제 실험한다.

어떻게 동작하나

방법은 학생 궤적에서 학생 분포와 stop-gradient를 적용한 PI 조건부 교사 분포 사이의 reverse KL을 최소화하는 OPSD 목적을 쓴다. PI는 네 가지 궤적 변형(Action, Action+Obs., Action+Thou., Action+Obs.+Thou.)과 세 가지 힌트(Summary, Skill, Checklist)로 구성되며, GLM-5.2와 Qwen3.7-Plus, 그리고 학생 자신이 힌트를 생성하는 경우도 비교한다. 훈련 전 평가를 위해 세 지표를 검토한다. PI utility는 PI를 본 모델의 성공률에서 PI 없이 얻은 성공률을 뺀 값이고, sampled-token reverse KL D는 학생이 샘플한 토큰에서 학생과 PI 조건부 교사의 로그 확률비 절댓값 평균이다. error-step KL contrast Δd_err−는 판정기가 표시한 오류 단계에서 PI가 학생 토큰을 얼마나 더 억제하는지를 같은 과제·위치의 기준선과 비교한 값이다.

무엇과 다른가

결과적으로 궤적 PI가 압축된 힌트보다 대체로 낫다. Instruct 모델은 궤적에 환경 관찰을 더할 때 ALFWorld와 AppWorld에서 추가 이득을 보였지만, Thinking 모델에는 풍부한 PI가 항상 유리하지 않았다. Action+Obs.에 교사 사고 토큰을 더하면 ALFWorld와 AppWorld에서 성능이 떨어졌고, τ²-retail에서는 관찰이나 사고 토큰을 더할 때 더 큰 하락이 나타났다. 4B-Thinking은 τ²-retail에서 pass@4 88.9로 이미 추론을 잘해 추가 궤적 맥락이 방해로 작용할 여지가 있었다. 힌트 중에서는 실수 분석과 재사용 전략을 담은 Skill이 가장 강한 경우가 많았다. 생성원도 중요해 GLM-5.2 PI가 Qwen3.7-Plus PI보다 거의 항상 우세했고, 4B-Instruct에서는 21개 비교 중 20개에서 이겼으며 ALFWorld 힌트에서 최대 36.0점 차이를 냈지만 궤적 형식에서는 3.2점 이내였다. 4B-Instruct의 자기 생성 Summary와 Skill 힌트도 세 벤치마크 모두에서 성능을 올렸다.

어떻게 쓰나

오프라인 지표에서는 PI utility가 정보 누출에 취약했다. AppWorld에서는 utility가 사후 성능과 0.81–0.96의 상관을 보였지만, ALFWorld에서는 4B-Instruct가 0.46인 반면 4B-Thinking은 -0.56, 30B-Instruct는 -0.10이었고 τ²-retail에서는 -0.06에서 0.71까지 흔들렸다. ALFWorld-Passcode 통제 실험에서 정답 키만 담은 PI는 98.1 pass@1을 기록했지만 훈련 후 성능은 출발점 그대로였다. 키만 바꾸면 utility가 25점 움직였으나 훈련 성능과 두 KL 지표는 거의 변하지 않았고, 궤적을 다른 과제 것으로 바꾸면 훈련 성능이 45.0으로 거의 절반이 되고 KL 지표도 낮아졌다. sampled-token reverse KL D는 9개 학생·벤치마크 조합 중 8개에서 사후 성능과 양의 상관(0.65–0.95)을 보였으나, 4B-Thinking의 τ²-retail에서는 -0.84로 예외였고 변화의 방향은 알려주지 못했다. error-step KL contrast Δd_err−는 9개 조합 모두에서 양의 상관(0.10–0.94)을 보였고, AppWorld 4B-Instruct 0.94, ALFWorld 30B-Instruct 0.92, τ²-retail 4B-Thinking 0.70으로 오류를 겨냥한 PI를 더 잘 구분했다.

전제와 한계

과제별 PI 선택 실험에서도 Δd_err−가 후보의 생성원이나 강도가 다양할 때 무작위 선택보다 나았다. 특히 성공 궤적과 실패 궤적을 섞은 후보 풀에서 효과가 컸고, 학생의 성공 롤아웃만 있는 풀에서는 40스텝에서 무작위보다 5.1점 앞섰지만 학생이 교정을 학습하면서 세 번째 에포크 말에는 격차가 닫혔다. 반면 D로 고르는 것은 후보가 단일 강한 생성기에서 나온 강한 PI일 때만 도움이 되었고, 다른 풀에서는 무작위보다 조금 나빴으며 성공·실패 롤아웃을 섞으면 크게 실패했다. 실패 롤아웃이 분포 이동을 가장 크게 만들기 때문에 D 순위가 오해를 부르는 PI를 고를 수 있다는 설명이다.

GRPO와의 결합은 advantage 수준에서 A_OPSD+GRPO = λ A_GRPO + (1−λ) A_OPSD로 단순 가중한다. λ=0은 기존 OPSD다. 궤적 PI는 대부분의 λ에서 가장 강했고, λ를 높이면 세 PI 형식 모두 대체로 좋아졌다. ALFWorld에서 궤적 PI는 λ=0.99에서 95.13으로 GRPO 기준선 84.96을 넘었고, AppWorld에서는 43.90 대 42.91, τ²-retail에서는 55.04 대 48.27이었다. 다만 PI는 초반 학습을 빠르게 하지만, ALFWorld에서는 1에포크에 해당하는 100스텝 이후 PI 유도 곡선이 정체하거나 하락한 반면 GRPO는 계속 개선됐다. AppWorld에서는 λ=0.9에서 궤적 PI가 훈련 성공률 거의 100%에 이르렀지만 테스트 pass@1은 39.14에 그쳐 작고 덜 다양한 훈련 세트에서 과적합이 빨라질 수 있음을 보였다.

개발자 관점에서 이 논문은 PI를 정답이나 요약의 노출로만 설계하면 안 된다는 실무 기준을 준다. 환경 관찰과 실수 분석, 재사용 전략이 담긴 궤적·스킬형 PI가 더 나은 신호가 되며, 후보 PI를 훈련 전에 걸러야 할 때는 PI utility보다 오류 단계 KL 대비를 우선 고려할 만하다. 후보의 생성원·강도가 크게 다르면 Δd_err−로 선택하고, 강한 단일 생성기의 후보만 있을 때는 D도 참고할 수 있다. GRPO와 결합할 때는 강한 PI를 초반에 활용하되, PI 이득이 정체하면 가중치를 줄이거나 제거해 후속 결과 기반 학습을 방해하지 않도록 해야 한다.

저자들이 밝힌 한계와 전제도 분명하다. 실험은 ALFWorld, AppWorld, τ²-retail과 세 Qwen3 학생 모델에 한정되며, GRPO 결합은 단순 가중 advantage 한 가지 방식만 검증했다. 훈련 내내 같은 정적 PI를 쓰면 정책이 학습한 뒤에는 감독이 중복되어 방해가 될 수 있고, 작은 훈련 세트에서는 훈련 성공률만 보고 PI 일정과 다양성을 고르면 과적합 위험이 커진다. Thinking 모델은 추가 PI의 이득이 일관되지 않았고, PI utility는 누출 정보 때문에 신뢰할 수 없으며, KL 지표도 후보 분포와 학생 모델에 따라 해석이 달라진다. 향후 과제로는 다양한 PI 인스턴스와 학습 진행에 따라 감독을 줄이거나 재구성하는 적응적 일정이 제시된다.