PR-OPD가 토큰 확률 대신 은닉 상태로 사후 스킬 이점을 전달한다

무엇인가

이 논문은 언어모델 에이전트를 에피소드당 하나의 종료 보상으로 강화학습하는 RLVR과, 같은 정책이 스킬을 조건으로 받은 교사가 되어 스킬 없는 자기 자신을 토큰 확률로 가르치는 privileged self-distillation을 다룬다. 저자들은 이 채널에 의문을 제기하는 두 현상을 보고한다. Invisible Advantage: WebShop에서 스킬을 문맥에 넣으면 성공률이 42.2%에서 56.2%로 오르지만, 샘플된 토큰 중 확률이 바뀌는 토큰은 4분의 1 미만이고 행동 토큰에서는 거의 바뀌지 않는다. Much to Align: 같은 두 forward pass에서 응답 토큰의 80% 이상의 은닉 상태가 달라지고, 선형 프로브가 특정 스킬을 구분할 수 있으며 출력 특징으로는 거의 구분하지 못한다. 따라서 스킬의 이점은 토큰 확률이 아니라 은닉 상태에 실려 있다는 것이 문제 설정이다.

어떻게 동작하나

제안 방법 PR-OPD는 두 단계로 돈다. Stage I은 GRPO만으로 N번 업데이트하는 워밍스타트다. 분석자 역할을 정책 자신이 맡기 때문에, 자기 실수를 설명하려면 먼저 과제를 배워야 한다는 전제다. Stage II는 보상 목적을 유지하면서 표현 감독을 추가한다. 각 반복에서 스킬 없이 궤적을 수집하고, 완료된 궤적마다 현재 정책이 상호작용 기록과 결과를 직렬화한 텍스트를 읽고 짧은 실행 규칙 목록인 사후 스킬을 하나 쓴다. 성공 궤적은 재사용 가능한 워크플로와 결정적 관찰을, 실패 궤적은 핵심 실수와 교정법을 담는다. 스킬 생성은 미분 불가능하고 별도 SFT 단계가 없으며 외부 스킬 라이브러리도 쓰지 않는다.

무엇과 다른가

그다음 같은 응답을 두 번 읽는다. 학생은 원래 문맥 x와 응답 y를, 교사는 사후 스킬을 앞에 붙인 문맥 x~와 같은 응답 y를 처리한다. 학생, 분석자, 교사는 한 세트의 가중치를 공유하고, 교사 쪽은 stop-gradient다. 층별 은닉 상태를 학생 h_S,k^(l)=f_θ^(l)(x,y<k), 교사 h_T,k^(l)=f_θ^(l)(x~,y<k)로 추출해 같은 응답 토큰끼리 짝짓는다. 교사 프롬프트가 스킬 때문에 더 길어져 절대 위치가 다르므로 위치가 아니라 응답 토큰 기준으로 맞춘다. 학생 상태는 층마다 하나의 512차원 은닉층을 가진 MLP 프로젝터를 통과한 뒤 정규화되고, 정규화된 교사 은닉 상태와의 제곱 L2 거리를 모든 층과 유효 응답 토큰에서 평균한 PRA 손실로 정렬된다. 정규화 때문에 거리에는 방향만 반영되고, 교사는 현재 가중치를 공유해 매 업데이트마다 목표가 정책과 함께 움직인다.

어떻게 쓰나

전체 목적식은 GRPO 손실에 KL 정규화와 엔트로피 항을 더한 RL 손실에, 워밍스타트 이후에만 켜지는 λ_t 곱하기 PRA 손실을 더한 형태다. λ_t는 t≤N이면 0, t>N이면 λ다. 출력 공간 증류 항은 쓰지 않는다. 추가 모듈은 학생 쪽 층별 MLP 프로젝터뿐이고 추론 시에는 버린다. 따라서 외부 스킬 라이브러리, 별도 교사 모델, 추론 오버헤드가 없다는 것이 설계 주장이다.

전제와 한계

실험은 ALFWorld와 WebShop에서 Qwen2.5-3B-Instruct와 Qwen3-1.7B-Instruct 두 백본으로 한다. 모든 방법은 150 업데이트 학습하고, PR-OPD는 WebShop에서 N=120, ALFWorld에서 N=100까지 GRPO 워밍스타트를 한 뒤 표현 감독을 켠다. 평가는 150 스텝에서 128 에피소드로 한다. 비교군은 Vanilla, Skill-Prompt, GRPO, SDAR, OPSD, Skill-SD이며, 스킬 기반 비교군은 SDAR의 과제 유형별 수작업 스킬을 쓴다. 결과적으로 PR-OPD는 모든 백본에서 최고 종합 성적을 냈다. Qwen2.5-3B-Instruct에서 GRPO 대비 ALFWorld 성공률 4.7점, WebShop 정확도 11.7점 향상을 보고하며, 초록에서는 WebShop 정확도 최대 14.0점 향상을 말한다. 가장 강한 토큰 증류 비교군 Skill-SD 대비로는 3B 백본에서 WebShop 정확도 7.8점, 점수 8.1점 앞선다.

절제 실험은 토큰 확률을 읽는지 은닉 상태를 읽는지가 성능을 가른다고 보여준다. 같은 워밍스타트와 같은 자기 생성 스킬에서 토큰 수준 OPD는 57.8%로 GRPO보다 8.6점 낮아지고, 은닉 상태 정렬은 72.7%로 GRPO보다 6.3점 높아진다. 두 실행은 교사를 읽는 방식만 다른데 최종 격차가 14.9점이다. 수작업 스킬로 토큰을 증류하는 SDAR는 ALFWorld에서 GRPO 대비 최대 2.4점 향상에 그쳤고 OPSD는 미학습 정책 수준으로 떨어졌다. 프로젝터는 3B에서 72.7%를 71.1%로 약간 낮추지만, 1.7B에서는 직접 정렬이 36.7%로 GRPO 아래로 떨어지는 것을 프로젝터가 46.9%까지 올려 최고 결과를 만든다. 워밍스타트 시작점은 N=100보다 N=120이 WebShop 정확도를 49.5%에서 57.0%로 올리며 감독 업데이트는 20회 더 적다. 같은 체크포인트에서 이어간 GRPO와 비교한 6개 시드 실험에서 120스텝 시작 직접 정렬은 30업데이트 후 9.62점, 10업데이트 후 8.22점을 얻어 100스텝 시작의 3.15점, 140스텝 시작의 3.63점보다 크다.

표현 분석은 스킬 효과가 네트워크 전체에 퍼져 있음을 보여준다. 은닉 상태 변화는 초기에서 중간 층으로 커지고 이후 층에서도 높게 유지되며, 길이만 맞춘 무관한 텍스트보다 최대 3B에서 9배, 1.7B에서 7배 크다. 중간층 은닉 상태 선형 프로브는 자기 궤적의 스킬을 다른 선택지와 구분해 무스킬·무관 텍스트 대비 88%를 넘고, 다른 궤적 스킬 대비 65.4%와 79.4%, 토큰을 섞은 스킬 대비 86.2%와 98.3%를 기록한다. 출력 특징은 50.2~54.0%로 우연 수준에 머문다. 1.7B에서는 중간층 정확도가 79.4%로 정점을 찍고 마지막 층에서 70.1%로 내려가며, 3B도 마지막 층이 중간 정점보다 낮다. CKA 기준으로 자기 스킬은 초기 3B 정책에서 전체 구조를 크게 덮어쓰지 않고 같은 층 CKA 평균 0.996을 유지하지만, 13층부터는 세 통제보다 구조를 더 바꾸고 평균적으로 다른 궤적 스킬보다 1.5배, 무관 텍스트보다 6배 더 바꾼다. 그래서 마지막 층만 정렬하는 방식이 아니라 모든 층을 정렬한다. 개발자 관점에서는 종료 보상이 희소한 에이전트 RL에서 사후 스킬을 토큰 확률로 증류하는 대신 학생이 생성한 응답 위에서 은닉 상태를 정렬하는 선택지를 검토할 수 있다. 다만 정책이 분석자·교사·학생을 겸해야 하고, 워밍스타트가 필요하며, 작은 백본에서는 프로젝터가 사실상 필수이고, 교사 목표가 매 업데이트마다 현재 가중치로 재계산된다는 전제를 확인해야 한다.