R2S는 교사 롤아웃을 토큰 점수에 반영해 에이전트 증류의 지연을 줄인다

무엇인가

이 논문은 에이전트 온폴리시 증류(OPD)에서 학생이 자기 궤적을 만들고 교사가 매 토큰을 점수화하는 훈련이 왜 장기 과제에서 실패하는지 다시 진단한다. 기존 설명은 복합 오류, 즉 학생의 실수가 궤적을 교사가 신뢰할 수 있는 영역 밖으로 밀어낸다는 것이었다. 그러나 저자들은 학생이 교사와 가장 크게 갈라지는 상태에서 교사가 직접 인수해도 과제를 끝낸다는 점을 보인다. 문제는 교사의 다음 토큰 점수가 에피소드의 끝을 보지 못한다는 데 있다. 그래서 안전해 보이는 지연 행동, 예컨대 한 번 더 살펴보거나 검색하는 행동을 통과시키고, 결과 기반 강화학습이라면 타임아웃으로 0 보상을 받을 행동을 OPD에서는 벌하지 못한다. 저자들은 교사가 실제 롤아웃에서 보이는 능력과 토큰 단위 점수 사이의 이 차이를 롤아웃-스코어러 간극이라고 부른다.

어떻게 동작하나

제안 방법 R2S는 증류 전에 교사를 점수화기로서 수리한다. 먼저 훈련되지 않은 학생의 에피소드에서 사고 토큰의 평균 로그 비율로 교사와의 불일치가 가장 큰 턴을 찾는다. 그 상태에서 교사가 K=8번 인수해 에피소드 끝까지 플레이한다. 인수 롤아웃 중 충분히 많은 수가 합의나 LLM 판정 같은 보상 없는 검사를 통과하면 그 상태를 유지하고, 통과한 것 중 가장 짧은 인수 궤적을 기준으로 고른다. 이어 원래 교사가 그 인수 궤적을 문맥에 넣은 채 학생 자신의 에피소드 접미부, 즉 불일치 턴부터 끝까지의 모든 어시스턴트 토큰을 점수화해 q+ 목표를 만든다. 훈련 가능한 교사 복사본은 같은 이력에서 인수 궤적 없이 그 점수를 맞추도록 교차엔트로피로 학습한다. 수리된 교사는 다시 고정되어 표준 OPD의 유일한 점수화기로 쓰인다. 수리와 훈련 어디에도 과제 보상은 필수로 들어가지 않고, 학생은 인수 궤적을 직접 보지 않는다.

무엇과 다른가

실험은 ALFWorld, WebShop, ScienceWorld에서 진행됐다. Qwen3.5-9B 교사가 Qwen3.5-2B와 4B를, Qwen3-30B-A3B 교사가 Qwen3-4B와 8B를 가르치는 조합을 포함해 총 12개 교사-학생-환경 셀을 만든다. 각 셀은 150스텝 훈련 후 최종 체크포인트를 세 번 디코딩해 평가하며, 베이스라인은 바닐라 OPD, TCOD-F2B, Guided-OPD, FutureBridge다. R2S는 12개 셀 모두에서 세 최신 agentic-OPD 방법을 앞섰고, 각 셀에서 가장 좋은 베이스라인 대비 평균 12.8 성공 포인트 높았다. 바닐라 OPD 대비로는 9B 교사에서 평균 +17.8포인트, 30B-A3B 교사에서 +9.8포인트다. 또한 4B가 자기 자신을 교사로 쓰는 자기 교사 실험에서도 R2S 학생이 세 환경 모두에서 9B 교사가 가르친 바닐라 학생을 앞섰다.

어떻게 쓰나

분석 파트는 문제의 원인을 더 직접적으로 뒷받침한다. 학생이 가장 크게 이탈한 상태에서도 교사의 인수 롤아웃은 학생보다 더 자주 과제를 끝냈고, 12개 셀 중 11개에서 그 우위가 나타났다. 하지만 교사의 평범한 토큰 점수는 학생의 지연을 통과시켰다. 끝까지 간 인수 궤적을 문맥에 넣었을 때만 교사가 학생의 망설임과 검색 단어에 더 낮은 확률을 주었고, 그 하락 폭은 나머지 사고 토큰보다 2~3배 컸다. 평범한 점수로 훈련한 학생은 보류된 ALFWorld와 ScienceWorld 에피소드의 약 3분의 1, WebShop의 절반 이상에서 턴을 다 써버렸고, 이는 수리된 교사로 훈련한 경우보다 약 두 배 자주 타임아웃되는 것이다. 수리된 교사는 q+ 목표에 더 가까워졌고, 그 학생은 바닐라 OPD 학생보다 턴 소진이 약 절반으로 줄었다. 절약된 턴은 주로 검색 턴이었다. 승리한 에피소드만 봐도 R2S 학생은 ALFWorld에서 8.4 대 10.5, WebShop에서 2.0 대 3.0, ScienceWorld에서 7.1 대 9.1로 검색 턴을 덜 썼다.

전제와 한계

절제 실험은 보상 없이도 수리가 된다는 점을 보여준다. 인수 선택 규칙으로 정답 보상, 합의 투표, LLM 판정을 비교했는데 합의와 LLM 판정 모두 세 환경에서 바닐라 OPD를 앞섰다. 인수 궤적을 일반 SFT 데이터로만 쓰는 대조군도 바닐라보다 좋았지만, 인수 문맥으로 만든 점수 목표 q+를 맞추는 쪽이 더 나았다. 즉 인수 궤적은 교사가 학생 자신의 토큰을 점수화할 때의 문맥으로 쓰일 때 가장 큰 효과를 낸다. 감독 범위를 불일치 턴 하나만, 그 이전 접두부만, 또는 불일치 턴부터 끝까지의 접미부로 바꿔도 모두 바닐라보다 좋았고, 원래 R2S의 접미부 감독이 주된 설정이다.

개발자 관점에서 이 논문은 긴 호라이즌 도구 사용 에이전트를 증류할 때 교사의 토큰 점수를 결과 신호처럼 가정하면 안 된다는 경고를 준다. 교사가 학생 상태에서 직접 플레이하면 과제를 끝낼 수 있는데도 학생이 타임아웃으로 실패한다면, 교사의 지식 부족이 아니라 점수화기의 근시안을 의심해야 한다. 이때 재현 가능한 환경에서 고불일치 상태를 모으고, 합의나 LLM 판정 같은 보상 없는 검사로 교사 인수 롤아웃을 선별해 점수화기를 수리하는 접근을 고려할 수 있다. 다만 수리된 교사가 실제로 q+ 목표에 가까워졌는지, 학생의 턴 소진과 검색 턴이 줄었는지를 별도로 확인해야 한다.

저자들이 밝힌 한계는 분명하다. R2S는 증류 전에 N×K=19,200개의 인수 에피소드, 선택 단계, 교사 한 번의 파인튜닝을 추가로 소비한다. 이후 모든 방법은 150스텝을 훈련하며 Guided-OPD와 FutureBridge도 훈련 중 교사 생성을 쓴다. 증거는 텍스트 에이전트 벤치마크와 Qwen3, Qwen3.5 모델 계열에 한정된다. 또한 인수는 학생 자신의 상태에서 시작하므로 해당 상태로 재생할 수 있는 환경이 필요하다.