에이전트 RL에서 실패한 턴에만 자기 증류를 걸어 탐색을 안정화한다

무엇인가

이 논문이 다루는 문제는 온폴리시 RL의 근본적 한계다. 보상을 아무리 잘 설계해도 그 행동이 현재 정책의 확률 분포 안에 존재하지 않으면 정책 그래디언트는 아무것도 배우지 못한다. 다중 턴 툴 호출 환경에서는 여러 행동을 연쇄해야 보상이 발생하므로 이 문제가 더 심각하다. 저자들은 RL이 이미 존재하는 좋은 행동에 가중치를 줄 뿐, 새로운 행동을 하는 방법을 알려주지 않는다고 지적한다. 그런데 최신 포스트트레이닝 시스템의 보상은 이미 루브릭을 가진 판정 모델 같은 풍부한 텍스트 소스에서 나온다. 순진한 RL은 이 정보를 스칼라 하나로 압축하면서 정보를 크게 손실한다.

어떻게 동작하나

제안 방법은 targeted guidance다. 기준별 이진 보상마다 텍스트 피드백 문자열 f를 하나씩 정의한다. 어떤 턴이 특정 기준을 실패하면, 같은 가중치를 그대로 쓰되 그 턴 직전에 피드백 f를 컨텍스트로 넣은 정책을 전문가 μ(·|s) = π_θ(·|s, f)로 정의하고, 이 전문가로의 KL을 최소화한다. 중요한 제약이 두 가지 붙는다. 피드백은 문제가 된 턴 바로 앞에만 삽입하고, KL 손실은 그 실패한 턴에만 마스킹해서 적용한다. 전체 손실은 GRPO 손실에 λ를 곱한 증류 항을 더한 형태이며, 증류는 student에서 teacher로의 reverse KL을 stop-gradient로 건다. 또한 롤아웃 전체 토큰에 대해 KL 항을 정규화해, 루프 추론처럼 KL이 큰 긴 롤아웃의 영향력을 줄인다. 전문가는 자기회귀 생성 없이 로짓 수준 지도만 하므로 추가 비용은 순방향 패스 한 번이다.

무엇과 다른가

저자들은 이 증류가 정책 개선 방향으로 유효하려면 전문가의 기대 어드밴티지가 양수여야 하고, 전문가는 베이스 정책에서 최소한으로만 벗어나야 한다는 두 가지를 설계 휴리스틱으로 제시한다. 전자에 맞춰 피드백 문자열 자체를 후보로 넣어 베이스 모델의 평균 성능을 측정하고, 평균 개선을 보이는 프롬프트만 채택하는 절차를 둔다. 또한 증류를 실패 턴에만 게이팅하기 때문에 모든 기준이 만족되는 상태에서는 손실이 순수 정책 그래디언트로 환원되어 최적 정책으로 수렴한다는 점을 편향 논의로 정리한다.

어떻게 쓰나

실험은 Qwen3-Coder-30B를 다중 턴 툴 호출·코드 편집 하네스에 포스트트레이닝하는 환경에서 이뤄졌다. 200스텝, 배치 32개 그룹×32롤아웃, Adam, 학습률 3e-6, 단일 에폭 데이터셋, 추론 정책이 학습 정책보다 오래될 수 있는 비동기 RL 파이프라인을 쓴다. 첫 사례는 의미 검색 툴에 반환 줄 수 파라미터를 새로 도입한 포맷 교정으로, SFT에 없던 포맷이라 베이스 모델이 전혀 쓰지 못하던 것을 증류로 습득하면서 코딩 성능 회귀는 없었다고 보고한다. 두 번째는 마크다운 표 포함, 사용자 문제 설명 같은 스타일 기준 묶음으로, 베이스라인·GRPO·OPSD·Online SFT·LaTRO·Verifree와 비교한다. Targeted guidance는 GRPO와 유사한 코딩 통과율을 유지하며 다양한 스타일 기준을 개선한 반면, OPSD는 스타일 개선이 일관되지 않았고 Online SFT·Verifree·LaTRO는 코딩 통과율이 비자명하게 하락했다. 저자들은 이들 방법이 피드백 조건 전문가로부터 새 행동을 샘플링해 그 가능도를 높이는 방식이라, 비동기 환경에서 낡은 준최적 행동의 가능도를 올리는 불안정이 생긴다고 해석한다.

전제와 한계

매 턴마다 시를 포함한 상태 보고를 요구하는 분포 밖 기준 실험도 있다. GRPO 베이스라인은 코딩 통과율만 올리고 시 보상은 전혀 최적화하지 못했지만, targeted guidance는 시 스타일을 습득하면서 코딩 성능 회귀를 최소화했다. 소거 실험에서 해당 기준의 RL 보상 없이 증류만 쓰면 정책이 불안정해 행동을 유지하지 못하고 코딩 성능도 크게 퇴행했으며, 실패 여부와 무관하게 피드백을 항상 적용하는 변형도 같은 퇴행을 보여 실패 턴 게이팅이 필수임을 확인했다.

실패 사례로는 엔트로피 급증을 꼽는다. 증류 가중치가 높으면 초반 스타일 보상은 높지만 곧 붕괴해 통과율과 스타일 모두 실패하고, 낮은 가중치는 불안정 없이 느리게 개선된다. 자기 증류는 student와 전문가가 가중치를 공유해 엔트로피 증가가 상호 강화되므로 스파이크가 커진다는 설명이 붙는다. 또 여러 스타일 기준 사이를 오가는 진동은 최종 메시지 이전의 사고 토큰까지 증류를 적용하면 사라지고 단조 증가 곡선으로 바뀐다. 사고 트레이스에 스타일 관련 자기 리마인더가 생기는 것을 정성적으로도 확인한다.

개발자 입장에서 이 방법은 새 툴 포맷이나 응답 스타일처럼 기존 정책이 거의 생성하지 않는 행동을, 판정 모델의 텍스트 피드백만으로 RL 파이프라인에 얹고 싶을 때 쓸 만하다. 다만 증류 가중치 λ를 안정 구간에 두고, 실패 턴 게이팅과 사고 토큰 증류 포함 여부를 반드시 실험해야 한다. 저자들이 밝힌 한계는 명확하다. 기준마다 정적 피드백 문자열을 사람이 설계해야 하고, 실험은 다중 턴 소프트웨어 엔지니어링 한 환경에 국한되며, 목표가 스타일·포맷이지 핵심 지능 향상이 아니다. 또한 언급한 여러 OPSD 변형을 같은 설정에서 직접 비교하지 못했고, 표의 구체적 수치는 원문 본문에 제시되지 않았다.