긴 호흡 에이전트 강화학습에서 트리 후방 증류로 턴 단위 신용을 안정화한다

Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning

HF Daily2610.23181

Heming Zou, Qi Wang, Yixiu Mao2026-10-16

무엇인가

이 논문은 검증 가능한 보상 기반 강화학습(RLVR)으로 LLM 에이전트를 긴 멀티턴 상호작용에 학습시키는 문제를 다룬다. 터미널 보상만 쓰면 턴 단위 신용 할당이 희소하고 분산이 커지며, 고정된 롤아웃 배치를 여러 순차 미니배치로 업데이트하면 현재 정책이 행동 정책에서 벗어나 정책 표류가 생긴다. 기존의 학습된 critic, 과정 보상 모델, 외부 교사 기반 온폴리시 증류는 값 네트워크나 단계별 주석, 더 강한 교사를 요구해 복잡도를 높이고, 중요도 샘플링과 클리핑은 표류를 줄이지만 업데이트가 멈출 유한한 목표를 지정하지 못한다는 것이 저자들의 진단이다.

어떻게 동작하나

TreeOPSD는 critic-free, tree-aware posterior self-distillation 프레임워크로 이 두 문제를 분리해 다룬다. 먼저 초기화-확장 방식으로 롤아웃 트리를 만든다. 프롬프트마다 행동 정책으로 M개의 완전한 궤적을 샘플링하고, 각 궤적에서 N개의 비종료 앵커를 골라 공유 프리픽스에서 새 터미널 서픽스를 분기한다. 공유 프리픽스를 병합하면 각 턴이 한 번만 등장하는 트리가 되고, 터미널 보상을 그룹 표준화한 뒤 행동 정책 우도 가중치로 재귀 백업해 턴별 신용 V_i를 얻는다. 이 V_i는 학습된 가치망이나 단계별 라벨 없이 터미널 검증 보상만으로 만들어진다.

무엇과 다른가

다음으로 각 턴의 정책 이동을 토큰별 평균 로그 우도비, 즉 기하평균 우도비 r로 요약하고, 이를 승산 사상으로 베르누이 후방 p=σ(s)=r/(1+r)로 바꾼다. 교사 분포는 q=1/2+V_i/τ로 두고 목표 우도비 r*=(τ+2V_i)/(τ-2V_i)를 닫힌 형태로 얻는다. τ는 그룹 크기 K에 맞춰 τ=(K-1)/(ρ√K)로 보정해 모든 q가 1/2±ρ 안에, 모든 r*가 깊이와 무관한 유한 구간에 들어가게 한다. 학습 손실은 교사 Q*와 학생 P 사이의 전방 KL을 턴 길이로 가중한 형태다. 이 사상은 트리 백업과 교환되어 부모 교사가 자식 교사들의 가중 평균이 되고, 행동 정책에서의 미분은 정확히 트리 정책 그래디언트를 복원한다. 순차 미니배치에서 학생이 목표에서 벗어나면 잔차가 0으로 사라지거나 부호를 뒤집어 과도한 업데이트를 막는다.

어떻게 쓰나

실험은 두 가지 멀티턴 설정에서 이뤄졌다. Multi-Hop QA는 HotpotQA 학습 분할로 학습하고 2WikiMultiHopQA, MuSiQue, Bamboogle에서 평가했으며, Deep Research는 OpenResearcher의 6,102개 질문으로 학습하고 BrowseComp-Plus에서 평가한 뒤 BrowseComp, GAIA, xbench-DeepSearch로 전이를 확인했다. 모델은 Qwen3-4B-Thinking-2507과 Qwen3-30B-A3B-Thinking-2507이고, 비교 대상은 ReAct, GRPO, GSPO, TreePO다. GRPO와 GSPO는 프롬프트당 G=8 롤아웃을, 트리 방법은 M=4 초기 롤아웃과 N=2 분기를 사용해 기대 예산을 맞췄다. 원문은 두 스케일 모두에서 TreeOPSD가 Multi-Hop QA와 Deep Research 평균을 가장 높였다고 보고한다. Deep Research 평균은 TreePO 대비 Qwen3-4B에서 13.07에서 15.45로, Qwen3-30B-A3B에서 17.59에서 21.20으로 올랐고, 초록 기준 Qwen3-30B-A3B-Thinking-2507은 GRPO보다 평균 4.97점 높다. Multi-Hop QA의 개별 평균 수치는 제공된 본문 발췌에 숫자로 제시되지 않았다.

전제와 한계

절제 실험은 설계 선택의 이유를 보여준다. 턴 신용을 그룹 상대값 V_c−V_i로 중심화하면 유용한 두 자식이 반대 방향 업데이트를 받을 수 있지만, TreeOPSD처럼 V_c를 점별 신용으로 쓰면 둘 다 행동 정책 대비 상승할 수 있다. BrowseComp-Plus와 Qwen3-4B에서 점별 곡선이 리스트와이즈 대조군보다 높았다. 교사 사상도 승산 기반 q=1/2+V/τ가 로지스틱 q=σ(V/τ′)보다 우세했는데, 로지스틱은 첫 트리 정책 그래디언트 업데이트는 맞출 수 있어도 부모 교사가 자식 교사의 가중 평균이 되지 않기 때문이다. 롤아웃 배분에서는 GRPO와 같은 기대 비용의 (8,0), (4,2), (2,6) 중 (4,2)가 두 평균을 모두 높였고 (2,6)보다 나았으며, 절반 예산의 (2,2)는 평평한 (4,0)보다 좋았고 Deep Research에서는 전체 예산 (8,0)과 맞먹었다. 목표 반경 ρ는 기본값에서 두 평균이 정점이었고, Deep Research가 ρ에 더 민감했지만 전 구간에서 정점과 가까운 정확도를 유지했다.

개발자에게 이 논문은 검증 가능한 터미널 보상이 있는 멀티턴 에이전트를 순차 미니배치로 학습할 때 참고할 만한 설계를 준다. 학습된 critic이나 과정 라벨, 외부 교사 없이 공유 프리픽스 분기와 로그 우도만으로 턴 단위 신용과 유한한 교사 목표를 만들 수 있다는 점이 핵심이다. 다만 실제 적용 전에는 보상이 이진 또는 희소한 규칙 기반인지, 환경 상호작용을 공유 프리픽스에서 분기할 수 있는지, 행동 정책의 토큰 로그 확률을 저장할 수 있는지, τ와 ρ를 그룹 크기와 롤아웃 예산에 맞게 보정했는지 확인해야 한다. 또한 전방 KL 손실과 잔차 항이 미니배치 순서와 정책 이동에 어떻게 반응하는지 로그로 관찰하는 것이 좋다.

원문은 별도의 한계 절을 길게 제시하지 않지만, 방법의 전제는 분명하다. 규칙 기반의 이진 또는 희소 결과 보상을 상정하고 참조 정책 KL 페널티는 β_KL=0으로 두며, 중간 턴에는 직접 감독이 없다. 신용 백업은 행동 정책의 우도 가중치와 초기화-확장 트리 샘플링에 의존하고, 교사 목표의 범위는 ρ와 K로 보정된 τ에 묶인다. 실험도 Qwen3 두 스케일과 Multi-Hop QA, Deep Research 두 설정에 한정되어 보고된다. 원문에는 코드 저장소나 프로젝트 페이지 URL이 제시되지 않았다.

초록 (원문)

Reinforcement learning with verifiable rewards has become a scalable post-training paradigm for large language models. However, training agents over long-horizon interactions presents two challenges: using only terminal rewards makes turn-level credit assignment sparse and high-variance, while sequential mini-batch updates on a fixed rollout batch introduce policy staleness as the current policy drifts from the behavior policy. Existing approaches obtain denser credit via learned critics, process reward models, or on-policy distillation, but they rely on a value network, step-level annotations, or a stronger external teacher that increase training complexity. Meanwhile, importance sampling and clipping mitigate policy drift, but they do not specify a finite target that stops sequential updates from overshooting. In this work, we introduce TreeOPSD, a critic-free, tree-aware posterior self-distillation framework for long-horizon agentic reinforcement learning. Treating each interaction turn as a tree node, TreeOPSD branches alternative continuations from shared prefixes and recursively backs up terminal rewards into implicit turn-level credit. It then maps each credit to a closed-form, bounded teacher distribution parameterized by the likelihood ratio relative to the frozen behavior policy. Minimizing the divergence between this teacher and the student policy recovers the policy-gradient direction as the tangent at the behavior policy while bounding updates toward a finite target across sequential mini-batches. Empirically, TreeOPSD improves agentic capabilities across several competitive benchmarks and model scales, especially for long-horizon tasks, e.g., raising the average accuracy of Qwen3-30B-A3B-Thinking-2507 by 4.97 points over GRPO on the Deep Research setting.