MPO가 장기 LLM 에이전트의 턴 단위 신용과 토큰 단위 조정을 결합한다

무엇인가

이 논문은 장기 호흡(long-horizon) LLM 에이전트의 강화학습에서 신용 할당과 정책 업데이트를 어느 단위로 맞출 것인가를 다룬다. 에이전트는 검색 질의, 도구 호출, 최종 응답 같은 완전한 어시스턴트 턴을 환경과 주고받지만, 정책은 각 턴을 토큰 단위로 자동회귀 생성한다. 보상은 궤적 종료 시 한 번만 주어지고 마지막 어시스턴트 토큰에만 붙으며, 그 앞의 모든 토큰 보상은 0이다. GRPO·DAPO·GSPO 같은 critic-free 그룹 상대 방법은 시퀀스 하나에 공유 어드밴티지를 주어 턴·토큰 기여를 구분하지 못하고, PPO·VC-PPO·VAPO·SAO 같은 토큰 수준 critic 방법은 세밀한 신용을 주지만 턴 단위 환경 상호작용과 턴 내부 생성을 명시적으로 분리하지 않는다. 저자들은 검색 에이전트 실행 하나의 8개 체크포인트 배치, 2,048개 궤적, 16,323개 턴을 관찰해 턴 평균 간 차이가 토큰 가중 궤적 내 critic 값 분산의 중앙값 89.5%를 설명하고, 93.8% 궤적에서 턴 간 분산이 턴 내 분산보다 큼을 보고한다. 이 관찰이 턴에 고정하되 토큰에는 더 세밀한 신용을 주는 최적화의 근거다.

어떻게 동작하나

이론적으로는 완전한 어시스턴트 턴을 매크로 행동으로 보고, 고정 턴 수평선 T+1과 γ=1에서 턴 수준 성능 차이와 개선 한계를 세운다. 턴 수준 대리 목적은 완전한 턴의 어드밴티지와 완전한 턴 중요도 비율을 쓰고, 같은 KL 제약 아래 토큰 수준 대리 목적은 턴 내 분포 이동 때문에 추가 페널티를 낸다는 것을 보인다. 토큰 비율은 이전 정책 접두사에서 다음 토큰 분포만 보정하는 반면, 매크로 대리 목적은 새 정책 접두사에서 정확한 토큰 어드밴티지를 평균하기 때문이다. 논문은 토큰 대리 목적의 하한에 (T+1)(L_max−1)Δ 규모의 추가 항이 붙는다고 정리한다. 이 분석이 턴 단위 중요도 보정과 다중 스케일 신용 할당을 결합하는 MPO의 동기다.

무엇과 다른가

MPO의 첫 구성 요소인 MAE는 하나의 critic V(h)를 재사용한다. 턴 경계에서 V_{t,L_t+1}=V_{t+1,1}, V_{T+1,1}=0으로 두고 TD 잔차를 턴 안에서 모두 더하면 내부 가치 예측이 상쇄되어 δ_turn=1{t=T}R(τ)+V_{t+1,1}−V_{t,1}이 된다. 이 턴 수준 TD 잔차에 GAE를 적용해 A_turn을 얻고, 이 공유 신용은 토큰마다가 아니라 상호작용마다 한 번 감쇠하며 턴 길이와 내부 critic 예측에 독립적이다. 이어서 턴 내부에는 λ_intra로 국소 TD 추적 A_intra를 만들고, 턴 평균을 A_turn으로 고정하는 최소제곱 투영으로 A_MAE=A_turn+β(A_intra−평균 A_intra)를 얻는다. β=0이면 모든 토큰이 턴 어드밴티지를 공유하고, β>0이면 턴 평균은 유지하면서 토큰 간 상대 차이를 살린다. 이 어드밴티지는 롤아웃 배치의 유효 어시스턴트 토큰에 대해 한 번 정규화되어 업데이트 동안 고정된다.

어떻게 쓰나

두 번째 구성 요소는 턴 수준 중요도 보정이다. 토큰 비율 ρ_{t,i}=πθ(a_{t,i}|h_{t,i})/π(a_{t,i}|h_{t,i})와 완전한 턴 비율 ρ_t=∏ρ_{t,i}를 정의할 때, 모든 MAE 어드밴티지에 같은 미분 가능한 ρ_t를 곱하면 비클리핑 합에서 중심화된 국소 보정이 상쇄된다. 이를 피하려고 다른 토큰 비율에 stop-gradient를 걸어 ρ̃_{t,i}=ρ_{t,i} sg[∏_{j≠i}ρ_{t,j}]를 만든다. 순전파에서는 모든 토큰이 완전한 턴 비율 ρ_t를 갖지만, 그래디언트는 ρ_t 곱하기 자기 토큰의 로그확률로 남는다. 클리핑된 대리 목적 min(ρ̃ A_MAE, clip(ρ̃,1−ε,1+ε) A_MAE)을 최대화하므로, 전방 가중치와 클리핑은 턴 스케일에서, 각 토큰의 신용은 토큰 스케일에서 작동한다. critic은 VAPO의 decoupled GAE처럼 λ_critic=1로 두어 종료 반환 R(τ)을 직접 회귀한다.

전제와 한계

실험은 Qwen3-4B-Thinking과 Qwen3-30B-A3B-Instruct를 검색(BrowseComp-Plus, GAIA, HLE), Claw-Eval, Automation Bench에서 평가한다. 학습은 검색 300스텝, Claw-Eval 300스텝, Automation Bench 200스텝이며 Base, GRPO, GSPO, PPO, VAPO, SAO와 비교한다. 표 1에서 MPO는 두 모델 크기 모두 아홉 개 지표에서 보고된 최고 점수를 낸다. 각 열의 가장 강한 비-MPO 기준선 대비 검색 pass@1은 4B에서 BrowseComp-Plus·GAIA·HLE 각각 4.33, 3.85, 0.66점, 30B-A3B에서 3.59, 3.80, 0.12점 높다. GAIA pass@3는 두 크기에서 5.11점과 5.90점, Claw-Eval pass^3는 0.95점과 1.12점 개선된다. 4B의 pass@32는 BrowseComp-Plus 75.90, GAIA 69.90, HLE 34.00으로 GRPO와 PPO 중 더 강한 쪽보다 각각 3.61, 5.82, 5.80점 높다. 30B-A3B의 테스트 시점 이득은 벤치마크와 샘플링 예산에 따라 달라진다고 저자들은 밝힌다.

중요도 보정을 턴 단위에서 토큰 단위로 바꾸면 모든 보고 점수가 떨어진다. 검색 pass@1 하락은 4B에서 BrowseComp-Plus·GAIA·HLE 각각 2.36, 3.12, 1.03점, 30B-A3B에서 2.05, 2.19, 0.58점이다. 토큰 중요도만 써도 MAE는 두 크기의 검색 여섯 지표 모두에서 PPO를 앞서므로 다중 스케일 신용 할당 자체의 기여가 있고, 완전한 턴 중요도 보정이 그 위에 추가 이득을 준다. 하이퍼파라미터 기준값은 (λ, λ_intra, β)=(0.80, 0.95, 1.00)이다. λ=0.85는 pass@1을 1.72, 2.21, 1.05점 낮추고, λ=0.60도 성능을 낮춘다. λ_intra=0.90은 1.83, 1.55, 1.77점 낮추며, λ_intra=1도 0.95보다 여섯 지표가 모두 나빠지고 BrowseComp-Plus pass@1이 0.41점 떨어진다. β=0은 턴 브로드캐스트만으로도 PPO보다 pass@1이 0.95, 2.49, 0.66점 높지만, β=1 대비로는 6.28, 5.27, 2.04점 낮다. β=0.50은 일부 회복하고 β=1.00이 가장 좋으며 β=1.50, 2.00은 더 나빠진다.

개발자 관점에서 이 논문은 멀티턴 에이전트 RL에서 보상이 최종 결과에만 붙는 경우, 시퀀스 하나에 어드밴티지를 공유하는 GRPO식 구현과 토큰만 보는 PPO식 구현 사이의 빈틈을 메우는 설계를 준다. 구현에서는 턴 경계, 턴별 로그확률 곱, 환경 토큰 제외, 유효 어시스턴트 토큰 마스크, 완전한 턴 비율의 stop-gradient, 클리핑 전후의 비율 의미를 먼저 맞춰야 한다. 특히 완전한 턴 비율은 토큰 수가 길면 곱이 작아져 수치적으로 불안정할 수 있으므로 로그 공간 계산과 배치 정규화 시점을 확인해야 한다. 턴 감쇠 λ와 토큰 감쇠 λ_intra를 같은 값으로 두지 말고 별도로 튜닝하라는 것도 실무적으로 중요하다. 평가는 pass@1만 보지 말고 pass@k로 추가 샘플이 실제 문제 해결을 늘리는지 확인해야 한다.

한계와 전제도 분명하다. 이론 분석은 고정 턴 수평선 T+1, γ=1, 유한한 보상, 손실 없는 토큰 세분화, 동일한 보상·정지 규칙을 가정하며 중요도 비율에는 공통 지지 조건을 둔다. 턴 간 분산이 턴 내 분산보다 크다는 관찰은 검색 에이전트 실행 하나의 8개 체크포인트 배치에서 나온 것이라 모든 에이전트 과제로 일반화된다고 단정할 수 없다. 학습 동역학과 ablation은 설정당 1회 실행으로 보고되어 실행 간 분산을 추정하지 못한다. critic 설명 분산이 MPO에서 더 높다는 해석도 정책 학습과 critic 적합의 상호작용일 뿐 인과적 개선을 분리하지 못한다고 저자들이 직접 단서를 붙인다. 30B-A3B의 테스트 시점 이득이 벤치마크와 예산에 의존한다는 점도 실무 적용 전에 확인할 부분이다.