ProAS가 에이전트 RL의 균일 크레딧 문제를 단계별 어드밴티지로 푼다
ProAS: A Progress-Aware Advantage Shaping Framework for Multi-Turn Agentic Reinforcement Learning
무엇인가
이 논문은 다중 턴 LLM 에이전트를 강화학습으로 훈련할 때 GRPO 같은 critic-free 알고리즘이 궤적 단위 어드밴티지를 모든 행동에 똑같이 전파하는 문제를 다룬다. 저자들은 이를 균일 크레딧 할당 딜레마라고 부른다. 긍정 어드밴티지가 붙은 선호 궤적에서는 문맥을 오염시키는 구조적 무의미 행동까지 강화하고, 부정 어드밴티지가 붙은 비선호 궤적에서는 LLM의 자기회귀적 특성상 뒤늦은 이탈이 앞선 행동에서 비롯될 수 있는데도 모든 행동을 똑같이 억제한다. 실제로 성공한 GRPO 궤적에도 무의미 행동이 ALFWorld 41.6%, WebShop 39.6% 포함됐고, 실패 궤적의 비진전 행동은 93.1%, 76.1%에 달했다. ALFWorld에서 4단계 무의미 행동을 문맥에 넣자 기대 성공률이 82%에서 58%로 떨어졌고, 실패 궤적에서 미래 드리프트가 큰 행동을 억제할수록 회복 성공률이 24%, 16%, 10%, 0%로 나타났다.
어떻게 동작하나
ProAS의 기반은 Agentic Reference Graph다. 성공 궤적에서 얻은 하위 목표를 정점으로, 하위 목표 사이의 유효한 상태-행동 전이를 간선으로 하는 DAG다. 무효 전이와 자기 루프를 제거해 그래프를 순수하게 유지하고, 순서는 있지만 내부 원자 요구가 순열 불변인 경우 상태 동등류로 묶는다. 훈련 중 새 성공 궤적이 검증되면 새 상태와 간선을 합집합으로 추가해 그래프를 온라인 진화시킨다. 각 스텝은 두 가지로 주석된다. Rea_t는 해당 전이가 간선에 존재하는지, PA_t는 유효 전이이면서 이전 궤적에 없던 ARG 상태로 이동하는지다. 비진전 행동은 명시적 오류와 유효하지만 정체된 행동을 모두 포함한다.
무엇과 다른가
ProAS는 이 주석으로 궤적 어드밴티지 A_i를 스텝별 A_i,t로 비대칭 재형성한다. A_i가 양수이면 Rea_t를 곱해 무의미 행동의 로컬 어드밴티지를 0으로 만든다. 이것이 Masking Unreasonable Incentives다. A_i가 음수이고 균일 어드밴티지를 공유하는 스텝 t에는 D_i,t를 평균 미래 드리프트로 나눈 값에 A_i를 곱한다. D_i,t는 t부터 궤적 끝까지의 비진전 행동 수를 모두 세는 Future-Drift다. 이것이 Asymmetric Penalty Redistribution이며, 뒤에 큰 정체를 부르는 초기 핵심 행동에 더 무거운 패널티를 준다. 나머지는 A_i를 유지한다. critic을 추가하지 않고 기존 그룹 기반 RL의 어드밴티지 계산만 바꾸는 플러그인이다.
어떻게 쓰나
실험은 ALFWorld와 WebShop, Qwen2.5-1.5B-Instruct와 7B-Instruct, 150 RL 스텝, 10스텝마다 검증으로 진행됐다. 베이스라인은 GRPO, DAPO, GiGPO, MiGPO, PPO, SFT, GPT-5.6-Sol이다. GiGPO+ProAS는 ALFWorld에서 1.5B 91.9%, 7B 94.3% 성공률을 냈다. WebShop에서는 1.5B에서 DAPO+ProAS와 GiGPO+ProAS가 66.7%, 7B에서 GRPO+ProAS가 70.8%를 기록했다. GRPO+ProAS는 ALFWorld 1.5B에서 16.7포인트, 7B에서 8.4포인트를 올렸고, DAPO+ProAS는 WebShop 1.5B에서 9.4포인트, GRPO+ProAS는 7B에서 3.1포인트를 올렸다. 수렴 속도는 최대 2.44배 빨라졌고, 1.5B 평균 약 1.5배, 7B는 ALFWorld 평균 2.2배, WebShop 평균 1.7배였다. 94.3%는 GPT-5.6-Sol보다 15.4포인트 높고, 1.5B WebShop 66.7%는 MiGPO보다 13.1포인트 높다. SFT보다 ALFWorld에서 12.2, 14.4포인트 높고, PPO보다 ALFWorld 5.5~18.7포인트, WebShop TS 4.1~12.2포인트, SR 3.4~11.5포인트 높다. WebShop에서 GPT-5.6-Sol은 21.9% SR에 그쳤다.
전제와 한계
구성 요소 분해에서 MUI와 APR은 각각 필요하고 상호 보완적이다. 보상 형성 방식 PR은 ProAS보다 ALFWorld 14.1, WebShop 3.4포인트 낮았다. MUI를 끄면 15.4, 0.8포인트, APR을 끄면 3.7포인트와 WebShop TS 1.2포인트 떨어졌다. 단순 마스킹 변형은 14.1, 0.8포인트, 접미사 길이 휴리스틱은 5.5, 1.6포인트 뒤졌다. ARG ablation에서는 무작위 라벨이 ALFWorld 39.3, WebShop 15.4포인트 붕괴를 냈다. 40%를 잘라낸 불완전 ARG에서도 GRPO보다 ALFWorld 7.0포인트 높았지만, 온라인 진화를 끄면 불완전 ARG에서 5.2, 5.4포인트 추가 하락했고 깨끗한 ARG에서도 ALFWorld 87.0%에서 82.8%로 떨어졌다. 교사 모델로 만든 증류 ARG로도 ALFWorld 83.6%, WebShop 64.8%를 내며 GRPO보다 13.3, 7.8포인트 높았다.
개발자 입장에서 ProAS는 모델 구조를 바꾸는 기법이 아니라 GRPO, DAPO, GiGPO 같은 그룹 기반 RL 루프에 끼워 넣는 어드밴티지 후처리 모듈이다. 이미 성공 궤적과 하위 목표, 상태 전이 로그를 갖고 있는 웹 내비게이션, GUI 조작, 도구 호출 에이전트라면 단계별 유효성 및 진전 여부를 그래프로 관리해 학습 신호를 세분화할 수 있다. 다만 구현 전에 상태 동등성 판정 기준과 ARG 초기화 비용, 새 성공 궤적으로 그래프를 갱신하는 파이프라인을 먼저 정해야 한다. 무의미 행동을 잘못 분류하면 긍정 궤적의 학습 신호가 0이 될 수 있으므로 로그와 주석 품질을 모니터링해야 한다.
논문은 별도 한계 절을 두지 않지만, 결론과 실험 설정에서 전제가 드러난다. ARG는 공식 주석이나 미리 수집한 성공 궤적에서 초기화되며, 깨끗한 ARG가 필수적이고 무작위 라벨에서는 성능이 크게 무너진다. 불완전하거나 증류된 ARG에도 견고하다고 주장하지만, 온라인 진화를 끄면 성능이 하락하고 깨끗한 ARG에서도 정적 그래프는 ALFWorld 성공률이 87.0%에서 82.8%로 낮아진다. 평가는 ALFWorld와 WebShop, Qwen2.5 1.5B와 7B, 150 RL 스텝에 한정되어 다른 환경과 모델 규모로의 일반화는 원문에서 검증되지 않았다.