CoPE는 성공 궤적의 미래 행동 예측으로 언어 에이전트 학습을 가속한다

무엇인가

언어 에이전트를 강화학습으로 학습시킬 때 가장 큰 병목은 긴 호라이즌 롤아웃 비용이다. 표준적인 에이전트 RL인 GRPO는 궤적 끝의 스칼라 보상 하나만 학습 신호로 쓰기 때문에, 중간 단계의 행동과 관찰이 담고 있는 감독 신호가 거의 버려진다. 기존 연구는 이를 두 가지 보조 타깃으로 활용해 왔다. 각 단계의 성공 확률을 추정하는 가치 타깃과, 환경의 다음 관찰을 맞추는 관찰 타깃이다. 논문은 둘 다 복잡한 에이전트 환경에서 잘 만들기 어렵다고 지적한다. 가치 타깃은 궤적 전체의 결과 하나에서 파생되므로 모든 단계가 같은 라벨을 받고, 그 무작위성은 대부분 그 단계가 아니라 이후의 행동과 관찰에서 온다. 관찰 타깃은 HTML DOM 트리나 터미널 로그처럼 길고 노이즈가 많아 손실이 의사결정과 무관한 토큰 재현에 쏠리며, 한 단계 앞만 커버한다.

어떻게 동작하나

CoPE는 세 번째 종류의 타깃, 다단계 행동 타깃을 제안한다. 성공한 온폴리시 궤적에서 각 히스토리 h_t 뒤에 실제로 이어진 K+1개 행동 청크 a_{t:t+K}를 정답으로 삼아, 정책 백본이 이를 생성하도록 학습한다. 중간 관찰은 주변화되어 사라진다. 이 목적의 모집단 최적해는 Pr(a_{t:t+K} | h_t, success), 즉 히스토리와 에피소드의 최종 성공에 동시에 조건화된 사후(hindsight) 분포다. 성공은 각 단계에 붙는 라벨이 아니라 궤적을 선택하는 조건으로 들어간다. 그래서 세 가지 이점이 생긴다. 행동 타깃은 단계마다 고유하고(성공 궤적이 각 단계에 그 단계 이후 실제로 이어진 행동을 라벨로 준다), 의사결정과 직접 관련되며(행동은 짧다), 여러 단계를 가로지른다.

무엇과 다른가

구현은 백본 하나를 공유한다. 행동 정책 π_θ(a_t|h_t)와 예측기 p_θ(a_{t:t+K}|h_t)가 같은 LLM이다. 예측기는 히스토리에 예측 지시문을 덧붙여 청크를 자기회귀적으로 생성하는 분포로 구현된다. 학습 손실은 GRPO 손실에 예측 손실을 더한 L(θ) = L_GRPO(θ) + λ·L_AF(θ)이고, L_AF는 성공한 롤아웃에만 걸리며 그룹 내 성공 궤적 수로 나눠 정규화한다(1/max(1,|S_x|)). 성공 필터링을 하지 않으면 실패 궤적까지 모방하게 되어 GRPO가 억제하는 행동을 강화하는 목적 충돌이 생긴다. 저자들은 이 목적의 최적해가 Pr_π(청크|h_t) × Pr_π(성공|h_t, 청크)에 비례함을 보인다. 즉 성공 필터링은 가치 가중 분포에서의 기각 샘플링이다. 또한 각 행동 a_t는 자신이 실행된 시점뿐 아니라 앞선 K개 히스토리에서 예측될 때도 감독되므로, 지연된 예측기들의 앙상블이 공유 표현을 통해 정책에 암묵적으로 흡수된다. 추론 시에는 예측 지시문 없이 한 번에 한 행동만 생성하므로 추가 비용이 없다.

어떻게 쓰나

실험은 시뮬레이션 환경 3개(ALFWorld, ScienceWorld, WebShop)와 실제 응용 2개(τ²-bench, AppWorld)로 구성된 5개 벤치마크에서 이뤄진다. Qwen2.5-7B-Instruct를 3개 시뮬레이션 환경과 τ²-bench에, 더 어려운 AppWorld에는 Qwen2.5-14B-Instruct를 쓴다. GRPO 대비 ALFWorld에서 5.0포인트, WebShop에서 12.5포인트 올라 77.0%, ScienceWorld에서 8.0포인트 올라 72.5% 성공률을 기록했다. τ²-bench 전체 성공률은 27.5%에서 28.7%로 오르는데, Retail에서 약 12포인트(17.5%→29.4%) 오르고 Airline에서는 26.2%→16.2%로 떨어진다. AppWorld는 normal split 41.67%→55.36%, challenge split 18.71%→22.54%다. 관찰 예측 보조 손실(ECHO, RWML)과 비교해도 세 시뮬레이션 환경 집계에서 최고이며, 더 강한 베이스라인보다 ALFWorld 1.0포인트, WebShop 평균 점수 4.4포인트·성공률 5.5포인트, ScienceWorld 성공률 5.0포인트 앞선다. 다만 ALFWorld 하위 과제 중 Cool과 Pick2에서는 ECHO나 RWML이 더 낫다. 샘플 효율은 AppWorld에서 GRPO 대비 1.6배, ScienceWorld에서 2.0배다. ScienceWorld에서 ECHO는 동일 성능 지점에 도달하는 데 53스텝과 114스텝이 필요해 CoPE가 1.7~1.9배 빠르고, CoPE는 86스텝에서 보상 0.6에 도달하는데 두 베이스라인은 150스텝 안에 도달하지 못한다. 오버헤드는 ScienceWorld 기준 학습 스텝당 평균 11% 추가이고, 롤아웃이 짧아져 측정된 엔드투엔드 스텝 시간은 GRPO보다 9% 줄어든다.

전제와 한계

절제 실험에서 예측 지평 K는 1, 2, 4를 비교해 K=2가 최고였고 K=4는 먼 미래 예측의 노이즈 때문에 약간 떨어진다. 계수 λ는 1e-4부터 1e-1까지 모두 GRPO보다 좋았고 주로 학습 속도를 조절할 뿐이며, 1e-2를 채택한다. 그룹 정규화는 성공 궤적 수에 비례해 커지는 그래디언트를 막아 그래디언트 노름 스파이크를 줄인다. 백본을 Qwen3-8B로 바꿔도 WebShop 점수 83.4→87.4, 성공률 64.0→72.5, ScienceWorld 점수 50.1→58.3, 성공률 61.5→71.5로 개선이 유지된다. 별도 LoRA 예측기로 후보 행동 8개를 재순위화한 실험에서는 명시적 예측이 GRPO를 +7.5/+3.0 끌어올리지만 CoPE에는 아무것도 더하지 못한다(−0.5). 예측이 담은 정보를 CoPE 정책이 이미 단일 포워드 패스로 갖고 있다는 증거다. 같은 취지로 성공 필터링 SFT는 −7.5, K=0(무효 행동 필터 없음)은 +2.0, K=0(필터 있음)은 +5.0, CoPE(K=2)는 +8.0으로, 지연 0 하나보다 지연 앙상블이 낫다는 순서를 보인다.

개발자 관점에서 이 논문은 긴 호라이즌 에이전트를 RL로 학습시키는데 롤아웃 비용이 병목인 팀에 직접 쓸모가 있다. 별도 월드모델이나 가치 모델, 사전학습 단계 없이 정책 백본 하나에 보조 손실만 더하면 되고, 추론 시 추가 비용이 없으며, 성공 궤적만 있으면 되므로 보상이 희소한 환경에 맞는다. 다만 성공 필터링이 전제이므로 초기 성공률이 극단적으로 낮으면 예측 신호가 거의 없다는 점, 성공 궤적에 남는 우회·비효율 행동까지 정답으로 학습한다는 점을 확인해야 한다. 조정할 하이퍼파라미터는 예측 지평 K, 손실 계수 λ, 그룹 정규화 적용 여부다.

저자들이 밝힌 가장 중요한 한계는 결과 조건부 모방(outcome-conditioned imitation)의 알려진 문제다. 성공 조건은 에이전트의 선택이 아니라 에피소드 전체에 걸리므로, 비슷하게 보이는 히스토리에 대한 타깃이 성공이 가장 쉬운 과제에서 주로 온다. τ²-bench Airline의 성능 하락을 이렇게 설명한다. Airline은 38%의 과제가 데이터베이스를 바꾸지 않고 해결되는데 Retail은 4.4%에 불과하고, 이 쉬운 과제들이 초기 학습에서 52% 성공하는 반면 데이터베이스 변경이 필요한 과제는 8.9%다. 그래서 성공 에피소드 대부분이 쉬운 쪽에서 나오고, 거절 같은 행동이 실제로 행동이 필요한 유사 과제로 전이되면서 타깃이 더 편향된다. GRPO는 이런 과제에서 실패한 거절이 음의 어드밴티지를 받아 이 루프에 덜 노출된다. 또한 K가 길어지면 중간 관찰을 보지 못하는 예측의 환원 불가능한 노이즈가 커진다는 점도 한계로 제시된다.