남은 토큰 수를 진척도로 삼아 다중 턴 에이전트의 단계별 학습을 개선한다

무엇인가

다중 턴 에이전트를 검증 가능한 보상으로 강화학습할 때 가장 큰 걸림돌은 보상이 희소하고 지연된다는 점이다. 긴 의사결정 시퀀스가 끝난 뒤에야 성공/실패 신호 하나가 들어오므로, 어떤 스텝이 도움이 됐고 어떤 스텝이 해가 됐는지 알기 어렵다. 기존의 스텝 단위 크레딧 할당은 같은 롤아웃 그룹 안에서 상태를 매칭해 행동을 비교하는 방식인데, 개방형 상호작용에서는 정확한 상태 일치가 드물고 유사도 기반 그룹핑은 서로 다른 의사결정 조건의 상태를 섞어 노이즈를 만든다. 스텝을 직접 채점하는 방법은 값비싼 외부 평가자, 사람의 스텝 주석, 추가 롤아웃, 또는 과제별 휴리스틱을 요구한다. 저자들은 여기서 질문을 던진다. 현재 롤아웃 그룹의 증거를 넘어서 각 행동을 평가할 수 있는, 재사용 가능한 진척도 신호를 평범한 에이전트 궤적에서 학습할 수 없을까.

어떻게 동작하나

제안하는 감독 대상은 Token-to-Go(TTG), 즉 과제 완료까지 앞으로 생성해야 할 토큰 수다. 기록된 궤적에서 어시스턴트가 생성한 토큰(추론, 도구 호출, 최종 답변 포함)만 세고 환경 관측과 이미 지나간 프리픽스 토큰은 제외한다. 성공 궤적의 각 프리픽스에는 남은 토큰 합이 라벨로 붙고, 실패 궤적에는 완료 라벨 0이 붙는다. 이 라벨은 이미 저장된 궤적에서 추가 비용 없이 나오며, 서로 다른 모델 계열·크기·성능 수준의 정책 궤적을 모아 학습하기 때문에 특정 액터의 행동이 아니라 공유된 추정치가 된다. 진척도 측정기 f(h)는 완료 여부 이진 추정 b̂와 음이 아닌 잔여 작업량 추정 v̂를 출력하며, 먼저 SFT로 출력 형식과 초기 매핑을 가르친 뒤 GRPO로 정제한다. 정제 보상은 성공을 맞히면 0.2+0.8u(v̂,v), 실패를 맞히면 1, 그 외에는 -1이고, u는 두 값의 상대 오차를 1에서 뺀 토큰 정확도다. 학습이 끝난 측정기는 액터 최적화 동안 동결된다.

무엇과 다른가

액터 학습에서 이 동결된 측정기는 각 상태를 채점해 비용으로 바꾼다. 완료 추정이 성공이면 v̂, 실패면 고정 상수 C를 주고, 궤적 종료 시점은 성공이면 0, 실패나 잘림이면 C다. 행동의 크레딧 신호는 연속한 두 상태의 비용 차이 Δ=c_t-c_t+1, 즉 추정된 남은 작업량의 감소폭이다. 이때 궤적 어드밴티지 A_i가 양수면 Δ가 양수인 스텝에 더 많은 양의 크레딧을, A_i가 음수면 Δ가 음수인 스텝에 더 큰 음의 크레딧을 준다. 이 할당 질량을 균등 분배와 ρ=0.2로 섞고(q=ρ/T+(1-ρ)m/Σm), 토큰 평균이 1이 되도록 정규화한 뒤 배수 상한 M=5로 자른다. 최종적으로 각 토큰의 어드밴티지는 A_i에 이 가중치를 곱한 값이 된다. 중요한 점은 보상 자체를 바꾸지 않고, 궤적 어드밴티지의 부호와 토큰 평균 스케일을 보존한 채 스텝 간 배분만 재조정한다는 것이다. 액터 손실은 GRPO와 같은 클리핑 손실(η_low=0.2, η_high=0.28, 음의 어드밴티지에 이중 클리핑 d=3)을 쓰므로, DeltaTTG가 바꾸는 것은 이 손실 안의 어드밴티지 할당뿐이다.

어떻게 쓰나

실험은 Qwen3-4B와 Llama-3.1-8B-Instruct 두 백본에서 수행했고, 텍스트 상호작용(ALFWorld), 정보 탐색(PaperSearchQA), 복잡한 엔지니어링 과제(AgentWorldModel)용으로 측정기를 각각 하나씩 학습해 두 백본에서 재사용했다. 측정기는 모두 Qwen3-4B-Instruct-2507에서 초기화했다. 비교 대상은 ReAct, GRPO, DAPO, GiGPO, HGPO다. ALFWorld, PaperSearchQA, BFCLv3에서 DeltaTTG는 두 백본 모두 최고 평균 점수를 냈다. Qwen3-4B에서 72.86 대 최강 베이스라인 70.41, Llama-3.1-8B-Instruct에서 66.49 대 61.69다. 16개 오픈 백본 지표 중 13개에서 동률을 포함한 최고 평균을 기록했다. 가장 큰 향상은 BFCLv3 도구 사용에서 나왔는데, Qwen3-4B로 Multi-Turn을 최강 RL 베이스라인 대비 4.8점 올렸고, Llama-3.1-8B-Instruct로는 Non-Live와 Live를 각각 7.6점, 9.0점 올렸다. 반면 Hallucination/Irrelevance에서는 두 백본 모두 최강 베이스라인에 뒤졌다. 샘플 효율도 개선되어, ALFWorld Seen에서 Qwen3-4B 기준 DeltaTTG는 75스텝에서 약 80% 테스트 성공률에 도달한 반면 GiGPO는 약 125스텝이 필요했고, 이는 약 40% 적은 최적화 스텝에 해당한다.

전제와 한계

측정기 자체에 대한 분석도 제시된다. AgentProcessBench의 스텝 품질 주석으로 평가했을 때 중립 스텝을 제외한 무작위 추측의 기대 정확도는 50%, 직접 프롬프팅은 50.83%인데 TTG 감독은 56.91%였다. 최종 수익을 감독하는 Future Score, 남은 스텝 수를 감독하는 Step-to-Go와 비교해도 TTG가 검증·테스트 분할 모두에서 가장 높은 스텝 풀링 Overall 정확도를 보였다. 추론 시 활용도 가능하다. ALFWorld에서 하나의 고정 측정기가 Qwen3-1.7B, 4B, 8B, 14B 액터를 재학습 없이 안내했고, 각 스텝에서 네 개 후보 행동을 별도 환경 분기에서 시험 실행한 뒤 측정기가 추정 진척이 가장 큰 행동을 고르게 했을 때 자연 롤아웃과 무작위 선택보다 성공률이 높고 평균 상호작용 스텝이 적었다. ALFWorld로만 학습한 측정기를 PaperSearchQA 액터 최적화에 그대로 쓴 경우에도 GRPO를 Original, Paraphrased, Overall에서 앞섰다. 비용 측면에서는 고정 150스텝 ALFWorld 예산에서 DAPO가 GRPO의 2.7배 GPU 시간을 쓰는 반면 DeltaTTG는 GRPO와 비슷한 비용으로 같은 성공률을 냈고, ALFWorld 측정기 학습에 10.45 GPU 시간이 들어가지만 여러 액터 학습에 재사용되어 분산된다.

실무 관점에서 이 논문이 흥미로운 지점은 보상 함수를 건드리지 않는다는 것이다. 이미 돌려둔 궤적 로그만 있으면 TTG 라벨을 만들 수 있고, 측정기는 도메인당 하나만 학습해 여러 모델 크기와 계열에 재사용할 수 있다. 에이전트 RL 파이프라인에 프로세스 리워드 모델을 새로 붙이는 대신, 기존 GRPO 학습 루프에 동결된 채점기 추론을 한 번 끼워 넣는 형태로 통합된다는 뜻이다. 다만 도입 전에 확인할 것은 세 가지다. 첫째, 남은 토큰 수가 진척도의 대리 지표로 타당한지는 도메인에 따라 다르다. 같은 상태에서 좋은 행동이 평균적으로 더 적은 토큰을 남긴다는 가정이 성립해야 한다. 둘째, 실패 상태 비용 C는 데이터셋별 상수로, 성공 궤적에서 완료 추정이 뒤집히는 경우가 드물어 대부분의 스텝 배분에 영향을 주지 않지만 저자들도 C에 대한 강건성을 입증하지는 못했다고 밝힌다. 셋째, 측정기 추론이 롤아웃과 액터 업데이트에 더해지는 추가 비용이라는 점을 감안해 배치 처리와 캐싱을 설계해야 한다.

저자들이 명시한 한계는 세 가지다. 평가가 두 액터 모델 계열과 몇 개 도메인에 그쳐, 더 넓은 전이에는 추가 검증과 적응이 필요할 수 있다. C의 영향이 대부분의 성공 궤적에서 크지 않고 세 훈련 도메인에 과제별 값을 쓴 결과가 모든 RL 베이스라인보다 높았지만, 이것이 C에 대한 강건성을 확립하지는 않으며 향후 더 자세한 민감도 분석이 필요하다고 말한다. 또한 보고된 표준편차는 하나의 학습된 체크포인트를 반복 평가한 것이지 독립적인 학습 실행이 아니어서, 학습 변동성은 정량화되지 않았다.