AdaStep이 에이전트 강화학습의 스텝 신용 배분을 신뢰도에 맞춰 조절한다

무엇인가

장기 호흡(long-horizon) LLM 에이전트는 대개 에피소드 끝의 성공·실패 신호 하나로 학습된다. GRPO는 같은 프롬프트에 대한 여러 롤아웃의 평균 수익을 기준선으로 삼아 궤적 전체에 단일 어드밴티지를 부여하는데, 이 신호는 "그 에피소드가 성공했는가"만 말할 뿐 어느 결정이 성공이나 실패에 기여했는지는 구분하지 못한다. 그래서 실패한 궤적 안의 유용한 행동이 벌점을 받고, 성공한 궤적 안의 무의미한 행동이 강화되는 문제가 생긴다.

어떻게 동작하나

GiGPO는 이 문제를 앵커 상태(anchor state) 단위로 묶은 스텝 수준 그룹으로 보완한다. 같은 상태에서 나온 행동과 수익을 모아 그룹 평균을 상태 가치 기준선으로 쓰고, 각 샘플의 상대 어드밴티지를 계산해 전역 어드밴티지에 고정 계수 ω로 더한다. 논문은 이 국소 보정이 유한 샘플에서 추정되기 때문에 그룹마다 신뢰도가 다르다고 지적한다. 같은 상태·행동이라도 이후의 확률적 전이, 후속 행동, 할인된 보상 시점 때문에 어드밴티지 부호가 뒤집힐 수 있다는 것이다. 논문이 든 예에서 WebShop의 동일한 올바른 행동 click[three meat]은 짧은 궤적에서 +3.33, 긴 궤적에서 −1.51을 받는데, AdaStep은 이를 각각 1.07과 0.35로 바꿔 부호를 교정하고 격차를 줄인다. ALFWorld의 clean pot 1 with sinkbasin 1도 GiGPO에서 +4.13/−0.74였던 것이 0.86/−0.56이 된다.

무엇과 다른가

AdaStep의 핵심은 이 보정 강도를 그룹별로 정하는 것이다. 저자들은 관측할 수 없는 참 스텝 어드밴티지 A_S*를 추정 대상으로 두고, 추정값 A_S에 스칼라 w를 곱했을 때의 평균제곱오차를 최소화하는 문제를 세운다. 그 해는 w*(s) = E[A_S·A_S*|s] / E[A_S²|s]이며, 그룹 내 행동-수익 쌍이 상태 조건부로 i.i.d.이고 수익 분산이 유한하다는 가정 아래 분자와 분모가 각각 (N_s−1)/N_s·Var_a[Q(s,a)], (N_s−1)/N_s·Var(R|s)로 닫힌 형태를 갖는다. 공통 인자가 약분되면서 최종 계수는 w*(s) = Var_a[Q(s,a)] / (Var_a[Q(s,a)] + E_a[Var(R|s,a)]) ∈ [0,1], 즉 전체 수익 분산 중 "행동 선택 차이로 설명되는 몫"이 된다. 신호가 지배하면 1에 가까워져 국소 신용을 살리고, 하류 무작위성이 지배하면 0에 가까워져 억제한다. 논문은 또한 상태와 행동을 모두 조건으로 걸면 추정값에 1/N_s 크기의 편향이 생기지만 행동에 대해 주변화하면 사라진다는 점을 보여, 편향 제거가 아니라 재가중이 옳은 개입이라고 주장한다.

어떻게 쓰나

비용은 매우 작다. 계수는 그룹별 스칼라 연산만 필요하고, 비평자(critic)도 추가 롤아웃도 추가 모델 추론도 요구하지 않는다. WebShop·Qwen2.5-7B-Instruct 기준으로 GiGPO보다 신용 계산 시간이 약 1.0% 늘어나는 정도이며 HGPO보다는 오히려 빠르다.

전제와 한계

실험은 Qwen3-1.7B, Qwen3-4B, Qwen2.5-7B-Instruct 세 백본과 ALFWorld, WebShop, ScienceWorld 세 벤치마크에서 수행됐다. 비교 대상은 ReAct 같은 프롬프팅 기법과 GRPO, GiGPO, HGPO, PPO다. 논문은 AdaStep이 모든 모델-벤치마크 조합에서 HGPO와 GiGPO를 앞서고, GiGPO 대비 최대 +9.36점을 얻었다고 보고한다. 다만 본문에 제시된 표에는 벤치마크별 개별 수치가 옮겨져 있지 않아, 조합별 정확한 점수는 원문 표를 확인해야 한다. 표준편차 정규화를 켠 경우와 끈 경우 모두에서 GiGPO보다 높은 평균 성능을 보였고, 고정 계수 w를 0부터 키워가는 민감도 실험에서는 중간 정도의 국소 가중이 가장 좋고 과도한 가중은 성능을 떨어뜨렸으며 AdaStep이 모든 고정 계수보다 높았다.

실무 구현에서 주의할 지점도 논문이 명시한다. 스텝 그룹에 서로 다른 행동이 하나뿐이거나, 행동당 수익 관측이 하나뿐이거나, 수익이 모두 동일하면 계수를 추정할 수 없다. 수익이 동일한 그룹은 스텝 어드밴티지가 0이라 보정이 필요 없고, 나머지 비추정 가능 그룹에 대해서는 w=0, w=평균 계수, w=1 세 가지 기본값을 비교해 WebShop과 ALFWorld(Qwen2.5-7B-Instruct)에서 w=1이 가장 높은 성공률을 보였다. 즉 증거가 부족할 때는 원래 스텝 신호를 그대로 유지하는 편이 낫다는 결론이다. 또한 계수는 정규화 이전의 비정규화 그룹 통계로 계산하고, 표준편차 정규화를 쓸 경우 그룹 내 정규화를 먼저 한 뒤 같은 가중치를 곱한다. WebShop의 과거 앵커 상태 그룹 3,666개를 대상으로 한 진단에서는 AdaStep이 같은 행동에 부여되는 신용의 변동을 줄이면서 별도 표본으로 추정한 참조 어드밴티지에 대한 제곱오차도 가장 낮았다.

한계는 저자들이 결론에서 직접 밝힌다. 앵커 상태를 직접 매칭할 수 없는 연속 상태나 부분 관측 환경으로의 확장은 미해결 과제로 남아 있으며 부록 F에서 논의한다. 방법의 유도 자체도 상태 조건부 i.i.d. 가정, 유한한 수익 분산, 그리고 에피소드 말미의 이진 성공 신호라는 희소 보상 설정에 기대고 있다.