SERO가 오라클 실행 연속으로 장기 에이전트 RL의 감독 공백을 메운다

무엇인가

장기 호라이즌 에이전트 강화학습의 근본 제약은 학습 신호가 현재 정책이 실제로 방문한 미래에 묶인다는 점이다. 롤아웃 그룹이 유용한 행동에 도달하지 못하면, 크레딧 할당을 아무리 정교하게 만들어도 한 번도 만나지 않은 상태와 행동에는 양의 타깃을 줄 수 없다. GRPO나 RLOO 같은 그룹 기반 방법은 궤적 전체에 결과 기반 어드밴티지 하나를 배분하는 구조라 상호작용 지평이 길어질수록 이 문제가 커진다. 온폴리시 증류(OPD)와 그 멀티턴 변형들은 정책이 유도한 상태에서 교사 지도를 제공하지만, 감독의 중심이 교정 행동 하나, 교사 프리픽스, 또는 개입의 결과에 머물 뿐 오라클이 통제하는 미래 자체를 학습 궤적으로 쓰지는 않는다. 상호작용 환경에서는 교정을 실행하는 순간 다음 관측이 바뀌고 그 뒤의 결정도 함께 바뀌므로, 하류 전이를 직접 학습하지 않으면 교정의 장기적 효과가 감독되지 않은 채 남는다.

어떻게 동작하나

SERO(State-Rooted Executable Rollout Optimization)는 이 공백을 정책이 방문한 상태에 뿌리를 둔 실행 가능한 오라클 연속으로 채운다. 학습 반복은 세 단계로 진행된다. 먼저 기반 RL 알고리즘이 평소처럼 온폴리시 롤아웃을 모으고 원래 목적함수를 계산한다. 다음으로 온폴리시 궤적에서 사전 행동 상태 하나를 골라 해당 시뮬레이터 스냅샷을 별도 환경 복사본에 복원하고, 학습 전용 오라클이 남은 지평 동안 여러 스텝 상호작용한다. 마지막으로 오라클 행동들을 정책 지원도를 반영한 가중치로 최적화한다. 오라클 데이터는 보조 브랜치에서만 쓰이며 기반 방법의 리워드 통계, 어드밴티지, 중요도 비율에는 전혀 들어가지 않는다.

무엇과 다른가

실행 가능한 오라클 연속은 복원된 루트 s0O = st에서 출발해 ak* = O(skO), (sk+1O, rkO) = E(skO, ak*)를 반복해 얻는다. 오라클 행동이 매번 실제 환경에서 실행되므로 각 하류 타깃은 앞선 오라클 행동이 만들어낸 실제 관측에 조건화된다. 따라서 이 연속은 루트 상태에서 무엇을 해야 하는지만이 아니라, 그 교정을 실제로 수행한 뒤 이어지는 결정의 순서까지 보여준다. 오라클은 행동 선택에 학습 시 특권 정보를 쓸 수 있지만, 학습 정책은 정책이 볼 수 있는 상태에서만 최적화된다. 온폴리시 서픽스와 오라클 연속이 같은 복원 루트와 남은 지평을 공유하기 때문에 동일한 결정 지점에서 리턴을 비교할 수 있다.

어떻게 쓰나

깊은 오라클 상태는 앞선 오라클 행동을 따라야 도달할 수 있으므로 갈수록 오프폴리시가 된다. SERO는 이를 정책 도달 가능성 가중치로 다룬다. 동결된 행동 정책 πb가 각 오라클 명령의 길이 정규화 우도 zk를 계산하고, 가중치는 w0 = 1, wk = Π(j<k) zj로 누적된다. 즉 k번째 타깃의 가중치는 그 타깃에 이르는 오라클 프리픽스를 현재 정책이 얼마나 지지하는지를 나타낸다. 여기에 브랜치 수준 개선 게이트를 곱한다. 같은 남은 지평에서 온폴리시 서픽스 리턴 Gπ와 오라클 연속 리턴 GO의 차이 ΔG를 구하고, gr = vr · clip(ΔG/cR, 0, 1)로 자른다(이진 성공 리턴이면 cR = 1). 최종 보조 손실은 LSERO = (1/max(Nroot,1)) Σr sg[gr] Σk sg[wr,k] · ℓr,k(θ)이고, 전체 목적함수는 Ltotal = Lbase + λO · LSERO다. 브랜치 가중치와 도달 가능성 가중치 모두 그래디언트에서 분리되며, 기반 RL의 어드밴티지나 중요도 비율 보정을 건드리지 않는다. GRPO, GiGPO, HGPO, GraphGPO 어디에나 얹을 수 있다.

전제와 한계

실험은 ALFWorld와 WebShop에서 Qwen2.5-1.5B-Instruct와 Qwen2.5-7B-Instruct로 수행했다. ALFWorld는 분포 내·외 성공률(In-Success/Out-Success), WebShop은 태스크 점수와 엄격 성공률을 보고한다. 비교 대상은 프롬프팅(Qwen2.5, ReAct, Reflexion), PPO, RLOO, GRPO, GiGPO, GraphGPO, HGPO다. 오라클로는 ALFWorld 전문가 플래너와 WebShop 목표 메타데이터 오라클을 학습 시에만 사용했고, 실패 롤아웃이 하나 이상 있는 그룹에서 사전 행동 상태 하나를 루트로 뽑았으며 λO = 0.1을 기본값으로 썼다. 1.5B에서 GraphGPO+SERO는 ALFWorld를 90.63/88.02에서 95.83/91.67로, WebShop 점수/성공률을 87.27/77.93에서 88.90/79.27로 올렸다. HGPO+SERO는 ALFWorld를 92.19/87.24에서 94.53/90.10으로, WebShop 성공률을 73.70에서 77.47로 올렸다. 7B에서 GraphGPO+SERO는 ALFWorld를 91.67/76.30에서 95.57/87.50으로, WebShop을 89.77/80.47에서 91.93/83.67로 올렸고, HGPO+SERO는 ALFWorld를 94.01/90.89에서 94.53/91.41로, WebShop 성공률을 74.47에서 79.63으로 올렸다. 가장 큰 개선은 7B GraphGPO의 ALFWorld 미학습 분할에서 나온 11.20포인트다.

어블레이션은 Qwen2.5-1.5B와 GraphGPO 조합에서 수행했다. 루트 오라클 행동만 감독하는 Root-only는 GraphGPO 대비 ALFWorld 분포 내·외 성공률을 오히려 2.87/4.17포인트 떨어뜨렸고 WebShop에서는 거의 변화가 없었다. 반면 전체 연속을 균일 가중치로 학습한 Full-Flat은 ALFWorld 분포 내 94.79, WebShop 태스크 성공률 78.33까지 올라, Root-only 대비 ALFWorld 7.03/4.43포인트, WebShop 점수/성공률 0.33/0.60포인트를 개선했다. 여기에 프리픽스 도달 가능성 가중치를 적용한 완전한 SERO는 Full-Flat 대비 ALFWorld 분포 내 1.04포인트, 미학습 분할 3.39포인트, WebShop 점수 1.27포인트와 성공률 0.94포인트를 추가로 얻었다. 동일한 동결 오라클 뱅크에서 가중치 규칙만 다시 재생한 실험에서는 SERO가 88.02/85.94(분포 내/외)로, 균일 가중 85.42/84.64와 깊이 감쇠 기준선 87.24/82.55를 앞섰다. λO 민감도 실험에서는 [0.1, 0.5] 구간에서 성능이 안정적이었고, 1.0에서는 오라클 손실이 너무 강해 성능이 떨어졌으며 0.05에서는 특히 ALFWorld 미학습 과제에서 약했다.

개발자 관점에서 SERO는 환경 스냅샷을 저장하고 복원할 수 있는 시뮬레이터 기반 에이전트 학습에 적합하다. 학습 시에만 쓸 수 있는 오라클(전문가 플래너, 목표 메타데이터, 정답 시퀀스 등)이 있고 기존 그룹 기반 RL 파이프라인이 이미 돌아가고 있다면, 기반 크레딧 추정기를 바꾸지 않고 보조 손실 하나를 추가하는 형태로 얹을 수 있다. 추론 시에는 오라클과 환경 복원 장치가 모두 제거되므로 서빙 경로에 추가 비용이 없다. 도입 전에 확인할 것은 세 가지다. 스냅샷 저장·복원 비용이 롤아웃 처리량을 감당할 수 있는지, 오라클이 실제로 정책보다 나은 브랜치를 만들어내는지(개선 게이트가 0으로 잘리는 비율), 그리고 λO를 0.1~0.5 범위에서 태스크별로 튜닝할 여지가 있는지다.

원문이 제공된 범위에는 별도의 한계 절이 없다. 다만 방법 자체가 몇 가지 전제를 깔고 있다. 각 방문 상태에 대응하는 시뮬레이터 스냅샷을 저장하고 별도 환경 복사본에서 복원할 수 있어야 하며, 이는 상태 복원이 불가능한 실제 서비스 환경에는 그대로 옮기기 어렵다. 학습 전용 오라클이 존재해야 하고 그 품질이 감독의 상한을 결정한다. 또한 오라클 손실 가중 λO가 1.0이면 성능이 떨어지고 0.05면 특히 분포 외 과제에서 약해진다는 점이 보고되어, 보조 손실 강도를 태스크별로 조정해야 한다. 저자들은 오라클이 추론 시 사용되지 않는다는 점과 기반 RL의 리워드·어드밴티지·정책 비율이 온폴리시 궤적만으로 결정된다는 점을 명시적으로 강조한다.