EnvSched가 환경 단위 스케줄링으로 에이전트 RL 비용을 줄인다

무엇인가

이 논문은 언어 에이전트의 강화학습에서 롤아웃 생성·검증 비용이 환경 수와 함께 커지는 문제를 다룬다. 기존 온라인 과제 선택은 프롬프트나 과제 난이도, 과거 보상을 주로 봤지만, 에이전트에서는 환경이 도구, 초기 상태, 전이 규칙, 검증기를 정하므로 같은 과제 표현이라도 학습 신호가 달라진다. 저자들은 이를 환경 수준 데이터 관리로 정식화하고, 환경-과제 쌍을 조직·평가·스케줄링 대상으로 삼는다.

어떻게 동작하나

핵심 자료구조는 환경-과제 쌍을 노드로 두는 이중 관계 그래프다. 같은 환경 안의 간선은 과제 의미와 구체적 도구·상태·검증기 구조를 비교하고, 환경 사이 간선은 도구명·필드명·엔터티명·목표값을 제거한 추상 실행·보상 구조를 비교한다. LLM이 과제 지시문, 초기 상태, 도구 설명, 검증기에서 필요한 연산과 선행조건, 실행 의존성, 보상 검사 관계를 뽑고, 같은 환경 비교에는 6개 TF-IDF 뷰, 환경 간 비교에는 범주화된 연산·조건의 코사인 유사도를 쓴다. 기본 이웃 수는 환경 내 6개, 환경 간 12개이며 유사도는 학습 중 고정되고 노드 이력과 관측 이웃만 변한다.

무엇과 다른가

각 노드는 평균 보상, 그룹 내 보상 분산, 평균 보정 분산을 이력으로 저장한다. 스케줄러는 오래된 관측을 할인하고 전역 기준으로 보정한 뒤, 두 관계 유형으로 이웃 통계를 전파해 그래프 사전분포를 만들고, 대상 과제 자체 이력과 가중 결합해 현재 정책에서의 보상 분산을 예측한다. 이 예측 분산은 장·단기 이력 비교로 보정되어 백분위 점수 q가 되고, 배치의 절반은 커버리지, 절반은 활용에 배정된다. 커버리지는 현재 배치의 환경 커버리지, 누적 환경 노출, 과제 관측 횟수를 사전순으로 우선해 덜 관측된 환경·과제를 고르고, 활용은 q에 반복 선택 할인 계수를 곱해 정보량 큰 과제를 고른다. 공유 배치를 탐욕적으로 채우며 선택된 과제와의 유사도에 페널티를 주고 환경 쿼터와 연속 선택 제한을 둔다. 후보 적격성에는 진척도 필터와 식별자 필터도 붙는다. 진척도 필터는 추정 진척이 양수가 아닌 과제를 활용 단계에서 일시 제외하되 커버리지 기회는 남기고, 식별자 필터는 의심스러운 보상 생성 행동을 고정 행동 재생으로 확인해 양 단계에서 제거한다.

어떻게 쓰나

실험은 EnvScaler의 51개 실행 환경, 2,550개 과제에서 Qwen3-Thinking 1.7B·4B·8B·30B-A3B를 GRPO로 학습해 BFCL-v3 Multi-Turn, τ-Bench, ACEBench-Agent로 평가했다. 배치는 64개 환경-과제 쌍, 쌍당 8회 롤아웃(총 512 궤적), 200 스텝, 커버리지 비율 0.5다. 200스텝에서 EnvSched는 모든 모델 크기에서 랜덤 스케줄링보다 세 벤치마크 전체 점수를 높였다. 4B는 BFCL-v3 28.83에서 31.88, τ-Bench 37.78에서 41.01, ACEBench-Agent 56.00에서 58.00이었고, 8B는 각각 +4.00, +3.03, +3.34, 1.7B는 +1.96, +2.02, +2.66, 30B-A3B는 37.79·54.75·70.67로 랜덤 대비 +3.92·+3.03·+2.67이었다. 40스텝만으로도 Qwen3-8B가 세 벤치마크 평균 48.81을 기록해 랜덤 스케줄링이 120스텝에 도달한 최고 점수를 넘었다.

전제와 한계

프롬프트 단위 스케줄러인 DPS와 LEEPS는 환경을 선택 모델에 넣지 않아 일관된 이점을 내지 못했다. DPS는 4B τ-Bench에서 36.77로 랜덤 37.78보다 낮았고, LEEPS는 8B ACEBench-Agent에서 54.67로 랜덤 55.33보다 낮았다. Qwen3-4B 분석에서는 평균 그룹 내 보상 분산이 0.03208에서 0.04290으로 34% 올랐고 중앙값은 44% 올랐으며 중앙 보상은 거의 유지됐다. 배치당 환경 커버리지는 36.53에서 45.96으로 26%, 도구 커버리지는 413.41에서 478.39로 16% 늘었다. 절제 실험에서 커버리지만 쓰면 환경은 51.00개로 넓지만 분산이 0.0357로 낮고 성능이 나빠졌고, 활용만 쓰면 분산은 0.0442로 높지만 환경이 33.95개에 그쳐 더 나빠졌다. 전체 EnvSched는 구성 실험 중 BFCL-v3가 가장 높았고 ACEBench-Agent에서는 환경 내 간선만 쓴 변형과 동률이었으며, 환경 간 간선만 쓴 변형은 τ-Bench에서는 전체와 같았지만 BFCL-v3와 ACEBench-Agent에서 더 낮았다. 두 관계 중 하나만 써도 전체 그래프보다 분산이 낮아, 보상 차별화와 환경 커버리지가 상보적이라는 주장을 뒷받침한다.

개발자에게 이 논문은 에이전트 RL 파이프라인에서 무엇을 학습할지를 프롬프트 큐가 아니라 환경-과제 단위의 스케줄러로 관리하라는 설계 지침을 준다. 실행 환경이 도구·상태·검증기를 결정하는 벤치마크나 사내 에이전트 학습에서, 보상 분산이 큰 과제와 덜 관측된 환경을 한 배치에 섞는 방식으로 롤아웃 예산을 배분할 수 있다. 다만 스케줄러가 환경 구조와 검증기를 읽어 그래프를 만들어야 하므로, 환경 메타데이터와 과제 명세가 정리되어 있지 않으면 이식 비용이 든다. 논문은 추가 파일럿 롤아웃 없이 기존 롤아웃 이력만 재사용하고, 2,550과제 규모에서 온라인 선택이 200스텝 총 6,985.94초, 스텝당 34.93초로 Qwen3-4B H100 스텝 약 25분의 2.3% 수준이라고 보고한다.

원문은 별도의 한계 절을 두지 않는다. 대신 저자들이 밝힌 전제는 분명하다. 방법은 실행 환경의 도구·상태·전이·검증기 구조가 과제 명세와 함께 제공되고, LLM이 추출한 연산 설명과 고정된 TF-IDF·추상 유사도가 스케줄링 품질을 좌우한다는 전제 위에 있다. 실험도 EnvScaler의 51개 환경·2,550개 과제와 Qwen3 계열, 세 개 벤치마크, 고정 배치·롤아웃 예산에 한정된다. 초기 배치 민감도는 100회 7스텝 실험에서 초기 분산 상·하위 그룹 격차가 1스텝 뒤 9.8%, 7스텝 뒤 2.8%로 줄어든다고 보고했고, 이웃 크기를 절반·두 배로 바꾼 200스텝 실험에서도 최대 편차가 BFCL-v3 0.96, τ-Bench 0.81, ACEBench-Agent 1.33%포인트에 그쳤다. 이는 제시된 범위 안의 안정성이지, 다른 환경군이나 검증기가 없는 설정까지 보장하는 결과는 아니다.