FOCUS는 롤아웃 예산을 비평가 오차가 큰 지점에 몰아 배분한다

무엇인가

장기 호라이즌 언어모델 에이전트는 저장소 이슈 해결, 웹사이트 과업 수행, 여러 라운드의 검색·읽기를 요구하는 질의응답처럼 수십에서 수백 번의 도구 호출에 걸쳐 과업을 수행한다. 검증 가능한 보상 기반 강화학습(RLVR)이 표준 접근이지만, 궤적이 길어지면 샘플링과 크레딧 배분 양쪽이 모두 비싸진다. 검증된 보상은 하나뿐인데 그 보상을 롤아웃 안의 모든 토큰에 분배해야 하고, 그중 상당수는 최종 결과에 거의 영향을 주지 않았다. 저자들이 던지는 질문은 명확하다. 한정된 롤아웃 예산을 어떻게 배분해야 중간 상태의 가치 추정을 가장 효율적으로 개선할 수 있는가.

어떻게 동작하나

FOCUS는 이 질문을 비평가 네트워크에 대한 능동 학습 문제로 재정의한다. 중간 상태마다 언어모델 이어쓰기를 반복 샘플링하는 비용이 크므로, 추가 증거가 가치 추정을 가장 많이 개선할 것으로 기대되는 상태에서만 선택적으로 분기하자는 것이다. 롤아웃 컨트롤러는 에피소드를 하나의 탐색 트리로 운영한다. 각 후보 상태에 대해 비평가 예측 v와 관측된 이어쓰기 결과 평균을 베타 사전분포(강도 κ, 중심 v)로 섞어 사후 평균과 예상 제곱오차를 계산하고, 그로부터 다음 한 번의 이어쓰기가 가져올 기대 MSE 감소 g(c̄)를 구한다. 후보 집합은 비종료 상태이면서 재개 가능하고 g가 양수인 노드로 제한되며, 노드당 동시 이어쓰기는 2개, 전역으로는 워커 용량만큼 허용된다. 비동기 실행 시에는 아직 진행 중인 이어쓰기 수를 반영한 유효 표본 수를 쓴다.

무엇과 다른가

수집된 증거는 두 갈래로 쓰인다. 먼저 Eq. 1처럼 자식 노드로부터 한 단계씩 백업한 재귀적 목표 Ḡ를 만들고, 이를 비평가 예측과 고정 가중치 κ로 섞어 정제된 가치 Ṽ를 얻는다. 저자들은 후손 결과를 그냥 평균 내지 않는 이유를 명시한다. 분기할 노드를 할당기가 직접 고르기 때문에 해당 노드 아래 리프는 더 이상 그 상태에서의 온-폴리시 표본이 아니라는 것이다. 다음으로 정제된 가치로 연속한 상태 사이 구간의 TD 잔차를 어드밴티지로 계산하고, 이를 PPO 클리핑 목적식에 넣되 정책이 생성한 과업·컨텍스트 관리 토큰에만 적용하고 환경 관찰과 조건 텍스트는 마스킹한다. 비평가는 백업 목표 Ḡ를 회귀 대상으로 학습해 다음 반복에 재사용된다. 실험 기본값은 γ=1, λ=0, κ=1이며, 일반 TD(λ) 확장은 부록에 있다. 이 구조는 컨텍스트 관리와 롤아웃 할당을 분리한 모듈형 인터페이스 위에서 동작하므로, 컨텍스트 압축(compaction) 경계를 자연스러운 구간 경계이자 가치·크레딧 계산 단위로 쓸 수 있다.

어떻게 쓰나

실험은 세 갈래다. 먼저 Qwen3.5-4B로 MATH 난이도 4~5에서 PPO·GRPO와 비교했는데, 8·16·24 업데이트 시점에서 FOCUS가 가장 높은 정확도를 보였고 32 업데이트에서는 GRPO에 정답 하나 차이로 뒤졌다. 같은 32 업데이트에서 평가 문항당 생성 토큰은 FOCUS 2,782개로 GRPO 5,747개, PPO 7,207개보다 훨씬 적었다. 본 실험은 DeonticBench(6,232개 과업 중 airline·sara-numeric·sara-binary 부분집합), BrowseComp-Plus(830개 테스트 과업을 498 학습·83 검증·249 홀드아웃으로 분할), LocBench(560개 실제 GitHub 이슈)에서 GRPO·VinePPO와 스텝당 생성 예산을 맞춰 비교했다. Qwen3.5-9B 기준으로 FOCUS는 DeonticBench 56.5(GRPO 52.4, VinePPO 49.4), BrowseComp-Plus 55.4(48.2, 46.6), LocBench 파일 단위 Acc@1/@5 72.4/81.6(70.1/80.5, 67.8/79.3)으로 세 벤치마크 모두 1위다. Qwen3.5-27B LoRA에서는 DeonticBench 76.3으로 74.3·74.9를 앞섰지만 격차는 줄었는데, 학습 전 27B 모델이 이미 73.4에서 출발한다는 점을 저자들이 함께 밝힌다.

전제와 한계

진단 실험은 두 가지를 확인한다. 상수 비평가와 랜덤 비평가를 각각 가정한 고정 감사 트리에서 FOCUS의 보정 절차는 랜덤 선택보다 MSE를 훨씬 효율적으로 줄였고, 비평가의 원값 잔차를 그대로 쓰는 방식은 성능이 나빴다. 즉 비평가가 거의 정보를 주지 않는 상황에서도 분산을 줄인다. 또한 LocBench 체크포인트마다 완료된 궤적 8개에서 MCTS 이어쓰기 16개를 뽑아 만든 목표와 비평가 값의 순위 상관을 재보니 학습이 진행되며 꾸준히 개선됐다. 절제 실험에서는 인컨텍스트 압축 연산자를 자체 put/get/scan/delete를 가진 인메모리 워크스페이스로 바꿔도 성능이 비슷해 특정 압축 구현에 묶여 있지 않음을 보였고, BrowseComp-Plus에서 정제 롤아웃을 제거하면 특히 학습 초반이 느려져 이 롤아웃이 핵심임을 확인했다. 자유형식 압축 프롬프트와 네 섹션 구조화 프롬프트 비교에서는 자유형식이 더 높은 피크를, 구조화가 더 꾸준한 개선을 보였다.

실무적으로 이 논문이 주는 힌트는 세 가지다. 첫째, 툴 호출이 많은 에이전트를 RL로 학습할 때 롤아웃 예산을 균등 분배하지 말고 '어디를 더 파보면 가치 추정이 좋아지는가'라는 기준으로 배분하는 발상 자체가 이식 가능하다. 둘째, 컨텍스트 압축 경계를 그대로 스텝 경계로 삼아 구간 단위 어드밴티지를 주는 방식은 이미 압축 기반 하네스를 쓰는 팀이라면 비교적 적은 변경으로 시도할 수 있다. 셋째, GRPO류 궤적 단위 그룹 크레딧에서 나타나는 후반부 도구 호출 붕괴(압축 직후 곧바로 제출하는 현상)를 FOCUS는 피했는데, 학습 안정성을 진단할 때 툴 호출 수 추이를 함께 보라는 시사점이 있다. 다만 재현 시에는 스텝당 생성 예산 일치, κ·γ·λ 기본값, 동시성 상한 같은 세부 설정을 원문 부록과 함께 확인해야 한다.

저자들이 밝힌 전제와 한계는 분명하다. 중간 상태 중 최소 일부는 분기(fork)가 쉽고 그로부터의 반복 샘플링이 자명하게 가능하다고 가정한다. 27B LoRA에서는 베이스라인 대비 이점이 줄어들었고, 그 원인으로 학습 전 모델의 높은 시작점을 지목한다. 향후 과제로는 더 큰 모델과 더 긴 예산으로의 확장, 압축 품질과 학습 안정성 사이 연결의 강화, 가치 정제를 위한 더 강한 불확실성 정량화를 제시한다. 롤아웃 컨트롤러는 대안 하네스·탐색 정책·크레딧 추정기를 꽂을 수 있는 인터페이스와 함께 공개되어 있다.