큰 배치가 느리게 배우고 같은 샘플 수에서 무너지는 이유를 두 시계로 설명한다
Two Clocks: Why Larger Rollout Batches Learn Slower but Fail on Schedule in Reinforcement Learning with Verifiable Rewards
무엇인가
RLVR(검증 가능한 보상 기반 강화학습)은 모델이 생성한 응답을 다시 정책이 바뀔 때마다 새로 만들어야 해서 생성 비용이 훈련비를 지배한다. 그래서 실무는 롤아웃 배치를 키우고, 배치 크기에 맞춰 학습률을 제곱근으로 스케일하는 규칙(η ∝ √B_r)을 쓴다. 이 규칙은 롤아웃당 옵티마이저 스텝을 한 번만 밟을 때 샘플당 진전을 대략 보존한다고 보고됐지만, 실제 레시피는 다르다. DAPO처럼 롤아웃을 미니배치로 쪼개 롤아웃당 16스텝을 밟는 것이 일반적이고, 두 번째 스텝부터는 현재 정책이 데이터를 생성한 정책에서 벗어나 토큰 단위 중요도 비율이 1에서 멀어지며 PPO식 비율 클립이 개입한다. 저자들은 이 다단계 GRPO에서 세 현상이 동시에 나타난다고 보고한다. 배치가 클수록 샘플당 학습이 느려지고, 클립을 끄면 큰 배치가 작은 배치와 같은 샘플 수에서 붕괴하며, 클립은 큰 배치에 가장 크게 도움이 된다.
어떻게 동작하나
논문의 핵심은 이 세 현상을 '진행 시계'와 '실패 시계'로 분리하는 두 시계 프레임워크다. 먼저 국소 2차 손실 모델에서, 옵티마이저 배치가 그래디언트 노이즈 스케일보다 훨씬 아래라는 가정(A1)과 한 스텝 동안의 손실 변화를 2차까지 전개하는 가정(A2)을 둔다. η = κ√b로 두면 평균 스텝은 E[Δθ] = -(κb/σ)ḡ가 되고, 소비한 응답당 누적 변위인 '샘플당 드리프트' d = κ‖ḡ‖/σ는 배치와 무관해진다. 즉 제곱근 규칙이 보존하는 것은 1차 드리프트다. 그러나 곡률 때문에 샘플당 실제 진전은 r(b) = r0 - C_curv·b (C_curv = κ²ḡᵀHḡ/2σ²)로 배치에 대해 선형으로 줄어든다. 큰 배치는 같은 드리프트를 더 적고 더 긴 스텝으로 채우고, 그 긴 스텝이 곡률에 더 많이 잃기 때문이다. 그 결과 목표 정확도에 도달하는 데 필요한 응답 수는 N_τ(B_r) = N_τ^min(1 + B_r/B*)이고, 임계 배치 B* = μ(2σ‖ḡ‖²/(κ ḡᵀHḡ) - B_noise)를 넘으면 샘플 효율이 떨어진다. McCandlish 등의 임계 배치와 달리 B*는 학습률에 묶여 있어, κ가 커지면 작아지고 그래디언트 노이즈 스케일보다 훨씬 아래에 놓일 수 있다.
무엇과 다른가
실패 시계는 하나의 가설 위에 세워진다. 누적 드리프트가 임계값 D에 도달하면 런이 실패한다는 가정(A3)을 두면, 실패까지 소비한 응답 수는 N_fail = C√b/η (C = Dσ/‖ḡ‖)가 된다. 제곱근 규칙 η = κ√b를 대입하면 N_fail = C/κ로 배치와 무관해진다. 노이즈 구동 메커니즘이라면 N_fail ∝ b/η²가 되어야 하므로 두 형태는 실험으로 구분된다. 클립의 위치도 모델링한다. 롤아웃 안에서 log ρ_t ≈ Σ⟨Δθ_j, s_t⟩이므로, 제곱근 규칙이 큰 배치에 더 긴 스텝을 주는 만큼 비율 스프레드가 같은 스텝 수에서 √(B_r^L/B_r^S)배 빠르게 커진다. 클립은 매 롤아웃마다 비율이 리셋되므로 누적 드리프트를 되돌리지 않고 롤아웃당 드리프트만 제한하며, 진행 격차를 만드는 곡률 항과는 무관하다.
어떻게 쓰나
실험은 Qwen2.5-Math-1.5B를 verl의 GRPO로 DAPO-Math-17k에서 학습한다. G=8, 온도 1, 응답 최대 3072토큰, AdamW에 짧은 선형 워밍업 후 상수 학습률, KL 페널티·엔트로피 보너스·동적 샘플링·그래디언트 노름 클리핑은 모두 끈다. 런당 예산은 98,304 응답이고 8,192 응답마다 512개 홀드아웃 문제에 4샘플씩 평가한다. 롤아웃 배치는 512·1536·4096·8192로 16배 범위이고, 롤아웃당 μ=8 옵티마이저 스텝, 학습률은 제곱근 규칙에 따라 η_S ∈ {1e-6, 5e-6, 1e-5}로 잡는다. 1e-6은 클립이 거의 작동하지 않는 보수적 구간, 나머지 두 개는 클립이 규칙적으로 작동하는 활성 구간이다. 결과는 예측을 지지한다. 클립이 작동할 수 없는 μ=1에서도 큰 배치가 같은 정확도에 20~45% 더 많은 샘플을 요구했고, μ=8의 보수적 구간에서도 격차가 나타났으며 클립을 제거해도 사라지지 않았다. 학습률 세 구간에서 샘플 비용 지수 α는 0.15에서 0.44로 올라갔고, 식이 함의하는 임계 배치는 약 9k에서 2k 응답으로 내려갔다.
전제와 한계
실패 시계 쪽 수치도 구체적이다. 클립을 끄면 4096 배치는 7~10 롤아웃, 즉 56~80 옵티마이저 스텝 만에 실패하는 반면 512 배치는 81 롤아웃(648 스텝)까지 버티지만, 둘 다 30~50k 응답에서 실패한다. 배치를 32배, 학습률을 약 6배 흔든 21개 언클립 런에 N_fail ∝ b^β η^-γ를 적합하면 제곱근 규칙을 따른 실패점 이동량 β - γ/2는 실패 런만 볼 때 -0.08, 검열 런을 포함하면 0.11로 둘 다 90% 구간이 0을 포함해 배치 무관 예측(-1/2)을 배제한다. 적합된 γ = 0.64~0.72는 랜덤워크 예측 2를 배제하고, 우도비 검정에서 세 후보 형태 중 드리프트 형태만 살아남는다(p ≈ 0.3, 나머지 둘은 p < 1e-4). 18개 실패 런 중 14개가 이 법칙의 1.5배 이내에 들어온다. 클립은 실패를 지연시키되 큰 배치에서 가장 크게 작용해, 작은 배치는 2배, 큰 배치는 4배 더 오래 버틴다. 동결 체크포인트 리플레이에서 큰 배치는 토큰의 약 0.5%만 클립되는데도 그 그래디언트가 전체 그래디언트 노름의 절반 이상을 차지했다. 클립을 넓히면 초기 학습이 잠시 빨라지지만 지속되지 않고 이후 성능이 decay하며 두 시드 중 하나가 붕괴한다. 7B 모델에서도 두 배치가 롤아웃 기준 6배 차이로 실패하지만 샘플 기준으로는 1.3배 차이에 그쳤고, DeepScaleR-Preview와 Qwen2.5-1.5B-Instruct에서도 격차가 재현됐다.
실무적으로 논문이 끌어내는 규칙은 단순하다. 임계 배치 아래에서는 진행 속도가 거의 변하지 않고 큰 배치가 안정성도 떨어지지 않으므로, 임계 구간 바로 아래에 있는 가장 큰 배치를 쓰는 것이 낫다(저자들의 학습률에서는 1536 응답). 처리량 때문에 더 큰 배치가 필요하면 작은 배치로 먼저 학습하다가 예측된 실패 시점 전에 큰 배치로 전환하는 램프를 쓴다. 전환 시 옵티마이저 상태를 리셋하고 1롤아웃 워밍업을 반복하면, 램프는 최고 고정 배치 곡선을 따라가면서 샘플의 3/4을 큰 배치로 생성한다. 25k에서 74k 샘플 사이 어디서 전환해도 성능은 비슷했고, 전환 시점의 상한은 실패 법칙이 정해준다.
저자들이 밝힌 한계는 분명하다. 평가를 여러 체크포인트, 두 데이터셋, 7B 모델로 넓혔지만 컴퓨트 제약 때문에 모델 패밀리 하나와 과제 도메인 하나에 머물렀다. 이론은 의도적으로 국소적이며, 곡률 항을 이 규모에서 직접 측정하는 것은 계산 비용이 커서 검증 가능한 예측을 통해 간접적으로 평가했다. 실패 지점은 시드 간 고유한 변동을 보인다. 또한 샘플 효율을 '응답 수'로 측정했는데, 토큰·연산·월클록 효율은 생성 길이와 하드웨어, 시스템 구현에 추가로 좌우된다. 코드는 two-clocks-rlvr 저장소로 공개한다고 밝히고 있다.