FADE는 RLVR에서 롤아웃 낭비를 줄이도록 난이도를 두 시간축으로 추정한다

무엇인가

이 논문이 다루는 문제는 그룹 기반 RLVR의 롤아웃 낭비다. GRPO처럼 한 프롬프트에 여러 완성을 샘플링해 보상을 그룹 안에서 표준화하는 방식은 그룹이 전부 성공하거나 전부 실패하면 상대 이점이 0이 되어 생성 예산만 쓰고 정책을 움직이지 못한다. 적응형 스케줄러는 학습 전에 각 프롬프트의 현재 통과 확률 p_i,t를 추정해 학습 경계 근처의 프롬프트를 고르거나 롤아웃 수를 배분하려 하지만, 기존 추적기는 정책의 빠른 능력 변화와 프롬프트 고유의 느린 난이도를 하나의 스칼라 지수평균이나 베타 카운터에 섞어 버린다. 코퍼스가 10^5 규모이고 배치가 256개라면 개별 프롬프트는 수백 스텝마다 한 번씩만 방문되므로, 짧은 기억은 순위를 흔들고 긴 기억은 낡은 통과율을 보고한다.

어떻게 동작하나

FADE는 성공 로짓을 두 시간축으로 분해한다. 각 프롬프트의 성공 로짓을 μ_i,t = z_i^T θ_t - b_i,t로 두고, z_i는 동결된 텍스트 인코더(BGE-M3) 임베딩에서 코퍼스 상위 K개 주성분을 뽑아 Mahalanobis whitening한 K차원 스킬 로딩이다. K=32로 수학 도메인 임베딩 분산의 86% 이상을 설명한다고 제시한다. θ_t는 전체 코퍼스가 공유하는 빠르게 변하는 정책 능력 벡터로 ρ=0.82, σ_θ²=0.015의 상태공간 동역학을 따르고, b_i,t는 프롬프트별 느리게 변하는 난이도 절편으로 γ_b=0.985의 정밀도 할인을 쓴다. 미니배치에서 θ_t를 갱신하면 방문하지 않은 프롬프트도 z_j를 통해 예측 로짓이 즉시 이동하지만, b_i는 거의 안정적으로 남겨 스킬 내 순위를 보존한다.

무엇과 다른가

추론은 이항 우도가 정규분포와 켤레이지 않다는 문제를 Pólya-Gamma 보조변수로 푼다. 각 롤아웃 결과 s_i,t, n_i,t에 대해 κ=s-n/2와 곡률 ω를 두면, ω를 조건부로 고정했을 때 이항 우도가 로짓에 대해 정확히 가우시안이 된다. ω는 예측 로짓 크기 c에 대해 n/(2c) tanh(c/2)로 계산되어, 이미 포화된 프롬프트의 운 좋은/운 나쁜 롤아웃이 스킬 상태를 흔들지 않도록 1/|μ|로 가중을 줄인다. b_i를 주변화한 뒤에는 Z_t^T Ω Z_t를 더하는 켤레 업데이트를 rank-K Woodbury로 닫힌 형태로 계산해 O(|B_t|K²+K³) 시간과 O(N+K²) 메모리로 처리한다. 스케줄링에는 사후 평균과 분산으로 보정한 통과 확률과 비퇴화 그룹 확률 1-p^G-(1-p)^G에 분산 보너스를 더한 효용을 써서, p가 0.5 근처이면서 불확실한 프롬프트를 우선한다. 이론 파트에서는 방문 확률 q가 낮은 단일 시간축 추적기가 드리프트 때문에 큰 평균제곱오차 하한을 갖는 반면, FADE는 매 배치의 K개 스킬 좌표를 공유해 그 오차를 sqrt(K/|B|) 수준으로 줄인다고 주장한다.

어떻게 쓰나

실험은 다섯 개 수학 추론 벤치마크(MATH-500, AMC 2023, Minerva Math, OlympiadBench, AIME 2024–2025)와 두 베이스 모델(Qwen2.5-Math-1.5B, Llama-3.2-1B-Instruct)에서 수행됐고, 3B·7B 확장 연구도 있다. 150k NuminaMath 부분집합으로 학습하며, 총 생성 예산을 1.44×10^6 롤아웃(450스텝×256프롬프트×평균 8롤아웃)으로 모든 방법에 동일하게 맞췄다. DAPO-Filter, PCL, GRESO 커리큘럼 선택기와 GVM 롤아웃 배분기 안에서 기존 추적기 대신 FADE를 끼워 넣었고, 비교 대상은 native, EMA(α=0.25), DPS, CDAS다. Qwen2.5-Math-1.5B에서 Average@8 정확도는 DAPO-Filter +1.8, PCL +2.9, GRESO +2.1, GVM +2.8포인트 올랐고, Llama-3.2-1B-Instruct에서는 각각 +1.4, +1.3, +1.4, +1.8포인트였다. 어려운 벤치마크인 OlympiadBench와 AIME에서 격차가 커 GVM에서 최대 +2.9포인트를 보고한다. 특히 Llama의 native GVM은 사전 샘플링 오버헤드 때문에 Uniform GRPO보다 낮은 12.3%를 기록했지만, FADE로 프로브를 대체하면 14.1%로 +1.8포인트 회복했다.

전제와 한계

온라인 추적 품질도 별도로 검증한다. 표준 GRPO 궤적을 재생해 8롤아웃 오라클 기준과 비교했을 때, 콜드스타트인 1에폭에서 프롬프트의 65% 이상이 0~1회 방문인데도 FADE는 Spearman 순위 상관 0.68을 기록했고, 기존 per-item 추적기(VIP, DPS)는 0.29~0.38에 머물렀다. PCL의 학습된 가치 헤드는 정책이 베이스 체크포인트를 벗어나면서 Brier 0.218로 빠르게 보정이 깨졌다. 전체 궤적에서 FADE는 사전 탐색(SPO, 28.4 A100-hours)보다도 Brier 0.118 대 0.127, 순위 상관 0.82 대 0.78로 낫다고 보고하며, 비용은 일회성 임베딩과 스텝당 0.54ms CPU 필터링을 합쳐 0.06 A100-hours에 불과하다고 한다.

절제 실험은 설계 선택이 실제 수치에 기여한다는 주장을 뒷받침한다. 스킬 벡터와 문항 절편이 단일 감쇠율(ρ=γ_b=0.90)을 공유하게 하면 Brier가 0.118에서 0.142로 나빠지고 GVM 정확도가 1.6포인트 하락해, 두 시간축 분리의 필요성을 직접 보여준다. K=0으로 스킬 부분공간을 없애면 1에폭 전이 효과가 사라져 GVM이 2.1포인트 하락하고, b_i≡0으로 문항 절편을 없애면 유사한 스킬 로딩을 가진 프롬프트가 같은 통과율을 공유하게 되어 순위 상관이 0.82에서 0.71로 떨어진다. 동분산 가중 ω=n/4로 바꾸면 극단 프롬프트가 θ를 과도하게 회전시켜 GVM에서 0.8포인트 손실이 나고, 식 (12)의 probit 분산 스케일링이나 식 (13)의 탐색 보너스를 빼면 순위 상관은 0.82로 유지되지만 다운스트림 정확도는 0.7~1.1포인트 줄어든다. 또한 스킬별 능력 변화가 균일하지 않아 대수 조작은 초기 150스텝에서 빠르게 오르고 기하가 뒤처지며, FADE의 문항 절편 오차는 DPS의 절반 수준이라고 보고한다. GVM+EMA는 이미 숙달된 p*≈0.65 프롬프트를 경계로 오인하고 FADE는 0.5 근처에 롤아웃을 모아 정책 경사 SNR을 28% 높인다고 보고한다.

개발자 관점에서 FADE는 새로운 RL 알고리즘이라기보다 기존 RLVR 스케줄러에 끼우는 온라인 난이도 추정기다. 고정된 프롬프트 풀과 검증 가능한 이진 보상이 있고, 프롬프트 방문이 희박해 패스율 추적이 병목인 GRPO류 파이프라인이라면 커리큘럼 선택기나 롤아웃 배분기의 native 추적기를 대체하는 방식으로 쓸 수 있다. 도입 전에는 동결 임베딩이 도메인별 스킬을 충분히 분리하는지, K와 ρ·γ_b·σ_θ²가 학습 속도에 맞는지, 그리고 스케줄러가 요구하는 통과 확률 보정과 분산 보너스가 실제 롤아웃 분포에서 잘 작동하는지 확인해야 한다. 특히 이 방법은 스케줄링 규칙 자체를 바꾸지 않으므로, 기존 스케줄러의 예산·필터링 로직과 결합했을 때의 순효과를 동일 생성 예산으로 비교하는 것이 중요하다.

저자들이 밝힌 한계는 세 가지다. 첫째, K차원 스킬 좌표를 동결된 임베딩 공간으로 정의하므로, 텍스트 인코더가 도메인별 추론 스킬을 잘 분리하지 못하는 코퍼스에서는 선형 스킬 항이 분산을 덜 설명하고 결국 직접 방문이 필요한 문항 절편 b_i로 후퇴한다. 둘째, Pólya-Gamma 업데이트는 그룹 내 이진 보상이 조건부 독립이라고 가정하므로, 다중 턴 에이전트 학습이나 프로세스 보상처럼 부분 궤적이 상관된 설정에는 스칼라 이항 카운트를 넘어서는 우도 확장이 필요하다. 셋째, AIME 2024와 2025를 합쳐 60문제로 평가 풀을 늘렸지만 경쟁 벤치마크는 여전히 샘플링 분산에 취약하며, 저자들은 다중 시드와 짝지은 부호 검정으로 이를 묶었다고 밝힌다.