RLVR 그래디언트 스펙트럼을 읽어 업데이트 랭크를 스스로 줄이는 Ares
Spectral-Driven Adaptive-Rank Optimizer for Large Language Model Reinforcement Learning with Verifiable Rewards
무엇인가
이 논문은 대규모 언어모델의 추론 능력을 기르는 핵심 단계로 자리 잡은 RLVR(검증 가능 보상 기반 강화학습)에서, 정작 옵티마이저는 지도학습 시절의 것을 거의 그대로 물려받고 있다는 문제를 다룬다. AdamW를 비롯한 사전조건화·직교화 기법들은 teacher forcing 신호를 전제로 설계됐지만, RLVR은 정답 참조가 아니라 정책이 직접 샘플링한 궤적에서 양의 어드밴티지와 음의 어드밴티지를 함께 모아 업데이트 방향을 만든다. 저자들은 이 차이가 최적화 기하 구조 자체를 바꾸는지, 즉 RLVR에 맞는 별도 옵티마이저가 필요한지를 그래디언트의 스펙트럼 구조로 검증한다.
어떻게 동작하나
관찰은 명확하다. RLVR 학습 내내 그래디언트 행렬의 에너지가 선두 특이 성분으로 점진적으로 집중되며, 이 현상은 같은 조건의 지도 파인튜닝(SFT)에서는 나타나지 않고 오히려 스펙트럼이 약간 넓어진다. 검증 가능 보상을 무작위 보상으로 바꾸고 롤아웃과 설정은 그대로 두면 증가분의 대부분이 사라지므로, 단순한 on-policy 샘플링 효과로는 설명되지 않는다. 더 중요한 것은 그래디언트 에너지의 일정 비율을 담는 데 필요한 랭크 r(ε)가 초기 과도기를 지나면 꾸준히 감소한다는 점이다. 즉 유용한 업데이트의 유효 차원 자체가 학습과 함께 진화한다.
무엇과 다른가
Ares(Adaptive Rank-Effective Spectral Optimization)는 이 관찰을 그대로 최적화 원리로 옮긴다. 매 스텝 먼저 랜덤 블록 거듭제곱 반복(RBPI)으로 그래디언트의 선두 특이 부분공간만 추출한다. 전체 SVD의 O(mn²) 비용을 O(qmnℓ)로 낮추는 것으로, 트랜스포머 가중치의 n이 10³~10⁴ 규모이고 목표 랭크는 수십 수준인 상황에서 이득이 크다. 다음으로 각 특이값의 에너지 비율 p_i = σ_i²/Σσ_j²를 만들어 섀넌 엔트로피 H를 구하고, r̂ = exp(H)로 유효 랭크를 환산한다. 에너지가 고르게 퍼져 있으면 r̂가 커지고 소수 성분에 몰리면 작아진다. 이 값은 샘플링 잡음을 그대로 물려받으므로 편향 보정을 포함한 지수이동평균으로 스무딩한 뒤 1과 상한 k 사이로 클리핑해 최종 랭크 r_t를 얻는다. 마지막으로 분해 결과를 r_t개 성분으로 잘라 g̃ = U_{:,1:r}Σ_{1:r}V^T를 재구성하고, 이 저랭크 그래디언트에 AdamW식 1·2차 모멘트 추정과 분리된 가중치 감쇠를 적용해 파라미터를 갱신한다. 특이 스펙트럼이 정의되는 2차원 가중치 행렬에만 이 처리를 하고, 1차원 파라미터는 표준 AdamW 스텝을 쓴다.
어떻게 쓰나
실험은 DAPO의 경쟁 수준 수학 문제 데이터셋에서 GRPO로 학습하고, AIME24·AIME25·AIME26·AMC23·MATH500·Minerva Math·OlympiadBench 일곱 개 벤치마크에서 문제당 8개 응답의 평균 정확도로 평가한다. 비교 대상은 SGD, RMSprop, Adam, AdamW, 고정 랭크 저랭크 옵티마이저 GaLore, 그리고 모멘텀을 직교화하는 Muon이다. Ares는 1.7B·4B·8B 모든 규모에서 평균 정확도 27.2·38.5·42.1로 1위를 차지했고, AdamW 대비 각각 5.0·2.7·2.3점을 개선했다. 규모가 커져도 우위가 줄지 않는다는 점이 함께 보고된다. 반면 GaLore는 AdamW와 비슷한 수준에 머물렀고 4B에서는 오히려 뒤졌으며(32.8 대 35.8), SGD·RMSprop·Muon은 세 규모 모두에서 한 자릿수 또는 0에 가까운 정확도로 무너졌다. 저자들은 이를 근거로 저랭크 제약을 거는 것만으로는 부족하고 랭크를 그래디언트 스펙트럼에서 추론해 온라인으로 적응시켜야 한다고 주장한다.
전제와 한계
절제 실험은 구성 요소 간 의존성을 드러낸다. 저랭크 업데이트를 제거하면 정확도가 2.7로 붕괴하고, 학습률을 조정하거나 σ=1로 고정한 직교화 스텝을 넣어도 회복되지 않는다. 동적 랭크만 제거하면 26.6으로 손실이 작지만, 모멘텀을 제거하면 24.1로 더 크게 떨어진다. 잡음 섞인 on-policy 그래디언트에서 추정한 랭크는 스텝마다 요동쳐 부분공간을 불안정하게 만들고, 모멘텀이 이를 눌러줘야 동적 랭크가 실제 이득으로 바뀐다는 설명이다. 비용 측면에서 Ares의 스텝당 갱신 시간은 표준 옵티마이저에 가깝고 정확한 스펙트럼 방법보다 훨씬 짧다. 다만 저자들은 현재 구현이 AdamW처럼 조밀한 모멘트 텐서를 유지하므로 옵티마이저 상태 메모리 절감은 아직 실현하지 못했다고 명시한다.
실무자에게 이 논문이 주는 신호는 옵티마이저가 RLVR 파이프라인에서 교체 가능한 부품이 아니라는 것이다. 같은 GRPO 파이프라인에서 옵티마이저만 바꿨는데 SGD·Muon은 학습이 사실상 붕괴하고 AdamW·GaLore는 버티며 Ares는 그 위에서 추가 이득을 낸다. 또한 유효 랭크는 학습이 진행되며 감소하고, 4B 모델의 곡선이 1.7B보다 일관되게 위에 위치한다. 모델 용량이 클수록 더 많은 방향에 에너지를 분산한다는 뜻이므로, 랭크를 상수로 고정하면 규모가 바뀔 때마다 다시 튜닝해야 한다. 랭크를 스펙트럼에서 읽어내는 설계가 규모 간 이식을 쉽게 만든다. 랭크 매핑 방식도 결과에 영향을 준다. 지수 매핑(Ares), 선형, 누적 에너지 임계값 세 가지를 비교했을 때 지수 매핑이 두 규모 모두에서 최상위권을 유지했고, 임계값 방식은 긴 꼬리 스펙트럼에서 약한 방향을 과도하게 포함해 일관되게 최악이었다. 작은 모델일수록 매핑 선택에 민감하다.
한계와 전제도 분명하다. Ares의 랭크는 미리 정한 최대 랭크 예산 k를 상한으로 두고 그 안에서 적응적으로 잘라내는 방식이므로, k를 넘는 랭크를 스스로 발견하지는 못한다. 유효 랭크 추정에 쓰이는 에너지 분포는 전체 그래디언트가 아니라 RBPI가 반환한 상위 ℓ=k+p개 성분 안에서 정규화되므로, r̂는 목표 랭크 예산 내부에서 측정된 값이다. 스펙트럼 처리는 2차원 행렬 구조를 가진 파라미터에만 적용되고 1차원 파라미터는 표준 AdamW를 그대로 쓴다. 메모리 절감은 향후 과제로 남겨져 있으며, 이 논문이 내세우는 기여는 옵티마이저 상태 크기가 아니라 업데이트 품질이다.