S3AC가 비평가 학습을 안정화해 LLM 추론 강화학습을 개선한다
S3AC: Stabilized, Selective, and Scalable Actor-Critic for LLM Reasoning
무엇인가
이 논문은 검증 가능한 보상 기반 강화학습(RLVR)으로 LLM의 긴 사고 연쇄 추론을 학습할 때 쓰이는 비평가 없는(critic-free) 방식의 두 가지 구조적 한계를 다룬다. GRPO 계열은 값 모델 학습 비용을 피하는 대신, 프롬프트별 기준선을 그룹 롤아웃의 평균으로 추정하므로 각 그룹이 가장 느린 응답을 기다려야 하고, 단일 롤아웃 대안인 REINFORCE++나 FlashREINFORCE는 배치 통계를 공유해 프롬프트 난이도 차이를 반영하지 못한다. 또 응답 전체에 하나의 스칼라 어드밴티지만 주어지면, 오답일 때 유용한 중간 추론 단계도 해로 가는 단계와 똑같은 음의 신호를 받는다. 저자들은 실패가 어려운 프롬프트에서는 예상되지만 쉬운 프롬프트에서는 놀라운 일이라는 점을 프롬프트별 기준선이 필요한 이유로 든다.
어떻게 동작하나
S3AC는 응답 생성을 토큰 단위 MDP로 모델링한다. 상태는 프롬프트와 앞선 응답 토큰, 행동은 다음 토큰이며, 검증기는 마지막 토큰에만 −1 또는 +1의 스칼라 보상을 주고 할인율은 1이다. 학습된 비평가 V(s_t)가 기대 수익을 근사하고, 종료 값은 0으로 두며, GAE로 토큰별 어드밴티지를 계산한다. 액터 목적함수는 중요도 비율을 클리핑한 CISPO 서로게이트를 쓰고, 비평가는 몬테카를로 수익을 향해 클리핑된 제곱오차 손실로 회귀한다. 비평가의 초기 값 V(s_0)은 프롬프트만으로 결정되므로 프롬프트별 기준선이 되고, 이후 값들은 응답 프리픽스에 조건화되어 응답 내 위치마다 다른 학습 신호를 만든다.
무엇과 다른가
긴 CoT에서 비평가를 제대로 학습시키는 것이 핵심 난점이다. 저자들은 첫째, 초기 정책 궤적만으로는 길고 정답인 응답에 대한 감독이 부족하다는 점을 지적하고, 강도가 다른 여러 정책의 궤적을 모아 사전학습하는 coverage 방식과 초기 정책 궤적만 쓰는 on-policy 방식을 비교한다. 둘째, 새로 초기화된 값 헤드가 초기 그래디언트를 지배한다는 점을 든다. 선형 헤드에서 헤드 그래디언트는 은닉 상태에, 백본으로 들어가는 그래디언트는 작은 헤드 가중치에 비례하므로, 헤드가 주도하는 전역 클리핑이 훨씬 작은 백본 그래디언트까지 함께 깎아버린다. 이에 값 헤드 표준편차를 1/(H+1)로 초기화하고, 비평가의 그래디언트 클리핑 임계값을 액터 관행인 1에서 10으로 올린다. 온라인 단계에서는 비평가 학습률을 액터의 5배로, 롤아웃 배치당 비평가 에폭을 액터 1회 대비 2회로 두고, GAE를 분리해 비평가는 λ=1로 몬테카를로 수익에 회귀하고 액터는 VAPO의 길이 적응형 λ=1−1/(αT), α=1.5를 쓴다.
어떻게 쓰나
선택(Selective) 요소인 DAPS는 이미 학습한 비평가를 생성 전 프롬프트 선택에 재사용한다. 이진 보상 규약에서 성공 확률 p는 기대 수익 2p−1에 대응하므로, 초기 비평가 값을 p_c=clip((V(s_0)+1)/2, 0, 1)로 변환하고 관측된 성공·시도 횟수 S, N과 섞어 p̂=(S+n_c·p_c)/(N+n_c)로 추정한다. 새 프롬프트는 S=N=0이라 비평가만으로 난이도가 초기화되므로 별도 오프라인 롤아웃이 필요 없다. 수용 확률은 a = a_min + (1−a_min)·4p̂(1−p̂)로 p̂=0.5에서 최대가 되고, a_min 바닥값이 아주 쉽거나 아주 어려운 프롬프트에도 선택 기회를 남긴다. 관측 카운트는 학습이 진행되며 감쇠하고, 초기에는 균등 샘플링을 하다가 스케줄에 따라 이 규칙을 도입한다.
전제와 한계
실험은 Qwen2.5-Math-1.5B(DAPO-Math 7.5k 부분집합), R1-Distill-1.5B(MATH-1,460), 그리고 Intern-S2-Preview-35B와 Intern-S2-397B(MoE, 수학·지시 따르기·추론·물리·화학 사내 프롬프트)에서 수행했다. 그룹 롤아웃은 밀집 모델 K=16, MoE 모델 K=8, 단일 롤아웃은 K=1이다. 그룹 롤아웃에서도 S3AC는 최신 GRPO 변형인 GRPO-X를 앞선다. 35B에서 최고 체크포인트 평균이 76.4에서 80.5로 오르며 7개 벤치마크 전부에서 개선됐고, 397B에서는 85.1에서 87.3으로 오르며 5개 벤치마크 전부에서 앞섰다. 단일 롤아웃 35B에서는 80.9 대 REINFORCE++ 70.4로 10.5점 차이를 냈고, 1,600 그래디언트 스텝까지 학습이 유지된 반면 비평가 없는 베이스라인들은 초기 상승 뒤 하락했다. REINFORCE++는 롤아웃 엔트로피와 응답 길이가 급증했고 FlashREINFORCE는 점수가 떨어지며 응답이 짧아지는 방향으로 이동했다.
비평가 사전학습 분석도 수치로 제시된다. 24K 토큰을 넘는 응답 가운데 초기 정책 샘플에서 정답은 5.0%뿐이었지만 그래디언트 스텝 1,600 시점 정책은 61.8%였다. coverage 비평가는 온라인 학습 초반에 더 높은 설명 분산과 낮은 값 손실을 보였고, 같은 액터 업데이트 예산에서 더 빠른 학습 진전과 높은 최종 성능으로 이어졌다. 35B에서 첫 10회 비평가 업데이트 동안 값 헤드는 파라미터가 2,048개뿐인데도 제곱 그래디언트 노름의 99% 이상을 차지했다. 초기화 표준편차를 1/(H+1)로 낮추자 초기 값 손실이 0.72에서 0.45로 줄어 테스트한 초기화 중 최종 손실이 가장 낮았고, 클리핑 임계값을 1에서 10으로 올리자 클리핑된 업데이트 비율이 99.7%에서 12.5%로 떨어졌다. DAPS는 35B와 R1-Distill-1.5B에서 그룹·단일 롤아웃 모두 최고 점수를 끌어올렸고, 그룹 롤아웃에서 동적 샘플링으로 버려지는 궤적 수를 줄였으며, 완료된 균등 샘플링 실행의 성공률 p_ref가 0.2 초과 0.8 이하인 프롬프트에 더 많은 학습 궤적을 배분했다.
실무 관점에서 이 논문은 그룹 롤아웃의 동기화 대기와 토큰 단위 신용 할당 부재가 실제 병목일 때 비평가를 다시 도입할 근거를 제공한다. 특히 값 헤드 초기화와 비평가용 클리핑 임계값처럼 값 학습을 망가뜨리는 작은 구현 세부를 구체적 수치로 짚어 주고, 이미 학습한 비평가를 난이도 추정기로 재사용해 별도 난이도 모델이나 오프라인 통계 초기화를 없앤 점이 실용적이다. 다만 저자들이 명시한 대로 S3AC는 GRPO-X보다 액터 그래디언트 스텝당 상각 실시간 시간이 27~40% 더 든다. 비평가를 학습·추론해야 하기 때문이므로, 처리량과 안정성 중 무엇이 중요한지 먼저 따져야 한다.
한계로 저자들은 실험이 검증 가능한 보상이 있는 추론형 과제(수학·과학·멀티모달 추론)에 한정된다고 밝힌다. 도구 호출과 환경 턴 사이에 신용을 할당해야 하는 에이전트형 멀티턴 설정은 평가하지 않았고, 독립적인 RL 학습 시드 간 변동성도 체계적으로 측정하지 않았다. 또한 벤치마크 점수 향상이 실제 응용에서의 안전성이나 신뢰성을 보장하지 않는다는 점, 대규모 액터-크리틱 학습이 추가 컴퓨트와 에너지를 요구한다는 점을 윤리 고려사항으로 함께 적었다.