초안 모델을 수용 길이 기준으로 강화학습해 추론을 1.35배 빠르게 만든다

무엇인가

투기적 디코딩(speculative decoding)은 작은 초안 모델이 여러 토큰을 먼저 던지고, 큰 타깃 모델이 이를 병렬 검증해 수용 여부를 한꺼번에 결정하는 방식으로 자기회귀 추론의 지연을 줄인다. 문제는 초안 모델을 어떻게 학습시키느냐다. 기존 방식은 소프트 라벨 증류, 즉 타깃 모델의 전체 출력 확률분포를 모방하도록 초안 모델을 감독한다. 이는 순방향 KL 발산을 최소화하는 것과 같고, 결과적으로 초안 모델이 확률이 낮은 꼬리 영역까지 분포를 덮도록(mode-covering) 강제한다. 그러나 논문이 지적하는 핵심은 이 목표가 시스템 목표와 어긋난다는 점이다. 수용 길이를 최대화하는 데 필요한 것은 상위 k개 토큰의 상대적 순서가 타깃과 맞는 것이지, 확률값을 정확히 복제하는 것이 아니다. 초안 모델은 타깃보다 수백 배 작아서 분포를 완벽히 재현할 능력 자체가 없다. 학습 목표(분포 일치)와 최종 목표(수용 토큰 수 최대화)의 불일치가 이 논문이 파고드는 지점이다.

어떻게 동작하나

RCSD는 이 간극을 메우기 위해 초안 모델 최적화를 시스템 성능 지표에 직접 정렬한다. 핵심 발상은 투기적 추론 과정 자체가 매 검증 단계마다 수용된 시퀀스와 거부된 시퀀스를 자연스럽게 만들어낸다는 것이다. 논문은 이렇게 발생하는 암묵적 선호 신호를 보상으로 쓰고, 외부 보상 모델이나 사람 라벨은 전혀 요구하지 않는다. 타깃 모델이 참조 출력 생성, 토큰 검증, 선호 신호 제공을 동시에 수행하는 암묵적 보상기 역할을 한다. 구현은 EAGLE 투기적 추론 프레임워크 위에서 이뤄지며, 짝지어진 선호를 쓰는 DPO 방식과 그룹 상대 비교를 쓰는 GRPO 방식 두 가지가 제시된다.

무엇과 다른가

DPO 쪽 구성은 이렇다. '선택된' 시퀀스는 타깃 모델에서 표준 자기회귀 디코딩으로 뽑는다. '거부된' 시퀀스는 주기적 교대 방식으로 만든다. 타깃이 토큰 1개를 생성하면 초안 모델이 검증 없이 k개 토큰 블록을 이어 붙이는 식이다. 이렇게 하면 선택된 쪽이 더 낫다는 암묵적 선호가 성립한다. 손실은 참조 초안 모델 대비 정책의 로그 확률 비율 차이에 시그모이드를 씌운 표준 DPO 형태이고, β가 최적화 강도를 조절한다. 중요한 세부는 마스킹이다. 프롬프트 이후 토큰만 로그 확률을 계산하고, 거부 시퀀스 안에서 타깃 모델이 생성한 토큰은 손실에서 가려서 이미 타깃과 정렬된 토큰에 벌점을 주지 않는다. DPO가 길이에 민감하기 때문에 선택·거부 양쪽에 동일한 마스킹 패턴을 일관되게 적용한다.

어떻게 쓰나

GRPO 쪽은 이진 선호를 넘어 여러 생성 경로의 상대적 품질을 활용한다. 하나의 프롬프트에 대해 선택 그룹과 여러 개의 투기 그룹(교대 주기 k를 달리한 spec_step1, 2, 3 등)을 묶어 데이터를 만든다. 각 그룹의 품질 점수는 타깃 모델의 로그 확률과 해당 시퀀스의 수용률을 각각 Z-점수로 정규화해 더한 값이다. 즉 보상이 검증 가능하고, 수용 길이라는 시스템 지표와 직접 연결된다. 손실은 확률 비율에 클리핑을 적용한 정책 경사 항에 참조 정책과의 KL 페널티를 더한 형태이며, 여기서도 타깃이 생성한 토큰을 마스킹하고 모든 그룹에 같은 마스킹 패턴을 적용해 보상 비교의 공정성을 맞춘다.

전제와 한계

실험은 Qwen3-1.7B와 Llama-3.1-8B 두 모델 계열에서 ShareGPT의 90%로 학습하고, GSM8K·HumanEval·MT-Bench·ShareGPT 나머지 10%로 평가했다. 베이스라인은 HASS, HASS+DPO, HASS+GRPO 세 가지이며 투기 스텝 3~6(검증 1회당 후보 3~6개) 구간을 본다. Qwen3-1.7B에서 네 데이터셋 평균 수용 길이는 스텝 6 기준 HASS 2.26, HASS+DPO 2.97, HASS+GRPO 3.00으로 나타났다. GRPO가 대체로 최고 성능이고 GSM8K와 MT-Bench에서 개선이 일관된다. Llama-3.1-8B도 같은 경향으로, 대부분의 데이터셋·스텝에서 GRPO가 최고이거나 동률 최고였고 특히 ShareGPT에서 개선이 두드러졌다.

논문이 강조하는 또 하나의 관찰은 개선폭이 투기 길이가 길어질수록 커진다는 점이다. Qwen3-1.7B + GSM8K에서 스텝 3의 31%에서 스텝 6에는 49%까지 격차가 벌어진다. 초안 품질이 좋아지면 긴 투기 구간에서 이득이 누적된다는 해석이다. 전체로는 HASS 대비 평균 수용 길이 35% 향상, ShareGPT 같은 실무 워크로드에서 1.35배 종단 추론 속도를 보고하며, 결론부에서는 35~40% 향상과 1.2~1.35배 속도 향상, 생성 품질 저하 없음을 함께 제시한다. GRPO는 여러 투기 경로의 상대 신호 덕분에 학습 초기 수렴도 앞당긴다고 주장한다.

개발자 입장에서 이 논문의 실용적 함의는 명확하다. 이미 EAGLE 계열 초안 모델을 서빙에 쓰고 있다면, 증류 손실을 그대로 두는 대신 수용/거부 시퀀스로 선호 데이터를 만들어 DPO나 GRPO로 한 번 더 학습시키는 선택지가 생긴다. 별도 보상 모델이나 사람 라벨이 필요 없고, 타깃 모델은 학습 중에만 쓰인다. 다만 도입 전 확인할 것이 있다. 학습 파이프라인이 타깃 모델의 로그 확률과 히든 스테이트를 그대로 노출해야 하고, 마스킹 규칙(프롬프트 제외, 타깃 생성 토큰 제외, 전 시퀀스 동일 패턴)을 정확히 구현해야 한다. β, 클리핑 범위 δ, 그룹 구성 같은 하이퍼파라미터는 논문이 제시한 설정을 그대로 쓰기보다 자신의 워크로드에서 재조정하는 편이 안전하다. 배치 서빙에서는 스텝 수를 늘릴수록 이득이 커진다는 결과도 함께 고려해야 한다.

한계와 전제는 논문 본문에 별도 절로 정리되어 있지 않다. 다만 본문에서 읽히는 전제는 분명하다. 초안 모델이 타깃보다 훨씬 작아 분포를 재현할 수 없다는 상황을 출발점으로 삼기 때문에, 초안 모델 용량이 충분한 경우에는 이득이 달라질 수 있다. 학습 과정에서 타깃 모델 추론이 필요하므로 학습 비용은 증류보다 가볍지 않다. 평가는 두 모델 계열과 네 벤치마크, 투기 스텝 3~6 구간에 한정되어 있고, 제목에 '도메인 특화'를 내세우지만 제시된 실험은 일반 벤치마크 중심이라 특정 도메인 데이터에서의 효과는 별도 검증이 필요하다.