DScout는 확산 드래프터의 손실과 처리량을 분해해 추론 속도를 높인다

무엇인가

투기적 디코딩(speculative decoding)은 작은 드래프터 모델이 여러 토큰을 먼저 제안하고, 큰 대상 모델이 이를 병렬로 검증해 수용하는 방식으로 대형 언어모델 추론을 가속한다. 확산(diffusion) 드래프터를 쓰면 제안 생성 자체를 더 병렬화할 수 있어서 이론상 유리하다. 그런데 이 논문이 지적하는 핵심은 제안 능력을 키우거나 평균 수용 토큰 수(MAT, mean accepted tokens)를 높여도 처리량이 반드시 올라가지는 않는다는 점이다. 가속의 병목이 '얼마나 많이 맞히는가'가 아니라 '한 라운드에 얼마나 걸리는가'에 걸려 있을 수 있기 때문이다.

어떻게 동작하나

이유는 검증 절차에 있다. 대상 모델은 드래프터가 낸 토큰들을 앞에서부터 연속된 접두사(prefix)로만 수용한다. 그래서 초반에 한 토큰이 거부되면 그 뒤에 드래프터가 정확히 예측해 둔 토큰들은 전부 무효가 된다. MAT를 올리려고 애써도 접두사 수용률이 따라오지 않으면 성과로 이어지지 않고, 반대로 MAT가 올라가도 라운드당 지연이 같이 늘면 처리량은 제자리라는 것이 이 논문의 문제 설정이다.

무엇과 다른가

DScout는 이 두 지점을 각각 다른 인수분해(factorization)로 공략한다. 하나는 학습 쪽에서 손실을 쪼개는 것이고, 다른 하나는 추론 쪽에서 처리량을 쪼개는 것이다. 두 분해가 서로 보완적으로 맞물려 드래프터의 학습과 추론 설정을 함께 정렬한다는 것이 제안 방법의 뼈대다.

어떻게 쓰나

학습 측 분해는 위치별 손실을 포함(inclusion), 가중(weighting), 예측(prediction) 손실로 나눈다. 이 분해를 기준으로 세 가지 기법의 설계와 조합을 이끌어낸다. 여러 길이의 지평을 섞는 혼합 지평(mixed-horizon) 학습, 블록 내부를 단계적으로 채우는 인트라 블록 언마스킹(intra-block unmasking), 그리고 수용 여부를 가중치로 반영하는 수용 가중 손실(acceptance-weighted loss)이다. 목표는 명확하다. 감독 신호를 접두사 수용이라는 실제 검증 규칙에 맞춰 정렬해서 MAT를 끌어올리는 것이다.

전제와 한계

추론 측 분해는 처리량을 MAT 대 라운드당 지연의 비율로 본다. 이 비율을 기준으로 대상 모델 조건 주입 깊이(target-conditioning depth), 드래프터 깊이, 추론 블록 크기를 선택한다. 즉 하나의 고정 설정을 모든 상황에 쓰는 대신, 워크로드마다 처리량이 높은 구성을 골라내는 정책을 세운다.

실험은 여섯 개 벤치마크에서 이뤄졌다. Qwen3-4B와 Qwen3-8B에서 자기회귀 디코딩 대비 각각 3.84배, 4.14배의 평균 속도 향상을 냈고, 최신 베이스라인 대비로는 평균 속도 향상을 9.1%와 7.1% 더 개선했다. 또 모델과 동시성(concurrency) 설정을 바꿔가며 추론 구성 정책을 적용했을 때, DScout의 고정 구성 대비 최대 9.75%의 추가 평균 속도 향상을 얻었다고 보고한다.

개발자 입장에서 이 논문의 실용적 메시지는 두 가지다. 첫째, 투기적 디코딩을 도입할 때 MAT나 수용률 같은 제안 품질 지표만 대시보드에 두면 실제 사용자 지연이 개선되지 않는 상황을 놓칠 수 있다. 처리량을 MAT와 라운드 지연의 비율로 놓고 봐야 한다. 둘째, 드래프터 깊이·블록 크기·조건 주입 깊이는 배포 환경의 동시성 수준에 따라 최적값이 달라지므로, 하나의 설정으로 고정하기보다 워크로드별로 튜닝 여지를 남겨두는 편이 낫다.

한계는 초록에 명시적으로 서술되어 있지 않다. 다만 제안 자체가 전제하는 바는 분명하다. 이득은 접두사 수용률과 라운드 지연이라는 두 변수에 좌우되므로, 검증 규칙이 다르거나 드래프터와 대상 모델의 분포 차이가 큰 환경에서는 같은 폭의 개선을 기대하기 어렵다. 또한 워크로드별 구성 선택이라는 추론 정책은 배포 시점의 프로파일링과 설정 관리를 전제로 한다.