ReaDy는 하이브리드 선형 어텐션의 순환 상태로 추측 디코딩 초안을 보강한다

무엇인가

이 논문은 하이브리드 선형 어텐션(HLA) 대형 언어 모델에서 추측 디코딩의 초안 품질을 높이는 문제를 다룬다. 기존 특징 기반 드래프터는 타깃의 은닉 특징에 의존하는데, 반자기회귀 방식으로 한 블록의 여러 미래 위치를 한꺼번에 예측할 때 뒤쪽 위치가 필요로 하는 문맥이 그 특징의 강조점과 맞지 않을 수 있다. 저자들은 HLA 모델이 고정 크기 순환 상태에 과거 연관을 압축해 두므로, 토큰 단위 KV 캐시를 다시 훑지 않고도 위치별 보충 문맥을 얻을 수 있다고 본다. 이론적으로는 기존 읽기로 노출된 질의 부분공간 밖의 방향을 새 질의가 드러낼 수 있음을 보이고, Gated DeltaNet의 상태 전개에서 커밋된 접두사의 기여는 커밋된 상태에 대한 새 질의로 표현될 수 있지만 미래 쓰기 항은 그 상태만 읽어 복원되지 않는다고 설명한다.

어떻게 동작하나

ReaDy는 DSpark의 병렬 백본과 순차 예측 헤드를 기반으로, 최종 드래프트 레이어의 post-attention 정규화 뒤와 MLP 앞에 상태 리더를 넣는다. 저자들은 자신들이 아는 한 HLA 순환 상태를 추측 디코딩에 활용한 첫 방법이라고 주장한다. 각 드래프트 위치의 표현 h_j는 W_q와 RMSNorm을 거쳐 rank-r 질의 병목 U로 확장되어 키 공간의 질의 q_j가 되고, RMS 정규화된 상태 S̄는 V로 값 차원을 압축해 T=V^T S̄를 만든 뒤 u_j=T q_j/√d_k를 읽는다. 최종 설정은 d_k=d_v=128, r=8이며 타깃은 원래 128×128 순환 상태를 유지한다. 선택한 레이어·헤드의 읽기 결과를 log-RMS 상태 스케일과 이어 붙여 f_j를 만들고, 병목 MLP가 Δh_j를 만들어 h'_j=h_j+Δh_j로 잔차 주입한다. 이후 DSpark의 순차 헤드가 전이 편향과 결합해 블록을 생성한다.

무엇과 다른가

상태 접근은 접두사 길이 t에 무관한 고정 크기라는 점이 핵심이다. M개 레이어·헤드 쌍의 상태는 M d_v d_k개 원소인 반면, 같은 헤드 수와 키·값 폭을 가진 토큰 단위 KV 메모리는 M t(d_k+d_v)개 원소를 가진다. ReaDy는 저랭크 상태 읽기와 블록 내 질의들이 공유하는 T, 선택된 커밋 상태를 미리 할당한 실행 버퍼로 바로 쓰는 fused gather 커널, 상태 준비와 읽기 특징 패킹의 융합, 네이티브 RMSNorm 커널로 추가 I/O와 연산을 줄인다. 원문은 이 최적화로 상태 수집 지연이 16.388μs에서 4.622μs로 71.8% 줄고, 상태 리더 지연이 65.519μs에서 47.094μs로 28.1% 줄었다고 보고한다. 학습은 사전학습된 DSpark에서 초기화하고 타깃은 고정한 채 Open-PerfectBlend에서 1단계 20k 샘플로 리더만, 2단계 50k 샘플로 리더와 드래프터 LoRA를 함께 학습하며, 손실은 CE에 드래프트·타깃 확률 분포 간 L1을 0.1 가중으로 더하고 confidence loss는 쓰지 않는다.

어떻게 쓰나

실험은 Qwen3.8-27B를 타깃으로 NVIDIA B200 한 장, SGLang, BF16 무양자화, 요청 동시성 1, 그리디 디코딩, thinking 활성화, 최대 1,024 출력 토큰, 16,384 문맥 제한, 드래프트 블록 크기 7에서 수행됐다. 벤치마크는 GSM8K·MATH500, sanitized MBPP·HumanEval·LiveCodeBench, MT-Bench 첫 턴·고정 Alpaca 부분집합의 일곱 개다. ReaDy의 평균 디코딩 처리량은 302.78 tokens/s로 자기회귀 95.86과 DSpark 280.42를 앞서며, 자기회귀 대비 3.16배, DSpark 대비 7.97% 높다. 평균 수용 길이는 4.5285로 DSpark의 4.1739보다 8.50% 길다. DSpark 대비 처리량 개선은 수학·코드에서 6.43~8.66%, MT-Bench 9.45%, Alpaca 9.83%였고, 일곱 번째 제안 위치의 누적 생존율은 GSM8K 45.98→58.17%, HumanEval 25.89→31.19%, MT-Bench 12.59→16.11%로 올랐다.

전제와 한계

절제 실험은 이득이 단순 재학습만이 아님을 보여준다. 상태 접근 없이 파인튜닝한 DSpark는 처리량 286.50 tokens/s, 수용 길이 4.2732로 원래 DSpark의 280.42와 4.1739보다 좋아지지만, ReaDy는 302.78과 4.5285로 이 무상태 변형보다 처리량 5.68%, 수용 길이 5.97% 더 높다. 리더 랭크를 8에서 128로 올리면 수용 길이는 4.5285에서 4.5404로 조금 오르지만 DSpark 대비 처리량 이득은 7.97%에서 7.81%로 줄어, 랭크 8이 처리량과 수용의 균형점으로 선택됐다. 상태 소스는 레이어 62 단독이 수용 7.48% 이득, 레이어 2와 30은 각각 2.45%와 2.85%였고, 30과 62를 함께 쓸 때 8.50%와 7.97%로 최고였으며 2를 더하면 6.89%와 6.22%로 떨어졌다. 주입은 최종 레이어 한 번이 처리량 302.78로 가장 좋았고, 레이어 0·2·4와 전체 5개는 수용 길이가 거의 같거나 비슷한 대신 처리량이 299.93과 297.35로 낮아졌다. 최종 레이어 안에서는 attention 뒤 주입이 앞 주입보다 수용 4.5285 대 4.4993, 처리량 302.78 대 301.94로 우세했다.

개발자 관점에서 ReaDy는 HLA 계열 모델을 긴 문맥에서 서빙하면서 추측 디코딩의 수용 길이를 올리고 싶을 때 참고할 만한 설계다. 특히 토큰 단위 KV 캐시 읽기가 접두사에 비례해 커지는 상황에서, 고정 크기 순환 상태를 위치별 질의로 읽는 경로가 어떤 비용 구조를 갖는지 구체적인 수치와 함께 보여준다. 다만 타깃 모델이 선형 어텐션 레이어의 순환 상태를 노출해야 하고, DSpark 기반 드래프터와의 호환, 선택할 레이어·헤드, 리더 랭크, 주입 위치, 블록 크기를 함께 튜닝해야 한다. 또한 원문 실험은 그리디 디코딩과 동시성 1, 단일 B200, BF16 무양자화, Qwen3.8-27B 한 모델에 한정되므로, 배치 서빙이나 다른 HLA 모델에서의 처리량 이득은 별도 검증이 필요하다.

저자들이 밝힌 한계도 분명하다. 이론 분석은 attention-head 수준의 이상화된 상태-질의 읽기에 관한 것으로, 드래프터의 완전한 다층 특징이 불충분하다는 것을 증명하지는 않는다. 커밋된 상태 S_t만 읽어서는 미래 쓰기 항을 복원할 수 없고, 드래프팅 중에는 알 수 없는 연속에 따라 달라지는 유효 질의를 직접 얻을 수 없다는 전제가 남는다. 실험 비교도 사전학습 DSpark 대비 이득에 적응 학습과 상태 접근이 함께 반영되어 있으며, 향후 과제로 완전한 드래프터를 처음부터 학습하는 것과 드래프트 위치별로 상태 접근과 읽기 용량을 배분하는 학습을 제시한다.