확산 언어모델을 캘리브레이션 없이 4비트로 양자화하는 SoloQ
SoloQ: Calibration-Free Quantization for Diffusion Language Models
무엇인가
확산 대형 언어모델(dLLM)은 좌에서 우로만 토큰을 생성하는 자기회귀 모델과 달리, 마스킹된 시퀀스를 여러 디노이징 스텝에 걸쳐 반복적으로 복원한다. 문제는 이 반복 과정이 비싸다는 점이다. 전체 시퀀스 확산 모델은 디노이징마다 시퀀스 전체를 다시 통과시키고, 블록 확산 모델은 여기에 더해 이전에 커밋된 블록의 KV 상태를 재사용하면서 컨텍스트 길이에 비례해 커지는 KV캐시를 유지한다. 논문은 Fast-dLLM v2를 프로파일링해 이 구조를 정량화한다. 짧은 컨텍스트에서는 가중치가 메모리를 지배하지만, 컨텍스트가 길어지면 활성값과 KV캐시의 비중이 커지고 지연시간은 어텐션이 좌우한다. 따라서 가중치만 압축하는 것으로는 부족하고 가중치·활성값·KV캐시를 함께 낮은 비트로 양자화해야 한다.
어떻게 동작하나
기존 dLLM 양자화 연구들은 캘리브레이션 데이터에 의존한다. 그런데 확산 디코딩에서는 마스킹 상태와 디노이징 스텝이 계속 바뀌기 때문에 활성값 분포와 양자화 민감도가 생성 과정 내내 크게 흔들린다. 논문은 이 민감도를 실증한다. 대표적인 캘리브레이션 기반 PTQ 기법에서 캘리브레이션 데이터를 WinoGrande에서 MMLU로 바꾸면 벤치마크별 정확도가 달라진다. 저자들의 질문은 여기서 출발한다. 변하는 분포를 따라가는 대신, 예측 가능한 형태로 변환해서 캘리브레이션 없이 양자화할 수는 없을까.
무엇과 다른가
핵심 원리는 회전이다. 정규화된 벡터에 Haar-random 회전을 적용하면 결과 좌표는 방향과 무관하게 단위 구면 위에 균일하게 퍼지고, 각 좌표는 차원 d에만 의존하는 고정 주변분포를 따른다. 이 분포는 d가 커질수록 가우시안에 가까워진다. 문제는 기존의 RPBH(무작위 순열 블록-하다마드) 회전이 두 가지 약점을 가진다는 것이다. 첫째, 초기 순열이 각 블록의 에너지를 균형 있게 나눠야 하는데 입력 좌표 하나가 크게 튀면 보장이 약해진다. 둘째, 순열이 고정되면 각 블록의 하다마드 변환이 독립적으로 동작해 블록 간 에너지 불균형을 재분배할 방법이 없다. Dream의 FFN 차원 18944 = 512 × 37처럼 블록 수가 많은 차원에서 이 문제가 두드러진다.
어떻게 쓰나
SoloQ는 이를 K-RPBH 회전으로 해결한다. 수식으로 쓰면 Π = (Q_k ⊗ I_h) · blkdiag(H_h D_1, …, H_h D_k) · P이며, H_h는 정규화된 월시-하다마드 행렬, D_i는 라데마허 부호 대각행렬, P는 균일 무작위 순열, Q_k는 Haar-random 직교 크로스블록 믹서다. Q_k ⊗ I_h 단계가 모든 블록의 대응 좌표를 섞어 블록별 잔여 통계를 직접 재분배한다. 논문의 명제 1은 라데마허 행렬에 대한 조건부 분산이 (1/h)Σ Q_rj² M_j이고, Q_k가 Haar-random 직교일 때 그 기대값이 정확히 1/d이 됨을 보인다. k=1이면 K-RPBH는 RPBH로 환원된다.
전제와 한계
양자화는 회전된 표현 위에서 두 갈래로 진행된다. 선형 계층 y = Wx에 대해 가중치는 오프라인에서 W' = WΠ^T로, 활성값은 온라인에서 x' = Πx로 회전한 뒤 양자화한다. SoloQ-C는 회전된 피연산자의 L2 노름을 스케일로 뽑아 정규화하고, 활성값에는 Lloyd-Max 스칼라 양자화기를, 가중치에는 E8P 격자 양자화기를 적용한다. 가중치는 오프라인이라 E8P 탐색 비용을 감당할 수 있지만 활성값은 런타임에 가볍게 처리해야 하기 때문에 양자화기를 나눈다. SoloQ-N은 같은 회전 표현 위에 하드웨어 네이티브 NVFP4를 올린다. E2M1 고정 포맷에 텐서 단위 전역 스케일과 16개 좌표 그룹 단위 블록 스케일을 동적으로 계산하며, 모든 스케일은 캘리브레이션 데이터나 사전 수집 통계, 학습 파라미터 없이 텐서 자체에서 유도된다. 여기에 스케일만 쓰는 편향 보정을 더한다. c_bc(z) = ||z||² / ⟨q(z), z⟩로 정의되는 이 스케일은 원래 벡터 방향 성분을 정확히 복원하며, 잔차 기반 보정과 달리 보조 페이로드나 추가 비트가 필요 없고 기존 per-token·per-row 스케일로 흡수된다. 블록 확산 모델에는 커밋 시점 KV캐시 양자화를 적용한다. 블록이 커밋될 때만 KV캐시를 양자화하고 현재 디노이징 중인 블록은 완전 정밀도로 유지해, 디노이징 스텝마다 같은 상태를 반복 양자화하는 낭비를 피한다. 키는 KIVI 스타일 per-channel 비대칭 양자화를, 값은 K-RPBH와 Lloyd-Max 또는 NVFP4를 쓰는 SoloQ 활성값 경로를 따른다.
실험은 전체 시퀀스 모델(LLaDA-8B-Base, LLaDA-1.5, Dream-7B)과 블록 확산 모델(Fast-dLLM v2, Nemotron-Labs-Diffusion)에서 수행됐다. W4A4에서 SoloQ-C는 LLaDA-Base에서 평균 57.74를 기록해 DLLMQuant++보다 3.45포인트 높았고, SoloQ-N은 LLaDA-1.5에서 68.48로 4.17포인트를 개선했다. Dream-7B에서는 SoloQ-N이 62.53으로 DLLMQuant++의 61.90을 앞섰다. 블록 확산 모델에서는 RTN과 AWQ가 W4A4에서 성능이 붕괴했고, QuaRot은 회전이 Fast-dLLM v2의 차원을 지원하지 못해 아예 적용할 수 없었다. SoloQ는 W4A4와 W4A4KV4 모두에서 정확도를 유지했다. 효율 측면에서 SoloQ-N은 5개 dLLM 전반에서 피크 메모리를 2.31~2.61배 줄이고 엔드투엔드 추론을 1.94~2.24배 가속했다. Nemotron은 양자화 후 EOS 궤적이 바뀌어, BF16으로 기록한 동일한 75회 forward pass와 비교해 2.05배 속도를 얻었다.
분석 실험도 구체적이다. 회전 구조 비교에서 K-RPBH는 dense Haar와 비슷한 정확도를 유지하면서 회전 지연시간을 Fast-dLLM v2에서 98.135ms에서 5.779ms로, LLaDA-1.5에서 0.559ms에서 0.048ms로 줄였다. K-RPBH 구성요소 절제에서는 블록-RHT 기준 KL 발산 0.114, 에너지 불균형 67.89%에서 순열 P만 추가하면 0.0468과 45.64%, 크로스블록 믹서 Q_k만 추가하면 0.0068과 36.24%, 둘을 함께 쓰면 0.0041과 22.12%로 개선됐다. 스케일 편향 보정은 LLaDA-1.5의 HellaSwag를 72.49/73.71에서 73.01/73.86으로, Fast-dLLM v2의 GPQA를 30.03/31.92에서 30.58/33.71로 올렸다. KV캐시 양자화 비교에서는 약 3비트/엔트리(스케일·메타데이터 오버헤드 포함) 조건에서 SoloQ-C가 53.31, SoloQ-N이 53.53을 기록해 KIVI, OScar, TurboQuant를 앞섰다.
개발자 관점에서 이 논문이 유용한 지점은 배포 파이프라인에서 캘리브레이션 단계를 통째로 제거한다는 것이다. 캘리브레이션 데이터셋을 고르고, 마스킹 비율별로 통계를 수집하고, 태스크별로 재검증하는 작업이 사라진다. 다만 두 경로의 하드웨어 전제가 다르다는 점은 확인해야 한다. SoloQ-C는 NVIDIA H200에서 8비트 Tensor Core 커널을 쓰고, SoloQ-N은 RTX Pro 6000에서 네이티브 NVFP4 커널을 쓴다. NVFP4 이점을 보려면 해당 포맷을 지원하는 GPU가 필요하다. 또한 저자들은 모델마다 공식 아키텍처별 평가 스택을 그대로 유지했기 때문에, 벤치마크 구성이 모델별로 다르다는 점을 감안해 자신의 워크로드에 맞는 수치를 골라 읽어야 한다.
한계는 부록 G에서 논의된다고만 밝히고 있어 본문에는 구체적 내용이 제시되지 않았다. 본문에서 확인할 수 있는 전제는 다음과 같다. QuaRot이 Fast-dLLM v2에 적용 불가능했다는 사실은 회전 기반 방법이 임의의 transformer 차원을 지원해야 한다는 제약을 보여준다. 블록 확산 모델의 벤치마크는 likelihood 기반이 아니라 생성 기반이라 양자화 오차에 더 민감하다. Nemotron의 경우 양자화가 EOS 궤적 자체를 바꿔버려 동일한 75회 forward pass로 비교하는 방식을 택했다. 캘리브레이션 기반 베이스라인과의 추가 비교(Fair-Calib)와 KV캐시 양자화에서의 attention sink 분석은 각각 부록 D.1과 D.4로 밀려 있다.