PrismQuant는 그룹 INT4의 상수 부분공간에 활성값 주도 방향을 정렬한다

무엇인가

4비트 가중치·활성값 양자화는 LLM 추론의 메모리와 연산 비용을 줄이는 실용적 경로지만 정확도 유지가 어렵다. 논문이 지목하는 핵심 장애물은 활성값 이방성이다. 소수 채널이나 저차원 방향이 양자화 범위를 지배하면서 나머지 신호에 배정될 해상도가 남지 않는다. 회전 계열 기법들이 이 문제를 완화해 왔지만, 저자들은 큰 크기 자체가 양자화 난이도를 결정하지 않는다고 본다. 중요한 것은 신호가 양자화기의 표현 방식과 어떻게 맞물리는가이며, 따라서 질문을 뒤집는다. 양자화기가 이미 효율적으로 표현하는 활성 방향은 무엇이고, 회전은 그것을 어떻게 활용해야 하는가.

어떻게 동작하나

핵심 관찰은 그룹 비대칭 양자화기의 기하에 있다. d차원 활성값을 크기 g의 그룹 M=d/g개로 나누면, 각 그룹은 자기 극값으로 스케일되고 비대칭 포맷은 affine offset을 함께 저장한다. 한 그룹 안에서 상수이고 다른 그룹에서는 0인 성분은 그 그룹의 범위를 전혀 넓히지 않으며, 그 레벨은 offset이 그대로 담아낸다. 이런 그룹 상수 방향들이 이루는 M차원 부분공간을 논문은 range-null subspace라 부르고, range(y^(j)) = range([(I-P_S)y]^(j))라는 식으로 그 성질을 명시한다. 즉 S 성분은 그룹 내 범위에 기여하지 않는다. Hadamard 변환도 이 방향들에 도달할 수는 있지만 활성 스펙트럼에 맞춰 선택하지는 않으며, 등방향으로 향한 방향이 S에 담기는 기대 에너지 비율은 M/d = 1/g에 불과하다.

무엇과 다른가

제안 방법은 회전 설계를 Ky Fan trace 최대화로 정식화한다. 비중심 2차 모멘트 Σ=E[xx^T]를 캘리브레이션 토큰에서 추정하고, 상위 k개 고유벡터 V_k를 목표 방향 U_k로 사상하는 직교 R을 찾는다. 목적함수 J_k(R)=Tr(U_k^T R Σ R^T U_k)의 최댓값은 상위 k개 고유값의 합이며, 상위 k차원 고유공간을 span(U_k)로 보내는 임의의 직교 R이 이를 달성한다(Proposition 1). k=M이면 S 바깥의 총 에너지를 최소화한다. 구현은 R = H_g D Π G, G = I - WY^T 형태의 compact WY Householder 표현을 쓴다. G가 상위 고유벡터를 좌표 앵커로 보내고, Π가 그룹 간 좌표를 재배치하며, D가 부호를, H_g가 그룹별 정규화 Walsh-Hadamard를 담당한다. 토큰당 비용은 O(dk + d log g)로 밀집 변환의 O(d^2)보다 싸고, 그라디언트 학습 없이 캘리브레이션 통계만으로 구성된다. 고유방향은 랜덤화 고유값 솔버를 3패스로 돌려 얻는다.

어떻게 쓰나

배치에서 R1은 잔차 스트림에 걸리며 RMSNorm 게인을 인접 가중치에 폴딩해 온라인 회전이 사라진다. R2는 value projection 뒤 head 차원에 적용되는데, 여기서 쓰는 128차원 head는 하나의 양자화 그룹이므로 k=1이다. R4는 down-projection 입력으로, element-wise gate를 통과해 회전을 이동시킬 수 없어 온라인에 남는다. 이때 실제로 실행되는 것은 블록 Hadamard와 rank-k 보정뿐이며 두 개의 Tensor Core 커널로 처리된다. Key는 RoPE 이후 추가 회전을 받지 않고, KIVI 방식으로 최근 32개 토큰을 full precision으로 유지한다.

전제와 한계

논문은 잔차 에너지와 양자화 스텝을 잇는 범위 법칙도 제시한다. 정렬된 에너지 비율 f_k에 대해 ŝ(g,k) = s_H(g)·sqrt(1-f_k)로 예측하는데, 이는 경계가 아니라 근사이며 오차는 잔차 crest factor 비율 하나에 격리된다. 측정값은 q/k/v 입력에서 1 근처, down-projection 입력에서 0.87~0.92다. 메타데이터 회계도 함께 다룬다. 그룹당 fp16 scale과 offset으로 값당 4+32/g 비트를 쓰므로 g를 반으로 줄이면 로컬 스케일 수와 S의 차원이 동시에 두 배가 된다. 확장 affine은 4+16(m+1)/g 비트를 쓴다. 동일한 4.25비트 예산에서 그룹 128에 방향 1개를 두는 편이 그룹 256에 3개를 두는 것보다 두 Llama 모델 모두에서 우수했다(Table 6a).

실험은 Llama-3.2-3B, Llama-3.1-8B, Llama-3.1-70B, MoE인 Qwen3-30B-A3B-Base에서 W4A4KV4 사후 학습 양자화로 수행했고, 부록에 Qwen3 dense 0.6B~8B와 Mistral-7B-v0.3이 포함된다. g=128(값당 4.25비트), 가중치는 GPTQ INT4, KV 캐시는 KIVI를 따르며, 회전 통계와 GPTQ가 2048토큰 128개 시퀀스를 공유하고 3개 시드 평균을 보고한다. 메타데이터를 맞춘 Hadamard 대비 bf16까지의 perplexity 격차를 3B/8B/70B에서 각각 37%/30%/26% 닫았고, 평균 정확도는 3B에서 59.29→61.23(+1.94포인트), 70B에서 71.36→72.46(+1.10포인트)을 얻었다. 70B에서는 3.85 perplexity와 72.46% 평균 zero-shot 정확도로 bf16보다 0.22포인트 낮은 수준이다. OffQ 대비 3B에서 0.43포인트 높은 정확도와 0.20 낮은 PPL, BASE-Q 대비 8B에서 0.69포인트, 70B에서 1.61포인트와 0.32 낮은 PPL을 기록했다. Llama-3.2-3B의 down-projection 입력 28개에서는 Hadamard 대비 그룹 내 평균 범위가 약 25%, 활성 NMSE가 약 40% 줄었다. MoE에서는 Hadamard가 bf16 대비 WikiText-2 PPL 0.57, C4 PPL 0.77, 정확도 1.24포인트를 잃는데, PrismQuant는 k=max에서 두 PPL 격차의 46%와 38%를, k=8에서 1.24포인트 중 1.05를 회복해 8개 태스크 모두 Hadamard를 앞서고 bf16보다 0.19포인트 낮다. Llama-3.1-8B 배포 연구에서는 FP16 대비 prefill 1.51배, CUDA Graph decode 1.22배 속도 향상과 decode peak memory 56.34% 감소를 보였고, Hadamard 대비 Graph decode 지연 증가는 2.35%(44MB, 2.4%)에 그쳤다.

개발자 관점에서 이 방법은 W4A4KV4 사후 학습 양자화 파이프라인에서 Hadamard 회전을 대체하는 부품으로 읽힌다. 학습 루프가 필요 없고 캘리브레이션 통계로 폐쇄형 해를 한 번 계산하면 되며, 온라인 비용이 블록 Hadamard와 rank-k 보정으로 정리되어 Tensor Core 커널에 그대로 얹힌다. 다만 정렬 rank k의 최적값이 모델 의존적이라는 점은 실무에서 반드시 확인해야 할 항목이다. 3B와 8B에서는 k=max가 최선이었지만 70B에서는 k=8이 앞섰고, 중간 rank에서 회복률이 단조롭지 않았다. 그룹 크기와 정렬 용량이 메타데이터 예산을 통해 맞물린다는 점, 그리고 이득이 그룹 비대칭 활성값을 네이티브로 소비하는 INT4 GEMM이 있어야 체크포인트 수준 시스템 이득으로 이어진다는 점도 함께 봐야 한다.

저자들이 밝힌 전제와 한계도 분명하다. 분석은 메타데이터가 정확하다고 가정하고, 범위 법칙은 근사이지 경계가 아니다. 정렬 목적함수는 모든 k에서 정확히 풀리지만 그것이 유도하는 perplexity는 단조가 아니며, 논문은 k=8을 운용점으로, k=max를 정렬 최적점으로 구분해 보고한다. 반면 캘리브레이션 세트, 고유값 솔버, 부호 순열에는 결과가 둔감하다고 보고한다. 또한 양자화가 기반 모델의 편향이나 안전하지 않은 행동을 보존하거나 바꿀 수 있으므로 정확도 향상을 안전성의 근거로 해석해서는 안 된다고 명시한다. 저자들은 같은 정렬 원리가 그룹 극값으로 스케일하는 다른 포맷, 즉 블록 부동소수점과 마이크로스케일링 변형에도 적용된다고 본다.