TopoQuant이 양자화 LLM의 주의 구조 붕괴를 조기에 경고한다

무엇인가

이 논문은 학습 후 양자화(PTQ)가 대규모 언어모델의 정확도나 퍼플렉시티에는 잘 드러나지 않는 내부 구조와 행동 변화를 만든다는 문제를 다룬다. 저자들은 양자화된 모델이 집계 성능을 유지하면서도 어떤 토큰에 주의를 배분하는지는 달라질 수 있다는 점, 즉 '보존의 환상'을 지적하고, 토큰 상호작용과 주의 형성을 직접 지배하는 셀프어텐션의 Q·K·V 투영 가중치를 분석 대상으로 삼는다. O 투영은 주의 분포가 이미 계산된 뒤 출력을 변환하는 역할이라 제외했다.

어떻게 동작하나

방법의 핵심은 PTQ를 파라미터 공간의 양자화·복원 연산으로 형식화하고, 블록 i와 투영 L에 대해 원본 가중치와 양자화 후 복원된 가중치의 차이를 보는 데서 출발한다. TopoQuant는 각 Q·K·V 가중치 행렬을 N×N 코사인 거리 행렬로 바꾸고, Ripser에 필터링 임계값 0.8을 주어 H0 연결성분의 출생·소멸을 기록한 퍼시스턴스 다이어그램을 만든다. 그다음 원본과 양자화 모델의 다이어그램 사이 거리를 베티, 퍼시스턴스 엔트로피, 랜드스케이프, PFD, 퍼시스턴스 이미지, SWD, TSWD의 일곱 지표로 계산해 블록별·투영별 위상 드리프트로 평균낸다. 이는 단순 수치 오차가 아니라 파라미터 다양체의 다중 스케일 구조 변형을 본다는 뜻이다.

무엇과 다른가

행동 변화는 두 가지 주의 일치도로 측정한다. Top-1 정확 일치는 자기 자신과 특수 토큰을 마스킹한 뒤 질의 토큰이 가장 강하게 주목한 문맥 토큰이 원본과 양자화 모델에서 같은지를 보고, Top-3 IoU는 상위 3개 주목 토큰 집합의 자카드 유사도를 계산한다. 이렇게 얻은 블록별 평균 Top-3 IoU를 예측 대상으로 삼아, 모델 계열·파라미터 수·전체 양자화 수준·Q/K/V별 양자화 수준·블록 범주(초반/중반/후반)와 위상 드리프트 특징을 결합한 벡터를 만든다. Q, K, V, KQ, KV, QV, KQV 조합별로 LinearRegression, RandomForest, XGBoost를 학습해 예측 오차가 가장 낮은 구성을 고른다.

어떻게 쓰나

실험은 Llama-3.2-3B, Vicuna-7B-v1.5, Mistral-7B-v0.1, Llama-3.1-8B를 llama.cpp의 레거시 Q8_0·Q5_0·Q4_0와 K-양자화 Q6_K·Q5_K·Q4_K·Q3_K·Q2_K로 양자화해 진행됐고, 제로샷 객관식 벤치마크 ARC·HellaSwag·Winogrande가 쓰였다. 위상 드리프트는 중간 압축 수준에서는 안정적이지만 4비트 아래에서 급증했고, 이는 Top-1 일치와 Top-3 IoU 하락을 밀접하게 따라갔다. LLM 특징과 TDA 특징을 합친 구성은 HellaSwag에서 R² 0.85, ARC에서 0.83, Winogrande에서 0.83을 기록했고, RandomForest는 모든 행렬 구성에서 대략 0.74~0.85를 유지했다. Q와 K가 가장 유용했으며 HellaSwag에서 Q와 K가 각각 R² 0.85(RF), 0.83(LR)에 이르렀고 KQ 조합은 ARC 0.76~0.82, HellaSwag 0.84, Winogrande 0.82였다. 반대로 V 단독은 LR에서 Winogrande R² 0.15로 Q의 0.81, K의 0.82보다 크게 낮았고 RF에서도 0.74~0.75에 그쳤다. KQV는 최대 0.85였지만 Q·K·KQ를 의미 있게 앞서지 못했다. 절제 실험에서 LLM 특징 5개와 TDA 특징 21개를 합친 26차원 구성이 HellaSwag R² 0.85로 LLM 단독 0.72, TDA 단독 0.41을 넘었고, TDA 단독은 0.09~0.41에 머물렀다. Llama-3.1-8B에서 TopoQuant 계산은 Q8_0~Q4_K 구간 862~937초로 ARC 다운스트림 평가 4,603~4,709초의 약 16~17%였고, Q3_K에서는 1,250초까지 늘어 21.0~26.5%를 차지했다.

전제와 한계

개발자에게 이 논문의 실무적 의미는 양자화 후 정확도와 퍼플렉시티만 확인하는 방식이 놓칠 수 있는 주의 배분의 구조적 붕괴를 Q·K 가중치의 위상 변화로 조기에 볼 수 있다는 점이다. 특히 4비트 미만에서 드리프트가 급증한다는 결과는 압축 한계를 정할 때 비싼 전체 데이터셋 평가 전에 경고 신호로 쓸 수 있음을 시사한다. 다만 이 신호는 주의 일치도와의 관계를 학습한 진단 지표이므로, 실제 배포에서는 대상 모델과 태스크에서 다운스트림 성능과의 상관을 별도로 확인해야 한다.

저자들이 밝힌 한계도 분명하다. 분석 범위가 셀프어텐션 Q·K·V에 한정되어 MLP 블록과 임베딩의 위상 드리프트는 다루지 않았고, 실험도 llama.cpp의 균일 및 K-양자화에 집중되어 AWQ나 SmoothQuant 같은 비균일·이상치 보존 양자화로의 확장이 남아 있다. d×d 가중치 행렬의 정확한 퍼시스턴스 다이어그램 계산은 O(d³) 복잡도를 가지므로 70B 초과 모델로 확장하려면 미니배치 위상 샘플링이나 저랭크 투영 필터링 같은 최적화가 필요하다. 또한 이 연구의 K-양자화는 V 투영에 더 높은 정밀도를 배정했기 때문에 V에서 관찰된 낮은 드리프트가 본질적 견고성인지 양자화 강도 차이인지 분리하려면 통제된 투영별 민감도 실험이 필요하다고 저자들은 인정한다.