계층별 오차 모델과 토큰 단위 피셔로 LLM SVD 압축을 개선한다
Advancing SVD-based LLM Compression via Layer-Wise Error Model Search
무엇인가
이 논문은 LLM의 저랭크 SVD 압축에서 두 병목을 다룬다. SVD는 가중치를 작은 두 행렬로 분해해 파라미터와 계산량을 줄이면서도 표준 추론 엔진의 조밀 텐서 연산을 유지하고 양자화와도 결합할 수 있다. 그러나 고정된 파라미터 예산에서 각 계층에 어떤 순위를 줄지 정하는 전역 순위 배분이 어렵고, 피셔 기반 분해는 시퀀스 그래디언트 표본 수 k에 의해 경험적 피셔 행렬의 순위가 k 이하로 제한되어 스펙트럼 붕괴와 조건수 문제를 겪는다. 기존 순위 탐색은 보정되지 않은 국소 민감도 대리값이나 비싼 측정에 의존해 깊은 네트워크의 비선형 오차 전파를 놓친다.
어떻게 동작하나
KFAC-SVD는 분해 품질을 토큰 단위 통계로 고친다. 선형 계층의 입력 x와 출력 그래디언트 δ에 대해 가중치 그래디언트는 δx^T이고, 피셔 행렬을 A⊗G로 근사해 A=E[xx^T], G=E[δδ^T]를 토큰 N개에서 추정한다. 시퀀스 k개(예: k≤256)의 전체 가중치 그래디언트로 피셔를 만드는 GFWSVD와 달리, 256개 시퀀스×2048 토큰≈5.2×10^5개의 토큰 표본을 쓰므로 rank(A)≤min(d_in,N), rank(G)≤min(d_out,N)이 되어 k 제한 순위 병목을 피한다. 이후 G^{1/2}WA^{1/2}의 SVD를 잘라 B=Σ^{1/2}V^T A^{-1/2}, C=G^{-1/2}UΣ^{1/2}로 두 선형 계층에 나눠 구현한다. 토큰 간 이차 모멘트를 생략하는 근사지만, 저자들은 이것이 스펙트럼 붕괴를 없애 실무적으로 유리하다고 주장한다.
무엇과 다른가
LEMS는 전역 순위 배분을 계층별 오차 대리 모델과 정수 선형 계획(ILP)으로 푼다. 각 계층 i의 유지 파라미터 비율 c에 대해 L_i(c)=S_i(c)·α_i·(1+β(d_i))로 비용을 정의한다. S_i(c)는 화이트닝된 가중치의 정규화 꼬리 에너지로, 순위를 줄일 때 재구성 오차가 얼마나 커지는지의 모양을 싸고 촘촘하게 준다. α_i는 기준 압축률 c_ref(기본 0.1)에서 원본과 압축 모델 출력의 KL 발산을 한 번 측정해 S_i(c_ref)로 나눈 보정 계수로, 계층 유형 간 스케일을 맞춘다. β(d_i)는 깊이에 따라 커지는 오차 전파를 반영하는 조화 꼬리 합 형태의 소프트 편향으로, 이른 블록에 더 큰 패널티를 주고 κ, γ는 TPE로 보정한다. 이 비용 아래 각 계층의 후보 순위 중 하나를 고르고 총 유지 파라미터가 예산 이하가 되도록 Gurobi로 ILP를 풀며, 계층별 c_i 범위는 [0.3,1.0]이다.
어떻게 쓰나
실험은 Mistral, Llama 3, Qwen3 계열에서 WikiText2, PTB, C4 퍼플렉시티와 PIQA, OpenBookQA, HellaSwag, ARC-Easy/Challenge, Winogrande 제로샷 정확도로 평가했다. 순위 배분 비교는 0.8과 0.6 압축률, 세 아키텍처의 여섯 설정에서 MRCS, ASVD, SVD-LLMv2, ARS, ATP와 비교했고, LEMS는 모든 설정에서 가장 높은 정확도와 균일 배분 대비 큰 퍼플렉시티 감소를 보였다. 두 번째로 좋은 탐색 대비 정확도 이득은 1.68~4.79p.p.였고, WikiText2·C4·PTB 평균 퍼플렉시티는 균일 배분 대비 39.34~83.65% 줄었다. ASVD와 SVD-LLMv2는 종종 균일 배분을 못 이겼고, ARS는 가장 강한 베이스라인이지만 그래디언트와 더 많은 데이터, 하이퍼파라미터 튜닝이 필요했다. ATP는 선형 오차 누적을 가정해 Llama 3에서 경쟁적이었지만 계층·유형별 편차를 잡지 못했다.
전제와 한계
KFAC-SVD는 균일 압축(0.9, 0.7)에서 최저 퍼플렉시티를 냈고 Llama 3에서 이득이 가장 컸다. 0.7 압축에서 WikiText2 퍼플렉시티를 최고 베이스라인인 DOBI-SVD보다 38% 개선했고, LEMS와 결합하면 65%까지 개선했다. 0.9의 완만한 압축에서는 여러 베이스라인의 급격한 정확도 하락을 피해 50%대 중반을 유지했고, LEMS를 붙이면 원본 63.3%에 거의 손실 없는 62.0%를 회복했다. LEMS 없이 기존 피셔 기반 방법과 비교해도 최대 7.2p.p. 앞섰고 GFWSVD는 같은 조건에서 크게 무너졌다. 예외는 Mistral로, ASVD 같은 베이스라인이 더 나쁜 퍼플렉시티에도 더 높은 제로샷 정확도를 보였는데 저자들은 Mistral이 활성값 크기와 잘 정렬된 특징에 의존해 균일 설정에서 단순 프록시가 유리할 수 있다고 해석한다.
확장성 실험은 Qwen3 4B~32B에서 0.5~0.9의 다섯 압축률로 KFAC-SVD와 활성값 기반 SVD-LLM 양쪽에 LEMS를 적용했다. 압축률과 모델 평균으로 LEMS는 KFAC-SVD의 퍼플렉시티를 23%, SVD-LLM의 퍼플렉시티를 34% 줄였고 제로샷 정확도를 각각 8.3p.p., 9.1p.p. 올렸다. 0.5의 공격적 압축에서는 평균 약 47%(KFAC-SVD), 57%(SVD-LLM) 퍼플렉시티 감소와 6.3p.p., 8.7p.p. 정확도 회복을 보였고 Qwen3-32B의 급격한 정확도 하락도 완화했다. Llama 3.1-70B에서는 WikiText2 퍼플렉시티를 7.9에서 4.5로, 정확도를 62.6%에서 66.6%로 낮췄다. 균일 압축에서 KFAC-SVD는 SVD-LLM보다 약 15% 낮은 퍼플렉시티를 보였고, LEMS와 결합하면 두 방법의 퍼플렉시티가 거의 맞먹으며 SVD-LLM이 제로샷에서 약 0.1p.p. 앞섰다.
구성 요소 분석에서 스펙트럼 에너지 S_i만으로 ILP 탐색을 도입해도 Llama 3-8B와 Qwen3-8B의 퍼플렉시티가 각각 약 18%, 11% 줄었고 추가 시간은 1분이었다. KL 기반 보정 l_i는 두 모델 모두 약 7%를 더 줄였지만 17~22분이 들었고, 점수는 캐시해 압축률마다 재사용할 수 있었다. 깊이 편향 β는 2분의 거의 무시할 비용으로 Llama 3에서 6%를 줄였고, 0.6 압축에서는 Llama 3-8B의 퍼플렉시티를 β를 뺀 경우보다 50% 넘게 낮췄다. 전체 LEMS는 8B 모델에서 최초 실행 20~25분, 이후 실행 3분이 걸린다. 보정점 c_ref는 0.1이 0.3보다 퍼플렉시티 14.7 대 14.9로 약간 좋았고 제로샷은 0.4p.p. 낮았다. KFAC-SVD 분석에서는 GFWSVD의 고유값 스펙트럼이 빠르게 붕괴하는 반면 토큰 단위 추정이 모든 절단 순위에서 더 낮은 피셔 저하 Δ F를 보였다.
개발자에게 이 논문은 메모리 바운드 추론에서 표준 조밀 커널을 유지하면서 LLM을 압축하려는 경우, 순위 배분을 수작업 균일 비율로 두지 말고 계층별 오차 모델과 ILP로 최적화할 근거를 준다. LEMS는 KFAC-SVD뿐 아니라 활성값 기반 SVD-LLM에도 붙일 수 있어 분해 방식 선택과 별개로 적용 가능하다. 다만 KFAC-SVD는 여전히 그래디언트 계산이 필요해 학습 파이프라인과 메모리가 허용되어야 하고, LEMS는 모델 깊이에 선형으로 늘어나는 일회성 계층별 캘리브레이션과 KL 측정, Gurobi 같은 ILP 솔버를 전제로 한다. 또한 Mistral처럼 단순 활성값 프록시가 더 잘 맞는 예외와 캘리브레이션 데이터 분포, 목표 압축률에서의 실제 제로샷·퍼플렉시티를 자체 검증해야 한다. 저자들이 밝힌 한계도 KFAC-SVD의 그래디언트 의존과 LEMS의 일회성 캘리브레이션 비용이며, 향후 오차 전파의 해석적 한계 정립과 VLM·MoE 확장을 과제로 남긴다.