LSP가 압축으로 제거할 부분공간을 네트워크 출력 기준으로 학습한다

무엇인가

트랜스포머는 성능은 좋지만 메모리와 연산 요구가 크고, 학습된 가중치는 상당히 중복적이다. 저차원 분해는 각 가중치 행렬을 두 개의 얇은 행렬 곱으로 바꿔 메모리와 연산을 줄이는 자연스러운 방법이지만, 사전학습된 트랜스포머 가중치의 특이값은 천천히 감소하기 때문에 순진한 절단 SVD는 성능을 크게 망가뜨린다. 그래서 실용적인 방법들은 계층 사이를 흐르는 활성값이 저차원 부분공간에 있다는 경험적 관찰에 기댄다. 문제는 기존 방식이 제거할 부분공간을 국소적이고 닫힌 형태의 기준으로 고른다는 점이다. ASVD·SliceGPT·MoDeGPT는 활성 에너지로, SVD-LLM·Swift-SVD는 계층 출력의 재구성 오차로 부분공간을 정하고, FW-SVD나 LLM-Surgeon은 손실의 국소 대리 모델을 쓴다. 이 기준들은 계층 하나만 보고 네트워크 전체를 보지 않기 때문에, 압축률이 높아지면 오차가 깊이를 따라 누적되며 성능이 무너진다. 저자들이 던지는 질문은 이것이다. 제거할 부분공간 자체를 네트워크 출력에 대해 종단간 학습하면 더 나은 압축 모델을 얻을 수 있는가.

어떻게 동작하나

제안 방법인 Learnable Subspace Projections(LSP)는 이 질문에 직교 투영자 학습으로 답한다. 선형 계층 y = Wx + b에서 입력 방향 k개를 제거하려면 정규직교 열을 가진 U ∈ R^(d_in×k)를 학습하고 투영자 P = I − UUᵀ를 가중치에 적용해 W P = W − (WU)Uᵀ를 만든다. 그러면 랭크가 최대 d_in − k로 떨어진다. 정규직교성은 제약으로 걸지 않고, 제약 없는 V를 학습한 뒤 매 순방향마다 박형 QR 분해의 직교 인자 U = qf(V)로 바꿔 구성적으로 보장한다. P는 U ↦ UO에 불변하므로 실질적인 변수는 제거되는 부분공간 span(U)다. 같은 활성값을 읽는 계층들은 하나의 묶인 그룹으로 취급한다. Q/K/V는 같은 정규화 활성값을 읽고 gate/up도 마찬가지이므로, 이런 그룹은 공통 입력 위에 하나의 투영자를 공유한다. 나머지 계층은 더 작은 쪽에 투영한다. 공유 덕분에 같은 파라미터 예산에서 그룹이 더 높은 랭크를 유지할 수 있고, K/V를 입력 쪽에서 묶으면 전체 키와 값을 대신해 하나의 좁은 잠재 벡터만 캐시할 수 있다. 학습을 확장 가능하고 안정적으로 만드는 장치도 있다. W P를 실제로 만들지 않고 W(x − U(Uᵀx)) 형태로 계산해 계층마다 d_out×d_in 밀집 행렬과 그 그래디언트가 메모리에 올라오는 것을 피하고, 융합 QR 역전파로 계층당 O(d_in·k + k²)만 저장한다(명시적 그램-슈미트 루프는 O(d_in·k²)). 첫 에포크 동안 α를 0에서 1로 올리는 워밍업과 제거된 방향 일부를 임시로 남기는 방향 드롭아웃 마스크 m을 쓰고, V 열 사이 상관에 대한 직교성 페널티를 더한다.

무엇과 다른가

학습 전에는 각 압축 단위에 출발할 부분공간과 제거할 방향 수를 정해야 한다. 부분공간은 순서가 있는 화이트닝 기저에서 오고, 개수는 측정된 출력 KL에서 온다. 화이트닝 초기화는 SVD-LLM이 도입한 화이트닝 절단을 두 방향으로 확장한다. 행렬 단위 절단을 묶인 그룹으로, 그리고 출력 쪽에서만 직교인 연산자를 어느 쪽이든 쓸 수 있는 투영자로 넓힌다. 캘리브레이션 입력 X의 그램 행렬 G = (1/n)XᵀX = SSᵀ(Cholesky 인자 S)로 두면 재구성 오차는 ‖(W − Z)S‖²_F가 되고, WS의 앞쪽 r개 특이 방향을 남기는 것이 최적이다. 논문의 명제 1은 이 절단이 출력 쪽에서는 최적해를 그대로 달성하지만, 입력 쪽에 그대로 쓰면 비직교(사선) 투영이 되어 오차에 ‖Σ_r^w C_r⁺ C_>r‖²_F 만큼의 초과 항이 붙는다는 것을 보인다. 이 초과 항은 σ_r^w > 0일 때 C_rᵀC_>r = 0, 즉 입력 그램이 등방성일 때만 사라진다. 그래서 입력 쪽에서는 유지 부분공간으로의 직교 투영자로 바꿔 쓴다. 랭크 배분은 각 단위 u에서 초기화된 기저의 뒤쪽 k개 방향을 제거했을 때 생기는 출력 KL 발산 Δ_u(k) = E_x KL(p_θ0 ‖ p_θ0\(u,k))를 직접 측정한다. 그래디언트도 새 SVD도 필요 없고, 밀집 모델 출력을 한 번 캐시해 두면 모든 후보가 그 단위의 정렬된 기저를 재사용한다. 제거 비율 격자에서 측정한 뒤 각 곡선의 누적 최댓값으로 보간해 Δ가 k에 대해 단조 증가하도록 만든다. 배분기는 밀집 모델에서 시작해 절약된 파라미터당 한계 비용 (Δ(k′) − Δ(k))/(s(k′) − s(k))이 가장 작은 이동을 목표 절약량에 도달할 때까지 반복한다.

어떻게 쓰나

학습은 모든 V를 고정된 랭크에서 공동으로 최적화하되 사전학습 파라미터는 전부 동결한다. 목적 함수의 기본값은 출력 증류 손실, 즉 밀집 모델의 출력 분포에 대한 KL 발산이다. LLM에서는 모든 위치에 걸쳐 평균한 다음 토큰 분포, ViT에서는 마지막 트랜스포머 블록 출력을 토큰에 걸쳐 평균한 것을 쓴다. 대안으로 모델의 원래 학습 손실(다음 토큰 또는 분류 교차엔트로피)을 쓸 수 있고 이를 LSP_T라 부른다. 교사 모델은 같은 네트워크에서 투영자를 비활성화(α = 0)한 것이며 그래디언트 추적 없이 돌리므로 가중치 사본을 따로 저장하지 않는다. 선형 워밍업 후 코사인 학습률 스케줄에 홀드아웃 검증 분할 기준 조기 종료를 쓴다. 학습이 끝나면 각 투영자를 가중치에 접어 넣는데, 이를 병합이라 한다. 입력 쪽 투영자의 경우 U의 직교 여공간 정규직교 기저 U_⊥를 잡으면 P = U_⊥U_⊥ᵀ이고 W P = (WU_⊥)U_⊥ᵀ = BA로 정확히 분해된다. 여기서 A = U_⊥ᵀ ∈ R^(r×d_in), B = WU_⊥ ∈ R^(d_out×r)이며 파라미터는 (d_in + d_out)r개다. 입력에 묶인 그룹의 모든 구성원이 A를 공유해 한 번만 저장·적용하고, 어텐션에서는 공통 잠재 z = Ax만으로 키와 값을 모두 복원할 수 있어 KV 캐시에 z만 저장하면 된다. 배포된 모델에는 LSP 전용 연산이 남지 않는다.

전제와 한계

실험은 OPT-125M/1.3B, Qwen3-4B, Llama-2-7B와 CIFAR-100에 파인튜닝한 ViT-B/16에서 최대 −70% 압축까지 수행한다. 압축률은 임베딩과 헤드를 제외한 선형 계층 파라미터 중 제거된 비율로 정의한다. 언어 모델은 SliceGPT처럼 학습 분할에서 뽑은 2048 토큰 시퀀스 1024개로 캘리브레이션하고 WikiText-2 테스트 퍼플렉시티와 6개 제로샷 벤치마크(OpenBookQA, ARC-easy, WinoGrande, HellaSwag, PIQA, MathQA) 평균 정확도를 보고한다. Llama-2-7B는 −30/50/70%에서 Alpaca 캘리브레이션, Qwen3-4B는 −20/40/60%에서 C4 캘리브레이션을 쓴다. 결과는 12개 모델–압축률 조합 전부에서 두 LSP 변형 중 하나가 최저 퍼플렉시티를 기록했고, 압축률이 올라갈수록 격차가 벌어졌다. −70%에서 LSP는 Llama-2-7B를 WikiText-2 퍼플렉시티 10.9, 평균 제로샷 정확도 42.2%로 만든 반면, 가장 강한 베이스라인은 13.3과 36.0%였다. 같은 조건에서 학습을 하지 않은 초기화(NoLSP)는 퍼플렉시티 222.8로 붕괴했는데, 이는 방향을 학습하는 것 자체가 압축 모델을 쓸 만하게 유지하는 요인임을 보여준다. LoRA로 복구한 SVD-LLM을 포함해 어떤 손실 인지 베이스라인도 −70%에서 격차를 좁히지 못했다. 제로샷 평균 정확도에서는 두 LSP 변형이 모든 압축률에서 가장 강한 학습 없는 베이스라인을 Llama-2-7B에서 6.7~10.5점, Qwen3-4B에서 6.2~10.8점 앞섰다. 과제 손실을 쓴 LSP_T는 캘리브레이션 텍스트가 평가 도메인과 일치하는 소형 모델·저압축에서 앞서고(OPT 두 모델 −30%에서는 밀집 모델 테스트 퍼플렉시티보다도 낮다), 증류를 쓴 LSP는 대형 모델·고압축에서 앞선다.

비전에서는 캘리브레이션 데이터 구성을 통제할 수 있다는 점을 활용한다. 같은 크기의 두 풀, 즉 CIFAR-100 학습 이미지 47k로만 구성한 도메인 내 풀과, 그중 10k만 남기고 Food-101·CIFAR-10·EuroSAT·STL-10·DTD를 각 10k까지 더한 다양 풀을 만든다. 추가 데이터셋은 CIFAR-100과 레이블 공간을 공유하지 않으므로 레이블이 필요 없는 방법끼리만 비교한다. 도메인 내 캘리브레이션에서 30% 압축 시점에는 학습 없는 베이스라인들이 LSP와 비슷하지만, −70%에서 LSP는 밀집 모델의 89.9%에 대해 85.9%를 유지한 반면 가장 강한 학습 없는 베이스라인은 77.1%로 떨어졌다. 모든 가중치를 재학습하는 PELA만 LSP와 대등했다. 캘리브레이션을 평가 분포에서 멀어지게 옮기면 모든 방법의 원 과제 정확도가 떨어지는데 LSP가 가장 적게 떨어졌고, 두 풀의 크기가 같으므로 이는 데이터 양이 아니라 구성의 효과다. 캘리브레이션 풀에 없는 Pets·Aircraft·Places365에 대한 동결 특징 선형 프로브 전이에서도 LSP가 모든 압축률에서 다양 풀의 이득이 가장 컸다. 추론 효율에서는 Llama-2-7B가 모든 압축률에서 밀집 모델보다 빠르게 디코딩했고(−30/50/70%에서 각각 1.21×, 1.36×, 1.56×), 묶이지 않은 분해는 −30%에서조차 밀집보다 느렸다. 잠재 캐시 배포에서는 −70%, 128k 캐시 토큰, 배치 크기 8에서 가중치와 캐시를 합친 메모리가 밀집 대비 13.5배 줄어들었고, 묶이지 않은 분해는 최대 6.5배에 그쳤다. 95.5GiB GPU가 시퀀스당 약 320k 토큰을 담을 수 있는데, 이는 최대 146k에 그친 다른 방식보다 훨씬 크며 Llama-2-7B의 4k 학습 컨텍스트를 크게 넘는다.

배분 결과를 보면 Llama-2-7B에서 Q/K/V 그룹이 MLP 투영보다 훨씬 강하게 압축된다. gate/up에서 방향 하나를 제거하면 26,112개 파라미터가 절약되는 반면 Q/K/V에서는 16,384개인데도, 절약된 파라미터당 비용은 어텐션 입력 쪽이 현저히 싸다. 그래서 −70%에서 공유 K/V 잠재가 전체 랭크의 약 7분의 1로 좁아지고, 이것이 KV 캐시 절감을 이끈다. 뒤쪽 블록이 앞쪽보다 랭크를 더 많이 유지하며, −30%에서는 128개 단위 중 53개가 밀집 상태로 남는다. 두 인자가 밀집 가중치보다 작아지는 손익분기 랭크 아래로 배분될 때만 분해가 이뤄진다는 뜻이다. 유지된 부분공간을 보면, 원래 가중치의 i번째 특이벡터 w_i에 대해 a_i = ‖P w_i‖₂라 할 때 i번째 랭크-1 항의 진폭 손실은 Δ_i = σ_i(a_i − 1)이다. 가중치 SVD 절단과 달리 제거는 날카로운 컷오프가 없고 스펙트럼 전체에 걸쳐 일어나며, Q/K/V에서는 선두 방향에서 가장 깊고 다른 투영에서는 스펙트럼 안쪽에서 일어난다. 학습은 이를 더 밀어낸다. 같은 랭크를 쓰는 NoLSP와 비교하면 LSP는 큰 특이 방향을 더 많이 제거하는 대신 작은 특이 방향을 덜 제거하며, 방향 1이 NoLSP와 가장 크게 달라진다.

개발자 입장에서 이 논문의 실용적 의미는 세 가지다. 첫째, 압축 파이프라인을 짤 때 계층별 재구성 오차나 활성 에너지 같은 국소 지표만으로 랭크를 정하면 고압축 구간에서 예상보다 훨씬 크게 무너진다는 경고다. 논문은 −70%에서 학습 없는 초기화가 퍼플렉시티 222.8까지 붕괴하는 것을 보여준다. 둘째, 배포 형태가 바뀌지 않는다는 점이다. 병합 후에는 평범한 저랭크 인자 두 개만 남고 LSP 전용 연산이 없으며, 같은 압축률에서 토큰당 FLOPs도 다른 분해와 같다. 다만 입력 인자를 그룹이 공유하는 구조 덕분에 작은 배치 디코딩이 빨라지고, 잠재 캐시를 쓰려면 전용 어텐션 구현이 필요하다. 셋째, 캘리브레이션 데이터 선택이 성능을 좌우한다. 증류 목적함수는 레이블이 필요 없어 레이블 없는 풀을 그대로 쓸 수 있지만, 과제 손실을 쓰는 LSP_T는 캘리브레이션 데이터가 배포 과제와 맞을 때만 유리하고 그렇지 않으면 평가 도메인에 과특화된다. 실제로 OPT 모델 −30%에서 LSP_T가 밀집 모델보다 낮은 테스트 퍼플렉시티를 내는 것은 WikiText-2 학습 분할을 캘리브레이션에 썼기 때문이라고 저자들이 직접 설명한다.

한계와 전제는 논문에 흩어져 있다. 별도의 한계 절은 없지만, 저자들이 명시한 조건은 다음과 같다. 화이트닝 초기화의 입력 쪽 직교 재구성은 입력 그램이 등방성일 때만 초과 오차 항이 사라지며, 그렇지 않으면 명제 1이 준 초과 항이 남는다. 기존 곡률 기반 추정(LLM-Surgeon)은 밀집 가중치 근처에서만 유효한데, LSP는 유한한 절단을 네트워크 전체를 통해 측정하므로 이 제약을 피한다고 주장하지만, 대신 각 단위를 독립적으로 측정한 뒤 공동 학습으로 결합 효과를 처리한다는 근사에 의존한다. 잠재 캐시는 속도가 아니라 용량을 위한 것이다. 회전 위치 임베딩 아래에서는 키를 매 스텝 잠재로부터 다시 만들어야 하고 그 비용은 컨텍스트 길이와 잠재 폭에 선형이며, 어떤 잠재 분해든 이 비용을 낸다. 또한 전용 어텐션 구현이 필요하다. 랭크 배분은 캘리브레이션 집합의 부분집합에서 측정한 KL에 기반하므로 캘리브레이션 분포에 의존하고, 논문 스스로 비전 실험에서 캘리브레이션 구성이 바뀌면 모든 방법의 정확도가 떨어진다고 밝힌다. 마지막으로 LSP는 선형 계층에만 적용되며 임베딩과 헤드는 압축 대상이 아니고, 압축률도 그 기준으로 정의된다.