LoRA의 저랭크는 동결된 활성의 병목 차원이 결정한다

무엇인가

이 논문은 LoRA가 왜 저랭크 업데이트로 충분한지에 대한 기존 설명이 대부분 NTK 영역의 선형화에 기대고 있다는 문제의식에서 출발한다. 저자들이 던지는 질문은 더 구조적이다. 동결된 백본 아래에서 정규화된 파인튜닝 목적함수 자체가 언제 저랭크 전역 최적해를 허용하며, 그 랭크를 무엇이 통제하는가이다. LoRA의 rank r은 보통 실무자가 고르는 하이퍼파라미터이므로, 이 질문은 rank 선택과 과잉 랭크의 의미를 이해하는 데 직접 연결된다.

어떻게 동작하나

핵심 관찰은 백본이 동결되면 손실이 적응 행렬 T를 직접 보지 않고, 동결 활성으로 만든 유한랭크 선형 사상을 통해서만 본다는 것이다. 단일 블록에서 동결 입력 특징 행렬을 H라 하면 손실은 T H를 통해서만 T에 의존한다. 저자들은 이 사상 Phi(T)=T H의 랭크를 병목 랭크 d_Phi라 부르고, 단일 블록에서는 d_Phi=m rank(H)임을 보인다. 트레이스노름(핵 노름) 정규화는 같은 관측 출력을 내는 여러 T 중 저랭크 대표를 고르게 한다. Theorem 4.1은 모든 전역 최적해 Ttilde에 대해 같은 Phi(T)를 내면서 rank r이 r(r+1)/2 <= d_Phi를 만족하는 전역 최적해 T*가 존재함을 보인다. 따라서 r은 min{m,n, floor((sqrt(8d_Phi+1)-1)/2)} 이하로 묶인다. 여러 단계를 적응하는 경우에는 단계별 병목 랭크와 누적 차원 예산으로 확장된다.

무엇과 다른가

어텐션에서는 병목이 더 좁아진다. 행별 소프트맥스는 점수 행렬의 행별 상수 덧셈에 불변하므로 쿼리와 키 업데이트는 중심화된 키 부분공간을 통해서만 관측되고, 샘플마다 키 토큰 차원이 하나 줄어든다. 값 업데이트는 어텐션 가중 풀링과 동결된 출력 투영을 거친 뒤에만 관측된다. 저자들은 이 두 불변성을 사영자 압축 원리로 정리하고, Theorem 4.4에서 쿼리와 키의 랭크를 min{d_k,t, rank(H_Q*), rank(H_K*), sum_i(rho_K,i-1)} 이하로, 값의 랭크를 min{d_v,t, rank(H_V*), sum_i rank(A_i*)} 이하로 묶는다. 출력 투영까지 적응하는 Theorem 4.5는 출력 투영 업데이트의 랭크도 min{d_out,t, |A_t| d_v,t, sum_i rho_Q,i} 이하로 제한한다. 이 한계들은 랭크 최소 전역 최적해에서 사후적으로 평가되는 값이다.

어떻게 쓰나

비볼록 쪽에서는 가중치 감쇠가 있는 분해형 LoRA 목적함수에 작은 일반적 양의 준정부호 섭동을 더한다. Theorem 4.7은 r(r+1)/2가 대칭 KKT 행렬 가족의 차원 상한 p보다 크면, 거의 모든 양의 준정부호 섭동에 대해 모든 일차 정류점이 rank(R)<r을 만족한다고 주장한다. 어텐션에 적용한 Corollary 4.8은 단계별 조건 r(r+1)/2 > beta_{t+1}+m r_Hmax를 제시한다. 다만 이것은 일차 정류점에서 full-rank가 배제된다는 결과이지, 나쁜 국소 최소점이 없다는 결과가 아니다. Proposition 4.9는 rank r>=2, lambda>0, 작은 섭동에서도 R=0이 전역 최적이 아닌 엄격한 국소 최소점이 되는 매끄러운 비볼록 손실이 존재함을 보여 이 범위를 명시한다. Theorem 4.10은 섭동된 목적함수의 전역 최적해가 원래 트레이스노름 문제에 대해 근최적임을 보이며, 섭동의 크기가 epsilon_j이면 격차가 sum_j epsilon_j ||T_j*||_* 이하로 묶인다. 일반화 한계는 동결 특징의 스펙트럼 구조, 구체적으로 E||E H^T||_2로 통제된다.

전제와 한계

실험은 GLUE의 SST-2, MNLI, RTE에서 Qwen2.5-1.5B로 수행했다. 레이어 7과 8의 한 헤드에 있는 하나의 쿼리 투영 블록만 적응하고, 분류 헤드 워밍업 후 백본과 분류기를 모두 동결했다. 임계값은 상류와 하류 랭크 프록시가 모두 포화되는 가장 작은 랭크로 정의했다. Qwen2.5-1.5B에서 d_k,t=128이며, 많은 예제 영역에서는 추정치가 헤드 상한 128에 도달하고 적은 예제 영역에서는 그보다 작아진다. Figure 1에 따르면 추정 임계값보다 낮은 랭크는 뚜렷하게 더 나쁜 손실 궤적을 보이고, 임계값 이상의 랭크들은 거의 겹치며 full fine-tuning 손실에 가깝게 수렴한다. 원문은 정확한 손실 수치나 개선폭을 표로 제시하지 않고 이 궤적 양상으로 보고한다.

개발자 관점에서 이 논문은 LoRA rank를 데이터와 동결 활성의 병목 구조로 설명하려는 틀을 준다. 쿼리와 키는 중심화된 키 차원, 값은 어텐션 행렬의 유효 랭크, 출력 투영은 헤드 출력 차원이 상한으로 작용한다. 따라서 rank를 무작정 키우기보다 자신의 모델에서 H의 랭크, 어텐션 행렬의 랭크, 출력 투영 차원을 확인하고 포화 지점을 찾는 것이 합리적이다. 다만 이 정리는 트레이스노름 목적함수의 존재를 인증할 뿐 경사하강 LoRA의 수렴을 보장하지 않는다.

저자들이 밝힌 한계는 분명하다. 랭크 정리는 트레이스노름 목적함수에 대한 존재 결과이지 경사 기반 LoRA의 수렴 보장이 아니다. Theorem 4.4의 한계는 전역 해에 기반하므로 명시적으로 계산할 수 없고, 어텐션 한계는 사후적이다. 일반적 랭크 결핍 정리는 섭동된 목적함수에 대한 일차 결과이며, Proposition 4.9처럼 나쁜 국소 최소점은 남을 수 있다. 또한 전방 패스가 결정적이어야 하고 Dropout과 BatchNorm이 없는 평가 모드를 전제하며, 실험도 세 GLUE 과제와 두 레이어의 단일 쿼리 블록에 제한되어 있다.