BISECT가 LoRA 지속학습의 스펙트럼 기아를 두 기저로 줄인다

무엇인가

이 논문은 사전학습 Vision Transformer(ViT) 위에서 예시 없이 클래스 증분 학습을 할 때 LoRA 어댑터의 저랭크 업데이트를 어떻게 구성할지를 다룬다. 기존 InfLoRA, O-LoRA, null-space prompt tuning 계열은 과거 토큰 특징의 근사 null space에 다운프로젝션 P를 고정해 과거 지식을 보호한다. 저자들은 이 직교성 전제가 스펙트럼 기아(spectral starvation)라는 구조적 병목을 만든다고 주장한다. P가 과제 최적화 전에 고정되면 학습 가능한 업프로젝션 Q로 가는 그래디언트 노름이 현재 과제 특징 중 선택된 기저가 포착한 에너지로 상한이 걸린다는 것이다. Proposition 1은 ∇_Q L의 프로베니우스 노름이 ∇_Y L의 노름 곱하기 sqrt(tr(P G_t P^T)) 이하로 묶인다고 정식화한다. 실제로 10S-ImageNet-A에서 InfLoRA는 비제약 순차 LoRA보다 낮은 49.35%를 기록했고 비제약 LoRA는 52.96%였다.

어떻게 동작하나

저자들의 진단 근거도 구체적이다. 역사적 Gram 행렬의 고유스펙트럼을 사분위로 나누면 새 시각 과제 특징 에너지의 80% 이상이 과거 방향의 상위 35%에 있고, 하위 30% null tail은 5.5%만 담는다. 그래서 null tail에 P를 넣으면 신규 클래스 학습 신호가 약해지고, 현재 과제 분산만 보고 기저를 고르면 과거 핵심 방향을 다시 선택해 드리프트가 커진다. 저자들은 과거 비활성도나 현재 분산 자체가 아니라 현재 분산 대 과거 분산의 비율이 중요하다고 보고, 그 비율이 중간 스펙트럼에서 최대가 된다고 설명한다. 화이트닝된 새로움의 51.6%가 중간 스펙트럼에 있다는 관찰도 제시한다.

무엇과 다른가

BISECT는 고정된 rank r 예산을 두 개의 직교 기능 블록으로 나눈다. 첫째, 불변 캐리어 P_inv는 결합 Gram G_1:t=G_<t+G_t의 지배적 k_inv 특이벡터로 만든다. 둘째, 새로움 보완 P_nov는 과거 Gram에 Tikhonov 감쇠 ρ=10^-4를 더한 행렬로 G_t를 Cholesky 화이트닝한 뒤 일반화 레일리 비 R(u)=u^T G_t u / u^T(G_<t+ρI)u를 최대화하는 방향으로 뽑고, P_inv의 직교 여공간으로 투영한 뒤 QR로 정규직교화한다. k_inv는 결합 Gram의 상위 r개 특이값 에너지 비율이 η=0.7에 도달하는 지점으로 층마다 다르게 정하고, k_nov=r-k_inv로 둔다. P_inv는 전체 m×m 고유분해 대신 q=8 오버샘플링을 쓰는 randomized rangefinder로 계산해 full SVD 대비 5.0배 빠르고, sin Θ_max ≤ 0.008로 주부분공간 각도를 맞춘다. Theorem 1은 이 새로움 기저가 L^T-정규직교 부분공간에서 일반화 레일리 비 합을 최대화하고, 최종 복합 기저가 P_inv P_inv^T=I, P_nov P_nov^T=I, P_inv P_nov^T=0을 만족함을 보인다.

어떻게 쓰나

학습 후 병합도 그냥 더하지 않는다. Q_inv P_inv를 rank-1 원자 q_inv,j p_inv,j로 쪼갠 뒤, 각 불변 원자에 닫힌형 정밀도 게이트 ω_j* = p G_t p^T / p(G_<t+G_t)p^T를 곱해 W^(t) ← W^(t-1) + Q_inv Ω* P_inv + Q_nov P_nov로 접는다. 이 게이트는 과거 특징 드리프트와 신규 과제 근사 잔차의 제곱합을 최소화하며, Ω*를 쓰면 스케일 없이 병합할 때보다 과거 드리프트를 엄격히 줄인다. 실험에서는 held-out 과거 드리프트를 83.4% 줄였다. 새로움 원자는 단위 이득으로 접어 신규 학습을 보존하고, P_inv가 span하는 방향에 대한 특징의 투영은 새로움 기록 Q_nov P_nov에 의해 변하지 않는다.

전제와 한계

실험은 ImageNet-R 5S/10S/20S, ImageNet-A 10S/20S, CIFAR-100 10S, CUB-200 10S, DomainNet 10S의 8개 증분 설정에서 진행됐다. 백본은 ImageNet-21K로 사전학습한 frozen ViT-B/16이고, rank r=32 어댑터를 12개 블록의 query/key/value에 붙인다. 지표는 최종 세션 후 전체 본 클래스 정확도 A_Final과 세션 평균 A_bar이며, task ID 없이 평가하고 3개 고정 클래스 순서 시드로 평균한다. 저자들은 8개 설정 전반에서 프롬프트·어댑터·LoRA 베이스라인을 앞선다고 보고한다. 10S-ImageNet-A에서 BISECT는 InfLoRA보다 A_Final이 13.49포인트 높은 62.84%를 냈고, InfLoRA는 49.35%였다. 20S-ImageNet-A에서는 9.17포인트 높은 56.12%를 냈고 InfLoRA는 46.95%였다. 20S-ImageNet-R과 20S-ImageNet-A에서는 LoDA보다 각각 0.64포인트 높은 79.48%, 56.12%를 기록하면서 LoDA의 테스트 시 2.36M 보조 라우팅 파라미터를 없앴다. SplitLoRA 대비로는 10S-ImageNet-R에서 1.22포인트, 10S-ImageNet-A에서 2.00포인트 앞선다.

구성 요소별 절제에서도 효과가 나뉜다. 20S-ImageNet-A에서 제약 없는 순차 LoRA는 44.92%까지 떨어졌고, 불변 캐리어만 쓰면 A_Final이 7.26~8.88포인트 올랐지만 드리프트가 남았으며, 새로움 보완만 쓰면 6.68~8.12포인트 올랐지만 공유 캐리어가 없었다. 둘을 16/16으로 나눈 이단 분해는 최선의 단일 부분공간보다 1.82~2.48포인트 추가 개선을 냈고, 정밀도 게이트와 층 적응 분할을 더하면 20S-ImageNet-A에서 고정 rank 이단 병합 대비 2.00포인트가 더해졌다. 새로움 기저를 무작위 직교 기저, Adam-NSCL, InfLoRA, 화이트닝 없는 현재 과제 PCA로 바꾸면 일반화 레일리 선택도가 3.95배에서 1.0~1.8배로 떨어지고 10S-ImageNet-R/ImageNet-A의 A_Final이 2.2~4.5포인트 하락했다. 층별로는 얕은 블록이 k_inv≈21~24, 깊은 블록이 k_nov≈18~21을 갖는 분할이 나타났다.

효율은 20S-ImageNet-R 기준 서브스페이스 설정에 10.2초/과제가 걸려 InfLoRA의 51.8초보다 5.1배, LoDA의 126.8초보다 12.4배 빨랐다. 12개 블록의 Gram 상태는 27.0MB로 과제 수 T와 무관하게 일정하고, 학습 후 어댑터를 백본에 접어 추론 시 추가 파라미터나 FLOPs가 없다. 실무에서 LoRA 기반 CIL을 붙일 때 null-space 격리만 고집하지 말고, 과거/현재 Gram을 유지해 공유 방향과 새로움 방향을 분리하고 병합 시 게이트를 두는 설계를 검토할 근거가 된다. 다만 과제 경계가 학습 중 필요하고, frozen ViT와 고정 rank 예산, Gram 메모리 27.0MB, 서브스페이스 설정 10.2초/과제 같은 전제를 먼저 확인해야 한다. 추론 오버헤드가 없다는 장점은 백본에 접는 병합이 제대로 구현될 때 성립한다.

저자들이 명시한 적용 범위도 분명하다. BISECT는 frozen ViT-B/16, rank 32, 고정 하이퍼파라미터, 3개 시드, exemplar-free·task-agnostic 프로토콜에서 평가됐고, 과제 경계는 학습 중 알지만 테스트에서는 task ID를 쓰지 않는다. 또한 희소 해석적 확장(Fly-CL)은 CIFAR-100에서 91.24/93.88, CUB-200에서 90.62/93.64로 BISECT보다 강하다. 저자들은 frozen code가 이미 선형 분리 가능한 데이터에서는 그 계열이 더 낫다고 인정하며, BISECT를 그와 상보적인 접근으로 둔다. 10S-ImageNet-A에서는 Fly-CL 64.51%가 BISECT 62.84%보다 최종 정확도가 높지만 세션 평균은 BISECT가 71.42%로 Fly-CL 67.72%보다 높다.