잔차 공간 적응으로 확산 모델이 개념을 잊지 않고 순차 학습한다

무엇인가

텍스트-이미지 확산 모델 개인화는 참조 이미지 몇 장으로 사용자 고유의 대상·스타일을 학습하는 작업이다. 기존 방법은 개념마다 LoRA 어댑터를 따로 학습한 뒤 하나의 모델로 병합하거나, 모든 개념이 동시에 주어진다고 가정한다. 하지만 실제 서비스에서는 새 개념이 시간 순서대로 도착하고, 그때마다 비싼 병합을 다시 수행해야 한다. 이 논문이 다루는 것은 이 연속 개념 개인화 설정이며, 핵심 장애물은 간섭이다. 새 개념을 배우면 이전 개념의 성능이 무너지고, 동시에 고정된 모델 용량을 아껴 미래 개념을 위한 적응 여력을 남겨야 한다.

어떻게 동작하나

제안 방법은 LLM용으로 설계된 잔차 공간 적응 기법 DyRA를 확산 모델로 옮긴 것이다. 각 적응 레이어의 LoRA 업데이트를 ΔW_t = A_t B_t로 두고, B_t는 학습 전에 초기화한 뒤 고정하며 A_t만 최적화한다. 누적 모델은 사전학습 가중치에 지금까지의 모든 ΔW_i를 더한 형태다. 절차는 세 단계다. 먼저 이전 태스크들의 입력 특징 행렬을 스펙트럼 분해해 대표 부분공간 M_{t-1}을 추정하고, 현재 태스크의 입력 공간 H_t를 그 직교 여공간에 투영해 잔차 공간을 얻는다. 마지막으로 특이값이 임계값 τ를 넘는 방향만 골라 LoRA의 하향 투영 행렬 B_t를 그 잔차 공간에 초기화한다. 레이어별 순위를 명시적으로 정하지 않고 이 임계값이 사실상 레이어별 랭크를 결정한다는 점이 동적 랭크 할당의 핵심이다.

무엇과 다른가

확산 모델로의 확장이 자명하지 않은 이유는 레이어 입력이 개념뿐 아니라 샘플링된 노이즈와 디노이징 타임스텝에 의존하기 때문이다. 저자들은 레이어 입력을 확률변수 x_t(s, ε)로 보고, 현재 태스크의 기대 적응력 E[||B_j x_j||²]을 최대화하되 이전 태스크에 대한 기대 간섭 E[||B_j x_i||²]을 δ 이하로 억제하는 문제로 정식화한다. 이 목적함수가 노이즈·타임스텝의 학습 분포 위에서 정의되므로, 특징 수집도 확산 학습과 동일한 샘플링 전략, 즉 가우시안 노이즈와 균등 샘플링 타임스텝으로 수행하면 된다는 결론이 따라온다.

어떻게 쓰나

평가 프로토콜도 새로 만든다. 생성 이미지 집합과 참조 이미지 집합 사이의 모든 쌍별 코사인 유사도를 평균한 개념 충실도 S(G, I)를 정의하고, 임베딩으로는 DreamSim을 기본값으로 쓴다. CLIP과 DINO는 자세나 배경이 비슷한 다른 개념 이미지를 검색해 오는 반면 DreamSim은 동일 개념을 검색해 왔다는 정성·정량 비교 때문이다. 이로부터 최종 개념 충실도 Q(학습 종료 후 평균)와 망각 궤적 F(t)(개념 k를 배운 직후의 충실도에서 현재 충실도를 뺀 값의 평균), 최종 망각 F = F(T)를 유도한다.

전제와 한계

실험은 17개 의미 클래스에 걸친 101개 개념을 담은 Concept101과 Stable Diffusion v1.5에서 수행하며, 리허설 없이 현재 개념 데이터만 쓰는 순차 학습이다. 비교 대상은 A와 B를 모두 학습하는 Trainable-AB(Mix-of-Show의 연속 학습 변형), B를 무작위 초기화로 고정하고 A만 학습하는 Rank-Fixed-B, Orthogonal Adaptation의 연속 버전 OA이며, 고정 랭크 방법은 모두 r=4다. 결과적으로 Trainable-AB는 개념 충실도는 경쟁력 있지만 망각이 가장 크고, Rank-Fixed-B와 OA는 망각을 잘 억제하지만 충실도가 다소 낮으며, DyRA-τ(τ ∈ {0.5, 1.0})는 거의 0에 가까운 망각과 최고 개념 충실도를 동시에 달성했다. 망각 궤적 그래프에서도 Trainable-AB는 계속 높은 값에서 진동하는 반면 나머지 세 방법은 0 근처에서 유지된다. 파라미터 예산 대비 충실도 곡선에서도 DyRA는 동일 파라미터 수의 OA보다 일관되게 높은 충실도를 보였다. 표 1의 구체적 Q·F 수치는 본문 발췌에 제시되지 않았다.

가장 실무적인 대목은 레이어별 분석이다. 101개 개념에 걸쳐 할당된 평균 랭크를 보면 텍스트 인코더는 K·V·Q·출력 투영이 반복되는 4레이어 주기성을, UNet은 블록당 8개 적응 레이어 주기성을 그대로 따라가며, 모든 블록에서 UNet 교차 어텐션의 K·V 투영이 압도적으로 큰 랭크를 받는다. DyRA-0.5에서는 이 32개 UNet 교차 어텐션 K·V 투영이 전부 포화되고 대략 77~78번째 태스크 부근에서 용량이 고갈되며, 이후 학습한 개념의 충실도가 떨어졌다. DyRA-1.0에서는 포화가 하나도 일어나지 않고 후반 개념 성능도 유지됐다. 이 관찰을 근거로 적응 범위를 UNet K·V 투영으로 제한하면 학습 파라미터가 67.56M에서 27.12M로 약 60% 줄면서도 Q는 0.6496 대 0.6497로 사실상 동일했고, UNet 교차 어텐션 K·V만으로 더 좁히면 18.87M로 약 72% 줄여도 성능 대부분이 유지됐다. Custom Diffusion이나 C-LoRA가 경험적으로 교차 어텐션 K·V만 적응시킨 선택에 특징 공간 활용 관점의 원리를 부여한 셈이다.

개발자 입장에서 이 논문은 개념을 순차적으로 추가하는 개인화 서비스에서 어댑터 병합 파이프라인을 걷어내고 단일 모델을 점진 갱신하는 선택지를 제시한다. 다만 잔차 공간 방식은 레이어 폭에 용량이 근본적으로 묶여 있어, 적응 수요가 큰 레이어가 포화되면 긴 태스크 시퀀스에서 성능이 흔들린다. 실제로 적용한다면 어떤 레이어가 포화되는지를 모니터링하고 임계값 τ를 보수적으로 잡아 잔차 용량을 남겨두는 운용이 필요하다. 저자들도 이 용량 한계와, 실험이 Stable Diffusion v1.5와 Concept101에만 국한됐다는 점을 한계로 밝히면서, 레이어 입력 통계와 잔차 공간 역학만 쓰는 분석이라 다른 확산 백본이나 트랜스포머 생성 모델로 확장 가능하다고 본다.