전이학습 리지 회귀가 두 데이터셋 결합의 최소최대 최적 스케일링을 달성한다

무엇인가

이 논문은 사전학습 모델을 다운스트림 과제에 재사용하는 전이학습이 실제로 스케일링 법칙 수준의 성능 개선을 주는지, 준다면 어떤 조건인지를 고차원 리지 회귀에서 규명한다. 소스와 타깃은 회귀계수, 공분산, 잡음 수준이 달라질 수 있고 표본 수는 서로 다른 다항 속도로 증가한다고 둔다. 실무에서 L2-SP처럼 사전학습 가중치 쪽으로 정규화하는 미세조정이 언제 타깃만 학습하거나 소스만 학습하는 것보다 나은지 판단할 기준이 필요하다는 문제의식이다.

어떻게 동작하나

방법은 두 단계다. 먼저 소스 데이터로 리지 회귀를 풀어 소스 추정량을 얻고, 타깃 데이터에서는 소스 추정량과의 L2 거리에 페널티를 주는 리지 회귀를 푼다. 두 추정량은 닫힌 형태를 가지며, 논문은 모델 이동과 공분산 이동을 모두 허용한 상태에서 타깃 초과 예측 위험의 결정론적 등가를 세운다. 정리 1은 이 등가와 실제 위험의 차이를 고확률로 보이는 가산적 비점근 근사 오차로 제시한다. 즉 유한 표본에서도 등가가 위험을 추적한다는 것을 보이는 것이 출발점이다.

무엇과 다른가

이어서 d가 무한대이고 소스·타깃 공분산이 가환인 멱법칙 스펙트럼 k^{-a}, k^{-b}를 가지며 두 과제가 같은 회귀계수를 공유하고 잡음 분산이 상수인 모형으로 특수화한다. 소스 표본 수를 타깃 표본 수 n의 n^{γn} 규모로 두고, 두 데이터셋을 함께 쓴 최소최대 위험과 전이 리지의 결정론적 등가를 비교한다. δ=b-a, γc=1-δ/(1+2s)라 할 때 δ>1이고 γc<γn<1인 영역에서 두 데이터셋 결합의 최소최대 지수는 (δ-1+γn)/δ가 되며, 이는 소스만 또는 타깃만 쓸 때보다 엄격히 빠르다. 논문의 핵심 주장은 이 영역에서 λ_sr을 n_sr^{1-a} 규모, λ_tr을 n^{1-b(1-γn)/δ} 규모로 고르면 전이 리지의 결정론적 등가가 정확히 같은 최소최대 최적 지수를 달성한다는 것이다.

어떻게 쓰나

특히 최적 소스 정규화 λ_sr은 소스 표본 수와 소스 스펙트럼 감쇠에만 의존하고 타깃 정보에는 의존하지 않는다. 그래서 하나의 소스 추정량을 여러 타깃 분포에 재사용할 수 있다는 보편성이 나온다. 이 보편성은 리지 미세조정에만 국한되지 않는다. 소스 추정량에서 초기화한 원패스 SGD로 타깃을 미세조정하고 기하학적 학습률 스케줄을 쓰면 마지막 반복점도 같은 지수 (δ-1+γn)/δ를 얻는다는 것이 보조정리 1의 주장이다. 다만 논문은 타깃 독립적인 최적 소스 추정량의 존재를 보일 뿐 유일성을 주장하지 않는다.

전제와 한계

실험은 합성 데이터와 이미지 특징, 언어모델로 구성된다. 합성 실험은 a=2, b=6, r_tr=0.6, d=50,000, n_sr=n_tr^{γn} 설정에서 편향 제한, 분산 제한, 최적 튜닝 리지를 비교한다. 그림 1에서는 편향이 지배할 때 올바른 소스 정규화가, 분산이 지배할 때 올바른 타깃 정규화가 스케일링을 개선하고, 모두 최적으로 튜닝하면 전이학습이 타깃만·소스만 학습보다 나은 스케일링을 보인다. 그림 2는 γn을 바꾸며 γc<γn<1 영역에서 결합 데이터의 이득이 나타남을 보인다. MNIST와 CIFAR-10의 PCA 특징에서도 결정론적 등가가 경험적 위험을 추적한다는 결과가 부록에 제시된다. 언어모델 실험은 GPT-2 small을 FineWeb-Edu로 소스 학습하고 Python CodeParrot으로 미세조정한다. 고정 소스 예산에서는 작은 타깃 예산에서 미세조정이 더 낮은 손실을 보이지만 타깃만 학습이 격차를 좁히고, 소스 예산이 타깃 예산과 함께 커지면 짧은 타깃 학습 초기 구간에서 미세조정이 더 빠르게 감소할 수 있다. 다만 추가 타깃 최적화 후에는 이 우위가 작아진다. 원문에 구체적인 손실 수치나 개선율 표는 제시되지 않았다.

개발자에게 이 논문은 전이학습을 무조건 쓰는 대신 소스·타깃 표본 비율과 공분산 스펙트럼 감쇠를 보고 이득 여부를 판단하라는 기준을 준다. 특히 소스 쪽 L2 정규화를 타깃마다 다시 튜닝하지 않고 소스 데이터만으로 정할 수 있다는 주장은 여러 다운스트림 과제에 하나의 사전학습 체크포인트를 재사용하는 운영 방식과 맞닿아 있다. 반면 타깃 정규화는 타깃 데이터와 표본 수에 맞춰 조정해야 한다. 전이 이득이 최소최대 최적이 되는 것은 특정 표본 성장 영역과 스펙트럼 조건에서이므로, 실제 파인튜닝에서 소스 데이터를 늘린다고 항상 다운스트림 스케일링이 좋아진다고 가정하면 안 된다.

한계는 분명하다. 스케일링 법칙의 최소최대 최적성 주장은 고차원 선형 회귀, 공유 회귀계수, 가환인 멱법칙 공분산 스펙트럼, 상수 잡음, δ>1과 γc<γn<1라는 영역에 놓인다. 정리 1 자체는 모델·공분산 이동을 허용하지만, 최적 지수 비교는 위 특수화에 기반한다. 또한 최적 소스 정규화의 보편성은 존재성이며 유일성은 아니다. 언어모델 실험은 선형 이론 밖에서 유사 현상이 보인다는 증거이지 정량적 보장은 아니다. 저자들은 분류 문제와 랜덤 특징 모형으로 확장해 모델 크기 효과를 명시적으로 다루는 것을 향후 과제로 남긴다.