COMPASS가 정렬·병합 전에 모델 호환성을 예측한다

무엇인가

이 논문이 다루는 문제는 모델 결합 비용이다. 비전 인코더를 언어모델에 정렬하거나, 서로 다른 태스크로 파인튜닝한 체크포인트 두 개를 가중치 공간에서 병합하는 일은 현대 전이 파이프라인의 핵심 연산인데, 여기서 가장 중요한 결정은 어떤 두 모델을 짝지을지다. 기존의 transferability 지표들은 파인튜닝할 단일 사전학습 모델을 고르는 용도였고, 모델 쌍의 호환성은 비싼 정렬이나 병합을 실제로 수행한 뒤에야 알 수 있었다. 모델 라이브러리가 커지면 후보 쌍의 수는 제곱으로 늘어나므로, 평가 비용이 쌍 수가 아니라 모델 수에 비례하는 사전 진단이 필요하다는 것이 저자들의 출발점이다.

어떻게 동작하나

제안 방법 COMPASS는 호환성을 두 축으로 분해한다. 첫째 축인 ease는 해당 학습 동역학이 시작되는 시점의 쌍별 k-NN 겹침이다. 정렬에서는 두 동결 인코더의 사전학습 상태 겹침, 태스크 산술 병합에서는 두 파인튜닝 체크포인트 사이의 겹침을 측정한다. 둘째 축인 ceiling은 패러다임 수준의 상한으로, 두 모델의 학습 패러다임이 애초에 허용하는 최대 겹침을 추정한다. 두 값을 곱해 연속 점수를 만들고 후보 쌍의 순위를 매기며, 각 축을 중앙값으로 자르면 act now(높은 ease·높은 ceiling), budget-limited(낮은 ease·높은 ceiling), ceiling-limited(높은 ease·낮은 ceiling), incompatible(둘 다 낮음)의 네 영역으로 나뉜다. 두 축 모두 작은 프로브셋에 대한 순전파만으로 계산된다.

무엇과 다른가

이론적 근거는 두 정리로 제시된다. 정리 4.1은 시작 시점의 샘플별 겹침이 유한 예산 하에서 두 모델이 서로 수렴할 확률을 지배한다는 것을 보인다. 시작 겹침이 높을수록 초기 모델 간 격차가 줄어 유한 시간 보장이 타이트해진다. 정리 4.2는 목표 분포 간 불일치 γ_i가 샘플별 겹침의 상한을 정한다는 것을 보이며, 최적화가 완벽해 두 KL 항이 0이 되어도 달성 가능한 겹침은 1 - γ_i/(1-ε)를 넘을 수 없다고 주장한다. 즉 ease는 얼마나 빨리 가까워질지를, ceiling은 애초에 얼마나 가까워질 수 있는지를 나타낸다.

어떻게 쓰나

실험은 두 응용에서 이뤄졌다. 교차 모달 정렬에서는 19개 비전 모델(6개 패러다임 패밀리)과 10개 텍스트 인코더(7개 패밀리)로 만든 72개 비전-언어 쌍에 CSA 어댑터를 MS-COCO로 학습시키고 Flickr30k와 COCO의 image-to-text R@1로 평가했다. ease×ceiling의 Pearson 상관은 Flickr30k에서 |r|=0.90, COCO에서 0.91로, ease 단독(0.84/0.83), ceiling 단독(0.85/0.83), 전역 CKA(0.63/0.68)를 앞섰다. 태스크 산술 병합에서는 5개 사전학습 패러다임에서 나온 14개 ViT 체크포인트를 표준 벤치마크의 8개 이미지 분류 태스크로 파인튜닝하고 392개 쌍을 병합했는데, 평균 retention에 대해 |r|=0.70(ease 단독 0.67, ceiling 단독 0.64, 전역 CKA 0.25)을 기록했다. 순위 관점에서도 Spearman ρ가 정렬 0.91/0.93, 병합 0.70이었고, 예산 제한 평가에서 최적 정렬 쌍은 즉시, 최적 병합은 392개 후보 중 첫 5개 안에서 찾아냈다.

전제와 한계

네 영역 구분도 실제 성능과 맞아떨어졌다. Flickr30k I2T R@1 평균은 act now 0.46±0.09(n=28), ceiling-limited 0.34±0.05(n=8), budget-limited 0.30±0.06(n=10), incompatible 0.21±0.11(n=26)이었고 Kruskal-Wallis 검정은 H=45.3, p<10^-9로 네 영역이 같은 분포라는 귀무가설을 기각했다(COCO는 H=51.5). 병합에서는 act now 0.84±0.16(n=129), budget-limited 0.57±0.26(n=67), ceiling-limited 0.56±0.23(n=67), incompatible 0.35±0.17(n=129)로 H=198.2, p<10^-42였다. 저자들이 강조하는 지점은 budget-limited와 ceiling-limited의 평균 retention이 0.57 대 0.56으로 거의 같지만 처방이 다르다는 것이다. 전자는 데이터·최적화·더 강한 파트너에 투자하고, 후자는 목표에 더 가까운 패러다임으로 바꿔야 한다.

개발자 관점에서 유용한 부분은 비용 구조와 조건부 결론이다. 프로브셋은 정렬에 WIT의 1024개 이미지-텍스트 쌍, 병합에 2048개 샘플을 쓰며, 특징 추출이 후보 쌍 수가 아니라 모델 수에 비례한다. 19×10 정렬 그리드에서 190회의 정렬 실행 대신 29회의 프로브 순전파로 끝나 wall-clock이 두 자릿수 이상 줄어든다고 보고한다. 또 같은 패러다임이라도 적용 대상에 따라 유불리가 뒤집힌다. CLIP류 대조 학습 비전-언어 모델은 ceiling이 0.140, SigLIP이 0.134로 정렬에는 유리하지만 분류 태스크 병합에는 불리하고, discriminative·self-distillation·reconstructive 계열은 반대 양상을 보인다. 따라서 물어야 할 질문은 어떤 패러다임이 보편적으로 좋은가가 아니라 그 목표가 지금 하려는 전이 연산과 맞는가다.

한계도 저자들이 명시한다. 두 정리는 보편적 보장이 아니라 동기 부여를 위한 충분조건이며, 가정과 실패 모드는 부록 A와 6.1절에 정리되어 있다. 네 영역은 엄격한 범주가 아니라 해석 가능한 요약이고, 세밀한 비교에는 연속 점수가 더 낫다. ceiling은 학습 예산을 늘릴 때의 한계 이득이 아니라 그 전이 설정이 궁극적으로 지지할 수 있는 수준을 뜻한다는 것도 밝힌다(18개 정렬 쌍에서 상관이 10 에폭 ρ=0.79에서 300 에폭 0.92로 상승). 라이브러리 구성에 대한 강건성은 패밀리를 하나씩 빼고 재계산했을 때 정렬 0.85~0.93, 병합 0.60~0.72로 유지됐고, k는 10으로 고정했지만 k∈{20,50,100}에서 결과가 바뀌지 않았다고 한다. 완료된 정렬·병합 결과로 학습한 메타데이터 회귀기는 강한 성능을 낼 수 있지만 held-out 패밀리나 패러다임에서는 성능이 떨어진다는 점도 함께 보고한다.