멀티모달 LLM 프로젝터 학습을 통계 기반 초기화로 대체하는 PORTAL
Rethinking Projector Training in Multimodal LLMs
무엇인가
멀티모달 LLM은 보통 비전 인코더와 언어 모델 사이의 프로젝터를 대규모 이미지-캡션 쌍으로 먼저 학습해 정렬한 뒤, 전체 모델을 공동 학습한다. LLaVA, Molmo, InternVL, Qwen-VL 계열이 쓰는 표준 파이프라인이지만 이 프로젝터 정렬 단계가 실제로 무엇을 하는지는 잘 이해되지 않았고, Prismatic은 건너뛰어도 된다고 하고 Cambrian-1은 2.5M 쌍으로 늘리면 도움이 된다고 하며 MM1은 해상도와 데이터 혼합이 더 중요하다고 말하는 등 선행 결과가 충돌한다. 이 논문은 그 충돌을 프로젝터 정렬이 정밀한 이미지-텍스트 대응 학습이 아니라 시각 특징을 LLM 입력 공간에 맞추는 거친 정렬, 즉 기하학적 조건화라는 관점으로 설명한다.
어떻게 동작하나
저자들은 LLaVA 1.5 설정(CLIP ViT-L/14-336, Vicuna 1.5 7B, 2층 MLP 프로젝터, Stage-I LCS-558k, Stage-II LLaVA-665k)에서 두 가지 실험을 한다. 첫째, Stage-I 데이터를 10~20%만 써도 대부분의 다운스트림 성능 이득이 회복되고 모든 범주가 30~40%에서 포화된다. 더 큰 ShareGPT-1.2M도 40% 데이터에서 평균 38.1로 정점을 찍어 더 낫지 않았다. 둘째, LCS-558k와 ShareGPT-1.2M로 각각 학습한 프로젝터 가중치를 선형 보간해도 성능이 크게 유지되고, 네 범주 평균으로는 내부 α가 양 끝점보다 좋으며 α=0.5가 최적이었다. 반면 같은 데이터로 초기화만 다르게 학습한 두 프로젝터는 선형 보간이 되지 않아 캡셔닝 CIDEr가 양 끝 80에서 α=0.5에서 0.7로 떨어졌다. 초기화는 손실 분지(basin)를 고르고, 학습 데이터는 그 안의 해를 고른다는 해석이다.
무엇과 다른가
이 관찰에서 제안하는 PORTAL은 짝 이미지-캡션 데이터도, 경사 기반 최적화도 없이 각 모달의 요약 통계만으로 프로젝터를 닫힌 형태로 초기화한다. 시각 특징 x와 LLM 입력 임베딩 y를 각각 가우시안 N(μ_s, Σ_s), N(μ_t, Σ_t)로 근사하고, 두 모달의 top-k PCA 부분공간에서 고유값 순서로 좌표를 맞춘 뒤 Bures-Wasserstein 최적 수송 맵을 쓴다. 구체적으로 W1 = V_t diag(σ_t/σ_s) V_s^T, b1 = μ_t − W1 μ_s로 두고, LLaVA식 2층 MLP에서 W2는 단위행렬, b2는 영벡터로 고정한다. 이 맵은 시각 분포를 화이트닝해 상관을 제거하고 각 축을 단위 분산으로 만든 뒤, 타깃의 주축으로 표현하고 타깃의 퍼짐에 맞게 다시 스케일한 다음 평균을 재중심화한다. 필요한 것은 각 모달의 평균, 주성분 방향, 각 방향의 퍼짐뿐이며 기본 rank k는 512다. LLM이 어텐션 전에 토큰을 정규화해 어텐션이 토큰 방향에만 의존한다는 점을 이용해, 평균과 공분산만 맞춰도 충분하다는 설명도 제시한다. 코사인 분산 ω에 대해 Var(cos)와 1/d_eff의 차이가 2κ+κ²+κ⁴ 이하라는 명제를 보이고, 실제로 PORTAL이 ω를 원천의 0.23에서 타깃의 0.05~0.06 쪽으로 0.09~0.10까지 낮춘다고 측정한다. 타깃을 LLM 입력 임베딩이 아니라 ℓ번째 블록 이후 은닉 상태로 바꾸는 PORTAL-ctx ℓ 변형도 있다.
어떻게 쓰나
실험은 PORTAL로 만든 프로젝터를 표준 LLaVA 파이프라인에 넣고 모두 동일한 LLaVA-665k 지시 튜닝을 하는 방식이다. 비교 대상은 558k 짝 캡션으로 학습한 표준 LLaVA 프로젝터와, 정렬을 건너뛴 무작위 초기화 프로젝터다. 여섯 LLM 백본(Vicuna 1.5 7B, LLaMA 3.1 8B, Qwen 2.5 7B, LLaMA 3.2 1B, Qwen 2.5 0.5B, OLMo 2 1B)과 두 비전 인코더(CLIP ViT-L/14-336, SigLIP-SO400M)로 만든 일곱 조합, 16개 벤치마크를 Cambrian-1 네 범주로 묶어 평가했다. PORTAL은 짝 데이터 없이도 훈련된 기준선과 비슷한 성능을 냈고, 일곱 조합 중 세 곳에서 앞섰다. LLaMA 3.2 1B/CLIP은 106.2%, Qwen 2.5 0.5B/CLIP은 106.1%, LLaMA 3.1 8B/CLIP은 102.7%를 기록했다. 나머지 네 곳은 Vicuna/CLIP 98.8%, Vicuna/SigLIP 99.3%, Qwen 2.5 7B 98.3%, OLMo 2 1B 96.3%로 근접했다. SigLIP에서 무작위 초기화가 82.5%로 무너질 때 PORTAL은 99.3%까지 격차를 줄였다. 범주별 평균으로는 Knowledge 100.7%, General 102.0%, OCR 102.4%, Vision-Centric 100.4%를 유지했다. 3.2M 샘플의 더 큰 Stage-II에서도 PORTAL이 기존 Stage-I 초기화보다 약간 앞섰고, POPE 환각 평가에서도 모든 설정에서 훈련된 Stage-I 기준선과 같거나 앞섰다.
전제와 한계
PORTAL은 정렬 단계를 완전히 건너뛰는 용도뿐 아니라 워밍 스타트로도 쓸 수 있다. Vicuna 1.5 7B/CLIP에서 PORTAL로 초기화한 뒤 LCS-558k의 0, 1k, 10k, 100k, 558k 캡션으로 추가 정렬을 하면, 모든 예산에서 무작위 초기화보다 좋았다. 추가 정렬 없이도 무작위 초기화를 앞섰고, 약 4k 캡션만으로 558k 전체 학습 기준선 성능에 도달해 프로젝터 정렬 FLOPs를 약 135배 줄였다. 10k 캡션부터는 558k 전체 기준선을 넘어서고 100k까지 격차가 벌어졌다. 구조 실험에서 2층 MLP를 단일 선형층으로 바꾸면 PORTAL의 이점이 더 커져 훈련 기준선의 111.8%를 기록했고, 무작위 초기화는 94.2%였다. 2층 MLP에서는 PORTAL 106.2%, 무작위 99.9%였다. 파라미터가 약 19배 많은 C-Abstractor에서는 PORTAL이 기존 Stage-I 학습과 사실상 구분되지 않았다(42.93 대 42.98). 비전 통계를 뽑는 비라벨 이미지 풀은 COCO val2017 1024장이 Cambrian-737k의 9개 소스 4096장보다 15개 벤치마크 중 12개에서 같거나 좋았고 평균도 44.0 대 43.4로 높았다. PCA rank k는 64, 128, 256, 512, 1024에서 모두 훈련 기준선을 약 4% 이상 앞섰고, 64~256은 약 43.3으로 평탄, 512가 44.2로 정점, 1024가 44.0이었다. 타깃 층은 입력 임베딩(ℓ=0)이 102.3%로 가장 강했고 ℓ=4는 101.9%, ℓ=8은 101.4%였다.
한계도 분명하다. 성능 격차는 OCR과 Chart처럼 문자 수준의 미세한 공간 구조가 중요한 벤치마크에 집중된다. 저자들은 주변 통계만으로는 짝 지도가 제공하는 세밀한 문자 수준 구조를 담기 어렵다고 본다. 실제로 Qwen 2.5 7B/CLIP과 OLMo 2 1B/CLIP 두 설정은 훈련 기준선의 부트스트랩 신뢰구간 아래에 있었고 격차가 OCR과 Chart에 몰렸다. 다만 CORAL이나 Gromov-Wasserstein 같은 다른 비짝 분포 정합 방법도 짝 Stage-I 학습 성능의 대부분을 회복해, Stage-I 이득 상당 부분이 고유한 이미지-텍스트 대응 학습보다 호환 가능한 특징 분포로 만드는 데서 온다는 증거를 더한다. 또한 PORTAL은 두 모달을 가우시안으로 근사하지만 실제 특징은 꼬리와 주변 분포 모양에서 가우시안을 벗어나며, 어텐션 가중치는 ω가 설명하지 않는 학습된 쿼리·키 투영에도 의존한다. 연구 범위는 정렬 중 비전·언어 백본을 고정한 경우, 단일 이미지 입력, 단순한 프로젝터 구조에 한정된다. 향후 과제로 더 풍부한 커넥터, 긴 문맥 그라운딩, 다중 이미지 추론, 오디오·비디오·3D 같은 추가 모달로 확장하는 일이 남아 있다.
개발자 입장에서 이 논문은 멀티모달 LLM을 만들 때 Stage-I 프로젝터 정렬에 들어가는 대규모 이미지-캡션 데이터와 학습 비용을 줄일 수 있는 구체적 대안을 제시한다. 작은 비라벨 이미지 풀에서 비전 통계를, LLM 임베딩에서 언어 통계를 구해 닫힌 형태로 프로젝터를 초기화하면 짝 데이터 없이도 표준 558k 학습에 근접하거나 앞설 수 있고, 소량의 짝 데이터를 워밍 스타트로 더하면 오히려 기준선을 넘을 수 있다. 다만 OCR·차트처럼 문자 수준 공간 구조가 중요한 과제에서는 성능이 뒤처질 수 있으므로, 자신의 태스크 분포에서 OCR/Chart 비중과 rank k, 타깃 층, 프로젝터 구조를 확인해야 한다. 부록 F에 자체 포함 PyTorch 구현이 있다고 밝히지만, 원문에 공개 저장소 URL은 제시되지 않았다.