DGP는 LLM 층마다 다른 ViT 층을 골라 연결한다

무엇인가

멀티모달 LLM은 이미지를 ViT로 인코딩하고 어댑터로 투영해 언어 모델에 넣는다. 이 논문이 던지는 질문은 "어디에 연결할 것인가"다. 즉 계층적 비전 인코더의 시각 정보를 LLM의 어느 층에 어떻게 배선할 것인가. ViT 층마다 담는 정보가 다르고(얕은 층은 에지·텍스처·국소 디테일, 깊은 층은 소수의 의미 앵커에 집중), LLM 층마다 요구하는 시각 입도도 다르다. 그런데 주류 MLLM은 마지막이나 끝에서 두 번째 ViT 층 하나를 고정해 한 번 주입하고, LLM의 모든 층을 단일 소비자로 취급한다. 얕은 층과 중간 층의 단서가 버려지고, 디코딩이 진행돼도 시각 계층으로 되돌아갈 경로가 없다.

어떻게 동작하나

기존 연구는 두 갈래다. 인코더 측 융합(DenseConnector, MMFuser, IGVA, TGIF, CCRA)은 LLM 앞에서 여러 층을 하나의 표현으로 합치므로, LLM 층별 수요에 적응할 여지가 없다. 미리 정의된 희소·계층 연결(DeepStack, Sparse Shortcuts, EVLM)은 특정 ViT 층을 특정 LLM 층에 수작업 패턴으로 잇는다. CLI는 LLM 상태에 조건화된 게이팅을 도입했지만 샘플링된 ViT 층과 지정된 주입 지점에 한정된다. 저자들은 (i) 모든 층 사이의 전 연결, (ii) 현재 LLM 층 상태가 구동하는 라우팅 가중치, (iii) 안정적인 라우팅 분포를 갖는 종단간 학습을 동시에 만족하는 방법이 없었다고 본다.

무엇과 다른가

DGP의 구조는 이렇다. 24개 ViT 층과 LLM 각 층 사이에 전 연결을 열어두고, LLM 층마다 24차원 라우팅 분포를 만든다. 질의는 각 멀티모달 샘플의 첫 정답 토큰 앞에 붙인 학습 가능한 glimpse 토큰의 해당 층 은닉 상태다. 인과적 자기회귀 구조 덕분에 이 토큰은 앞선 시각·텍스트 문맥 전체를 보므로 현재 디코딩 깊이를 요약하는 압축 질의로 쓰인다. 키와 값은 각 ViT 층의 [CLS] 표현을 LLM 은닉 공간으로 투영해 쌓은 것이고, 모든 LLM 층이 공유하는 멀티헤드 크로스어텐션에 들어간다. 그 결과 나온 라우팅 특징을 층마다 별도의 MLP(LayerNorm → 선형 → GELU → 드롭아웃 → 선형 → 소프트맥스)에 통과시켜 ViT 층에 대한 가중치 ω를 얻는다. 융합은 위치별로 한다. 같은 패치 위치의 ViT 층별 패치 특징을 ω로 가중합하고, 층별 프로젝터로 LLM 차원에 맞춘 뒤, 학습 가능한 스칼라 a로 만든 게이트 γ=σ(a)(초기값 0.3)를 곱해 잔차로 시각 은닉 상태에 더한다. 이렇게 하면 시각 표현이 한 번 주입되고 마는 게 아니라 디코딩 깊이에 따라 계속 갱신된다.

어떻게 쓰나

학습은 LLaVA-1.5 레시피를 따른다. CLIP-ViT-L/14-336과 Vicuna를 쓰고, LLaVA-558K로 사전학습, LLaVA-mixed-665K로 지도 미세조정을 각 1 에폭 수행한다. 비전 인코더는 고정하고, DGP 모듈과 LLM을 두 단계 모두에서 함께 최적화한다. AdamW에 코사인 스케줄, 배치 256/128, 학습률 1e-3/2e-5, 라우팅 MLP 은닉 차원 1024다. 라우팅이 소수 ViT 층으로 붕괴하는 것을 막기 위해 배치 평균 라우팅 분포의 엔트로피를 최대화하는 정규화 항을 더한다(λ=0.01, 사전학습만 적용하고 미세조정에서는 0).

전제와 한계

Vicuna-7B 기준으로 LLaVA-1.5 대비 SQA^I +4.2, MM-Vet +3.3, VizWiz +3.1, LLaVA^W +3.1을 기록했고 나머지 벤치마크에서도 같은 방향의 개선을 보였다. 멀티층 융합 베이스라인들과 비교해 GQA, SQA^I, SEED, LLaVA^W, MM-Vet, MMB^CN에서 최고 점수를 냈다. 비전 인코더·LLM 백본·해상도 전략이 다른 Qwen3-VL-2B(SigLIP2 + Qwen3-1.7B)와 LLaVA-NeXT(AnyRes 타일링)에서도 동일한 558K+665K 데이터로 일관된 향상을 확인해, 이 원리가 특정 아키텍처에 종속되지 않음을 보였다. 비용은 7B에서 파라미터 +5.29%, FLOPs +4.07%, 피크 메모리 -0.13%, 13B에서 파라미터 +4.27%, FLOPs -0.07%, 피크 메모리 +4.13%다.

소거 실험의 핵심은 "층을 많이 쓴다"와 "어디에 연결한다"를 분리한 것이다. 24개 ViT 층을 균등 평균하면 오히려 베이스라인보다 대부분의 벤치마크에서 성능이 떨어졌다. 호환되지 않는 입도가 섞여 세밀한 단서가 희석된다는 해석이다. 게이팅된 라우팅만으로도 개선이 나왔고, 엔트로피 정규화를 더하면 추가 향상이 있었다. 라우팅 시각화에서는 중간 ViT 층이 가장 자주 선택되면서도 LLM 1층은 얕은~중간, 20층은 얕은 층, 22층과 32층은 각각 중간-깊은 층과 깊은 층에 피크를 두는 등 층별 선호가 뚜렷이 갈렸다. 같은 이미지라도 질문이 속성 인식이나 작은 영역 세부를 요구하면 얕은 층이, 전역 의미나 추상적 추론을 요구하면 중간-깊은 층이 활성화되고, 개방형 상세 묘사 질문에서는 분포가 넓게 퍼졌다. 벤치마크 단위에서도, 개별 샘플 단위에서도 라우팅이 달라졌다. 특징 시각화에서는 고정 CLIP 23층이 거친 공간 응답과 배경 노이즈를 보이고 균등 평균은 국소 노이즈가 증폭된 반면, DGP는 피사체 윤곽이 sharper하고 배경 잡음이 적었으며 LLM 1·18·28층의 특징이 서로 달랐다.

개발자 관점에서 이 설계의 매력은 기존 LLaVA 계열 체크포인트에 얹을 수 있는 모듈형 구조라는 점이다. 비전 인코더를 고정한 채 LLM 층마다 작은 라우팅 MLP와 프로젝터, 게이트 스칼라만 추가하면 되고, 추가 파라미터가 5% 안팎이다. 다만 라우팅 질의를 glimpse 토큰 하나에 의존하므로 토크나이저·프롬프트 포맷이 바뀌면 이 토큰 위치와 학습 스킴을 다시 맞춰야 하고, 두 단계 모두에서 LLM을 함께 학습해야 하므로 파인튜닝 파이프라인을 그대로 재사용하기 어렵다. 도입 전에는 자신의 태스크 분포에서 라우팅 분포가 붕괴하지 않는지, 특정 층 몇 개에만 몰리지 않는지 확인하는 것이 좋다. 원문은 엔트로피 정규화를 사전학습에서만 켜고 미세조정에서는 끄는데, 이 스위치가 실제 태스크 적응에 어떤 영향을 주는지는 하이퍼파라미터 민감도 부록에 맡겨져 있다.

한계로 저자들이 별도 절로 정리한 내용은 원문에 제시되지 않는다. 다만 본문에서 확인되는 전제는 분명하다. 실험은 LLaVA-1.5 설정과 Vicuna 백본을 중심으로 하고, 일반화 검증도 Qwen3-VL-2B와 LLaVA-NeXT 두 구성에 그친다. 모든 학습은 558K 사전학습 + 665K 미세조정 데이터, 각 1 에폭으로 제한되며 비전 인코더는 끝까지 동결된다. 또 융합이 ViT 층별 [CLS] 요약을 키로 쓰므로 층별 전역 요약이 이미지를 잘 대표한다는 가정에 기대고 있다. 실패 사례 분석이나 더 큰 LLM 규모에서의 확장성, 라우팅이 잘못 선택됐을 때의 오류 전파는 다뤄지지 않았다.