GAFU가 생성 경로의 네이티브 표현으로 세밀한 시각 이해를 보완한다

무엇인가

이 논문은 통합 멀티모달 모델(UMM)에서 세밀한 시각 이해를 다룬다. 기존 VLM은 고수준 의미 이해에는 강하지만 객체·속성·개수·공간 관계처럼 국소적 차이를 구분하는 과제에서는 여전히 약하다. 기존 개선책은 더 높은 충실도의 시각 인코더나 정보 보존형 비전-언어 인터페이스를 쓰지만, 언어 정렬 비전 인코더가 시각 정보를 제한된 표현으로 압축한 뒤 언어 모델링으로 넘기므로 상류에서 잃은 세밀한 근거가 하류에서 복구되지 않는다. UMM은 이해와 생성을 한 모델에서 함께 모델링하며, 생성 경로는 구조·공간 관계·국소 디테일을 더 풍부하게 보존한다. 그런데 기존 생성 보조 이해는 생성 감독을 걸거나 추론 시 명시적으로 이미지를 생성하는 쪽에 치우쳐, 네이티브 생성 측 표현 자체를 직접 활용하는 가능성을 체계적으로 탐구하지 않았다.

어떻게 동작하나

저자들은 먼저 생성 측 표현이 세밀한 이해에 추가 근거를 주는지, 그 이점이 어떤 조건에 의존하는지 분석한다. BAGEL, Janus-Pro, Lance, Show-o2-7B, BLIP3-o-4B, DreamLLM-7B 등 6개 UMM에서 생성 측과 이해 측 표현을 비교했고, 객체·속성·개수·관계를 바꾼 VisMin 이미지 쌍 2,084개를 사용했다. 저수준 외형 변화를 통제하기 위해 같은 편집 영역에서 선형 RGB RMS 변화량을 맞춘 대조 이미지를 만들고, 16×16 그리드로 정렬한 뒤 위치별 코사인 거리와 2×2 윈도 응답으로 민감도를 계산했다. 결과는 세 가지다. 생성 측 표현은 24개 모델-도메인 조합 모두에서 통제 보정 민감도가 더 높았고, 생성 측만 강하게 반응하고 이해 측은 놓친 변화의 비율도 24개 조합 모두에서 더 컸다. 또 64×64 블록을 고정 순열로 섞으면 생성-이해 민감도 격차가 24개 조합 모두 줄어, 공간 조직이 이점의 원천임을 보였다. 개수 과제에서는 격차 감소가 가장 작아, 국소 근거를 공간적으로 묶어야 하는 과제에서 이점이 크고 교차 인스턴스 집계가 중요한 과제에서는 약하다는 패턴이 나온다.

무엇과 다른가

이 분석을 바탕으로 제안하는 GAFU는 네이티브 생성 측 표현을 압축·정렬해 이해 경로가 과제 조건에 맞게 검색하도록 만드는 후학습 프레임워크다. 1단계에서는 생성 측 표현을 고정 크기 G 토큰으로 압축한다. 인코더는 투영된 생성 측 표현과 256개의 학습 가능한 쿼리를 이어 붙여 다층 Transformer에 넣고, 공간 위치 인코딩이 있는 joint self-attention으로 쿼리가 생성 정보를 모으게 한다. 쿼리 출력은 이해 측 토큰과 같은 hidden dimension으로 투영되어 G 토큰이 된다. 디코더는 G 토큰과 학습 가능한 재구성 쿼리를 다시 Transformer에 넣어 원래 생성 측 표현을 복원한다. 학습은 Cambrian 이미지 100만 장에서 하며, UMM의 네이티브 이해·생성 경로는 얼리고 인코더·디코더·예측 헤드만 최적화한다.

어떻게 쓰나

1단계 손실은 재구성, 공간 바인딩, 관계 정렬의 합이다. 재구성 손실은 G만으로 생성 잠재를 복원하고 이를 얼린 생성 경로로 이미지로 디코딩해 L1, L2, LPIPS를 비교한다. 공간 바인딩은 각 G 토큰을 공유 선형 readout 헤드에 통과시켜 공간적으로 정렬된 생성 타깃을 예측하게 해, G 토큰이 원래 생성 표현의 공간 구조에 묶이도록 한다. 관계 정렬은 G와 이해 측 표현 U를 2차원 그리드로 만들고, 4·8·16 스케일의 로컬 관계와 이미지 단위 글로벌 관계에서 노드 간 코사인 유사도 행렬의 대각선을 제거·중심화한 관계 벡터를 비교한다. 특징값을 직접 맞추지 않고 관계 구조만 맞춰, 두 경로의 고유 정보를 보존하면서 호환성을 확보하려는 설계다.

전제와 한계

2단계는 과제 조건부 주입과 선호 학습이다. 이해 경로의 각 Transformer 층 뒤에서 현재 텍스트 hidden state를 쿼리로, 투영된 G 토큰을 key와 value로 쓰는 cross-attention을 수행하고, 출력을 텍스트 hidden state에 잔차로 더해 다음 층으로 넘긴다. 텍스트 문맥이 변하면서 G에서 과제에 필요한 근거를 선택적으로 검색하는 구조다. 학습 목표는 정답 cross-entropy, CE 공간의 pairwise DPO, KL 정규화의 합이다. 같은 샘플의 G를 쓰는 positive branch와 다른 이미지의 G로 바꾼 shuffle-G branch를 비교해 positive의 정답 CE가 더 낮아지도록 DPO를 걸고, shuffle-G branch가 올바른 U를 받고도 원래 U-only 모델의 출력 분포에서 벗어나지 않도록 KL을 건다. DPO 안정화를 위해 positive/negative 그래디언트를 4:1로 가중하고 negative 그래디언트 노름을 positive branch의 0.25배로 제한하며, KL 가중치는 학습 중 0으로 감쇠한다. 초기에는 일부 샘플의 U를 마스킹해 G 의존을 유도한다. 이 단계에서 주입 모듈과 이해 경로 LoRA 어댑터를 학습하고, 이후 압축 인코더를 풀어 joint 최적화한다.

실험은 BAGEL, Janus-Pro, Lance 세 UMM에서 진행했다. 압축·정렬은 Cambrian 100만 이미지로 학습하고, 다운스트림 파인튜닝에는 FineVision, VSR, PathVQA를 쓴다. 평가는 일반 세밀 이해의 VStar-Bench, OmniSpatial, MMVP와 도메인 특화의 VSR-Bench, PathVQA다. 비교 대상은 Base와 같은 데이터로 학습한 SFT다. GAFU는 15개 모델-벤치마크 조합 전부에서 SFT를 이겼고, 다섯 벤치마크 평균으로 3.56~5.98%p 향상했다. 일반 과제에서는 VStar-Bench +5.23~7.85%p, OmniSpatial +2.61~4.44%p, MMVP +3.67~5.67%p다. 도메인 과제에서는 PathVQA +1.12~7.65%p, VSR-Bench +1.09~6.15%p다. 최대 상대 개선은 VStar-Bench 20.00%, OmniSpatial 17.94%, VSR-Bench 8.62%다. 특히 MMVP에서 SFT가 Janus-Pro에는 이득이 없고 Lance에는 약간 해를 끼친 반면 GAFU는 추가 이득을 냈고, VSR-Bench에서는 SFT의 이득이 미미한데 GAFU가 뚜렷한 추가 이득을 냈다.

절제 실험은 BAGEL의 일반 설정에서 했다. 공간 바인딩을 빼면 OmniSpatial이 1.37%p 하락하고, 관계 정렬을 빼면 VStar-Bench가 1.57%p 하락하며, 둘을 함께 쓸 때 각각만 쓸 때보다 4.67~5.34%p 더 좋다. 주입 인터페이스는 단순히 G를 U와 이어 붙이는 방식이 1.96~6.28%p, U로 G를 쿼리하는 방식이 4.67~12.14%p 뒤졌다. 시각 hidden-state 쿼리는 텍스트 hidden-state 쿼리보다 1.05~4.67%p 낮았고, 학습 가능한 쿼리는 OmniSpatial에서는 0.33%p 차이로 비슷했지만 VStar-Bench와 MMVP에서는 각각 4.71%p, 4.00%p 뒤졌다. 10개 층만 주입해도 전체 층 대비 0.00~1.67%p 차이에 그쳤다. 손실에서는 DPO만 쓰면 VStar-Bench +1.05%p, MMVP +8.00%p지만 OmniSpatial -11.09%p가 되고, KL을 포함한 전체 목표는 CE+DPO보다 세 벤치마크 모두에서 3.14~12.27%p 개선한다.

개발자에게 이 논문의 핵심은 UMM을 쓸 때 생성 경로를 이미지 생성용으로만 소비하지 말고, 이해 경로의 보완 근거로 재사용할 수 있다는 점이다. 세밀한 속성·공간 관계·의료 VQA처럼 이해 측 비전 인코더의 압축에서 손실되기 쉬운 과제에서, 별도 이미지 생성 없이 네이티브 생성 표현을 압축해 주입하는 후학습이 같은 데이터 SFT보다 나은 기준선이 될 수 있다. 다만 구현에서는 G를 U와 조기에 단순 concat하지 말고 텍스트 상태로 조건부 검색하게 해야 했고, DPO만 걸면 OmniSpatial이 크게 흔들려 KL 정규화와 그래디언트 제어가 필요했다. 원문은 별도의 한계 절을 두지 않았지만, 방법은 네이티브 생성 경로 표현을 가진 UMM을 전제로 하고, 분석은 6개 모델과 VisMin 2,084쌍, 실험은 3개 모델과 5개 벤치마크에 한정된다. PathVQA 결과는 연구 벤치마킹용이며 임상 결정에 사용하면 안 된다고 명시한다.