mmVB가 질문별로 이미지 토큰 예산을 나눠 멀티 이미지 추론을 가속한다

무엇인가

멀티모달 LLM은 여러 장의 이미지를 입력으로 받을 수 있지만, 이미지가 늘어날수록 시각 토큰이 함께 늘어 메모리·지연·연산 비용이 커진다. 기존의 시각 토큰 프루닝, 병합, 압축, 학습 기반 리샘플링, 계층 압축, 검색 증강 시각 추론, 메모리 기반 구조들은 대부분 단일 이미지 시나리오를 전제로 설계됐다. 단일 이미지에서는 중복이 주로 공간적·국소적이지만, 멀티 이미지에서는 이미지 사이에 중복이 생기고 과제에 필요한 근거가 흩어져 있거나 희소하며, 이미지별로 공격적인 압축을 하면 비교·개수 세기·시간적 추론·검색·근거 접지에 필요한 세부 정보가 사라질 수 있다. 게다가 기존 토큰 감축 기법은 (i) 학습은 필요 없지만 추론이 비효율적이어서 토큰 중요도를 얻으려고 어텐션 행렬에 접근해야 하거나(FlashAttention 같은 메모리 효율적 어텐션 구현에서는 사실상 접근이 어렵다), (ii) 베이스 MLLM을 재학습하거나 압축 토큰 패러다임에 적응시켜야 하는 학습 의존적 방식이다. 이 논문은 베이스 모델 재학습 없이, 추론 시 어텐션 행렬 접근 없이 확장 가능한 멀티 이미지 추론을 다룬다.

어떻게 동작하나

제안 방법 mmVB는 이미지 N장과 텍스트 질의 Q가 주어졌을 때 각 이미지에 토큰 할당 레벨 ℓ_i ∈ {0,1,2,3,4}를 부여하는 플러그 앤 플레이 모듈이다. 이 레벨은 MLLM이 정답을 내는 데 필요한 최소 시각 토큰 수를 근사하며, 동시에 각 이미지가 질의에 얼마나 관련 있는지도 학습된다. 구조는 다음과 같다. 각 이미지는 동결된 EfficientNet-B0로 인코딩되어 d=256으로 선형 투영되고, 질의는 동결된 MLLM 임베딩 레이어로 임베딩한 뒤 평균 풀링하고 64차원 병목을 거쳐 같은 공간으로 사상된다. 질의 토큰 하나와 N개의 이미지 토큰을 2층 4헤드 Transformer 인코더에 넣어, 각 이미지에 필요한 세부 수준과 상대적 중요도를 질의 조건부로 이미지 간 추론한다. 이후 공유 MLP(256→64→4)가 각 이미지 표현을 네 개의 순서형 로짓으로 사상하고, P(ℓ_i ≥ k) = σ(z_i,k) (k ∈ {1,2,3,4})로부터 예측 레벨을 임계값을 넘는 개수의 합으로 계산한다. 각 이미지는 예측된 레벨로 리사이즈되어(업스케일은 하지 않음) MLLM에 전달된다. 학습 파라미터는 약 1.6M, 추가 오버헤드는 약 2ms다.

무엇과 다른가

학습은 순서형 이진 교차 엔트로피로 이뤄진다. 정답 레벨 ℓ*_i에 대해 누적 타깃 y_i,k = 1[ℓ*_i ≥ k]를 만들고, 각 임계값 확률 p_i,k = σ(z_i,k)에 대해 네 개 임계값의 BCE를 합산한다. 이 방식은 레벨 순서를 보존해서, 정답이 3일 때 2를 예측하면 임계값 하나만 위반하고 0을 예측하면 세 개를 위반해 더 큰 손실을 받는다. 학습 데이터 라벨은 세 단계로 생성한다. 먼저 이미지별로 레벨 0~4를 오름차순으로 훑어 MLLM이 처음으로 정답을 내는 레벨을 고르고(해상도에 대해 정확도가 단조롭다고 가정하지 않는다), 이어서 공동 검증과 반복적 완화를 수행한다. 단일 이미지 샘플은 최대 5회 순전파에 사전 검사를 더한 비용이고, 멀티 이미지 샘플은 최악의 경우 O(5N+KN)이며 K=5에서 대부분 완화 없이 검증에 성공한다. 저자들은 이 라벨이 증명된 최소가 아니라 충분한 실행 가능 할당이라고 명시한다. 즉 실제 최소보다 토큰을 더 줄 수는 있어도 더 적게 주지는 않으며, 이런 보수적 편향이 과압축보다 정확도 보존에 유리하다고 본다. 학습셋은 VQAv2·TextVQA·GQA에서 뽑은 3만 이미지 기반 48.4만 단일 이미지 샘플과 Mantis-Instruct에서 만든 5만 멀티 이미지 샘플이며, 단일 이미지 학습 후 멀티 이미지 데이터를 도입하는 커리큘럼을 쓴다.

어떻게 쓰나

실험은 MuirBench(2.6k, 2~7장), MIBench(5k, 2~14장), Mantis-Eval(217, 2~5장), NLVR2(7k, 2장), Visual Haystacks(20k, 최대 10장), MMIU(93k, 1~62장), MIRB(1.1k, 2~6장), ReMI(2.6k, 2~6장) 등 8개 멀티 이미지 추론 벤치마크에서 수행했고, 베이스 MLLM은 Qwen3.5-4B에 그리디 디코딩, 사고 모드 비활성화를 사용했다. 비교 대상은 모두 인코딩 이후에 동작해 ViT 순전파 비용을 줄이지 못하는 VisionZip(어텐션 기반, 지배 토큰 65% + 문맥 토큰 5%), ToFu(유사도 병합 기반 동적 토큰 융합), VisionTrim(지배 토큰 선택 + 텍스트 유도 보완, 약 30% 유지), ZooPrune(0차 그래디언트 토큰 프루닝, 유지율 0.11)이다. mmVB는 8개 중 6개 벤치마크에서 최고 조화평균을 기록했고 평균 HM 0.90, 전체 해상도 정확도의 94.4%를 유지하면서 시각 토큰을 9.2배, 프리필 FLOPs를 7.3배 줄였다(벤치마크 기하평균). ZooPrune은 MIBench와 Visual Haystacks에서 가장 좋은 HM을 냈지만 여전히 ViT 전체 순전파가 필요하다. VisionTrim은 정확도가 가장 강한 후처리 베이스라인으로 MIBench와 MIRB에서 mmVB와 동등하거나 앞서지만, 비슷한 정확도를 내는 데 mmVB보다 1.5~9.1배 많은 토큰을 쓴다. mmVB가 정확도에서 1~4점 뒤지는 벤치마크에서도 토큰은 4~9배, 프리필 FLOPs는 4~7배 적어 HM이 더 높다. VisionZip은 이미지 수가 적은 벤치마크(NLVR2 8.3배)에서는 압축이 세지만 멀티 이미지 입력(Visual Haystacks 1.2배)에서는 토큰을 거의 줄이지 못했고, ToFu는 질의를 고려하지 않는 병합 때문에 이미지 간 추론이 필요한 Visual Haystacks와 MMIU에서 무너졌다.

전제와 한계

어블레이션에서 정답 레벨 분포를 따르되 이미지 내용·질의를 보지 않고 무작위로 레벨을 주는 Random 베이스라인은 모든 벤치마크에서 mmVB보다 토큰을 적게 쓰지만 정확도가 크게 낮았다(MuirBench 58.3% 대 62.9%, NLVR2 70.0% 대 82.8%). 이는 mmVB가 토큰을 더 쓰는 것이 비효율이 아니라 필요한 이미지에 의미 있게 배분한 결과임을 보여준다. 단일 이미지 데이터만으로 학습한 mmVB_SI와 비교하면 멀티 이미지 데이터 추가가 ReMI를 제외한 모든 벤치마크에서 정확도를 올렸고, 이미지 간 추론이 중요한 Visual Haystacks에서 +5.7%p, NLVR2에서 +3.6%p가 컸다. 총 토큰 예산 B가 고정된 배포 상황을 위해, mmVB는 순서형 확률을 활용해 레벨 승격의 효용 u_i,k = σ(z_i,k)를 토큰 비용 Δb_k로 나눈 값이 가장 큰 승격을 예산이 소진될 때까지 탐욕적으로 고르는 학습 불필요 절차도 제시한다. 이는 다중 선택 배낭 문제의 근사로, 같은 총예산에서 균일 할당보다 일관되게 우수했다. 블랙박스 전이 실험에서는 Qwen3.5-4B로만 학습한 예측 레벨을 그대로 적용해 Qwen3.5-27B가 92.9% 정확도를 9.1배 토큰 감축으로, Claude Opus 4.6이 89.8%를 3.9배 입력 토큰 감축으로, Pixtral Large가 89.9%를 4.8배 감축으로 유지했다. 또한 Visual Haystacks에서 mmVB는 최대 10장 중 정답이 든 1장을 남기고 87%의 이미지에 레벨 0을 부여했는데, 이는 명시적 관련성 지도 없이 창발한 동작이다.

개발자 관점에서 이 논문의 핵심은 시각 토큰 절감을 인코더 앞단에서 해결한다는 점이다. 기존 후처리 압축은 ViT 순전파 비용을 그대로 지불하지만, mmVB는 해상도를 먼저 낮추므로 비전 인코더와 LLM 양쪽 연산을 아낀다. 베이스 MLLM을 재학습하지 않고 1.6M 파라미터 모듈만 붙이며, 추론 시 어텐션 행렬을 꺼내지 않아 FlashAttention 계열 커널과 병행할 수 있다. 여러 이미지를 넣는 카탈로그 비교, 검색, 개수 세기 같은 서비스에서 지연·비용 예산이 고정돼 있다면, 총예산 기반 탐욕 할당 절차를 그대로 검토할 만하다. 다만 예측기가 특정 베이스 모델(Qwen3.5-4B)로 학습됐고 라벨이 최소가 아닌 보수적 상한이라는 점, 그리고 도메인 전이 성능은 별도 검증이 필요하다는 점을 확인해야 한다.

저자들이 밝힌 한계는 학습 분포다. 해상도 예측기는 자연 이미지 QA 데이터셋(VQAv2, TextVQA, GQA)으로만 학습됐기 때문에, 진단에 중요한 특징이 고해상도 스캔의 몇 픽셀에만 존재하는 의료 영상처럼 근본적으로 다른 해상도 요구를 가진 도메인은 학습 분포에 없다. 이런 영역에서는 병변 경계나 미세 석회화 같은 미세 특징이 질의 유형과 무관하게 전체 해상도를 필요로 한다는 것을 학습하지 못해 토큰을 과소 할당할 수 있다고 저자들은 명시한다.