일반 VLM이 한 번의 선택 질문으로 멀티모달 재순위를 대신한다

Multimodal Reranking Is a System One Decision

HF Daily2610.28435

Zhuchenyang Liu, Yao Zhang, Yu Xiao2026-10-20조회 1

무엇인가

멀티모달 검색은 보통 두 단계로 동작한다. 1단계 검색기가 질의와 코퍼스 항목(이미지, 문서 페이지 등)을 각각 밀집 벡터로 인코딩해 후보를 뽑고, 재순위기가 상위 후보의 순서를 다시 매긴다. 이때 재순위기는 대개 전용 모델이다. VLM을 검색 데이터로 학습시켜 질의와 후보 하나를 함께 읽고 'yes' 확률 같은 관련도 점수를 내거나, 여러 후보를 한 번에 정렬하도록 훈련한다. 이 논문은 그 전제에 의문을 제기한다. 재순위는 텍스트를 생성하는 과업이 아니라 상태와 질문에 대해 선택지별 확률 하나를 읽어내는 System One 결정이라는 것이다. 상태는 질의와 후보 목록, 질문은 '어느 후보가 질의에 가장 맞는가', 선택지는 후보들이므로, 일반 VLM도 훈련 없이 재순위기 역할을 할 수 있고 결정 튜닝으로 성능을 더 올릴 수 있다고 주장한다. 배포 측면에서는 이미 답변 생성을 위해 큰 VLM을 서빙하는 시스템이 별도 재순위기를 훈련·서빙·갱신할 필요가 없어진다는 점, 연구 측면에서는 재순위가 여러 결정 중 하나일 뿐이라 재순위 전용 학습 없이도 다른 결정들과 함께 개선될 수 있다는 점을 근거로 든다.

어떻게 동작하나

방법의 핵심은 확률을 읽는 방식이다. 선택(choice) 리드아웃에서는 상위 K개(최대 16개) 후보를 1단계 순서대로 'Candidate A:'부터 'Candidate P:'까지 레이블을 붙여 하나의 프롬프트에 넣고, 사고 과정을 끈 상태로 한 번의 포워드 패스만 수행한다. 다음 토큰 로짓을 레이블 토큰들로 제한한 뒤 소프트맥스를 취해 p(c_j | q, c_1:K) = exp(z_ℓj) / Σ exp(z_ℓk)를 얻고, 이 확률로 후보 순위를 정한다. 비교 대상인 yes/no 리드아웃은 후보마다 별도 프롬프트로 'yes'와 'no'의 첫 답변 토큰 확률을 비교하는 방식으로, Qwen3-VL-Reranker 같은 감독 기반 포인트와이즈 재순위기가 쓰는 리드아웃을 zero-shot으로 적용한 것이다. 확률을 얻는 경로는 같은 백본 Qwen3.8-27B에서 두 가지다. 하나는 공개된 모델을 그대로 쓰는 무튜닝 방식이고, 다른 하나는 JEV-27B-VL로, 같은 백본에 LoRA 어댑터와 결정 헤드를 붙여 텍스트 결정만으로 학습한 모델이다. 비전 인코더는 건드리지 않았으므로 이미지에 대한 결정은 모두 헤드 입장에서 zero-shot이다. 두 모델은 어댑터와 헤드를 제외한 모든 가중치를 공유하므로 텍스트 결정 튜닝의 효과와 질문 유형의 효과를 분리해 볼 수 있다.

무엇과 다른가

실험 환경은 MMEB-V2 이미지 검색(12개 과업, hit@1), MMEB-V2 시각 문서 검색(24개 과업, nDCG@5), ViDoRe V3(8개 데이터셋, nDCG@10)이다. 1단계 검색기는 Qwen3-VL-Embedding-2B이고 모든 재순위기가 동일한 상위 16개 후보를 받으며, 이미지당 최대 1800 시각 토큰, 추론은 H200 한 장이다. 먼저 질문 형식을 비교한 예비 실험에서 선택 리드아웃은 Qwen3.8-27B 76.76, JEV-27B-VL 76.80 hit@1로 1단계(74.85)를 넘었지만, 후보마다 yes/no를 물으면 69.50과 71.42로 1단계 아래로 떨어졌다. 선택 형식은 두 모델 모두 12개 과업 전부에서 더 높았고, yes/no는 Qwen3.8-27B에서 11개, JEV-27B-VL에서 9개 과업에서 1단계보다 낮았다. 선택이 yes/no보다 5.4~7.3 hit@1 앞선다는 수치가 여기서 나온다.

어떻게 쓰나

첫 번째 발견은 훈련 없이도 일반 VLM이 전용 재순위기와 경쟁한다는 것이다. zero-shot Qwen3.8-27B는 세 벤치마크 모두에서 Qwen3-VL-Reranker-2B를 앞섰고(각각 +2.3 hit@1, +2.1 nDCG@5, +1.8 nDCG@10), MMEB-V2 시각 문서에서는 Reranker-8B와 84.79 대 84.78로 사실상 동일했으며 24개 과업 중 9개에서 더 높았다. Reranker-8B가 앞선 곳은 자연 이미지에서 1.6 hit@1, ViDoRe V3에서 1.0 nDCG@10이다. 텍스트 결정으로 튜닝한 JEV-27B-VL은 두 시각 문서 벤치마크 모두에서 최고 성능(85.42 nDCG@5, 62.03 nDCG@10)을 냈다.

전제와 한계

두 번째 발견은 텍스트 결정만으로 튜닝해도 문서 페이지 재순위가 좋아진다는 것이다. JEV-27B-VL은 자연 이미지에서는 Qwen3.8-27B와 동률(12개 중 4개에서 우세)이었지만, 페이지에서는 MMEB-V2 시각 문서 +0.63 nDCG@5(24개 중 17개 우세, 2개 동률), ViDoRe V3 +1.09 nDCG@10(8개 데이터셋 전부)을 기록했고 과업 단위 양측 부호 검정에서 p=0.017, p=0.008이었다. yes/no 리드아웃에서는 튜닝이 이미지에서 1.92 hit@1을 더했다. 페이지는 대부분 텍스트를 이미지로 렌더링한 것이라 튜닝 데이터의 모달리티와 겹친다는 설명이 붙는다. 백본을 Gemma 4 계열(E2B, E4B, 12B, 26B-A4B, 31B)로 바꾼 실험에서는 E2B와 E4B가 세 벤치마크 모두에서 1단계를 낮췄고, 12B 이상부터 시각 문서 검색이 개선됐다(MMEB-V2 +1.7~2.9 nDCG@5, ViDoRe V3 +2.4~3.4 nDCG@10). 자연 이미지에서는 31B만 +2.6 hit@1로 1단계를 넘었고, 크기에 따라 단조 증가하지도 않아 31B가 이미지에서는 가장 강하지만 두 시각 문서 벤치마크에서는 26B-A4B보다 낮았다. Gemma 4 모델은 모두 시각 문서 벤치마크에서 Reranker-2B 아래였다. 지연 시간은 선택 한 번에 Qwen3.8-27B가 3.97초로 Reranker-8B의 3.67초(1.1배), Reranker-2B의 2.75초(1.4배)였고, 16쌍을 배치로 채점하면 두 재순위기가 1.68초, 2.61초로 줄어 1.5배 차이가 된다. 질의당 입력 토큰은 28.8k~29.6k, JEV-27B-VL은 4.48초, Gemma 4는 0.47~1.27초였다.

선택 리드아웃이 어디서 도움이 되는지도 과업별로 갈린다. Qwen3.8-27B는 1단계 대비 자연 이미지 +1.9 hit@1, MMEB-V2 시각 문서 +5.6 nDCG@5, ViDoRe V3 +7.9 nDCG@10을 올렸고, 질의에 텍스트가 포함된 9개 과업 전부에서 개선됐다(CIRR +7.1, Wiki-SS-NQ +3.8, VisDial +3.3, FashionIQ +3.1 등). 반대로 질의가 이미지 하나뿐인 3개 과업에서는 MSCOCO image-to-text −4.1, VisualNews image-to-text −1.7, NIGHTS −0.7로 손실이 났고 JEV-27B-VL도 같은 세 과업에서 졌다. 저자들은 선택이 16개 후보를 한 문맥에서 비교해 확률 합이 1이 되는 반면, yes/no는 후보마다 별도 프롬프트로 점수를 매겨 16개 확률이 공통 척도에 놓이지 않기 때문에 zero-shot yes/no가 1단계 아래로 떨어진다고 본다. 순위 매기기에는 후보 간 비교 가능한 점수가 필요한데, 감독 기반 포인트와이즈 재순위기는 그 리드아웃으로 학습되어 있고 일반 VLM은 그렇지 않다는 설명이다.

저자들이 스스로 밝힌 한계가 분명하다. 가장 큰 교란은 비교 대상이 서로 다른 세대·규모라는 점이다. zero-shot 27B를 감독 학습된 2B·8B와 비교했으므로 감독 여부, 규모, 세대가 동시에 달라졌고, 같은 백본으로 학습한 전용 재순위기라면 더 잘할 수 있다는 반론을 배제하지 못한다. 비용 측면에서도 Qwen3.8-27B는 Reranker-8B보다 파라미터가 3배 이상이고 GPU 메모리와 지연 시간이 더 든다. 작은 모델에서는 성립하지 않아 Gemma 4 E2B·E4B는 1단계를 오히려 낮췄다. 리드아웃 자체의 한계도 있다. 레이블 A–P로 한 프롬프트에 담을 수 있는 후보가 최대 16개인데, 공개된 Qwen3-VL-Reranker 수치는 상위 100개를 재순위하므로 실서비스의 깊은 목록에는 슬라이딩 윈도나 반복 선택이 필요하다. 또한 목록형 리드아웃은 선택지 순서에 의존하고 입력과 무관하게 특정 레이블을 선호하는 경향이 있으며, 이 논문은 후보를 1단계 순서로만 제시했다. 저자들은 이를 readout의 속성으로 규정하고, 멀티모달 결정 튜닝, 동일 백본에서 규모별 비교, 백본 대 이미지 예산 분리 실험, 순서·캘리브레이션 측정을 후속 검증 과제로 남긴다.

초록 (원문)

Multimodal rerankers are usually dedicated models: a vision-language model (VLM) is trained on retrieval data to score the candidates of a query. Scoring options is not specific to reranking. System One decision models such as Jev map a state and a typed question to one probability per option without generating text, and general models can make such decisions with little or no training. Reranking is one such decision, with the query and its candidates as the state and the candidates as the options. We therefore argue that a general VLM can serve as a multimodal reranker through System One decisions, and that decision tuning can improve its reranking. We ask a VLM one choice question over the top 16 candidates of a first-stage retriever and rank the candidates by the probabilities of their labels, read from one forward pass. On MMEB-V2 image retrieval, this choice scores 5.4 to 7.3 hit@1 above a yes/no question per candidate, and the yes/no question falls below the first stage. With the choice, zero-shot Qwen3.8-27B beats the supervised Qwen3-VL-Reranker-2B on all three benchmarks and comes within 1.6 points of Reranker-8B on each. It matches Reranker-8B on MMEB-V2 visual documents (84.79 vs. 84.78 nDCG@5), at 1.1 to 1.5 times its latency. JEV-27B-VL, the same backbone tuned on text decisions only, improves page reranking by 0.6 to 1.1 points, with gains on most tasks (sign test, p <= 0.017), and leaves natural images unchanged. The zero-shot model is larger than the supervised rerankers and of a newer generation, so these comparisons are confounded; we discuss this and other alternative views, and the experiments that would test the position.