ZwZ2는 한 장의 이미지에서 근거 연결을 학습해 다중 이미지 추론까지 개선한다

무엇인가

이 논문이 푸는 문제는 멀티모달 인식, 그중에서도 공간 인식과 멀티모달 장문맥 이해를 위한 학습 데이터를 어떻게 싸게 확보하느냐다. 공간 인식은 여러 객체에 걸친 정밀한 위치 지정과 관계 그라운딩 라벨이 필요해 수작업 주석은 비싸고, 자동 생성기는 관계를 환각하기 쉽다. 장문맥 이해는 긴 이미지·대화 시퀀스에서도 답이 유지되는 다양한 질문을 자동 구성하기 어렵고, embodied 공간 추론이나 멀티모달 에이전트 데이터는 물리·상호작용 환경과 다단계 궤적까지 필요해 더 어렵다. 저자들의 핵심 주장은 이 과제들이 'connecting evidence', 즉 과제에 관련된 시각적 사실을 식별하고, 올바른 개체에 바인딩하고, 관계를 복원하고, 답으로 합성하는 하나의 원자적 능력을 공유한다는 것이다. 그리고 이 능력 자체를 겨냥한 데이터는 원래 과제용 데이터보다 훨씬 쉽게 합성·검증할 수 있다고 본다.

어떻게 동작하나

방법의 이름은 EvidenceConnect다. 한 장의 소스 이미지에서 영역 후보 집합 R_I를 얻고, 그중 3~7개로 하나의 근거 그룹 G를 구성한다. 질문은 세 형태 중 하나로 영역들을 연결한다. 집계(aggregation)는 영역들의 개수나 수치를 짧은 계산을 거쳐 합치고, 비교·매칭은 영역 전체를 닫힌 후보 집합으로 취급해 이상치·극값·짝짓기를 고르게 하며, 의존 체인은 단서를 이용해 다음에 읽을 것을 정하거나 관점을 고정하는 식으로 여러 단계에 걸쳐 답을 만든다. 세 형태 모두 각 영역의 역할이 함께 고려되어야만 답이 결정되도록 설계된다.

무엇과 다른가

파이프라인은 구체적으로 이렇게 돌아간다. 고해상도·복잡한 이미지에 대해 강한 VLM이 질문을 지지할 수 있는지 판정하고, 서로 연결 가능한 영역을 우선해 바운딩 박스와 짧은 설명이 붙은 영역을 제안한다. 너무 작거나 크거나 겹치는 제안은 버린다. 이어 캡션과 영역 설명을 넣어 태스크 패밀리와 필요성 모드(영역을 제거했을 때 답이 어떻게 변해야 하는지)가 라벨링된 그룹들을 제안받고, 중복·무효 그룹과 비교 불가능한 객체 집합을 제거한다. 각 그룹에는 데이터 생성 중에만 쓰이는 특권 뷰 V_G를 만든다. 선택 영역을 네이티브 해상도로 잘라 상대적 가로·세로 순서를 보존한 채 배치하고, 각 영역을 고유 색 윤곽으로 표시해 질문이 색으로 영역을 지칭할 수 있게 한 것이다. 질문 생성기는 V_G, 영역 설명, 추론 청사진만 보고 후보 질문을 만들면서 각 영역의 기여도, 그 영역을 제거했을 때의 예상 답, 그리고 영역에서 답으로 이어지는 단계를 적은 추론 인증서까지 함께 낸다. 결정론적 규칙이 영역을 쓰지 않은 인증서, 답으로 이어지지 않는 단계, 영역 제거에도 살아남는 답, 주관적 표현, 윤곽 색을 통한 정답 누설, 산술 불일치를 걸러낸다.

어떻게 쓰나

형식 검사를 통과한 후보에는 두 단계 검증이 붙는다. 첫째, 서로 다른 모델 계열의 VLM 두 개가 영역 설명과 제안 답을 보지 않은 채 V_G만으로 여러 번 답하게 하고, 각 모델의 다수가 같은 답을 지지할 때만 그 답을 참조 답 a*로 확정한다. 둘째, 선택 영역을 하나씩 회색으로 가린 V_G에서 검증자가 답하게 하는 drop-one 테스트를 적응적으로 수행한다. 정보 부족을 보고하거나 답이 바뀌면 그 영역에 의존한다는 뜻이고, 여전히 a*가 나오면 추가 질의 후 '경험적 중복'으로 표시한다. 크롭 마진이 겹쳐 일부가 남아 보이는 노이즈를 감안해, 중복 영역이 둘 이상일 때만 질문을 폐기한다. 최종 데이터는 학습 정책이 보는 원본 이미지에 선택 영역을 색 윤곽으로 표시한 형태이고, 집계형 질문은 윤곽 없는 자연어 지시 버전으로 바꿀 수 있는지도 양쪽 계열의 감사로 확인한다. 이후 4지선다로 변환하고, 가벼운 VLM이 항상 맞히는 예제는 난이도 필터로 버려 최종 20.4K 예제가 된다.

전제와 한계

학습은 Qwen3.5-4B/9B와 Qwen3.6-27B를 non-thinking 모드로, SFT 없이 GRPO 기반 RLVR만으로 이 합성 데이터에 돌린다. 결과는 6개 도메인 25개 벤치마크에서 세 스케일 모두 25개 전부 개선됐고 전체 평균이 4B 49.41→54.79(+5.39), 9B 51.63→56.59(+4.96), 27B 55.52→60.51(+4.99) 올랐다. ZwZ2-4B는 ViewSpatial-Bench 37.43→45.26(+7.83), MileBench 60.08→70.08(+10.00)을 기록했다. fine-grained·공간 인지는 평균 5.2~6.3점 오르며 MIMIC +11.1, CountQA +10.8이었고, embodied 공간 추론은 5.5~8.1점(27B 기준 ERQA +10.5), 에이전트 벤치마크 AgentVista는 4.8~6.2점 올랐다. ZwZ2-27B의 전체 정확도 60.51%는 비교군인 GPT-5.6-Luna 54.02%, GLM-5.3-Flash 57.24%, DeepSeek-V4.1-Flash 55.47%를 앞선다.

같은 4B 베이스로 기존 합성 데이터와 비교한 대목이 특히 실무적이다. TVG, F2RVLM, CRIT, MMHops로 학습하면 MileBench는 올라도 HR-Bench, CountQA, MindCube-Tiny, MemLens가 떨어져 평균이 베이스보다 낮아졌다. EvidenceConnect는 11개 비교 벤치마크 전부에서 베이스보다 개선되며 이 네 데이터셋을 모두 앞섰고, 데이터 양은 20.4K로 19.4K~37K와 비슷한 수준이다. 단일 영역만 쓰는 ZwZ-73K는 3.6배 많은 예제(73K)에도 평균 49.86→53.86으로 뒤졌고, 11개 중 10개에서 EvidenceConnect가 우위였다(MileBench만 0.13점 열세). 격차가 큰 곳은 MindCube-Tiny로 ZwZ는 13.8점 떨어뜨린 반면 EvidenceConnect는 5.4점 올렸다. 절제 실험에서는 drop-one 검증을 넣었을 때 51.03→52.65(+1.63, 11개 중 10개 개선, MindCube-Tiny +5.15, O3-Bench +4.64, CountQA +3.79, ERQA -4.00)였고, 특권 뷰 합성이 원본 이미지 합성보다 52.65 대 51.38로 앞섰다. Qwen3-VL-2B는 36.82→41.63, Qwen3-VL-4B는 41.70→44.61로 다른 베이스에도 전이됐고, 데이터를 7K에서 20.4K로 늘리면 52.65→53.86으로 추가 상승했다. TreeBench 근거 박스 주석으로 측정한 어텐션 IoU도 4B에서 8개 층 중 7개, 9B에서 8개 중 6개 층에서 베이스보다 높았다.

개발자 관점에서 이 논문의 쓸모는 두 가지다. 첫째, 도메인 벤치마크를 직접 겨냥하지 않고도 전이되는 인식 학습 데이터를 합성하는 레시피(영역 그룹화 → 특권 크롭 → 인증서 포함 질문 생성 → 교차 모델 앵커링 → drop-one 검증 → 4지선다화)를 그대로 참고할 수 있다. 둘째, RLVR용 rule-based 보상이 붙는 4지선다 형식과 난이도 필터까지 포함해 데이터 파이프라인 설계가 구체적이다. 다만 합성 자체가 강한 VLM 여러 개(서로 다른 계열 2개 이상 + 검증자 + 난이도 필터용 경량 모델)에 의존하고, 공개 실험은 Qwen 계열 4B/9B/27B와 Qwen3-VL 2B/4B에 한정된다. 또 절제 실험에서 보이듯 이득이 과제별로 균일하지 않아(ERQA -4.00) 자체 도메인에서는 반드시 재검증이 필요하다.

저자들이 밝힌 한계는 명확하다. 학습 데이터가 전부 단일 이미지, 즉 짧은 문맥으로 구성되어 있어 근거 연결 능력은 강화되지만 아주 긴 입력에서의 검색 능력은 강화되지 않는다. 실제로 MemLens에서는 256K 토큰까지 이득이 유지됐지만 가장 긴 문맥에서는 격차가 좁아지고, MMLongBench visual core 128K에서는 ZwZ2-4B/9B가 베이스와 동일한 수준에 그쳤다. 데이터 합성 규칙도 중복 영역 하나까지는 허용하는 완화된 기준을 쓰고 있다. 그럼에도 저자들의 결론은 분명하다. connecting evidence는 전이 가능한 학습 목표이며, 그래서 학습 데이터를 만들기 비싼 과제는 훨씬 싸게 만들고 검증할 수 있는 데이터로부터 이득을 얻을 수 있다는 것이다.