VAG는 시각 근거와 어긋나는 교사 보정을 걸러 멀티모달 추론을 개선한다

무엇인가

이 논문은 멀티모달 추론에서 검증 가능한 보상 기반 강화학습(RLVR)이 궤적 수준의 성공과 실패는 잘 알려주지만, 응답 안의 어느 토큰이 시각적 판단 오류인지 짚어주지 못한다는 문제를 다룬다. GRPO식 보상은 한 응답의 모든 토큰에 같은 advantage를 주므로, 고해상도 이미지에서 작은 객체를 세거나 국소 근거를 찾는 과제에서는 토큰 수준 신용 할당이 거칠다. OPSD는 근거 중심 크롭을 본 교사가 학생이 만든 접두사에 대해 토큰별 로그확률 차이를 주는 방식으로 이 공백을 메우지만, 저자들은 이 차이가 시각 근거만 반영하지 않는다고 본다. 언어 사전지식, 응답 스타일, 특권 뷰 자체의 효과가 섞여 업데이트 방향을 특권 시각 근거에 일관되게 귀속할 수 없는 경우를 '특권 보정 오염'으로 정의하고, 오염된 보정을 그대로 증류하면 잘못된 토큰 업데이트를 강화할 수 있다고 지적한다. Qwen3.5-4B 학습 데이터에서 생성 토큰의 39.1%가 시각 대비와 교사 보정의 방향이 충돌했다고 보고한다.

어떻게 동작하나

제안 방법은 VAG(Visual-Attribution Gating)이며, RLVR을 대체하지 않고 그 위에 토큰 보정을 얹는다. 1단계에서 학생이 G개 응답을 샘플링하고 과제 검증기가 0/1 보상을 주면, 그룹 정규화한 A_ORM을 모든 토큰의 공통 앵커로 둔다. 2단계에서 EMA 교사를 두 뷰에 조건화한다. 근거 보존 뷰는 질문에 관련된 세부를 중심으로 크롭한 이미지이고, 근거 손상 뷰는 같은 크롭에서 임의 위치 사각형을 검게 가린 이미지로 해상도와 토큰 그리드, 주변 공간 맥락은 유지한다. 같은 학생 접두사와 같은 토큰에 대해 δ_t는 log p_T+(y_t) − log p_S(y_t), v_t는 log p_T+(y_t) − log p_T−(y_t)로 정의된다. δ_t는 교사-학생 밀집 보정 후보이고, δ_t가 양수면 교사가 학생보다 해당 토큰 확률을 높게 본다. v_t는 근거 보존 뷰와 손상 뷰의 차이로 얻은 시각 대비다. v_t가 양수면 해당 토큰을 근거가 지지하고, 음수면 반박하며, 절댓값은 근거 의존도로 해석된다.

무엇과 다른가

핵심 규칙은 δ_t와 v_t의 부호 일치다. 둘 다 양수인 지지 사분면과 둘 다 음수인 반박 사분면은 시각 개입과 같은 방향이므로 받아들이고, 부호가 반대인 두 충돌 사분면은 오염으로 보고 버린다. 경계값인 δ_t v_t = 0도 방향 정보가 없어 제외된다. 게이트 g_t는 δ_t v_t > 0일 때 1이 된다. 받아들인 보정은 시각 민감도 가중치 sigmoid(v_t/τ)와 tanh(δ_t/τ)로 크기를 제한해 A_ORM에 더한다. 최종 토큰 advantage는 A_ORM + η g_t (시각 민감도 가중치) tanh(δ_t/τ)가 되고, η는 보정 강도다. 게이트가 0이면 보정이 사라져 A_ORM으로 돌아가므로, 필터링이 토큰을 학습에서 빼는 것이 아니라 결과 수준 감독으로 후퇴하는 셈이다. 학습은 클리핑된 GRPO 목적함수를 쓰며, δ_t, v_t, g_t는 모두 stop-gradient라 학생 쪽으로는 중요도 비율을 통해서만 그래디언트가 흐른다. 추가 학습 파라미터나 보조 목적함수, 학습된 오염 추정기는 없고, 두 교사 뷰를 이미 평가하는 dual-view OPSD 대비 원소별 부호 검사만 추가된다.

어떻게 쓰나

실험은 Qwen3.5-4B를 Vision-OPD에서 파생한 약 6.2K개의 합성 시각 추론 예제로 학습해 진행했다. 학생은 입력마다 8개 응답을 샘플링하고 배치 48, 최대 응답 길이 1,024토큰, 전체 파라미터 1에폭, 30스텝 워밍업, 8대 H800을 쓴다. 평가는 V* Bench, ZoomBench, HR-Bench 4K, HR-Bench 8K, MME-RealWorld EN, MME-RealWorld CN의 여섯 벤치마크다. VAG는 Qwen3.5-4B 평균을 64.30%에서 81.33%로 올렸고, 동일 규모 강한 베이스라인인 OPD-V를 1.32%포인트 앞섰다. ZoomBench, HR-Bench, MME-RealWorld, 전체 평균에서 1위이고 V* Bench에서는 2위다. OPD-V 대비 가장 큰 차이는 ZoomBench에서 69.35% 대 65.92%, +3.43%포인트다. Qwen3.5-9B 초기 실험에서도 VAG는 평균 77.85%로 모든 벤치마크에서 베이스 모델을 개선했고, 응답 길이 제어를 적용한 Ours*는 80.23%였다. 원문은 또한 VAG가 평균 정확도에서 Qwen3.5-397B 같은 대형 오픈소스, GPT-5.4 같은 폐쇄소스, Thinking-with-Images 계열 에이전트 모델을 능가한다고 보고한다.

전제와 한계

동일 Qwen3.5-4B 기반 후처리 비교에서 VAG는 GRPO와 OPSD를 평균 각각 11.68%포인트, 12.07%포인트 앞선다. 흥미롭게도 OPSD는 더 밀집한 감독을 주는데도 GRPO를 넘지 못했는데(69.26% 대 69.65%), 저자들은 필터링되지 않은 특권 보정이 이득을 상쇄한다고 해석한다. Vision-OPD 대비로도 4.23%포인트 높다. 구성요소 절제에서 A_ORM만 쓸 때 69.65%였던 평균은 원시 δ_t를 더하면 77.12%, 시각 민감도 가중치를 더하면 78.80%, 부호 일치 게이트까지 포함한 전체 형태에서 81.33%가 됐다. 하이퍼파라미터는 τ=0.1, η=0.1이 가장 좋았고, τ를 키우면 게이트가 평평해져 시각 지지 보정과 반박 보정을 분리하지 못했으며, η=0.5는 모든 벤치마크를 악화시켰다. 근거 손상 뷰 비교에서는 임의 마스킹이 81.33%로 무이미지 80.40%, 검은 이미지 78.52%, 흐린 이미지 73.56%보다 좋았고, 이 이점은 작은 영역 해석이 중요한 ZoomBench와 MME-RealWorld CN에 집중됐다.

학습 분포 밖 일반 능력도 확인한다. MMVP, CV-Bench, MMStar, POPE의 네 홀드아웃에서 VAG는 평균 85.31%로 바닐라 모델보다 2.66%포인트, 가장 강한 베이스라인보다 1.39%포인트 높다. 반면 SFT와 GRPO는 바닐라 평균 아래로 떨어져, VAG가 세밀 지각 특화와 일반 멀티모달 능력 유지 사이의 상충을 피했다고 저자들은 주장한다. 정성적으로 VAG는 OPSD보다 토큰별 신용 지도를 더 희소하고 근거에 정렬된 형태로 만든다. 틀린 카운팅 예시에서 OPSD는 기능어까지 넓게 가중하고 'black'에 강한 음의 가중을 주는 반면, VAG는 'upper', 'spine', 'flank' 같은 위치 열거 토큰에 집중하고 잘못된 개수 토큰 '3'을 억제한다. 맞은 재질 예시에서도 VAG는 'mortar lines', 'consistent shape' 같은 시각 전제에 가중하고, OPSD는 'aged', 'rather' 같은 약한 근거 토큰에도 비슷한 가중을 준다.

개발자 관점에서 이 논문은 고해상도 스크린샷, 문서 이미지, 차트, 작은 객체 탐지처럼 국소 시각 근거가 정답을 좌우하는 멀티모달 에이전트에 직접 관련된다. 검증기와 근거 중심 크롭을 만들 수 있고 GRPO 파이프라인이 이미 있다면, 교사 증류를 그대로 더하는 대신 근거 보존 뷰와 손상 뷰의 대비로 보정 방향을 검사하는 게이트를 추가하는 방식이 실무적인 출발점이 된다. 특히 교사 보정이 항상 시각 근거와 같은 방향이라고 가정하지 말고, 부호가 어긋나는 토큰을 버리는 간단한 검사만으로도 OPSD의 이득이 커질 수 있다는 점을 보여준다. 구현에서는 검증기 보상, 크롭 정책, 손상 뷰 생성, EMA 교사 평가 비용을 먼저 측정해야 한다.

다만 원문에 별도 한계 절은 없고, 방법과 실험 설정에서 드러나는 전제와 범위가 있다. 과제 검증기 보상이 신뢰할 만해야 하고, 질문 관련 세부를 담은 근거 중심 뷰와 근거를 약화한 대조 뷰를 설계해야 하며, EMA 교사로 두 뷰를 평가하는 추가 추론 비용이 든다. 주 실험은 Qwen3.5-4B와 약 6.2K 합성 데이터에 집중되어 있고, 9B 결과는 초기 수준이며, 손상 뷰는 임의 마스킹이 가장 좋았지만 다른 손상 방식은 성능이 낮았다. τ와 η 같은 게이트 하이퍼파라미터에도 민감하므로, 실제 도입 전에 검증기 품질, 크롭·마스킹 정책, 하이퍼파라미터를 자체 데이터로 확인해야 한다.