VLM이 답을 다시 생각할 시점을 스스로 학습하는 다중 관점 검증
When to Rethink: Learning Multi-Perspective Self-Verification for Vision-Language Models
무엇인가
비전-언어 모델(VLM)은 이미지와 질문을 함께 받고도 그럴듯하지만 틀린 답을 내놓는다. 외부 심판 모델을 붙이지 않고 같은 모델이 자기 답을 검증하게 하는 자기검증은 비용 면에서 매력적이지만, 기존 방식은 검증 기준 하나나 고정된 프롬프트에 의존해 신뢰도 추정이 불완전하고 불안정하다. 이 논문은 그 불안정성이 어디서 오는지 먼저 측정하고, 그 측정 결과를 근거로 다중 관점 자기검증 프레임워크 MOTIVE를 제안한다.
어떻게 동작하나
2장의 예비 분석은 세 가지를 확인한다. 첫째, 검증은 실제로 최종 정답률을 올린다. Qwen2.5-VL-3B/7B가 먼저 답을 만들고 InternVL3-2B/8B/14B/38B를 심판으로 붙여 Yes/No 판정을 받아 Yes면 유지, No면 재생성하는 실험에서 검증 도입은 VQA, ScienceQA, TableVQA 모두에서 직접 응답보다 나았다. 둘째, 심판이 클수록 최종 성능이 좋았다. 검증 품질이 심판의 다중모달 추론 능력, 즉 시각 근거·질문 의미·답 일관성을 함께 판단하는 능력에 달려 있다는 뜻이다. 셋째, 자기검증은 프롬프트에 극도로 민감하다. 같은 백본·데이터·프로토콜에서 검증 프롬프트만 바꾼 DVP-1~DVP-5 비교에서 성능이 뚜렷하게 흔들렸고, 벤치마크마다 최선의 프롬프트가 달라 어떤 단일 직접 프롬프트도 일관되게 우세하지 않았다. 검증 질문을 스스로 생성해 답하는 GVQ 방식은 더 불안정했고, 생성 질문 수를 1개에서 2개, 3개로 늘릴수록 성능이 오히려 떨어졌다. 초기 답을 만든 같은 모델이 만든 중간 질문이 원래의 불확실성을 물려받고 주의를 원 질문에서 멀어지게 하기 때문이다.
무엇과 다른가
MOTIVE는 이 관찰을 그대로 설계로 옮긴다. 이미지 I와 질문 q가 주어지면 정책이 턴 t에서 상호작용 이력 h_t를 조건으로 후보 답 a_t를 생성하고, 모델은 이를 반환할지(accept) 추가 연산을 들여 고칠지(rethink)를 이진 결정 d_t로 정한다. 검증은 단일 기준이 아니라 K=5개의 상보적 관점에서 수행한다. 각 관점은 관점별 검증 입력 x_t^(k)를 만들고, 모델이 YES라고 답할 확률 p_t^(k)를 그 관점의 신뢰도 추정치로 삼는다. 이 K개 확률을 단순 산술 평균해 하나의 신뢰도 점수 s_t로 합친다. 논문은 관점별 오차가 분산 σ², 쌍별 상관 ρσ²일 때 평균 집계의 오차 제곱 기대값이 σ²(ρ + (1-ρ)/K) 이하라는 명제 3.1을 제시하며, ρ가 1보다 작으면 관점 수 K가 늘수록 분산이 줄어든다고 설명한다. 중복된 관점보다 상보적인 관점을 모으는 것이 이론적으로도 낫다는 주장이다.
어떻게 쓰나
학습은 결과 수준 보상만으로는 중간 후보를 신뢰해야 하는지 가르치지 못한다는 문제의식에서 출발한다. 후보 답에 대해 정답과의 일치 여부로 정답 레이블 z를 자동 생성하고 세 가지 손실을 건다. L_view는 각 검증 관점의 YES 확률을 이진 교차엔트로피로 직접 지도해 관점이 무정보해지지 않게 하고, L_agg는 평균 낸 신뢰도 점수 자체를 정답 레이블에 정렬한다. L_cal은 브라이어 스타일 제곱오차 (s-z)²로 점수의 수치 스케일을 보정하는데, 같은 이진 결정을 내리는 두 예측이라도 확률 크기가 다르면 accept/rethink 행동이 달라질 수 있기 때문이다. 최종 검증 목적함수는 L_view + β_agg·L_agg + β_cal·L_cal이고, 전체 목적함수는 GRPO 손실에 λ_ver를 곱한 검증 손실을 더한 형태다. GRPO는 답 생성 토큰에만, 검증 손실은 검증 출력에만 적용해 최종 답 최적화와 신뢰도 추정을 분리한다. 추론 시에는 학습된 신뢰도 점수가 정지 기준이 된다. s_t가 임계값 τ 이상이면 그 답을 바로 반환하고, 미달이면 최대 예산 T까지 재추론한다. 재추론이 걸리면 후보 답, K개 관점의 검증 출력, 재고 지시문을 이력에 덧붙여 다음 턴 답 생성에 반영한다. 불필요한 재추론을 억제하려고 보상에서 재추론 횟수당 페널티 c를 빼는 계산 인식 보상을 넣는다. 구현값은 K=5, τ=0.5, T=3, λ_ver=0.1, β_agg=1.0, β_cal=0.1, 롤아웃 그룹 크기 G=8, 샘플링 온도 1.0, AdamW 학습률 1e-6, BF16이다.
전제와 한계
실험은 ReFocus, VQA, SLaKE, ScienceQA, TableVQA 다섯 벤치마크와 Qwen2.5-VL-3B, Qwen2.5-VL-7B, InternVL3-2B 세 백본에서 수행했다. 비교 대상은 자기검증 없이 답하는 바닐라 VLM, 프롬프트 수준 기법인 Self-Consistency·Self-Verification·Chain-of-Verification, 최근 다중모달 자기개선·자기교정 기법인 ADPO·R3V·LLaVA-SCo다. 논문은 MOTIVE가 모든 모델 규모와 과제 영역에서 일관되게 최고 성능을 냈다고 보고한다. 다만 표 2~7의 개별 정확도 수치는 본문 서술에 적혀 있지 않고, 제공된 원문 텍스트에는 경향성 서술만 있다.
세부 실험도 방향이 일관된다. accept/rethink 결정의 정확도를 재는 Self-Verification Accuracy(SVA)에서 MOTIVE는 모든 백본·데이터셋에서 기존 자기검증보다 높았고, 세밀한 시각 근거와 구조적 증거 확인이 필요한 과제에서 개선이 특히 컸다. 단일 관점 5종과 전체 모델을 비교한 실험에서는 데이터셋과 백본마다 최선의 단일 관점이 바뀌었고, MOTIVE가 가장 높고 안정적인 정확도를 보였다. 평균 추론 턴 수는 같은 최대 예산 T=3에서 기존 자기검증보다 모든 백본·벤치마크에서 줄었고, 불확실한 답을 반복 재고하는 VQA와 SLaKE에서 감소폭이 컸으며 ScienceQA에서는 상대적으로 작았다. 프롬프트 중복·다양성 실험에서는 DVP-1을 모든 슬롯에 반복한 설정보다 DVP-2, DVP-3, DVP-4로 하나씩 교체한 설정이 좋아졌고, DVP-1~DVP-5 전체를 쓴 설정이 가장 좋았다. 절제 실험에서는 L_view가 가장 큰 개선을 주고 L_agg, L_cal이 차례로 더해졌으며, 연속 확률을 평균하는 방식이 이진 결정의 다수결보다 나았다.
실무적으로 이 논문이 주는 신호는 두 가지다. 첫째, 자기검증을 프롬프트 한 줄로 처리하는 파이프라인은 벤치마크가 바뀌면 조용히 성능이 흔들린다. 검증 프롬프트를 여러 개 두고 그 결과를 점수로 합치는 편이 안전하다. 둘째, 검증 신호를 학습 대상으로 삼으면 언제 멈출지를 정책으로 만들 수 있다. 외부 심판 모델을 서빙에 붙이지 않아도 되고, 불필요한 재추론 턴을 줄여 지연과 토큰 비용을 함께 낮출 수 있다는 것이 이 설계의 실질적 이점이다. 다만 GRPO 기반 학습 파이프라인과 정답 레이블이 있는 데이터가 필요하므로, 학습 없이 추론만으로 쓰려는 팀에는 그대로 이식하기 어렵다.
저자들은 별도의 한계 절을 두지 않았지만 전제는 곳곳에 드러난다. 정답 레이블 z를 자동으로 만들 수 있는 태스크, 즉 정답 검증이 가능한 VQA류를 전제로 하며, 관점 수 K=5와 임계값 τ=0.5, 최대 턴 T=3은 고정 하이퍼파라미터로 제시될 뿐 다른 값에서의 강건성은 보고되지 않는다. 검증 손실 가중치 λ_ver, β_agg, β_cal을 키우면 성능이 오히려 떨어진다는 결과도 있어, 검증 감독을 과하게 걸면 답 생성이 나빠질 수 있다는 점을 시사한다. 또한 예비 분석에서 검증 효과를 확인할 때는 InternVL3 계열 외부 심판을 사용했고, 자기검증이 외부 심판을 완전히 대체한다는 주장은 최종 성능 비교로만 뒷받침된다.