ReVEAL은 MLLM 추론의 역할별 주의를 영상 객체 분할 근거로 활용한다
ReVEAL: Eliciting Role-Aware Latent Visual Evidence from MLLMs for Reasoning Video Object Segmentation
무엇인가
이 논문은 추론 기반 영상 객체 분할(ReVOS)에서 암시적 질의가 가리키는 대상을 영상 전체에 걸쳐 분할하는 문제를 다룬다. 기존 MLLM 기반 방법은 <SEG> 같은 전용 토큰의 은닉 표현을 외부 분할 모델의 프롬프트 공간에 맞추는 교차 모델 정렬에 의존해 왔고, 그 결과 MLLM 학습이 특정 분할 모델과 묶이며 추가 학습 비용이 든다. 저자들은 정렬 없이 MLLM이 영상 추론 과정 자체에서 분할을 이끌 시각적 근거를 만들어낼 수 있는지 묻는다.
어떻게 동작하나
ReVEAL은 추론 중에 역할별 Visual Evidence Tokens(VET)를 넣는다. <OBJ>는 분할 대상, <BG>는 억제할 배경, <NEG>는 제외할 전경 방해물을 표시하며, 모델은 추론 문장에서 해당 엔티티나 영역의 이름·설명 뒤에 이 토큰을 배치하도록 학습된다. 각 VET가 선행 영상 토큰에 보내는 attention을 잠재적 근거로 보고, 후반 Transformer 레이어들의 head 평균 attention을 T×Hv×Wv 맵으로 모은다. 레이어마다 유효한 근거가 달라진다는 문제를 풀기 위해 Dynamic Attention Layer Router(DALR)가 <OBJ> attention을 기준으로 후보 레이어를 점수화하고 top-k(실험에서 6)를 골라 가중치를 정규화한다. DALR 가중치로 VET attention을 집계해 역할별 근거 맵을 만든다.
무엇과 다른가
학습은 두 축이다. 먼저 ReVEAL-47K로 VET이 들어간 CoT 응답을 next-token prediction으로 SFT한다. 각 응답에는 <OBJ>가 정확히 하나, <BG>는 0 또는 1개, <NEG>는 추론에 등장하는 방해물 수만큼 들어간다. 여기에 Contrastive Attention Grounding Loss(CAGL)를 보조 손실로 붙인다. 양성 항은 <OBJ>와 <BG>의 attention 분포를 정답 영역 마스크에 BCE로 맞추고, 반발 항은 <BG>의 금지 영역을 <OBJ> 마스크로, <NEG>의 금지 영역을 <OBJ>와 <BG>의 합집합으로 두어 정규화된 attention 질량이 그 안에 새는 것을 벌점한다. CAGL은 DALR 라우팅 가중치로 레이어별로 가중되며 최종 목적식은 SFT 손실에 λ_CAGL=0.2를 곱한 CAGL을 더한 형태이고 λ_rep는 0.1이다.
어떻게 쓰나
ReVEAL-47K는 여러 학습 소스에서 VET 강화 CoT 추적과 영역 수준 마스크 주석을 모아 만든다. 대표 프레임의 정답 마스크와 GAR로 대상 캡션을 얻고, 그 캡션·질의·영상 프레임을 조건으로 Gemini 2.5 Pro가 CoT를 생성하며 적절한 위치에 VET를 삽입한다. Qwen3VL로 신뢰할 수 없는 샘플을 검증·필터링하고, 배경 마스크는 BiRefNet이 예측한 전경 영역과 대상 영역의 합집합에 대한 여집합으로 만든다. 학습은 LLaMA-Factory로 수행한다.
전제와 한계
추론 시에는 VET 강화 영상 추론으로 대상을 찾은 뒤 DALR이 고른 레이어의 가중치로 <OBJ> 근거와 <BG>·<NEG> 억제 근거를 집계한다. 프레임별로 대상 근거에서 억제 근거를 빼고 0으로 클리핑한 뒤 min-max 정규화해 융합 맵을 만든다. 융합 맵에 임계값 τ_pq=0.8을 적용하고 남은 영역에서 attention 강도에 따라 포인트를 샘플링해 고정된 SAM2-Hiera-Large의 프롬프트로 넣는다. 이후 NMS IoU τ_nms=0.7, 트랙릿 일관성 τ_trk=0.8로 후보를 걸러 전 프레임으로 전파한다. 억제 역할 가중치는 α_<BG>가 Qwen2.5-VL에서 0.5, Qwen3VL에서 0.1이고 α_<NEG>는 둘 다 1.0이다.
실험은 Ref-DAVIS, Ref-YouTube-VOS, MeViS, ReVOS, ReasonVOS 다섯 벤치마크에서 J, F, J&F로 보고된다. 같은 Qwen2.5-VL-7B와 6프레임 입력에서 attention으로 만든 마스크는 DecAF보다 Ref-DAVIS, ReasonVOS, ReVOS에서 각각 5.7%, 3.0%, 4.6% J&F 높다. SAM2로 만든 마스크에서는 정렬 없는 방법 중 전 벤치마크 1위이며, 같은 백본으로 DecAF보다 ReVOS 4.8%, Ref-YouTube-VOS 9.3% J&F 앞선다. 더 작은 백본으로도 CoT-RVS를 앞서고, 같은 Qwen2.5-VL-7B에서 교차 모델 어댑터 학습 없이 RGA-3에 근접한다. Qwen3-VL-8B에서는 Ref-DAVIS 80.7, ReasonVOS 66.1 J&F로 가장 강한 정렬 기반 결과를 각각 4.3%, 6.2% 앞서고, ReVOS는 61.6 J&F(전체), 65.0(Referring), 58.3(Reasoning)을 기록해 격차를 줄인다. 표에서는 InternVL3-8B 57.4, Qwen2VL-7B 55.9, Qwen2.5VL-3B 51.6 J&F(ReVOS 전체)로 같은 백본의 DecAF 47.4, 45.3, 39.7을 크게 앞선다.
절제 실험에서 VET이 들어간 CoT는 단순 응답보다 attention 마스크 J&F를 Ref-DAVIS와 ReasonVOS에서 1.1%, 1.7% 올리고, SAM2 마스크는 3.1%, 12.2% 올린다. SFT만으로는 신뢰할 만한 VET grounding이 부족하고, CAGL-P는 대상 coverage를, CAGL-R은 융합 맵의 attention 점수를 포인트 선택에 더 믿을 만하게 만든다. DALR은 고정 레이어 선택보다 낫다. 추론 시 <BG>를 더하면 attention 마스크가 Ref-DAVIS와 ReasonVOS에서 3.9%, 4.6% 오르고, <NEG>를 더하면 attention 점수는 낮아도 SAM2 분할이 더 좋아진다. 세 VET를 모두 쓰는 조합이 전체 성능이 가장 좋다. Qwen3VL을 4B에서 8B로 키우면 Ref-DAVIS와 ReVOS J&F가 3.6%, ReasonVOS가 5.6% 오르고, 작은 SAM2 변형과 SAM3에도 근거가 전이된다.
개발자 관점에서 ReVEAL은 MLLM과 분할 모델을 공동 학습시키는 어댑터 없이, 영상 MLLM의 내부 attention을 SAM2 포인트 프롬프트로 바꾸는 파이프라인을 보여준다. 영상 이해 모델을 이미 쓰고 있고 분할 모델은 고정해 두려는 팀에 매력적이지만, VET 토큰 추가, VET이 삽입된 CoT 데이터, 영역 마스크 주석, DALR top-k와 융합 임계값·α 값 튜닝이 필요하다. 저자들은 attention 맵이 거칠어 F 점수가 상대적으로 낮고 정확한 경계를 위해 전용 분할기가 여전히 필요하다고 밝힌다. 또한 6프레임 균일 샘플링, Gemini 2.5 Pro로 만든 CoT와 Qwen3VL 필터링에 의존하는 데이터 구성, 백본별로 달라지는 α_<BG> 설정은 재현 시 확인해야 할 전제다. 원문에 별도의 한계 절은 없지만, 정렬 없는 인터페이스라도 추론 단계에서 고정 SAM2가 필수라는 점은 실무 설계에 중요하다.