VideoLVR는 영상 근거를 잠재 시각 토큰으로 재방문한다

무엇인가

이 논문은 영상 멀티모달 대형언어모델이 언어 기반 사고 연쇄로 추론할 때 과제에 필요한 시각 근거를 안정적으로 다시 참조하지 못하는 문제를 다룬다. 추론이 길어지면 모델이 영상 속 세부 정보를 잊는 시각 망각이 생기고, 뒤늦은 추론 단계에 필요한 국소적이고 시간적으로 흩어진 근거를 다시 보기 어려워진다. 기존 방식은 텍스트 좌표로 위치만 표시하거나, 크롭·프레임을 다시 멀티모달 문맥에 삽입한다. 전자는 시각 내용 자체가 아니라 상징적 위치를 담고, 후자는 세부 정보를 보존하는 대신 문맥이 계속 커진다. 논문은 이 둘 사이에서 시각 의미를 보존하면서도 압축적으로 근거를 재방문하는 방법을 제안한다.

어떻게 동작하나

먼저 교사 모델 Qwen3-VL-30B-A3B-Thinking으로 근거 기반 추론 궤적을 합성한다. 각 추론 주장 c_k에는 하나 이상의 국소 영역 R_k가 연결되며, 각 영역은 타임스탬프와 정규화된 바운딩 박스로 표현된다. 최종 답이 정답과 동등하고 잘 형성된 근거 그룹이 하나 이상 있을 때만 응답을 채택하고, 잘못된 타임스탬프나 지나치게 넓은 박스는 거부해 다시 샘플링한다. 이후 교사가 궤적을 재작성해 근거 그룹을 해당 근거를 사용하는 추론 주장 앞에 배치하도록 정렬한다. 학습 목표를 만들 때는 각 영역의 박스를 비전 토큰 병합 이후의 격자에 투영하고 교차하는 토큰 임베딩을 선택한다. 같은 추론 단계를 뒷받침하는 여러 영역은 타임스탬프 순으로 정렬한 뒤 구분 토큰 없이 하나의 잠재 블록으로 이어 붙인다. 이 블록은 <bot>과 <eot> 사이의 L_k개 잠재 위치로 감독된다.

무엇과 다른가

핵심 학습 목표는 입력 영상의 시각 토큰 어휘 전체에 대한 예측인 visual token prediction이다. 각 잠재 위치 직전의 은닉 상태를 2층 MLP로 투영해 시각 쿼리를 만들고, 입력 영상에서 인코딩된 N개 시각 토큰 각각과의 음의 평균제곱거리를 온도로 스케일해 소프트맥스를 적용한다. 정답 시각 토큰의 확률을 최대화하는 교차엔트로피로 학습하므로, 모델은 같은 영상 안의 유사한 토큰들 사이에서 근거에 해당하는 토큰을 구별해야 한다. 텍스트 손실은 일반 응답 토큰과 <bot>에만 적용되고 잠재 위치와 <eot>는 제외된다. 전체 손실은 텍스트 다음토큰 손실과 λ 곱한 VTP 손실의 합이다. 추론 시에는 학습된 투영 헤드를 그대로 사용해 디코더 은닉 상태를 잠재 시각 상태로 바꾸고 다음 입력으로 되먹인다. 프레임이나 크롭을 추가로 넣지 않고, 블록당 고정 예산 K개 잠재 상태를 생성한 뒤 <eot>를 삽입하고 텍스트 생성을 재개한다. 강화학습 확장인 TVPO는 시각 토큰을 텍스트 토큰과 나란한 이산 행동으로 보고, 입력 영상 어휘 위의 확률에서 샘플링한 시각 행동과 텍스트 행동을 GRPO로 함께 최적화하며 최종 답 정답 여부만 보상으로 쓴다.

어떻게 쓰나

실험은 OneThinker와 Video-R1에서 제공된 영상 질의응답 데이터로 만든 약 8.8K 근거 기반 궤적으로 지도학습을 수행하고, OneThinker의 19K 영상 객관식 문제로 강화학습을 했다. 이때 지도 모델이 여덟 번 응답에서 모두 맞힌 문제는 제외했다. 백본은 Qwen3-VL-8B-Instruct와 Qwen2.5-VL-7B-Instruct이며, Video-MMMU, TempCompass, MMVU, LongVideo-Reason, VideoMathQA에서 제로샷으로 평가했다. VideoLVR-8B는 평균 63.95로 Qwen3-VL-8B-Instruct보다 2.64점, 같은 데이터로 재현한 LVR-8B보다 1.24점 높았고 재현한 OneThinker-8B보다 다섯 벤치마크 모두에서 앞섰다. TempCompass는 3.50점, Video-MMMU는 3.11점 올랐고 Video-MMMU의 Comprehension은 6.67점 개선됐다. VideoLVR-7B는 평균을 50.37에서 53.68로 올려 Open-o3-Video보다 2.30점, LVR보다 9.09점 높은 평균을 기록했다. 강화학습 후 VideoLVR-8B-RL은 64.39로 지도학습 모델보다 0.44점 향상됐다.

전제와 한계

절제 실험은 설계 선택의 근거를 수치로 보여준다. MSE 특징 회귀를 VTP로 바꾸면 평균이 62.71에서 63.95로 1.24점 올랐고, MMVU 2.20점, VideoMathQA 1.43점, LongVideo-Reason 1.40점의 이득이 났다. 근거 기반 궤적은 표준 거부 샘플링 궤적보다 평균 62.53에서 63.95로 높았으며 VideoMathQA 3.57점, Video-MMMU 2.55점, TempCompass 2.24점이 올랐지만 MMVU는 1.90점 낮아졌다. 근거 영역을 하나의 잠재 블록으로 묶는 Grouped 방식은 첫 영역만 쓰는 방식과 영역별로 나누는 방식보다 각각 0.80점, 0.84점 높았다. TVPO는 텍스트 행동만 최적화하는 GRPO 기준선보다 63.31에서 64.39로 1.08점 높았다. 추론 시 잠재 스텝은 K=8이 63.95로 가장 좋았고 K=0은 62.12, K=16과 K=32는 62.00과 62.31로 낮아졌다. 온도 τ=0.07이 가장 좋았고 0.01에서는 59.98로 떨어졌다. 잠재 상태를 0벡터나 같은 크기의 노이즈로 바꾸면 각각 62.75, 62.07로 성능이 하락해 잠재 상태의 학습된 내용이 실제로 기여함을 보였다.

개발자 관점에서 이 방법은 긴 영상에서 세밀한 시각 근거를 반복 참조해야 하지만 크롭·프레임 삽입으로 문맥을 키우고 싶지 않은 영상 질의응답 파이프라인에 의미가 있다. 다만 성능이 교사 모델로 합성한 시공간 근거 주석에 의존하고, 추론 시 잠재 스텝 수 K와 VTP 온도 같은 하이퍼파라미터를 조정해야 한다. 원문에는 지연시간이나 메모리 사용량 수치가 제시되지 않았다. 저자들도 합성된 시공간 근거 주석에 의존하는 점을 한계로 밝히며, 향후 잠재 시각 상태가 국소 근거를 넘어 더 높은 수준의 의미 정보를 인코딩하도록 확장할 필요가 있다고 적었다.