Reviso는 비디오 캡션에서 중요한 증거만 골라 다시 보도록 학습한다

무엇인가

이 논문이 푸는 문제는 캡션의 '디테일 양'과 '핵심 정보 커버리지'가 어긋난다는 점이다. 멀티모달 LLM은 점점 더 상세한 비디오 캡션을 쓰지만, 복잡한 행동 시퀀스나 미세한 상호작용, 세밀한 시각 디테일이 있는 영상에서는 사소한 묘사에 과도하게 주목하면서 전체 맥락과 주요 사건을 놓친다. 저자들의 주장은 명확하다. 모든 시각적 증거가 동등한 주의를 받을 자격이 없고, 무엇이 중요한지는 영상 내용에 따라 달라진다. 게다가 중요한 정보는 성긴 전역 개요만으로는 해상되지 않아 표적 관찰이 필요하다. 여기서 두 가지 난제가 나온다. 무엇을 관찰할지 정하는 일과, 관찰 목표별로 적절한 도구를 골라 쓰고 얻은 증거를 해석해 다음 관찰을 조정하는 일이다.

어떻게 동작하나

Reviso의 구조는 계획과 실행의 두 층으로 되어 있다. 먼저 낮은 프레임레이트로 타임스탬프가 붙은 프레임을 뽑아 전역 개요를 만들고, 이를 바탕으로 Context-Focus-Points(CFP)라는 계층적 관찰 계획을 세운다. Context는 영상의 배경·주요 활동·주변 정보를 규정하고, Focus는 그 맥락에 비추어 가장 중요한 측면의 우선순위를 정하며, Points는 각 초점을 실제로 확인할 구체적 관찰 대상과 그에 맞는 도구(고프레임 재방문, 이미지 크롭, OCR 등)를 지정한다. 이 계획에 따라 여러 라운드에 걸쳐 도구 보조 관찰을 수행하고, 관찰 결과를 전역 맥락 및 앞서 모은 증거와 함께 해석한다. 그다음 해결된 목표와 아직 부족한 목표를 판별해 계획을 갱신하고, 마지막에 전역 정보와 국소 증거를 통합해 캡션을 생성한다.

무엇과 다른가

학습은 검증 기반 파이프라인으로 만든 궤적에 의존한다. 공개 데이터셋의 영상과 기존 캡션을 모으고 GPT-6 Astra와 Gemini 3.1 Pro로 후보 캡션을 추가 생성한 뒤, 사람이 선택·병합·수정해 정답 캡션을 만든다. 이어 Qwen3.8-27B가 저프레임 전역 미리보기로 CFP 계획을 세우고 고프레임 재방문과 크롭·OCR을 수행해 후보 캡션을 낸다. Gemini 3.1 Pro가 정답과 생성 캡션을 원자적 사실로 분해해 사실 일치성, 참조 사실 커버리지, 그리고 수집한 증거가 핵심 사실을 뒷받침하는지를 검증한다. 실패하면 전체 과정을 최대 N회 반복하고, 그래도 실패하면 교사 궤적으로 복구하는데 이때 검증기가 정답 기준 피드백을 주고 교사가 계획을 수정해 증거를 더 모은 뒤 재검증한다. 이렇게 검증된 궤적(관찰 계획, 도구 호출, 증거, 최종 캡션)으로 Qwen3.5-9B를 LoRA로 2에폭 SFT하고, 이어 GRPO를 200스텝 돌린다. 비주얼 인코더는 고정한다. 보상은 세 가지다. KFR은 생성 캡션과 참조 캡션의 사실 집합을 1대1 의미 매칭으로 비교한 F1(정밀도·재현율)이고, PAR은 도구 실행 전 초기 계획에서 뽑은 관찰 대상 집합과, 전역 미리보기로 해결되지 않아 추가 관찰이 필요한 참조 대상 집합 사이의 F1이다. UTCP는 같은 영상에 대해 샘플링한 그룹 안에서 하나 이상의 궤적이 KFR 임계값을 넘을 때만 활성화되며, (1−KFR)×정규화된 도구 호출 수로 계산한다. 즉 같은 비용이면 품질이 낮을수록, 같은 품질이면 비용이 클수록 페널티가 커진다. 최종 보상은 α·KFR + β·PAR − μ·UTCP다.

어떻게 쓰나

실험은 캡션 벤치마크 4개(DREAM-1K, MCTS-VCB, CaReBench, VDC)와 다운스트림 이해 벤치마크 2개(LVBench, MMVU)에서 15개 MLLM과 비교한다. 모든 모델의 입력 프레임 상한을 128로 맞췄고, 베이스라인은 균일 샘플링을 쓰는 반면 Reviso는 같은 예산을 전역 미리보기와 재방문에 나눠 쓴다. 결과는 DREAM-1K에서 최고 정밀도와 백본(Qwen3.5-9B) 대비 F1 +4.4%p, MCTS-VCB에서 정밀도 +8.1%p·재현율 +19.1%p·F1 +15.4%p다. CaReBench에서는 action F1 +9.1%p, object F1 +6.7%p로 백본을 앞서고, VDC Detailed 두 지표 모두 평가된 오픈소스 모델 중 최고다. 캡션이 실제 이해에 쓸모 있는지도 확인했는데, Gemini 3.1 Pro가 영상 없이 생성 캡션만 보고 벤치마크 질문의 답을 추출하는 방식으로 LVBench +4.9%p, MMVU Overall +2.1%p를 백본 대비 올렸다. 캡션은 질문과 무관하게 독립적으로 생성된다.

전제와 한계

절제 실험은 설계 의도를 뒷받침한다. SFT만으로도 세 지표가 모두 개선되고 가장 큰 이득은 action F1에서 나왔으며, 도구를 쓰지 않는 변형은 베이스 모델에 가깝게 떨어져 능동 관찰의 필요를 보여준다. GRPO 전체 목적식이 SFT보다 모든 지표에서 낫고, 보상 요소 중에서는 PAR을 제거했을 때 하락이 가장 커 object F1이 4.2%p 빠진다. 도구 보조의 이득은 영상이 길수록 커져 24~27초 구간에서 약 10%p에 이른다. 반면 프레임레이트만 올리는 것은 일관된 개선을 주지 않아, 10 FPS에서 Qwen3.5-9B와 GPT-6 Astra는 오히려 성능이 떨어졌고 Reviso는 그 어떤 직접 캡셔닝 설정보다도 높은 F1을 냈다. Codex·Claude Code 기반 일반 에이전트 워크플로와 비교해도 대부분 조합을 앞섰고, GPT-6 Astra에 Codex를 붙인 경우만 F1이 더 높았다. 사례로 든 농구 장면에서 백본은 슛 이후 제스처를 승리 세리머니로 오해했지만, Reviso는 슛 구간을 다시 보고 스코어보드를 크롭·OCR로 읽어 덴버가 74-72로 앞서며 4쿼터 1:45가 남았다는 사실을 확인해 경기 종료라는 잘못된 결론을 피한다.

개발자 입장에서 이 논문의 실무적 시사점은 긴 영상 캡셔닝 파이프라인에서 프레임을 균일하게 늘리는 대신 관찰 계획과 도구 호출로 예산을 재분배하는 설계다. 다만 도입 전에 확인할 전제가 있다. 학습 데이터가 사람이 만든 정답 캡션과 강한 교사·검증 모델(Gemini 3.1 Pro, Qwen3.8-27B)에 의존하고, 평가는 128프레임 상한과 고정 도구 호출 예산이라는 조건에서 이뤄졌으며, 짧은 영상에서는 추가 이득이 제한적이라고 저자들이 밝힌다. UTCP가 무의미한 도구 호출을 억제하지만 추론 시점에 여러 라운드의 도구 호출 비용이 실제로 발생한다는 점도 운영에서 따져야 한다. 원문에는 별도의 한계(Limitations) 절이 없어, 위 내용은 방법·실험 서술에서 확인되는 전제와 관찰에 근거한다.