Open-o3-Video-v2가 영상 추론을 근거 탐색과 객체 그라운딩으로 묶는다

무엇인가

영상 이해 모델은 정답만 맞히는 것으로 충분하지 않다. 빠른 움직임, 잦은 장면 전환, 화면을 나갔다 다시 들어오는 피사체 때문에 결정적 단서가 아주 짧게, 아주 작은 영역에만 나타날 수 있기 때문이다. 이 논문이 푸는 문제는 모델이 답을 내면서 그 답을 뒷받침하는 시점과 객체를 함께 제시하도록 만드는 것이다. 이전 버전인 Open-o3-Video는 추론 궤적 안에 타임스탬프와 객체 바운딩 박스를 직접 삽입해 검증 가능한 추론을 가능하게 했지만, 최초의 희소 샘플러가 뽑은 프레임에 묶여 있어 그 샘플링이 놓친 단서는 되찾을 수 없었다.

어떻게 동작하나

Open-o3-Video-v2는 영상 추론을 하나의 에이전트적 근거 그라운딩 과정으로 재정식화한다. 모델은 추론 도중 아직 해결되지 않은 정보를 스스로 식별하고, 필요한 구간을 골라 추가 관찰을 요청한다. 툴 호출은 u_k=(s_k, e_k, d_k) 형태로, 시작·종료 시각이 구간을 정하고 d_k가 coarse/medium/fine 중 하나로 그 구간의 샘플링 밀도를 제어한다. 이 호출은 start_time, end_time, sampling_strategy를 담은 crop_video 호출로 직렬화되고, 반환된 프레임이 컨텍스트에 덧붙는다. 이어 모델은 반환된 관찰에서 질의와 관련된 시점과 객체를 찾아 ε_m=(타임스탬프, 객체 이름, 바운딩 박스) 형태의 근거 주장으로 기록한다. 좌표는 1000×1000 이미지 좌표계의 좌상단·우하단 쌍이다. 이렇게 남긴 근거는 상호작용 이력에 남아 이후 추론의 명시적 전제로 쓰이고, 구조화된 형식 덕분에 최적화 중에 직접 측정할 수 있다.

무엇과 다른가

학습 데이터는 두 갈래로 새로 만들었다. STGR-v2-CoT-135K는 52K 멀티턴 에이전트 그라운딩 궤적, 7K 단일턴 시공간 그라운딩 QA, 7K 보조 툴 사용, 37K 시간 그라운딩, 4K 공간 그라운딩, 16K 일반 영상 QA, 12K dense caption으로 구성되며 이 중 59K(44%)가 시공간 그라운딩 QA 직접 지도다. 52K 궤적은 Seeker-173K에서 네 단계로 뽑았다. 첫째, Qwen3-VL로 희소 프레임 8장에서 5회 롤아웃해 매번 정답인 질문은 추가 관찰이 불필요하므로 제거하고, 정답 단서 클립을 줘도 답할 수 없는 샘플도 버린다. 둘째, Qwen3.5가 질문 관련 객체와 시간 범위를 추출하고 SAM3가 단서 프레임에 박스를 생성하며, 프레임의 80%를 넘는 박스는 제거하고 객체·구간당 신뢰도 상위 2개만 남긴다. 셋째, Gemini-2.5-Pro가 검증된 단서와 박스를 이용해 원래 근거를 다시 쓴다. 넷째, 박스 정확도·시점-객체-박스 일치·툴 호출 구간 유효성·추론 서술의 시각 근거 부합성을 검사해 걸러낸다. 별도로 500개를 수동 감사했고 각 단계에서 90% 이상이 기준을 통과했다. RL용 STGR-v2-RL-13K는 v1 데이터 40%, 에이전트 툴 사용 50%, TimeLens 시간 그라운딩 10%로 구성했으며, SFT 정책에서 온도 1.0으로 5회 샘플링해 정답과 오답 롤아웃이 섞인 질문만 남겨 보상 대비를 확보했다.

어떻게 쓰나

보상 설계가 이 논문의 핵심 기여 중 하나다. CS-GRPO(Clue-Seek GRPO)는 툴 호출이 누적 근거 상태를 어떻게 바꾸는지 추적한다. 상태 γ_k는 지금까지 검색한 구간들의 합집합과 정답 관련 단서 구간 합집합 사이의 다중 구간 temporal IoU다. 종료 시점의 γ_K를 단서 보상으로 주고, γ_k - γ_{k-1} > 0.1인 후속 호출에 이득 보너스를 준다. 동시에 호출이 3회를 넘으면 예산 페널티 max(0, N_call-3)를, 두 구간의 temporal IoU가 0.7을 넘으면 반복 페널티를, 인접 구간을 잘게 훑는 행태에는 분절 페널티를 부과한다. 즉 새 정보를 주는 호출은 보상하고, 이미 본 것을 반복하거나 무의미하게 잘게 쪼개는 호출은 벌한다.

전제와 한계

V-STaR에서 Open-o3-Video-v2-4B는 mAM 40.4%, mLGM 56.3%로 Qwen3-VL-4B 백본을 각각 8.5%p, 12.6%p 앞선다. 8B 모델은 mAM 40.7%, mLGM 56.5%로 Qwen3-VL-8B 대비 12.7%p, 22.1%p 향상이다. 같은 4B에서 v1 대비로도 mAM 5.8%p, mLGM 9.0%p가 오른다. 일반 영상 이해와 시간 그라운딩에서도 4B 기준 VideoMME +1.3%, VideoMME-v2 +0.8%, WorldSense overall +4.6%, WorldSense recognition +6.3%, VideoMMMU +5.4%, Video-Holmes +10.7%, LVBench +7.2%를 기록했고, Charades-TimeLens mIoU +4.2%, TVGBench 31.3% mIoU(v1-7B 대비 +10.5%)를 냈다. 8B는 VideoMMMU 63.0%, Charades-TimeLens mIoU 51.1%에 도달한다.

구성 요소별 기여도 분리해 뒀다. SFT만으로 mAM +6.3%, mLGM +9.7%가 오르지만 VideoMME는 65.3%에서 63.7%로 떨어진다. 조밀한 멀티턴 궤적을 모방하는 과정에서 일반 영상 QA가 일시적으로 희생되는 특화 트레이드오프다. 이어 CS-GRPO가 mAM +2.2%, mLGM +2.9%, VideoMME +2.9%를 더해 최종적으로 백본 대비 mAM +8.5%, mLGM +12.6%, VideoMME +1.3%가 된다. 메커니즘 비교에서는 같은 백본·데이터·평가 조건에서 멀티턴 단서 탐색만 넣으면 Video-Holmes가 45.0%에서 47.1%, LVBench가 48.8%에서 51.9%, V-STaR mLGM이 47.8%에서 52.3%로 오르고, 여기에 명시적 그라운딩 근거를 더하면 각각 48.0%, 53.2%, 56.3%가 된다. CS-GRPO는 일반 GRPO보다 Video-Holmes·LVBench·VideoMME에서 각각 1.3, 1.2, 1.5점 앞선다.

실무 관점에서 볼 지점은 세 가지다. 첫째, 이득 보너스와 검색 페널티를 모두 제거하면 성능이 일관되게 떨어지므로, 툴 사용 RL을 설계할 때 '얼마나 많이 불렀는가'가 아니라 '호출 후 근거 상태가 얼마나 좋아졌는가'를 보상해야 한다는 실증이다. 둘째, SFT 단계에서 일반 능력이 일시적으로 후퇴할 수 있으니 도메인 특화 후 일반 벤치마크를 반드시 재측정해야 한다. 셋째, 학습 스택이 ms-swift(SFT)와 verl의 AgentLoop(RL)로 공개돼 있어 재현 경로가 열려 있다. 추론 시에는 1 FPS로 최대 96프레임을 초기 관찰로 쓰고 궤적당 어시스턴트 턴을 최대 5회로 제한한다.

한계도 분명하다. CS-GRPO의 단서 보상은 정답 관련 단서 구간이 미리 주석돼 있어야 계산되므로, 라벨 없는 실제 서비스 영상에는 그대로 옮기기 어렵다. 예산 페널티의 기준값 3은 '주석된 단서는 보통 세 번 호출 안에 찾을 수 있다'는 경험적 가정에 기대고 있다. 또한 저자들이 밝힌 대로 SFT는 조밀한 그라운딩 궤적을 모방하는 대가로 일반 영상 QA를 일시적으로 떨어뜨리는 특화 트레이드오프를 보이며, v1이 극단적 장시간 영상(LVBench, 평균 1시간 이상)과 세밀한 시간 그라운딩에서 약했던 문제의식이 v2의 동기였다는 점도 함께 읽어야 한다.