비디오 추론 분할의 시공간 근거를 시간순 체인으로 묶는 TCoVP

무엇인가

이 논문은 비디오 추론 분할(VRS)을 다룬다. VRS는 '염색한 머리의 선수가 누구와 손을 맞잡은 뒤 그 선수를 포옹했는가'처럼 암시적으로 서술된 대상을 찾아 픽셀 단위 마스크 궤적을 예측해야 한다. 문제는 텍스트 전용 Chain-of-Thought가 대상 선택을 설명해도, 그 선택을 뒷받침하는 프레임 속 시각 증거를 명시하지 않는다는 점이다. 저자들은 이를 비디오 참조 간극(video reference gap)이라고 부른다. 예시에서 염색한 머리의 선수는 대상을 식별하는 맥락이고, 손을 맞잡은 코치가 분할 대상인데, 코치는 손잡기 이후에도 보이므로 뒤의 포옹에 주목하거나 영상 전체로 마스크를 전파하면 오답이 될 수 있다. 즉 언어 추론과 시간·공간에 흩어진 시각 증거를 같은 추론 과정 안에서 연결해야 한다.

어떻게 동작하나

제안 방법 TCoVP는 질의와 관련된 시각 증거를 시간순 비디오 프리미티브 체인으로 표현한다. 각 프리미티브는 엔티티 식별자 id, 의미 상태 c, 관측 타임스탬프 τ, 경계 상자 b, 엔티티나 이벤트의 시간적 지원 [s,e], 선택적 행동·관계 설명 r로 구성된다. 같은 id를 다른 타임스탬프에서 재사용해 엔티티 연속성을 유지하고, 프리미티브 순서로 관측 증거의 시간적 전개를 기록한다. 모델은 샘플링된 타임스탬프마다 프리미티브를 내지 않거나 하나 이상 추가하며, 새 엔티티를 도입하거나 기존 id의 관측을 덧붙이거나 시간적 지원을 갱신한다. 이 체인은 <obj>, <time>, <box>, <t> 태그로 직렬화되어 자연어 추론과 교차 배치되고, 표준 자기회귀 디코딩으로 생성·파싱·검증할 수 있다.

무엇과 다른가

추론이 끝나면 최종 <answer> 블록이 체인에서 분할할 타깃 프리미티브를 고른다. 맥락용 프리미티브는 남아 있지만 분할 대상은 아니다. 선택된 타깃 프리미티브의 타임스탬프와 상자는 SAM3에 박스 프롬프트로 전달되어 비디오 마스크 전파를 초기화하고, 여러 프리미티브에서 나온 마스크는 픽셀 단위 합집합으로 병합된다. 움직임·행동 구간을 묻는 질의에서는 예측된 시간적 지원 안으로 전파를 제한하고, 유효한 타깃 프리미티브가 없으면 빈 마스크 궤적을 낸다. 이 구조가 중요한 이유는 중간 추론의 참조가 최종 마스크 예측에 실행 가능한 프롬프트로 직접 이어지기 때문이다.

어떻게 쓰나

학습 데이터는 TCoVP-SFT-15k와 TCoVP-RL-13k다. ReVOS, MeViS, Long-RVOS, GroundMoRe의 학습 분할 위에 구축했고 단일·다중·영타깃 샘플을 포함한다. 각 비디오에서 16프레임을 균일 샘플링하되 첫·마지막 프레임은 유지하고, 타깃 마스크를 해당 타임스탬프의 상자로 변환한다. 가장 크게 보이는 타깃 영역이 기대 답의 공간 증거가 되고 나머지 샘플 프레임은 맥락 프리미티브의 증거가 된다. Kimi-K2.5가 초기 추론 트레이스를 생성하고, Qwen2.5-VL-7B가 맥락 엔티티 상자를 의미적으로 재검사하며, 파서가 식별자·시간 지원·타임스탬프·상자 유효성과 시간 순서·id 재사용 일관성을 검사해 잘못된 참조와 샘플을 걸러낸다. SFT는 체인 직렬화와 언제 프리미티브를 내지 말아야 하는지를 가르치는 콜드 스타트이고, 이후 체인 정렬 강화학습이 구조 유효성, 시간 정렬, 시공간 근거, 타깃 프리미티브 정확도에 대한 보상으로 후보 체인들을 그룹 상대적으로 최적화한다.

전제와 한계

실험은 Long-RVOS, ReasonVOS, ReVOS, MeViS, GroundMoRe 다섯 VRS 벤치마크와 Qwen2.5-VL-3B, Qwen3-VL-4B, Molmo2-4B 백본에서 이뤄졌다. 지표는 영역 유사도 J, 윤곽 정확도 F, 그 평균 J&F다. 행동 구간까지 맞춰야 하는 GroundMoRe에서 TCoVP-M-4B가 55.37, TCoVP-4B가 55.21, TCoVP-3B가 53.67로, 원문에 나온 가장 강한 기존 VRS 베이스라인 31.96을 크게 앞섰다. 일반 VRS에서는 Molmo2-4B 변형이 Long-RVOS 67.4, ReVOS 68.3, MeViS 65.2를 기록했고, ReasonVOS에서는 Qwen3-VL-4B 변형이 72.1, Qwen2.5-VL-3B가 71.6, Molmo2-4B가 71.5를 냈다. Long-RVOS와 ReasonVOS에서 세 변형 모두 가장 강한 기존 베이스라인보다 각각 7.7~10.0점, 6.7~7.3점 높았다.

절제 실험은 Qwen2.5-VL-3B 기반 TCoVP-3B로 표현과 학습 단계를 분리한다. 같은 데이터량·학습 설정·백본에서 텍스트 전용 CoT와 비교하면 다섯 벤치마크 매크로 평균 J&F가 57.8에서 62.7로 올랐고, GroundMoRe에서 7.4점, 나머지 벤치마크에서 2.5~6.4점 상승했다. Veason-R1 대비로는 매크로 평균이 48.3에서 62.7로 증가한다. SFT에 체인 정렬 강화학습을 더하면 Long-RVOS 8.8점, ReasonVOS 8.5점, ReVOS 5.4점, GroundMoRe 9.9점이 추가로 올랐다. 시간 정렬 보상이나 시공간 근거 보상 중 하나를 빼면 네 벤치마크 모두 성능이 떨어지고, 둘을 함께 쓸 때 가장 좋다.

개발자 관점에서 TCoVP는 영상 검색, 편집, 로봇 지시 수행처럼 '누가 언제 무엇을 했는가'가 암시적으로 주어진 분할 파이프라인에 쓸 수 있는 설계다. 중간 산출물이 엔티티 id, 타임스탬프, 상자, 시간 구간으로 남아 검사 가능하고, 최종 선택 프리미티브를 SAM3 같은 전파 모델의 프롬프트로 바로 넘길 수 있다. 다만 성능이 16프레임 샘플링과 SAM3 전파에 의존하므로, 짧은 이벤트가 많은 영상이나 긴 영상에서는 샘플링 밀도와 전파 오류를 먼저 확인해야 한다. 또한 데이터 라벨이 생성 모델과 자동 필터링을 거치므로, 실제 도메인에 적용할 때 타깃·맥락 엔티티 구분과 시간 구간 라벨의 품질을 검증해야 한다.

저자들이 밝힌 한계는 명확하다. TCoVP는 16개의 균일 샘플 프레임 위에서 추론하므로 관측 사이에 짧게 발생하는 이벤트는 보지 못할 수 있다. 엔티티 간 행동과 관계는 자연어로 표현될 뿐 전용 구조화 표현이 없고, 최종 마스크는 SAM3 전파 오류를 그대로 물려받는다. 더 복잡한 비디오로 확장하려면 적응적 시간 샘플링, 더 조밀한 공간 증거, 상호작용의 구조화 표현이 필요하다고 저자들은 적는다. 이 논문의 기여는 텍스트 CoT의 참조 간극을 시간순 프리미티브 체인으로 메우고, 그 체인을 마스크 예측까지 실행 가능하게 연결했다는 데 있다.