VideoJev가 영상 이해와 상호작용을 후보 점수화 결정으로 통합한다

무엇인가

영상 에이전트는 조리 과정을 따라가며 재료가 들어갔는지 확인하거나, 진행 상황을 점검하거나, 다음 행동을 고르기 위해 같은 영상 기록을 반복해서 들여다본다. 기존 선택지는 양쪽으로 갈린다. 판별 모델은 빠르지만 과제별 설계나 고정된 라벨 공간에 묶이고, 영상 MLLM은 의미 이해와 언어 인터페이스가 유연하지만 출력이 압축된 구조적 결정일 때조차 타임스탬프나 답변 텍스트를 토큰 단위로 생성한다. 이 논문은 이 둘을 합치려 한다. 핵심 전제는 매 단계 열린 생성이 필요하지 않다는 것이다. 상위 목표를 검증할 조건과 평가할 선택지로 분해하면, 구조화된 시각 판단만으로도 열린 행동을 지지할 수 있다.

어떻게 동작하나

VideoJev는 사전학습된 MLLM을 개조한다. 마지막 MLP를 제거하고 언어모델 출력 헤드를 후보 점수화기로 교체하며, <|option_end|>와 <|decide|> 두 토큰을 추가해 각각 후보 읽기와 질의 단위 결정 읽기를 담당하게 한다. 두 토큰은 사전학습된 <|im_end|> 임베딩에서 초기화된다. 별도 선형 투영이 은닉 상태를 512차원으로 사영하고 단위 길이로 정규화한 뒤, 결정 상태와 후보 상태의 내적에 고정 스케일 10과 학습된 스칼라 편향을 적용해 로짓을 만든다. 입력 배치는 영상 토큰, 과제 지시문, 질의, 후보 목록 순이며 인과 모델링 덕분에 후보 읽기는 앞선 영상과 질의, 이전 후보들을 볼 수 있고 결정 읽기는 전체 목록을 본다. 시간 구간 후보는 영상 접두부에서 복사한 타임스탬프 텍스트이고, 시그모이드 점수가 이벤트 소속 여부를 나타내며 여기서 하나의 연속 구간을 디코딩한다. 객관식 후보는 답변 텍스트이고 소프트맥스로 확률을 만들어 최고 점수 선택지를 고른다. 즉 후보와 출력 규칙이 과제를 규정한다.

무엇과 다른가

학습은 두 갈래 감독을 쓴다. 시간 구간 찾기는 후보별 다중 라벨 이진 교차엔트로피로 국소 소속을, 구간 길이로 가중한 소프트 IoU 손실로 이벤트 전체 커버리지를 감독한다. 객관식 QA는 정답이 하나이므로 소프트맥스와 교차엔트로피를 쓴다. 선택지 위치에 기반한 요령을 막기 위해 학습 시 정답과 무관한 재현 가능한 순열을 적용하고 정답 인덱스를 갱신하되, 선택지 위치나 이전 턴을 언급하는 질문은 순서를 유지한다. 구간 디코딩은 로짓에서 임계값 0.25에 해당하는 값을 빼고 합이 최대인 비어 있지 않은 연속 범위를 Kadane 알고리즘으로 O(K)에 찾는다. 추론은 두 모드다. Cached inference는 영상을 한 번 인코딩·프리필하고 도착하는 질의가 캐시된 접두부에서 분기한다. Joint inference는 여러 질의와 후보 목록을 하나의 영상 접두부 뒤에 붙여 한 번의 인과 순전파로 모든 점수를 얻는다. 학습도 같은 결합 배치를 써서 영상 연산을 질문들 사이에서 공유한다. 학습 데이터는 시간 소속에 TimeLens-100K와 TimeLens2-93K, 선택지 선택에 19K 영상에 걸친 약 24만 개의 내부 구축 객관식 질문을 쓴다. 1단계는 영상의 30%에서 헤드만 고정 백본 위에 학습하고, 2단계는 나머지 70%에서 언어 백본과 마커 임베딩, 헤드를 함께 적응시킨다. 시각 인코더와 병합기는 전 과정 동결이다.

어떻게 쓰나

실험은 시간 구간 찾기 3개 벤치마크(Charades-STA, ActivityNet Captions, QVHighlights의 TimeLens-Bench 정제 주석)와 영상 QA 4개(LVBench, Video-MME, LongVideoBench, MLVU)에서 이뤄졌다. VideoJev-4B는 평균 mIoU 65.3으로 Qwen3.5-4B 백본 대비 6.7포인트, TimeLens2-4B 대비 3.3포인트 향상됐고, TimeLens2-4B 대비 [email protected]을 세 데이터셋에서 2.8~4.8포인트 올렸다. VideoJev-35B-A3B는 평균 mIoU 67.7로 백본 대비 10.8포인트 높으며, 4B에서 확장하면 지연 22% 증가로 2.4포인트를 더 얻는다. 두 모델 모두 자기 백본 대비 2.8~3.1배 속도를 냈다. QA에서는 Instruct 백본 대비 4개 벤치마크 평균이 각각 8.0포인트, 5.7포인트 향상됐고, 4B는 Qwen3.5-4B Thinking과 평균 0.6포인트 차이, 35B-A3B는 Qwen3.6-35B-A3B Thinking을 0.7포인트 앞선다. Thinking 대비 측정 속도 향상은 각각 129배와 100배다. 질의 수를 1개에서 10개로 늘릴 때 Joint inference의 추가 비용은 구간 찾기 55ms, QA 31ms에 불과했고, 10개 질의에서 순전파 시간은 0.39초와 1.64초로 Cached inference의 0.85초, 2.17초보다 짧으면서 Charades mIoU와 LVBench 정확도는 각각 1.5, 0.8포인트 더 높았다. 같은 조건에서 Qwen3.5-4B Instruct는 10개 구간 질의에 5.98초를 쓰며 52.3 mIoU였고, Qwen Thinking은 10개 QA 질의에 1,393초를 썼다.

전제와 한계

데이터를 통제한 비교가 인상적이다. 동일한 후학습 데이터로 평범한 Qwen3.5-4B 자기회귀 모델을 미세조정한 결과, VideoJev가 평균 구간 mIoU 1.3포인트, 평균 QA 점수 1.9포인트 앞섰다. 구조 자체의 이득이라는 주장이다. Joint inference는 Cached inference보다 오히려 평균 점수가 4B에서 0.8/0.5포인트, 35B-A3B에서 0.3/0.7포인트 높았고 14개 모델-벤치마크 비교 중 13개에서 개선됐다. 두 과제를 함께 학습하면 7개 벤치마크 전부에서 좋아져 평균 구간 mIoU +0.7, 평균 QA +1.3포인트였다. 소프트 IoU를 더하면 평균 구간 mIoU가 60.7에서 65.3으로 4.6포인트 오르고 QA도 0.4포인트 올랐다. 마지막 MLP 제거는 각각 0.2포인트 향상으로 성능 손실 없이 계산을 줄였다. 2단계 적응은 단일 단계와 비슷한 성능을 70% 영상만으로 달성한다.

개발자 관점에서 이 설계의 실질적 가치는 인터페이스에 있다. 에이전트가 같은 영상에 대해 조건 검증, 진행 점검, 행동 평가를 반복할 때 영상 인코딩과 프리필을 한 번만 지불하고, 이후 판단은 후보 목록을 던져 점수만 받는 형태가 된다. 후보 점수는 신뢰도 신호로도 쓸 수 있다. 35B-A3B는 신뢰도 99% 이상인 591개 예측에서 정확도 95.8%를 기록해 전체 73.4%와 큰 격차를 보였다. 다만 확률이 정답률을 과대평가하는 경향이 있어, 4개 벤치마크 평균 기대 캘리브레이션 오차는 4B 8.65포인트, 35B-A3B 8.13포인트다. 임계값 기반 라우팅을 설계한다면 별도 캘리브레이션 세트에서 온도 스케일링을 적용하거나 자체 검증 데이터로 보정해야 한다.

저자들이 밝힌 전제와 한계도 분명하다. VideoJev는 캘리브레이션 전용 학습을 받지 않았고, 확률 보정은 향후 과제로 남긴다. 현재 평가는 프레임만 사용하며 자막이나 오디오는 쓰지 않는다. QA 평가는 256K 토큰 컨텍스트 예산에 2fps, 최대 2,048프레임, 프레임당 640×640 픽셀로 고정돼 있어 더 긴 영상이나 고해상도 입력에서의 거동은 검증되지 않았다. 스트리밍 입력은 증분 시각 인코딩과 메모리 관리, 결정 컨텍스트의 적시 갱신이 필요하다고 저자들은 향후 과제로 제시한다. 또한 실험 범위는 시간 구간 찾기와 객관식 QA 두 과제이며, 행동 인식이나 이벤트 검출 같은 다른 판단 유형으로 후보 인터페이스를 확장하는 일은 아직 제안 단계다.