EventLens가 이벤트 구조 복원 보상으로 영상 MLLM의 시간 이해를 훈련한다

무엇인가

이 논문이 다루는 문제는 영상 MLLM이 겉으로는 비디오 QA 벤치마크에서 좋은 점수를 내지만, 영상을 일관되게 만드는 시간 구조 자체는 복원하지 못한다는 것이다. 저자들은 인접 이벤트를 하나로 합쳐버리거나, 단일 이벤트의 진행 방향을 놓치거나, 이벤트 사이에 그럴듯하지 않은 관계를 추론하는 실패를 지적한다. 이를 structured temporal understanding, 즉 시각 증거로부터 이벤트 경계와 단일 이벤트 진행, 다중 이벤트 관계를 복원하는 능력으로 정의한다. 원인은 post-training 목표와 시간 추론 사이의 불일치다. 캡션·정답 생성 같은 텍스트 지도 목표는 모델이 시각적 시간 근거 대신 언어적 지름길에 의존하도록 허용한다는 것이다. 근거로 단일 이벤트에서 다중 이벤트로 넘어가면 성능이 급락하고, 이벤트 재정렬 과제에서 인간은 거의 완벽한데 모델은 확률 수준에 머물며, 시각 입력 없이도 상당수 QA 문항에 답할 수 있고, 프레임 셔플링 같은 시간 교란에 둔감하며, 타임스탬프 예측 모델이 무관한 영상에서도 비슷한 구간을 출력한다는 관찰을 든다.

어떻게 동작하나

제안 방법 EventLens는 캡션을 재구성하는 대신 시각 증거에서 시간 구조를 복원하도록 모델을 훈련하는 비전 중심 강화학습 프레임워크다. 먼저 3단계 시간 온톨로지를 세운다. L1은 상위 의도·주제·담화 기능을 공유하는 최대 연속 구간인 주제 국면, L2는 참여자·장소·단기 목표가 비교적 안정적인 일관 활동인 의미 이벤트, L3는 시각적으로 식별 가능한 최소 동작·상태 전이인 원자 행동 단위다. 데이터는 TimeLens-100K와 ET-Instruct-164K의 공식 학습 분할만 사용하고 평가 벤치마크의 held-out 테스트는 제외한다. 1 FPS로 프레임을 샘플링하고 TransNetV2로 샷 후보를 얻은 뒤, 의미 연속성에 따라 연속 샷을 병합하고 여러 의미 전이가 있는 샷은 분할해 L2를 만들고, 그 안에 L3를 중첩시키며, 인접 L2를 L1으로 묶는다. 장면 커버리지, 시간 유효성, 부모-자식 포함 관계를 강제한 뒤 복원 과제 타깃으로 변환한다.

무엇과 다른가

이 온톨로지에서 세 가지 복원 과제군을 파생한다. 첫째는 레벨 조건부 시간 분할로, 프롬프트가 지정한 의미 스케일에서 이벤트 경계를 출력하게 한다. 예측 세그먼트와 정답 세그먼트 사이에 tIoU 합을 최대화하는 최적 일대일 매칭을 구한 뒤, 정답 커버리지와 예측 정밀도를 결합한 F1 스타일 보상 R_seg를 준다. 과분할과 과소분할 모두 벌점을 받고, 응답에서 세그먼트를 파싱할 수 없으면 0이다. 둘째는 단일 이벤트 진행 판별로, 5~30초 길이의 이벤트 클립을 원본 또는 시간 역재생으로 제시하고 forward/reverse를 맞히게 한다. 역재생 클립은 즉석에서 만들어 별도 주석이 필요 없고, 보상은 이진 정답 여부다. 셋째는 다중 이벤트 관계 추론으로, 시간순 이벤트 윈도에서 다음 이벤트 예측, 결손 이벤트 채우기, 클립 재정렬 세 과제를 만든다. 선택 과제의 후보는 같은 영상이나 관련 맥락에서 뽑은 hard distractor를 포함하고, 텍스트 설명이 아니라 중립 식별자를 붙인 시각 클립으로 제시해 검증기를 시각적 시간 증거에 묶어둔다. 재정렬은 정규화된 위치 이동량 기반 보상으로 부분적으로 맞는 순서에도 밀도 있는 학습 신호를 준다.

어떻게 쓰나

훈련은 두 단계다. 세 보상이 모두 과제 구성에서 직접 계산되는 결정적 값이므로, 분할·진행·관계 각각에 대해 GRPO로 전문화된 teacher를 하나씩 학습한다. 그다음 multi-teacher on-policy distillation(MT-OPD)으로 이들을 하나의 배포 가능한 student로 통합한다. student가 자기 궤적을 생성하면 해당 과제 계열의 teacher로 라우팅하고, teacher가 그 궤적 위에서 제공하는 top-k(논문 설정 k=10) 다음 토큰 분포에 대해 sparse forward KL을 최소화한다. 교사·학생 확률 모두 teacher top-k 집합 위로 재정규화한다. 저자들은 스케일·희소성·출력 형식이 다른 보상을 한 번의 고분산 정책 경사 업데이트에 섞는 직접 혼합 GRPO가 불안정하다고 보고, 이 분리-통합 구조를 그 대안으로 제시한다.

전제와 한계

실험은 Qwen3-VL-4B와 Qwen3-VL-8B를 백본으로 하고 Qwen2.5-VL-7B 비교도 포함한다. 베이스라인은 사전학습 체크포인트와 두 가지 텍스트 지도 post-training 변형(SFT-Desc, SFT-DVC)이다. 학습 설정은 학습률 5e-7, 글로벌 배치 64, 롤아웃 G=8, KL 계수 1e-2, 256 프레임, 최대 256x256 픽셀이고 평가는 greedy 디코딩으로 통일한다. 결과적으로 두 Qwen3-VL 백본 모두에서 모든 temporal grounding 열의 최고 성능을 기록했고, E.T. Bench와 VinoGround 같은 이벤트 민감 벤치마크에 구조적 추론 이득이 집중됐다. 반면 광범위 QA 벤치마크에서는 SFT 베이스라인보다 일관되게 우수하지 않은데, 저자들은 이 벤치마크들이 시간 추론과 캡션 스타일 의미·객체 인식·답변 형식 정렬을 섞고 있기 때문에 예상된 결과라며 이를 최적화 대상이 아닌 유지(retention) 진단으로 해석한다. 개별 벤치마크별 수치는 표 1~3에 보고되지만 본문 발췌에는 구체적 수치가 제시되지 않았다. 학습 곡선에서는 MT-OPD가 약 13시간에 직접 혼합 GRPO가 약 37시간 걸려 도달하는 것과 비슷한 전이 영역에 도달한다. 또한 자동 복원한 시간 감독에 20% 교란을 가해도 6개 지표 모두 instruction 베이스라인 위에 있고 clean 학습에 근접해, 정확한 경계 주석이 아니라 이벤트 수준 시간 구조를 학습한다는 것을 시사한다.

개발자 관점에서 이 논문의 실용적 의미는 명확하다. 사람 선호 라벨이나 학습된 보상 모델 없이 결정적 검증기만으로 영상 MLLM의 시간 이해를 강화할 수 있다는 점, 그리고 온톨로지 레벨을 아키텍처가 아니라 프롬프트로 지정해 같은 모델이 국면·이벤트·행동 단위를 모두 다루게 한다는 점이다. 타임스탬프 로컬라이제이션, 이벤트 분할, 이벤트 순서 검증이 필요한 영상 검색·편집·모니터링 파이프라인이라면 이 보상 설계와 2단계 훈련 절차를 그대로 참고할 수 있다. 다만 목표가 일반 QA 성능 향상이 아니라 시간 지향 지표의 개선과 일반 성능 유지라는 점, 그리고 성능 수치는 백본과 벤치마크별 표를 직접 확인해야 한다는 점을 전제로 삼아야 한다.

저자들이 밝힌 한계도 분명하다. 시간 그라운딩에서 시각 상태가 점진적으로 변하거나 쿼리가 여러 세부 행동에 걸친 상위 수준 활동을 가리킬 때 인접 이벤트를 혼동할 수 있다. 다중 이벤트 관계 과제에서는 시각적으로 유사한 반복 행동이 여전히 어려운데, 정답이 개별 클립의 외형이 아니라 미묘한 맥락에 달려 있기 때문이다. 즉 EventLens는 이벤트 경계와 국소적 시간 의존성에 대한 민감도를 높이지만 장거리 서사 추론을 모두 해결하지는 못한다. 또한 자동으로 재구성한 시간 감독에 의존한다는 전제가 깔려 있으며, 20% 수준의 교란까지는 강건하다는 것만 확인됐다.