EVA-Cap이 영상 캡션을 이벤트 단위 정렬로 다시 학습한다

무엇인가

영상 캡셔닝은 영상에서 의미 있는 내용을 뽑아 자연스러운 문장으로 쓰는 작업이고, 검색·추론·생성 같은 하위 응용의 기반이 된다. 최근 Omni Language Model(OLM)이 오디오와 영상을 한 모델에 통합하면서 이 작업이 다시 주목받고 있지만, 기존 접근은 캡션 생성을 '구조 없는 텍스트 생성'으로 취급한다. 그 결과 문장은 문법적으로 멀쩡해도 영상의 사건 구조와 어긋나는 캡션이 나온다. 논문은 이 병목을 캡션 표현 자체의 문제로 규정한다. 영상에 내재한 구조적 의미와 일반 언어 모델링을 동시에 담는 캡션 표현이 없다는 것이다.

어떻게 동작하나

제안하는 EVA-Cap은 캡션을 원자적 오디오·비주얼 이벤트의 나열로 본다. 각 이벤트는 (모달리티, 이벤트 타입, 등장인물, 내용) 튜플로 표현되고, 이벤트들은 공유 의미와 'as', 'at the same time' 같은 동기화 연결어로 묶여 하나의 캡션 구간을 이룬다. 이 관점에서 모델이 맞춰야 할 것은 두 가지다. 하나의 이벤트 안에서 귀속(attribution)이 올바른가, 그리고 서로 다른 이벤트 사이의 시간 순서와 동기화가 맞는가.

무엇과 다른가

이를 위해 먼저 EVA-Data를 만든다. LLaVA-Video, FineVideo, Shot2Story에서 200초 이하 영상 10만 개를 모아 3단계 자동 파이프라인을 돌린다. 1단계에서는 AVoCaDO로 초기 캡션을 생성하고 반복 서술이나 비정상 길이 샘플을 걸러낸다. 2단계에서는 원본 영상과 초기 캡션을 Gemini-2.5-Pro에 넣어 시간 정렬을 강화하고 인물 귀속을 수정한다. 3단계가 핵심인 이벤트 중심 품질 관리로, Gemini-2.5-Pro가 원본 영상에서 타임스탬프가 붙은 이벤트 튜플을 추출하고 GPT-4.1이 각 튜플이 캡션에 실제로 '히트'했는지 검증한다. 히트 판정은 오디오 이벤트와 비주얼 이벤트가 모두 함의되고 시간 동기화가 일치할 것을 요구하며, 히트 비율이 0.8 미만인 샘플은 버린다. 최종적으로 63K 영상-캡션 쌍이 남고, 평균 영상 길이는 73.7초, 캡션은 평균 504.3단어다.

어떻게 쓰나

학습은 Qwen2.5-Omni-7B의 Thinker 모듈 위에서 2단계로 진행된다. 비전·오디오 인코더는 동결하고 어댑터와 LLM 파라미터만 갱신하며, 영상은 2 FPS로 샘플링한다. 1단계 SFT는 63K EVA-Data로 2 에폭, 배치 128, 학습률 1e-5. 2단계 GRPO는 EVA-Data에서 뽑은 3.2K 롤아웃 영상으로 2 에폭, 배치 16, 학습률 2e-6, KL 페널티 0.04, 그룹 크기 8로 수행하고 Qwen3.5-27B를 보상 판정자로 쓴다. 보상은 세 갈래다. 전역 이벤트 완전성은 참조 이벤트 집합에 대한 재현율로, LLM이 캡션이 해당 이벤트 내용을 담았는지 판정한다. 이벤트 내 귀속은 명시적 인물이 있는 이벤트에 대해서만 캡션과 참조 캡션이 같은 인물에 귀속시켰는지 세고, 인물 없는 이벤트는 분모에서 제외한다. 이벤트 간 동기화는 오디오 이벤트를 주고 후보 비주얼 이벤트 중 동기화된 것을 고르게 하는 검색 과제로 만들어 집합 단위 F1으로 채점한다. 세 항을 가중합한 뒤, 1라운드에서는 완전성과 동기화만 켜고 귀속은 0으로 두고, 2라운드에서 셋 다 1로 켜는 점진적 전략을 쓴다.

전제와 한계

실험은 일반 캡셔닝과 이벤트 중심 정렬 두 축으로 나뉜다. 직접 품질 평가에서 video-SALMONN-2 테스트셋 총 오류율 34.6%, 누락률 17.6%로 최저 누락률을 기록했고 UGC-VideoCap 평균 점수 76.9를 냈다. QA 캐스케이드 평가에서는 Daily-Omni와 WorldSense에서 각각 3.3%씩 기존 오픈소스 모델을 앞선다. 이벤트 중심 정렬에서는 ChronusAV에서 V2A 추론 정확도 55.4%, A2V 그라운딩 56.2%, AV-SpeakerBench 화자 귀속 40.1%를 기록하며 평균 9.0% 향상을 보였다. 저자들은 HumanOmniV2가 환각률 12.3%를 유지하는 대신 누락률 49.2%를 감수한다는 점을 들어, 이벤트 중심 학습 없이는 덜 두드러진 유효 이벤트를 많이 빠뜨린다고 해석한다.

어블레이션은 보상 설계의 기여를 분리한다. 베이스라인 Qwen2.5-Omni는 오디오 내용을 자주 생략하는 모달리티 편향을 보였는데, EVA-Data로 SFT만 해도 V2A 정확도가 8.4%에서 44.8%로, A2V가 11.9%에서 46.1%로 뛴다. GRPO 단계에서 완전성 보상은 V2A·AV-Speaker·Daily-Omni에서 각각 8.5%, 2.1%, 3.7%를 더하고, 동기화와 귀속 보상을 얹으면 A2V 2.1%, AV-Speaker 3.1%가 추가로 오른다. 반면 귀속 보상을 1라운드에 조기 투입하면 일반 성능과 이벤트 정렬이 모두 나빠진다. 저자들은 이벤트 간 관계와 이벤트 내 정확도 사이의 최적화 충돌로 추정하며, 전역 구조에서 인물 수준 세부로 넘어가는 점진적 정렬이 필요하다고 본다.

실무 관점에서 이 논문이 주는 것은 두 가지다. 첫째, 롱폼 영상 캡션에서 화자 오귀속과 장면 오동기화가 잦다면 캡션을 이벤트 튜플로 분해해 검증·보상하는 방식이 직접적인 처방이 된다. 둘째, 데이터 구축 파이프라인 자체가 재사용 가능하다. 생성 모델로 초안을 만들고, 더 강한 모델로 정제하고, 별도 모델로 이벤트 히트율을 검수해 임계값으로 거르는 구조는 도메인만 바꿔 그대로 옮길 수 있다. 다만 보상 판정을 외부 LLM에 의존하므로 판정 모델의 편향과 비용, 그리고 이벤트 추출 품질이 최종 성능 상한을 좌우한다는 점을 먼저 확인해야 한다.

원문은 별도의 한계 절을 두지 않는다. 대신 전제가 곳곳에 드러난다. 데이터는 200초 이하 영상만 다루고, 이벤트 추출·정제·검증을 Gemini-2.5-Pro와 GPT-4.1, 보상 판정을 Qwen3.5-27B에 위임한다. 이벤트 히트율 0.8이라는 임계값도 경험적 선택이다. 보상 계산에서 유효 평가 집합이 비면 해당 보상을 0으로 두는데, 이는 이벤트가 적은 짧은 영상에서 보상 신호가 약해질 수 있음을 뜻한다. 또한 1라운드에 귀속 보상을 넣으면 성능이 떨어진다는 관찰은 저자들의 가설 수준으로 제시되며, 왜 충돌이 생기는지에 대한 분석은 제시되지 않는다.