적은 프레임으로도 영상 추론을 버티게 만드는 SAVER 후학습법

무엇인가

영상 언어 모델 연구의 오랜 관행은 추론 성능을 올리려면 더 많은 프레임을 보여주라는 것이다. Qwen-VL, InternVL, LLaVA 계열 모델들이 시각 이해를 강화해 왔고, 비디오 후학습 기법들도 질의응답·지각·시간적 과제 성능을 끌어올렸다. 그러나 대부분의 파이프라인은 '신뢰할 만한 예측에는 많은 프레임이 필요하다'는 조밀 입력 가정 위에 서 있다. 수십에서 수백 프레임을 처리하면 시각 토큰 예산, 메모리, 지연 시간이 모두 커지고, 스트리밍 영상·모바일 어시스턴트·로봇·감시 시스템·장편 영상 검색처럼 컴퓨팅이 제한된 환경에서는 이 비용이 특히 치명적이다. 이 논문이 던지는 질문은 단순하지만 그동안 제대로 다뤄지지 않았다. 영상 언어 모델이 추론 시점에 조밀한 프레임 샘플링을 정말 필요로 하는가, 아니면 희소한 시간적 관측만으로도 안정적으로 추론하도록 후학습될 수 있는가. 프레임 레이트를 낮추면 비용은 줄지만 사건을 국소화하는 데 필요한 시간적 근거가 사라진다. 저자들이 겨냥하는 것은 조밀 영상을 더 효율적으로 처리하는 일이 아니라, 희소 프레임 추론 자체를 신뢰할 수 있게 만드는 일이다.

어떻게 동작하나

제안 방법 SAVER는 '조밀에서 희소로' 가는 후학습 프레임워크다. 각 학습 예시마다 같은 영상에서 두 개의 뷰를 만든다. 프레임이 많은 조밀 뷰 V^d와 프레임이 적은 희소 뷰 V^s다. 두 뷰를 동일한 MLLM 정책 π_θ에 넣어 각각 조밀 응답 y^d와 희소 응답 y^s를 생성하고, 두 응답 모두 시간적 그라운딩 보상으로 최적화한다. 여기에 조밀 뷰에서 희소 뷰로 향하는 참조 보상(reference reward)을 더한다. 학습 과제로 시간적 그라운딩을 쓰는 이유는 사건이 언제 일어났는지에 대한 명시적 감독을 제공해, 과제에 관련된 시간적 근거를 학습하기에 자연스러운 신호이기 때문이다. 추론 시점에는 희소 뷰만 사용한다. 조밀 영상 사전 스캔도, 적응적 프레임 선택도, 테스트 시점 최적화도 하지 않는다. 즉 새로운 샘플링 전략을 제안하는 것이 아니라, 희소 프레임만 처리할 때 모델 자체가 신뢰할 수 있게 만드는 것이 목표다.

무엇과 다른가

보상은 세 가지로 구성된다. 형식 보상 R_fmt는 응답이 시작·종료 타임스탬프를 요구된 형식으로 담고 있는지 확인해 강화학습 중 잘못된 출력을 막는다. 그라운딩 보상 R_grd는 예측 구간과 정답 구간의 시간적 IoU에서 경계 페널티를 뺀 값으로, tIoU 항은 목표 사건과의 겹침을, 경계 항은 시작·종료 시각을 정확히 짚도록 더 촘촘한 피드백을 준다. 참조 보상 R_ref = w^d · tIoU(τ̂^s, τ̂^d)는 조밀 뷰 예측과 희소 뷰 예측의 구간 일치를 유도하되, 게이트 w^d는 조밀 뷰의 그라운딩 보상이 짝지어진 희소 뷰보다 높을 때만 1이 된다. 조밀 예측이 더 신뢰할 만할 때만 희소 예측이 그것을 따라가게 하는 표본 단위의 상대적 보상 셰이핑이다. 저자들은 이 게이트가 조밀 예측의 정답성을 보증하는 것도, 결합 보상이 그라운딩 품질에 대해 단조 증가함을 보장하는 것도 아니라고 명시한다. 전체 목표는 R^d + λ_s·R^s − β·D_KL을 최대화하는 것이며, 희소 뷰 보상 가중치 λ_s는 2.0, 나머지 보상 계수는 1.0, 롤아웃 크기는 G=4다. KL 항은 조밀·희소 두 뷰 각각에 대해 참조 정책과의 발산을 정규화한다. 저자들은 유계 손실에 대해 희소 뷰 위험이 조밀 뷰 위험에 두 예측 분포의 총변동 거리를 더한 값으로 상계된다는 직관도 제시하는데, 이는 희소 성능이 조밀 예측의 신뢰도와 두 뷰 사이의 괴리라는 두 요인에 달려 있음을 뜻한다.

어떻게 쓰나

실험은 Qwen3.5를 0.8B, 2B, 4B 세 규모로 인스턴스화해 진행했다. 학습 데이터는 Time-R1에서 무작위로 뽑은 1,250개 시간적 그라운딩 예시뿐이며, 영상 질의응답 주석은 전혀 쓰지 않는다. 0.8B·2B·4B 모델을 각각 A100 16·16·32장으로 약 4·7·13시간 학습했고, 배치 크기는 64·64·128이다. 평가는 fps를 0.1, 0.2, 0.5, 1, 2로 바꾸며 프레임 수를 영상당 4~256개로 제한하고, lmms-eval로 그리디 디코딩을 사용했다. 시간적 그라운딩 결과가 특히 인상적이다. Qwen3.5-2B는 프레임 레이트를 2.0fps에서 0.1fps로 낮추면 평균 mIoU가 34.9%에서 18.4%로 떨어진다. SAVER는 같은 0.1fps에서 2B 모델을 18.4%에서 30.0%로, 4B 모델을 19.7%에서 28.2%로 끌어올린다. 조밀 입력에서는 2.0fps에서 2B를 34.9%에서 45.4%로 개선한다. Charades-STA, ActivityNet, NExT-GQA 세 벤치마크 전반에서 모델 규모와 프레임 레이트를 통제한 비교에서 일관된 향상이다.

전제와 한계

그라운딩만으로 학습한 정책이 영상 질의응답으로 전이되는지도 확인했다. 주석을 전혀 쓰지 않은 여섯 개 벤치마크(VideoMME 자막 없음, MVBench, LongVideoBench, MMVU, VideoMMMU, MVP)에서 매크로 평균 정확도가 향상됐다. 2.0fps에서 2B는 51.0%에서 54.6%로, 4B는 60.8%에서 64.4%로 오른다. 0.1fps에서는 2B가 45.9%에서 50.8%로 개선된다. VideoMMMU의 향상이 특히 큰데, 4B 모델이 0.1fps에서 52.4%에서 72.7%로 뛴다. 다만 2B의 VideoMME, 0.8B의 MVP처럼 일부 설정에서는 성능이 오히려 떨어져 전이의 방향과 크기가 과제에 의존한다는 점도 저자들이 밝힌다. 보상 절제 실험(2B, 0.1fps)에서는 조밀·희소 동시 학습이 27.4 mIoU와 48.7% QA 정확도를, 참조 보상을 더하면 29.1과 49.3%를, 상대 품질 게이트를 붙인 변형이 30.0과 50.8%로 가장 높은 점수를 낸다. 같은 조건에서 Time-R1 방식 강화학습은 21.0 mIoU와 49.1%, 희소 SFT는 20.3과 19.6 mIoU에 그친다. 조밀 참조를 정답 구간으로 바꾼 변형은 29.5 mIoU와 50.1%로 그라운딩에서는 비슷하지만 QA에서는 조밀 참조 쪽이 근소하게 높다.

개발자 관점에서 이 논문의 실용적 함의는 추론 파이프라인을 건드리지 않고도 희소 프레임 환경을 버틸 수 있다는 점이다. 프레임 레이트를 2.0fps에서 0.1fps로 낮추면 여섯 개 QA 벤치마크 평균 관측 프레임 수가 139개에서 38개로 72.7% 줄어든다. 원본 Qwen3.5-2B를 프로파일링한 결과로는 시각 토큰 86.8%, 최대 GPU 메모리 49.3%, 종단 지연 63.6%가 줄었다고 보고되지만, 저자들은 이것이 기반 모델의 입력 설정 비용을 측정한 것이지 SAVER 자체의 속도 향상을 입증하는 것은 아니라고 선을 긋는다. 또한 학습에 조밀 뷰가 필요하므로 학습 파이프라인에서는 조밀 샘플링 비용을 감수해야 하고, 추론에서는 조밀 사전 스캔이나 적응적 프레임 선택 없이 고정된 저fps 프로토콜을 유지한다는 전제를 확인해야 한다. 스트리밍이나 온디바이스처럼 디코딩 자체가 제약인 환경에 맞는 설계다.

한계도 분명하다. 저자들은 희소 프레임이 핵심 사건을 완전히 놓치면 모델이 지나치게 넓거나 어긋난 구간을 예측하는 실패 모드와, 시각적으로 유사한 행동이 영상에 여러 번 나오면 특히 매우 낮은 프레임 레이트에서 엉뚱한 발생 지점에 정렬하는 실패 모드를 보고한다. 또한 그라운딩에서 QA로의 전이 메커니즘 자체는 여전히 열린 질문이라고 인정한다. 희소 뷰 보상 가중치 λ_s는 작으면 희소 견고성에 대한 압력이 부족하고 너무 크면 조밀 뷰 스캐폴딩과의 균형이 무너져, 저자들은 2를 기본값으로 택했다. 참조 보상 가중치도 클수록 좋아지는 것이 아니라 중간값에서 최적을 보인다. 향후 방향으로 저자들이 제시하는 것은 희소 관측이 불충분할 때 모델이 추가 프레임을 요청할 수 있는 적응적 온라인 샘플링이다.