FramePack-U가 긴 영상 토큰을 고정 메모리로 압축한다

Elephant in the Fridge: Constant-Memory Frame Packing for Long Video Understanding

HF Daily2610.16118

Shuo Gao, Chenhao Zheng, Zhongzheng Ren2026-10-12

무엇인가

시간 단위 영상, 스트리밍 피드, 영화 길이 콘텐츠를 비전-언어 모델(VLM)에 넣으면 표준 방식은 프레임마다 시각 토큰을 만들어내기 때문에 토큰 시퀀스가 영상 길이에 비례해 늘어난다. 메모리 소비와 추론 지연이 감당하기 어려워지고, 컨텍스트가 희석된다. 기존의 토큰 축소나 키프레임 선택은 시퀀스를 줄일 뿐 O(n) 스케일링 자체를 없애지 못하며, 토큰이나 프레임을 이진적으로 버리는 손실 연산이라 시간적 연속성을 조각내고 결정적 순간의 단발 행동을 지운다. 논문은 이 근본 병목을 겨냥한다.

어떻게 동작하나

제안 방법 FramePack-U는 파인튜닝이나 구조 변경 없이 기성 VLM에 추론 시점에 끼워 넣는 프레임 패킹 프레임워크다. 영상 길이와 무관하게 고정된 토큰 예산 아래에서 프레임마다 서로 다른 공간 해상도를 배정해, 메모리 예산을 중요한 프레임에 집중시킨다. 절차는 두 단계다. 첫째, 관련성·다양성 인식 샘플링. CLIP으로 프레임과 텍스트 프롬프트의 코사인 유사도 r_i를 계산하고, 가장 높은 프레임을 시드로 삼은 뒤 이후 각 단계에서 λ·r_i − (1−λ)·max sim(x_i, x_j)를 최대화하는 프레임을 그리디하게 고른다. 즉 지시문 관련성과 이미 선택된 프레임과의 시각적 비중복성을 동시에 본다. 구현에서 λ=0.7, CLIP-ViT-B/32를 쓴다. 둘째, 계층적 해상도 패킹. 다운샘플링 계수 d와 그 레벨에 배정된 프레임 수 f_d의 집합으로 스킴을 정의하고, 전체 비용이 M·Σ f_d/d² ≤ B(고정 토큰 예산)를 만족하도록 배분한다. 예컨대 d1f16d2f448은 16프레임을 원해상도로, 448프레임을 2배 다운샘플링으로 담아 16+448/4=128개의 원해상도 프레임 등가 비용이 된다. 앞서 선택된 프레임일수록 더 높은 우선순위, 즉 더 작은 d를 받는다. 이론상 N을 T까지 키울 수 있어 임의 길이를 고정 예산에 담지만, 실제로는 N이 클수록 시간적 커버리지는 늘고 프레임당 해상도는 낮아지므로 사전학습에서 본 해상도 아래로 내려가면 성능이 떨어진다. 저자들은 실험으로 일반화가 잘 되는 경험적 인스턴스를 제시한다.

무엇과 다른가

실험은 LongVideoBench, MLVU, Video-MME에서 수행했다. 베이스 모델은 Qwen3.6-27B(덴스)와 Qwen3.5-35B-A3B(MoE)이고, 비교 대상은 공식 권장 균일 샘플링과 FastVID, VisionZip, FrameFusion 같은 학습 없는 토큰·프레임 축소 기법이다. 128·256·512프레임 메모리 예산에서 모두 FramePack-U가 최고 성능을 냈다. Qwen3.5-35B-A3B에 128프레임 예산을 주면 세 벤치마크에서 공식 모델 대비 각각 +12.9%, +10.6%, +9.7%를 얻었고, Qwen3.6-27B에서는 +6.4%, +8.0%, +2.7%를 얻었다. 스킴 선택에 대한 민감도도 낮아서, 512프레임 예산에서 패킹 프레임 수가 608에서 1664까지 달라져도 균일 샘플링 대비 개선이 유지됐다. 다양성 항의 효과도 확인된다. 관련성만 쓰는 전략은 질의에 비슷한 프레임에 고해상도 슬롯을 중복 배정해 시간적 커버리지를 낭비한다. 프롬프트를 쓰지 않는 Diversity-only(이진 트리 중점 순서)와 비교하면, 512프레임 예산에서 d1f128d2f1536 스킴의 LongVideoBench 정확도가 74.0에서 74.9로, d1f384d2f512에서는 73.1에서 74.6으로 올랐다. 모델 크기 실험(Qwen3.5-4B, 9B, Qwen3.6-27B)에서는 베이스 모델이 클수록 이득이 뚜렷해졌다.

어떻게 쓰나

개발자 관점에서 이 방법의 실무적 가치는 추론 파이프라인을 재학습 없이 바꿀 수 있다는 점이다. 프레임을 독립적인 이미지로 인코딩하는 VLM이라면, 전처리 단계에서 CLIP 유사도 점수와 프레임 간 특징 유사도만 계산해 어떤 프레임을 어떤 해상도로 넣을지 정하면 된다. 런타임 분석에 따르면 CLIP 기반 스코어링의 전처리 오버헤드는 상수 수준으로 미미하고, VLM 추론 단계와 전체 지연이 균일 샘플링보다 오히려 줄어든다. 다만 Qwen3.6-27B처럼 큰 모델에서 초장시간 영상을 다룰 때는 후보 프레임을 fps=1.0으로 최대 3600장까지 디코딩하기 때문에 I/O 비용이 커져 전체 지연이 늘 수 있다. 이는 GPU 메모리 제약으로 균일 샘플링이 224프레임으로 제한된 데서 오는 하드웨어 병목 차이이며, 동일 조건이라면 균일 샘플링은 OOM으로 죽거나 지연이 폭발한다. 도입 전에는 자신의 모델이 프레임별 독립 인코딩을 쓰는지, 그리고 어떤 해상도 스킴이 자신의 벤치마크에 맞는지 확인해야 한다.

전제와 한계

저자들이 밝힌 한계는 네 가지다. 첫째, 이득이 베이스 VLM의 역량에 의존한다. 작은 모델은 더 많은 시각 관측을 통합·추론할 능력이 부족해, 패킹 프레임 수를 늘리면 LongVideoBench는 좋아져도 MLVU나 Video-MME는 소폭 나빠지는 경우가 있다. 둘째, 프레임을 독립적으로 처리하는 VLM에 가장 자연스럽게 적용된다. Eagle2.5류처럼 프레임을 고정 시공간 그리드로 묶거나 비디오 전용 모듈로 공동 처리하는 구조에서는 개별 프레임 해상도를 바꾸면 입력 형식이 깨지거나 시각 인코더 수정이 필요해 플러그앤플레이가 어렵다. 셋째, 프롬프트 관련성을 CLIP 유사도로 근사하기 때문에 미세한 시간적 사건이나 추론이 필요한 단서를 놓칠 수 있고, 다양성 항도 시각적 특징 유사도 기반이라 의미적 상보성을 온전히 반영하지 못한다. 넷째, 시간적 커버리지와 프레임당 충실도의 절충을 정하는 스킴 선택 하이퍼파라미터가 있어, 모델·벤치마크·영상 도메인에 따라 최적 배분이 달라질 수 있다.

초록 (원문)

Hour-long videos, streaming feeds, and movie-length content are pushing vision-language models (VLMs) past their breaking point -- the standard recipe of encoding each frame into visual tokens yields sequences that grow linearly with video length, causing prohibitive memory consumption and inference latency. Existing approaches, such as token reduction and keyframe selection, shorten the token sequence but leave the O(n) scaling intact, failing to resolve the fundamental bottleneck. We propose FramePack-U, a strikingly simple, training-free frame packing framework that compresses arbitrarily long videos into a fixed size visual representation at constant memory cost. FramePack-U requires no fine-tuning or architectural modification -- it plugs directly into off-the-shelf VLMs at inference time. Inspired by FramePack from the generation literature, we propose a content-aware compression strategy for visual understanding under a fixed token budget. Specifically, FramePack-U (1) scores each frame by its semantic similarity to the text prompt and ranks frames in a diversity-driven manner, and (2) packs the selected frames at varying resolutions into a fixed-length context window. This concentrates the memory budget on frames that are both instruction-relevant and visually diverse. While FramePack-U can in theory pack arbitrarily many frames into the fixed budget, we identify an empirical instantiation that generalizes robustly across settings. Extensive experiments on LongVideoBench, MLVU, and Video-MME show that FramePack-U consistently outperforms full-resolution baselines and prior token reduction and keyframe selection methods across diverse model families, parameter scales, and frame budgets. Notably, on Qwen3.5-35B-A3B with a 128-frame budget, FramePack-U yields gains of +12.9\%, +10.6\%, and +9.7\% over the official model on the three benchmarks, respectively.