MoviEdit가 양방향 초안과 인과 렌더링을 결합해 롱폼 멀티샷 영상 편집을 일관되게 만든다

무엇인가

이 논문이 푸는 문제는 '편집의 지속성'이다. 기존 영상 편집 모델은 대부분 몇 초짜리 단일 샷 클립을 전제로 한다. 반면 롱폼 멀티샷 영상에서는 장면, 시점, 피사체 외형이 컷마다 급격히 바뀌는데도 의도한 편집이 그대로 이어져야 한다. 샷을 따로따로 편집하면 샷 간 의존성이 사라지고, 소스와 타깃을 통째로 붙여 처리하면 전역 self-attention 비용이 시간에 대해 제곱으로 폭발한다. 저자들은 이 난점을 규모 문제가 아니라 구조 문제로 규정하고, 데이터·모델링·평가라는 세 개의 맞물린 병목으로 정리한다. 학습에 필요한 '샷 간 피사체 대응이 명시된 소스-타깃 영상 쌍'은 현실에 존재하지 않고, 기존 벤치마크도 단일 샷 위주라 컷 이후에도 편집이 올바른 피사체에 붙어 있는지를 측정하지 못한다는 것이 출발점이다.

어떻게 동작하나

데이터 병목은 사람 손을 거치지 않는 세 갈래 파이프라인으로 푼다. 동기화된 다중 카메라 촬영본, 실제 시네마틱 클립, 사전학습된 멀티샷 텍스트-투-비디오 생성 모델을 각각 활용해 픽셀 정렬 편집, 피사체 국소화, 준픽셀 정렬 편집이라는 세 가지 감독 체제를 만든다. 원시 쌍 205,228개에서 VLM 기반 품질 필터링을 거쳐 86,619개(540p, 15초, 24fps)를 남겼다. 핵심 아이디어는 멀티샷 편집을 '샷 간 공간 편집'과 '샷 내 시간 편집'으로 분해한 것이다. 모든 샷의 첫 프레임을 하나의 이미지 그리드로 이어 붙여 상용 텍스트 기반 이미지 편집 모델로 한 번에 편집하고(수식 1의 g_φ), 그렇게 얻은 편집된 첫 프레임을 각 샷 안에서 첫 프레임 조건 단일 샷 비디오 편집 모델로 전파한다(h_ψ). 이 분해 덕분에 멀티샷 편집기를 처음부터 부트스트랩할 필요가 없다. 단계별 QA에서 다중 카메라 쌍은 17%/38%, 시네마틱 쌍은 32%/47%가 걸러졌다. 피사체 국소화 데이터는 비디오 세그멘테이션으로 샷 전체에 걸쳐 마스크를 추적해 하이라이트·외곽선·색 채우기 같은 효과를 입혀 만들고 24%를 필터링한다. 준픽셀 정렬 데이터는 소스와 타깃 생성이 샷별 캡션과 초기 노이즈를 공유하고 전역 캡션만 다르게 하는 방식으로 짝을 짓는다. 캐릭터 외형 변경은 분기 시점 t_fork까지 잠재 상태를 공유하며 소스·타깃 속도 예측을 평균해 갱신하고(수식 2), 환경·매체 변경은 HED 에지나 깊이 맵을 ControlNet 조건으로 넣는다. 이 파이프라인은 66%를 걸러낼 만큼 수율이 낮다.

무엇과 다른가

모델링은 '초안 먼저, 렌더링 나중'의 캐스케이드 구조다. 청크 단위 인과 확산(CDF)만으로 긴 영상을 만들면 누적 외형 드리프트와 과포화가 생긴다는 것이 저자들이 그림 4로 제시하는 진단이다. 그래서 공유 가중치를 가진 두 개의 편집기를 두고 attention 패턴과 시공간 해상도만 다르게 쓴다. Draft Editor는 원본 N프레임을 절반(M=N/2)으로 줄인 저해상도 시퀀스 전체에 마스킹을 제거한 완전 양방향 attention을 적용해 전역적으로 일관된 편집 초안을 만든다(수식 5). Render Editor는 원해상도 청크를 인과적으로 처리하되, 직전 K개 생성 청크, 전역 초안, 그리고 대응하는 소스 청크를 함께 조건으로 받아 국소 디테일을 채운다(수식 6). 초안은 장거리 외형 앵커이자 멀리 떨어진 샷 사이의 일관성 공급원 역할을 하고, 렌더러는 계산 효율을 담당한다. 학습은 Draft Editor에 표준 flow-matching, Render Editor에 CDF 목적함수(수식 3)를 적용한다.

어떻게 쓰나

학습 규모는 멀티샷 87K 쌍에 사내 단일 샷 편집 쌍(540p, 5초)을 더한 구성이다. DiT 기반 mixture-of-experts 백본에 동결된 멀티모달 텍스트 인코더와 비디오 VAE를 붙이고, 멀티샷 생성·편집 능력이 전혀 없는 단일 샷 편집 체크포인트에서 초기화한 뒤 64대의 NVIDIA H200에서 FSDP로 전체 파라미터를 파인튜닝한다. V2V를 17K 스텝 학습하고, 이어서 IV2V를 8K 스텝 추가 학습하는 2단계다. 추론 최적화의 성과는 표 4에 명확하다. 540p 361프레임, H100 8대 기준으로 전체 시간 attention이 364.1초일 때 슬라이딩 윈도 attention으로 258.9초(1.4배), KV 캐시로 166.8초(2.2배), velocity moment matching 증류까지 적용해 11.8초(30.9배)로 줄었다. 증류는 비대칭 스케줄로, 초안은 12스텝, 계산이 무거운 렌더러는 4스텝으로 배정한다. 렌더러가 공격적인 스텝 감축에 더 강건하다는 관찰에 근거한다.

전제와 한계

평가는 MoviEdit-Bench를 새로 만든다. 생성된 멀티샷 영상 64개와 편집 시나리오 128개, 샷 간 피사체 바인딩 난이도가 다른 8개 카테고리로 구성되며 텍스트 유도(V2V)와 편집된 임의 프레임 유도(IV2V)를 모두 지원한다. 지표는 비피사체 보존(LPIPS), 편집 국소화(VLM 기반 Precision/Recall), 피사체 보존(MFS, LPIPS), 샷 간 편집 일관성(VLM 종합 판정), 프롬프트 정렬(CLIP/ViCLIP), 비디오 품질(DINOv2, NIQE, PickScore), IV2V 전용 편집 프레임 충실도의 일곱 축이고, 이들을 프레임 단위로 논리곱해 'overall edit success'로 집계한다(수식 7). 결과적으로 V2V에서는 평가된 시스템 중 종합 성능이 가장 높아 Runway Aleph 2.0의 overall edit success를 앞서고 다수 지표에서 선도한다. IV2V에서는 전체 벤치마크 기준 최고 overall success를 기록하고 개별 차원에서는 Aleph 2.0과 대등하며 지표별로 강점이 갈린다. FiVE-Bench와 VPBench라는 외부 벤치마크에서도 같은 경향이 재현됐다. 스케일링 실험에서는 17K 스텝의 0/20/40/80/100%, 87K 데이터의 0/33/100%를 각각 바꿔가며 학습량과 데이터량을 늘릴수록 지표가 일관되게 좋아짐을 보였다. 데이터 레시피 절제에서는 준픽셀 정렬 데이터가 구조·형태 변화가 큰 편집의 일반화를 돕고, 피사체 국소화 데이터가 편집 타깃 식별 능력을 끌어올린다.

개발자 관점에서 이 논문의 실용적 가치는 세 가지다. 첫째, 15초 입력 영상보다 짧은 11.8초의 디노이징 지연으로 편집이 끝나 실사용 파이프라인에 넣을 만한 속도를 확보했다. 둘째, 15초로 학습했음에도 25초·최대 17샷 입력으로 일반화하고, 학습에 없던 다중 참조 프레임 편집이나 여러 소스 영상을 이어 붙이는 video set-to-set 편집까지 동작한다. 셋째, 학습 데이터가 공개되지 않는 사내 멀티 카메라 푸티지와 상용 생성 모델에 의존하므로 그대로 재현하기는 어렵다. 대신 '저해상도 양방향 초안 + 고해상도 인과 렌더러'라는 분해와 비대칭 증류 스케줄, KV 캐시 조합은 자체 모델에 이식 가능한 설계 패턴이다. 벤치마크는 공개 예정이라고 밝혔으니, 도입 검토 시에는 540p·15초 학습 전제와 VLM 심판에 크게 의존하는 지표 체계를 함께 확인해야 한다.

저자가 명시한 한계는 타깃 국소화 실패다. 시각적으로 유사한 피사체가 여럿 있을 때 정체성 모호성이 생겨 엉뚱한 대상에 편집이 applied될 수 있고, 신체 일부나 물체 조각만 보이는 부분 가시성 상황에서는 샷 간 연관이 어려워 편집이 불완전해진다. 또한 이 방법은 소스의 모션과 서사 구조를 보존하는 대응 유지형 편집에 초점을 맞추고 있어, 모션과 내러티브 구조 자체를 자유롭게 변형하는 편집은 향후 과제로 남겨두었다. 향후 방향으로는 편집이 필요한 샷이나 피사체만 선택적으로 처리하는 에이전트형 워크플로와, 제어 가능한 렌더링 엔진을 또 하나의 확장 가능한 감독 소스로 쓰는 방안을 제안한다.