OmniXRef가 멀티모달 다중 참조 비디오 편집을 하나의 틀로 통합한다

무엇인가

이 논문은 소스 비디오를 유지하면서 텍스트 지시, 이미지 참조, 비디오 참조를 조합해 원하는 속성만 바꾸는 비디오 편집 문제를 다룬다. 기존 연구는 보통 텍스트에 이미지 하나를 붙이거나, 카메라·VFX처럼 특정 작업에 비디오 참조 하나를 쓰는 식으로 참조 모달리티가 제한돼 있었다. 저자들은 참조 수 1~K, 모달리티(텍스트·이미지·비디오), 속성(Camera·Motion·Content·Style·VFX), 조합(텍스트-이미지, 텍스트-비디오, 이미지-비디오, 텍스트-이미지-비디오)의 네 축으로 문제를 정식화하고, 여러 참조가 각각 다른 측면을 지정하는 편집을 하나의 출력으로 합치는 것을 목표로 한다.

어떻게 동작하나

방법의 중심은 참조 뱅크 인터페이스다. 각 뱅크는 작업 정의, 편집 지시, 선택적 이미지 또는 비디오 참조로 구성되며, 텍스트 전용 뱅크는 작업 정의와 시각 참조를 비운다. 동결된 Qwen3-VL-8B-Instruct MLLM이 시스템 프롬프트, 소스 비디오의 ViT 토큰, 참조 뱅크들, 출력 마커를 인터리브 시퀀스로 읽어 의미 문맥을 만들고, EditVerse와 유사한 단일 스트림 DiT가 이 의미 문맥과 소스·참조 VAE 토큰, 노이즈가 주입된 타깃 비디오 토큰을 전체 self-attention으로 함께 처리해 편집 영상을 생성한다. Mix-Patchify는 소스와 타깃에는 미세한 패치를 유지하되 참조에는 작업별 공간 패치 크기를 적용해 토큰 수를 최대 p_t·p_h·p_w배 줄인다. R²-RoPE는 4D RoPE의 네 번째 축을 자산 순번 대신 예약 슬롯으로 바꾸고, 참조 뱅크용 슬롯 8개를 두고 학습 중 뱅크를 무작위로 겹치지 않게 배정해 추론 시 더 많은 참조가 학습 분포 안에 머물게 한다. 학습은 272P 단일 참조 적응, 272P 다중 참조 조합, 480P 고해상도 미세조정의 3단계 커리큘럼으로 진행된다. 1단계 학습률은 1.5×10⁻⁵에서 5,000스텝 동안 1×10⁻⁵로 감소한다.

무엇과 다른가

데이터는 약 1,000만 개 규모의 OmniXRef-Data로 구성된다. 텍스트 전용 편집 데이터가 약 700만 개의 사내 소스-타깃 쌍을 차지하고, 시각 참조 데이터는 소스와 타깃이 주로 편집 속성에서만 달라지고 참조와 타깃은 같은 속성을 공유하되 내용은 다르게 만들어, 모델이 참조 내용을 그대로 복사하지 않고 속성만 전이하도록 설계했다. 데이터 구성 전반에는 Qwen3-VL-8B-Instruct를 MLLM으로 쓴다. VFX와 Style은 대규모 텍스트-비디오 컬렉션에서 약 200만 개 후보를 MLLM으로 필터링·캡션링하고, GPT Image 2로 첫 프레임에서 속성을 제거한 뒤 비디오 전파 모델로 소스를 만들며, 참조는 MLLM이 묘사한 다른 장면을 GPT Image 2와 Wan2.2-TI2V-5B로 생성하는 공유 파이프라인을 쓴다. Camera는 서로 다른 두 비디오를 같은 카메라 경로로 Vista4D로 다시 촬영해 두 개의 삼중쌍을 만들고, 경로는 오빗, 돌리, 크레인, 광학 줌, 팬·틸트, 자유 이동을 포함한다. Motion은 MotionPair-60K의 같은 동작 다른 캐릭터 쌍에서 Wan2.2-TI2V-5B로 다른 동작 비디오를 생성해 참조가 다른 캐릭터로 목표 동작을 보여주도록 만든다. Content는 RefVIE의 이미지 참조 삼중쌍과 비디오 하모나이제이션 데이터를 섞고, 조합 데이터는 Camera 재촬영 파이프라인을 Content와 Motion에 적용해 이미지-비디오, 비디오-비디오 참조 조합을 만든다. 이후 MLLM 품질 필터링을 거친다.

어떻게 쓰나

평가는 비디오 참조 편집 벤치마크가 없던 공백을 메우기 위해 만든 OmniXRef-Bench로 진행된다. 125개 사례이며 Camera, Motion, Content, Style, VFX 다섯 범주에서 소스 비디오와 참조 비디오를 주고 어떤 속성을 전이할지 지정한다. Gemini 3.8 Flash를 VLM 판정자로 쓰고 범주별 평가 프롬프트로 Reference Adherence, Visual Quality, Source Preservation을 점수화하며, Camera는 VGGT-Ω로 32개 정렬 프레임의 포즈를 추정해 첫 프레임 기준으로 나머지 31프레임 오류를 합산한 RotErr, TransErr, CamMC도 잰다. 비교 대상은 상용 모델 Seedance 2.0, Seedance 2.5, MiniMax-H3와 작업별 전문 모델 CamCloneMaster, MotionFollower, RefVFX이고, ReCo-Bench와 VEFX-Bench로 기존 텍스트 기반 편집 능력도 확인한다. 본문에 따르면 OmniXRef-Model은 전체 Score, RA, SP에서 가장 높고 Motion, Content, Style에서 앞서며 작업별 베이스라인과 상용 시스템을 각각의 영역에서 능가한다. 다만 VQ는 상용 시스템과 격차가 남아 있으며 저자들은 사전학습 백본 용량 차이로 해석한다. MiniMax-H3를 OmniXRef-Data로 Ref2VA 체크포인트에서 아키텍처 변경 없이 미세조정한 OmniXRef(MiniMax-H3)는 원본 MiniMax-H3보다 다섯 범주 모두에서 좋아지고 Camera와 VFX에서는 OmniXRef-Model도 넘는다. Camera 궤적 오류는 평가된 오픈소스·상용 베이스라인 중 세 지표 모두 가장 낮다. 표 2와 3의 개별 점수는 본문에 수치로 제시되지 않아 순위와 방향만 확인할 수 있다.

전제와 한계

절제 실험은 설계 선택의 이유를 보여준다. 모든 참조에 (1,1,1) 패치를 쓰면 참조 정보는 가장 완전하지만 공간적 사전 지식이 없어 모델이 긴 참조에서 원하는 속성을 스스로 추출해야 하므로 학습이 어렵고 같은 스텝에서 수렴이 느려진다. Mix-Patchify는 Content처럼 외형 디테일이 중요한 곳은 미세 패치를, Camera·Motion·Style·VFX처럼 전역적·동적 속성인 곳은 거친 패치를 써서 학습 난도를 낮춘다. R²-RoPE를 기본 순차 자산 인덱싱으로 바꾸면 절제 실험 중 전체 성능 저하가 가장 작지만, 노이즈 토큰의 네 번째 축 인덱스가 참조 수에 따라 밀려서 같은 인덱스가 한 참조 샘플에서는 출력, 더 많은 참조 샘플에서는 참조를 가리키는 충돌이 생긴다. 커리큘럼 없이 480P 전체 데이터로 한 번에 학습하면 쉬운 것에서 어려운 것으로 가는 귀납 편향 없이 모든 능력을 동시에 익혀야 해 최적화가 나빠지고 각 스텝도 느려진다. 참조 뱅크 드롭아웃은 기본적으로 편집 지시만 떨어뜨려 classifier-free guidance의 무조건 예측이 같은 시각 참조에 근거하게 하고 지시가 요구한 속성 추출만 증폭하지만, 뱅크 전체를 떨어뜨리면 참조 전체의 영향이 증폭돼 참조 누출이 생기기 쉽다.

추가 분석은 모델이 참조를 실제로 사용하는지 확인한다. 소스와 지시를 고정하고 참조 비디오만 다른 일몰 조명으로 바꾸면 두 출력이 각 참조의 조명을 재현해, 지시는 어떤 속성을 옮길지 정하고 시각 자산은 외형을 결정한다는 것을 보여준다. 두 참조 뱅크의 순서를 바꿔도 카메라 모션 전이와 테이블 교체가 모두 정상 동작해 특정 슬롯에 특정 속성이 붙는 붕괴가 없고, 이는 학습 중 무작위 슬롯 배정 덕분이다. 학습 샘플은 최대 두 개의 시각 참조를 갖지만, 추론에서 피사체 모션·카메라 궤적·스타일을 지정하는 비디오 참조 세 개를 조합해도 OmniXRef-Model은 세 참조를 모두 따르며 소스 피사체와 장면을 보존한다. 반면 Seedance 2.5는 모션과 카메라 참조를 대부분 따르지 못하고 스타일만 부분적으로 재현한다. 추론 비용은 A100 한 장, 480P 소스·참조, 121프레임에서 측정했고 참조 수가 많아지고 패치가 미세해질수록 DiT 입력 시퀀스가 길어져 지연과 계산량이 늘며, Mix-Patchify는 참조 수가 많을수록 더 큰 이점을 준다.

개발자 관점에서 이 논문은 여러 참조를 조합하는 비디오 편집 파이프라인을 설계할 때 참조 뱅크 추상화, MLLM과 DiT의 인터리브 조건화, 참조 수 확장을 위한 R²-RoPE, 참조 비용을 줄이는 Mix-Patchify를 참고할 만하다는 의미가 있다. 특히 소스 보존과 참조 누출이 핵심 실패 모드라는 점, RA·VQ·SP와 카메라 기하 지표를 함께 봐야 한다는 점, Camera·Motion·Content·Style·VFX별 합성 데이터 레시피가 실무 데이터 구축에 직접 참고된다는 점이 중요하다. 다만 이는 제품이 아니라 연구 프레임워크이며, 상용 모델과의 VQ 격차와 데이터 합성 의존성을 함께 고려해야 한다. 저자들이 밝힌 전제와 한계는 다음과 같다. VQ 격차는 사전학습 백본 용량 차이에서 올 수 있고, 카메라 이동 오류는 궤적별로 평행이동을 독립 정규화해 절대 이동 크기나 초점거리 변화보다 방향·형태·타이밍을 잡는다. 학습 데이터는 시각 참조가 최대 두 개뿐이라 R²-RoPE로 더 많은 참조를 학습 분포 안에 두지만 모든 참조 수와 조합을 학습한 것은 아니다. 데이터 구성은 MLLM, GPT Image 2, Wan2.2-TI2V-5B, Vista4D 같은 외부 모델과 품질 필터에 의존한다.