객체 제거 모델로 객체 주입 학습까지 해결하는 UniVOE

무엇인가

이 논문은 영상에서 객체를 지우는 제거와 객체를 새로 넣는 주입을 서로 반대 방향의 편집으로 묶어 다룬다. 문제는 두 작업이 같은 객체 있음/없음 짝 데이터 구조를 공유하지만 학습 난도가 비대칭이라는 점이다. 제거는 영상 인페인팅에서 출발해 배경 완성과 시간적 일관성을 배울 수 있지만, 주입은 객체 외형·움직임·접촉·그림자·반사까지 맞는 짝 데이터가 필요하다. 실제 촬영에서 같은 조명과 배경 동역학을 유지한 완벽한 짝을 모으기 어렵고, 합성 렌더링은 정렬은 좋아도 사실감과 다양성이 부족하다. 객체만 지우고 주변 효과를 남기면 아티팩트가 보이므로, 논문은 객체와 상호작용 효과를 함께 편집해야 한다고 본다.

어떻게 동작하나

핵심 아이디어는 V_obj(객체 있음)와 V_abs(객체 없음)를 두고 제거 π_rem(V_abs|V_obj,c)와 주입 π_inj(V_obj|V_abs,c)가 같은 짝으로 양방향 학습될 수 있다는 관찰이다. 다만 제거가 더 쉽게 확장되므로, 먼저 효과 인지 제거 모델을 학습하고 이를 이용해 실제 객체 있음 영상에서 객체 없음 영상을 만들어 주입용 대규모 감독을 합성한다. 두 모델은 Wan2.1-14B 기반이며 각각 23B 파라미터로, 14B 동결 Transformer 백본과 3B 학습 가능 제어 브랜치, VAE 등으로 구성된다. 학습 목표는 rectified-flow 보간에서 속도장 v=ε−x0를 예측하는 flow-matching 손실이며, 조건 c에는 입력 영상, 마스크, 프롬프트, 선택적 참조 이미지가 들어간다.

무엇과 다른가

1단계 제거 모델은 인페인팅 사전학습과 효과 인지 미세조정으로 만든다. SAM2로 전경을 분할한 63K 고품질 영상에서 마스크를 만들고 가우시안 팽창을 적용한 뒤, 두 영상 A와 B를 샘플링해 B의 마스크로 A를 가려 원본 A를 복원하게 한다. 이로써 객체 모양의 구멍을 배경으로 채우는 장면 완성 사전을 얻는다. 이어 68K 필터링된 객체 있음/없음 짝으로 미세조정하는데, 마스크는 객체를 덮되 그림자·반사 같은 상호작용 효과는 마스크 밖에 남도록 팽창시킨다. 이는 단순 인페인팅이 아니라 완전한 객체 없음 장면을 복원하도록 유도하고 추론 시 부정확한 마스크에도 강하게 만든다. 조건은 텍스트만 또는 참조 이미지 동반이며, 참조 모드에서는 HunyuanImage3로 첫 프레임을 편집해 참조 이미지를 만들고 영상·노이즈·마스크 앞에 정렬해 붙인다. 추론은 50스텝을 12스텝으로 증류하고 고정 sigma shift 5.0, LoRA rank 32를 attention과 FFN에 붙여 가속한다.

어떻게 쓰나

2단계 주입 사전학습은 학습된 제거 모델을 감독 생성기로 쓴다. 실제 객체 있음 영상 V_obj에 마스크를 주고 V_abs=π_rem(V_obj,M)를 만들어, V_abs를 입력으로 하고 원본 V_obj를 목표로 하는 짝을 만든다. 프롬프트는 Qwen3-VL로 대상 영상에서 생성하고, 참조 이미지는 학습 시 V_obj 첫 프레임, 추론 시 V_abs 첫 프레임을 이미지 편집 도구로 편집해 얻는다. 이렇게 제거 모델에서 나온 69K 사용 가능 짝과 기존 공개 데이터 68K를 합친 137K 영상 짝으로 주입 모델을 flow-matching 학습한다. 주입 모델은 객체 자체뿐 아니라 그림자·반사·접촉 같은 상호작용 효과까지 복원하도록 학습되며, 마스크 없이 프롬프트 기반으로 주입할 수 있는 설정을 강조한다.

전제와 한계

3단계는 픽셀 재구성만으로는 부족한 지각적 사실감을 선호도 보상으로 보정하는 온라인 후처리다. Qwen3-VL을 전문가 주석 순위로 미세조정해 운동 품질과 외형 사실감을 평가하는 보상 모델 Q를 만들고, 현재 정책에서 조건당 K=16개 롤아웃을 뽑아 점수화한다. 각 그룹의 중앙값을 기준으로 중앙값 이상은 +1, 미만은 −1의 부호를 주고, 이 advantage를 flow-matching 손실에 곱하는 Group-Relative Advantage Regression(GRAR)를 최적화한다. +1은 고보상 롤아웃의 속도장 쪽으로 당기고 −1은 저보상 롤아웃에서 밀어내는 효과를 낸다. GRAR는 참조 정책을 두지 않는 단일 정책 대리 목적이라 VRAM을 절약하며, 편집에서는 입력 영상이 출력 내용을 제약하므로 참조 정책이 덜 필요하다는 논리를 쓴다. 영상 편집은 어느 프레임 하나의 이상도 허용하기 어려워 전체 프레임 시퀀스로 학습하며, 8개 컨텍스트 배치, 97프레임 832×480, 사전학습 1e-5·후처리 1e-6 설정이 제시된다.

제거 실험은 VideoPainter, VACE, Minimax-Remover, EffectErase, Bernini와 상용 Kling3-Omni, Seedance2.0을 비교 대상으로 삼고, 제거에는 텍스트 프롬프트만 입력한다. ROSE 56짝과 VOR 100짝 벤치마크에서 PSNR, SSIM, LPIPS, FVD를 측정했으며 테스트셋은 학습에서 제외했다. 논문은 모든 벤치마크에서 가장 좋은 객관 지표를 냈다고 주장하고, 유리잔 제거 후 우유 흐름 복원과 오븐 제거 후 햇빛 아래 피자·그림자 복원 사례를 질적 근거로 든다. 다만 제공된 본문에는 표 1의 구체 수치가 없어 개선폭을 숫자로 인용할 수 없다.

주입 실험은 VideoPainter, VACE, UniVideo, Bernini와 Kling3-Omni, Seedance2.0을 비교하며, 공정 비교를 위해 텍스트와 참조 이미지를 입력한다. 같은 테스트셋에서 LPIPS, FVD, DINO-I(정체성 일관성), CLIP-P(프롬프트 준수)를 측정해 모든 알고리즘을 앞선다고 주장하지만, 표 2의 구체 수치는 제공된 본문에 없다. 절제 실험에서는 34K 인페인팅+34K 제거 짝으로 줄인 UniVOE-가 68K 제거 짝만 쓴 w/o inpainting보다 모든 지표에서 낫다고 보고한다. 이는 야생 짝 데이터의 픽셀 불일치가 과도한 편집과 전체 색조 변화를 유발할 수 있음을 보여준다. GRAR를 뺀 w/o GRAR보다 UniVOE가 모든 지표에서 안정적으로 낫다는 결과도 제시된다.

개발자 관점에서 이 논문은 영상 편집 파이프라인에서 제거와 주입을 별도 모델로 나누지 않고, 제거 모델을 데이터 큐레이터 겸 감독 생성기로 재사용하는 패턴을 보여준다. 상호작용 효과가 중요한 광고·후반작업·가상 제작에서 참고할 만하고, 대형 비디오 모델의 선호도 후처리를 참조 정책 없이 설계하는 GRAR는 메모리 제약이 큰 환경에 힌트를 준다. 확인할 점은 23B급 모델과 97프레임 480p 학습·추론 비용, 제거 마스크와 선택적 참조 이미지 인터페이스, 보상 모델이 공개 모델이 아니라 독점 모델이라는 점이다. 저자들은 별도 한계 절을 두지 않지만, 제거 모델이 만든 짝의 오류가 주입 학습에 전파될 수 있고, 실제 짝 데이터 수집의 어려움과 합성 데이터의 사실감·다양성 한계는 방법의 전제로 남는다.