VidEdit3D는 3D 장면 편집을 카메라 궤적 기반 영상 편집으로 바꾼다

무엇인가

이 논문은 3D Gaussian Splatting(3DGS)으로 재구성한 장면을 텍스트 지시와 단일 시점 편집으로 수정하는 문제를 다룬다. 기존 3D 편집은 다중 시점 일관성을 유지하려다 구조 변경이 어려워지고, 반대로 2D 편집기를 각 시점에 독립 적용하면 고스팅과 플리커가 생긴다. 또한 등 뒤처럼 얼굴이 가려진 시점에서는 “곰에게 안경을 씌워라” 같은 편집이 모호해진다. 저자들은 기하학적 고정을 과도하게 걸지 않으면서 의미적 변형을 전파하는 유연한 3D 편집 프레임워크가 필요하다고 주장한다.

어떻게 동작하나

핵심 재구성은 정적 3D 장면을 도는 카메라 궤적을 영상의 시간적 변화로 간주하는 것이다. 입력은 재구성된 3DGS 장면, 캘리브레이션된 원본 시점들, 사용자가 한 시점에서 2D 편집기로 만든 앵커 이미지, 원본 및 목표 프롬프트다. 파이프라인은 Trajectory-Guided Rendering(TGR), Flow-Aligned Video Editing(FAVE), Region-Selective 3DGS Refinement(RS-GS)의 세 단계로 구성된다.

무엇과 다른가

TGR은 편집 대상이 보이는 후보 시점에서 farthest-point sampling으로 N개 키프레임을 고른다. 거리 d는 카메라 중심 거리와 시선 방향 각도를 함께 쓴다. 앵커를 고정한 뒤 선택된 키프레임의 닫힌 순환 순서 중 총 카메라 거리가 최소인 순서를 정확히 열거해 찾고, Kochanek-Bartels 스플라인으로 조밀한 카메라 궤적을 만든다. 궤적은 경계 프레임을 공유하는 연속 클립으로 렌더링되며, 같은 편집 앵커에서 두 방향으로 전파해 먼 시점까지의 순차 전파 길이와 오차 누적을 줄인다. 각 분기는 의미 관련성 검사를 통과한 클립만 이어가고 첫 거부 클립 전에 멈춘다.

어떻게 쓰나

FAVE는 학습 없이 I2V 편집을 수행한다. 원본 상태 q_k는 깨끗한 원본 잠재 x와 공유 노이즈로 만들고, 편집 상태 p_k는 q_k에 누적 편집 차이 δ_k를 더해 둔다. 원본 텍스트와 첫 프레임 조건의 속도 v_q는 재구성 기준을 제공하고, 편집 상태에서는 ECG로 목표 조건과 원본 조건을 결합한 v_p를 얻는다. δ 업데이트는 두 속도 차이로 의미 변화를 만들고, 깨끗한 상태 추정 차이로 원본 클립 이탈을 제한한다. 또한 DiT의 First-Frame Sink 현상을 이용해 첫 프레임과 현재 프레임에 대한 어텐션 차이로 편집 마스크를 추정하고, 편집 영역에서는 원본 일관성 제약을 약하게, 배경에서는 강하게 준다.

전제와 한계

ECG는 표준 I2V의 CFG가 두 평가 모두 편집된 첫 프레임에 묶여 원본 대 목표 대비가 약해지는 문제를 겨냥한다. 같은 편집 상태 p_k에서 목표 텍스트와 편집 앵커 특징을 쓰는 예측과 원본 텍스트와 원본 교차 어텐션 특징을 쓰는 예측을 대비시키고, 초기 디노이징에서는 원본 연결 조건을 λ배로 증폭했다가 이후 편집 프레임 특징으로 바꾼다. 두 예측은 스케일 g로 결합한다. RS-GS는 LangSAM으로 각 시점의 목표 마스크를 얻고, 가우시안 중심을 투영한 뒤 렌더링 깊이와의 차이가 허용치 이내인 것만 유효 투영으로 인정한다. 여러 시점 마스크 지지율이 임계값을 넘는 가우시안만 선택해 위치, 외형, 스케일, 회전, 불투명도 그래디언트를 걸고 나머지는 고정한다.

실험은 50개 편집 사례에서 GaussianEditor, DGE, VCEdit, GaussCtrl, EditSplat, Omni3DEdit, ViP3DE 등 7개 베이스라인과 비교한다. 영상 백본은 Wan2.1-I2V-14B-480P이고 50스텝 스케줄, strength 0.9로 유효 디노이징 45스텝을 쓴다. g=15, 원본 이미지 스케일 λ=1.5, 조건 전환 인덱스 s=30, 전경/배경 정규화 계수는 0.001/0.005다. 3D 단계는 Nerfstudio Splatfacto를 고정 카메라와 국소 가우시안 업데이트로 사용한다. 지표는 CLIP-D(이미지 변화와 텍스트 변화 방향 정합), CLIP-S(목표 설명 정합), DINO(편집 시점 간 DINOv2 특징 유사도), MEt3R(인접 카메라 쌍의 기하 특징 일관성)이다. 본문은 표 1에서 네 지표 모두 1위라고 보고하지만 제공된 본문에는 표의 구체 수치가 없다. 사용자 연구에서는 다중 시점 일관성, 프롬프트 충실도, 비편집 영역 보존에서 우세하다고 밝힌다.

정성 비교는 액세서리 추가, 꽃병 제거, 색 변경을 보여주며 베이스라인은 편집이 불완전하거나 시점 간 불일치, 무관한 내용 변경이 나타난다고 서술한다. 절제 실험에서는 원본 유도 전파를 일반 I2V로 바꾸거나 시점 순서를 흐트러뜨릴 때 편집 정합 손실이 가장 컸고, TGR의 시점 구성, FAVE의 원본 유도, RS-GS의 국소 보정이 함께 있어야 신뢰할 수 있는 편집이 된다고 주장한다.

개발자 관점에서 이 방법은 3DGS 자산 편집 파이프라인에 단일 시점 2D 편집을 다중 시점으로 전파하는 모듈로 참고할 만하다. 다만 재구성된 장면과 캘리브레이션된 원본 시점, 사용자가 고른 앵커, 편집된 앵커 이미지, 원본/목표 프롬프트, LangSAM 마스크가 필요하고, 14B급 I2V 모델을 45스텝 추론하므로 연산 비용과 클립 경계 일관성을 확인해야 한다. 저자는 별도 한계 절을 제시하지 않지만, 방법은 사전학습 I2V 사전과 후보 시점 필터, 깊이 허용치, 키프레임 수 N, 마스크 임계값에 의존한다. 또한 관련 연구에서 복잡한 움직임과 큰 외형·형태 변화가 여전히 어렵다고 언급하며, 이 프레임워크도 영상 사전을 이용해 절충을 완화하는 것이지 모든 구조 변경을 보장하는 것은 아니다.