Holo4D가 3D 궤적 스캐폴드로 동영상 확산 모델의 새 시점 생성을 제어한다

무엇인가

이 논문은 한 대의 카메라로 찍은 동적 장면 영상에서 사용자가 지정한 새 카메라 궤적에 해당하는 영상을 다시 만드는 문제를 다룬다. 목표는 장면의 기하와 움직임은 유지하면서 새 시점에서만 보이는 영역을 그럴듯하게 채우는 것이다. 피드포워드 4D 복원기는 관측된 장면 구조를 복원하지만, 복원 점을 새 카메라로 재투영하면 관측되지 않은 표면에 구멍이 생기고 기하 오차가 왜곡을 만든다. 반대로 동영상 확산 모델은 그럴듯한 외관과 움직임을 생성할 수 있지만, 특정 장면의 기하와 동역학을 보존한다는 보장은 없다. 저자들은 이 간극을 메우기 위해 복원된 기하·외관·움직임을 동영상 확산 모델에 어떤 형태로 노출할지가 핵심이라고 본다.

어떻게 동작하나

Holo4D의 1단계는 소스 영상에서 지속적 3D 궤적을 복원해 4D 스캐폴드를 만드는 것이다. 4D 복원기 R로 카메라 자세와 점 궤적을 얻고, 각 궤적은 장면 점 n이 프레임 j마다 갖는 위치 p_n,j와 소스 프레임 q_n에서 샘플링한 색상 c_n을 갖는다. 정적 점은 첫 소스 카메라 좌표계에서 위치가 일정하고, 동적 점은 시간에 따라 이동한다. 이 점들을 타깃 카메라의 내부 파라미터 K_j^tgt와 자세 π_j^tgt로 투영해 타깃 픽셀 위치와 타깃 카메라 깊이 d_n,j를 계산하고, 복원기가 유효하다고 표시하면서 타깃 이미지 안에 투영된 관측에 유효성 플래그 v_n,j를 붙인다. 이 플래그는 다른 점에 의한 가림은 고려하지 않는다. 이후 각 관측의 프레임 인덱스·위치·깊이·유효성·색상을 사인파 인코딩과 공유 MLP로 특징 벡터로 만들고, 타깃 뷰 격자의 투영 위치에 흩뿌린다. 같은 셀에 들어온 특징은 채널별 최댓값으로 합치고 점유 채널을 따로 두며, 인과적 3D 합성곱 어댑터로 DiT 토큰 격자에 맞춘 T를 만든다. 투영 관측이 없는 타깃 토큰에는 학습된 널 임베딩을 넣는다. 이 스캐폴드는 정적·동적 점을 같은 방식으로 표현하면서 관측된 기하·외관·움직임을 함께 담는다는 것이 저자들의 핵심 주장이다.

무엇과 다른가

생성기는 사전학습된 동영상 확산 트랜스포머다. 소스 영상은 VAE로 잠재 x_src로 인코딩해 노이즈가 섞인 타깃 잠재 x_tau^tgt와 폭(width) 방향으로 이어 붙여, 같은 시간 인덱스의 소스·타깃 프레임이 정렬되게 한다. 학습된 도메인 임베딩이 소스 절반과 타깃 절반을 구분한다. 궤적 특징 T는 추가 토큰 시퀀스가 아니라 채널 방향으로 각 DiT 블록의 self-attention 앞에 주입된다. 블록 l의 은닉 특징을 h^(l), 카메라 특징을 C라 할 때 h_hat^(l)=W^(l)[h^(l);T]+C로 계산하고, W는 은닉 폭으로 되돌리는 학습된 투영이다. ControlNet처럼 이 투영을 0으로 초기화해 처음에는 기존 은닉 특징을 보존하고 궤적 채널의 가중치를 0에서 시작한다. 타깃 카메라는 Plücker 광선으로 인코딩한 C로 보조 정보를 준다. 채널 주입은 self-attention 시퀀스 길이를 늘리지 않아, 384×672×49 영상·50 스텝·H200 한 장에서 Vista4D보다 디노이징이 1.34배 빨랐고 7.39초 대 9.89초였다. 다만 로딩·조건 구성·디코딩·쓰기 때문에 영상당 종단 간 시간은 570.9초 대 581.9초로 비슷했다.

어떻게 쓰나

학습은 rectified flow 목적함수로 타깃 잠재의 속도를 예측한다. 손실은 uθ(x_tau^tgt, τ; x_src, T, C)와 (x_tgt−ε)의 제곱 오차이며, 타깃 잠재만 감독하고 기하는 예측하지 않는다. Wan2.1-T2V-14B에서 초기화해 49프레임으로 144×256에서 15k 스텝, 384×672에서 4.5k 스텝 학습했고, 학습률 1e-5와 2e-5, 유효 배치 8과 32를 썼다. 조건 모듈과 DiT self-attention은 학습하되 사전학습된 cross-attention과 feed-forward는 고정했다. 데이터는 동적 장면의 합성 다시점 영상, 정적 장면의 실제 영상, 정적 장면의 합성 시퀀스를 섞었고, 정적 장면은 같은 단안 영상의 다른 구간으로 소스·타깃 쌍을 만들어 시간 동기화가 필요 없다. 2단계 학습에서는 궤적 밀도와 질의 프레임 샘플링을 바꾸고 약한 기하 교란을 줘 불완전한 조건에 노출했다.

전제와 한계

실험은 ReCamMaster(카메라만 조건), TrajectoryCrafter, EX-4D, Gen3C, Vista4D와 비교한다. DAVIS 50개 클립에서 클립당 두 개의 타깃 카메라 궤적을 샘플링하고, Vista4D의 공개 110개 궤적 벤치마크, 아이폰/DyCheck 5개 장면의 동기화된 홀드아웃 뷰, 정확한 타깃 RGB와 기하가 있는 Syn4D 홀드아웃 장면을 쓴다. 기본 복원기는 4RC이고, VGGT-Ω와 CoWTracker를 결합한 2단계 4D 복원, 필요하면 GMOS로 배경 점을 3D에서 고정하는 변형도 쓴다. 아이폰 표에서 2단계 백엔드 Holo4D는 전체·마스크 PSNR과 LPIPS에서 가장 좋았고 PSNR은 13.20dB였다. EX-4D가 SSIM에서 앞섰고, 같은 생성기를 재학습 없이 쓴 4RC 변형은 LPIPS에서 2위였다. DAVIS 100개 영상-궤적 쌍의 카메라 제어 표에서 Holo4D는 모든 방법 중 ATE와 RPE-T가 가장 낮았고, 둘 다 4RC 복원을 쓴 Vista4D 대비 ATE를 54%, RPE-T를 33% 줄였다. 회전 오차는 0.102°로 ReCamMaster의 0.099°보다 조금 높았지만 ReCamMaster는 전체 방법 중 궤적 오차가 가장 컸다. VBench에서는 화질과 렌더링 기하 베이스라인 중 피사체·배경 일관성이 가장 높았고 미학 품질은 Vista4D를 앞섰으며 시간적 스타일 점수는 근소하게 낮았다. FVD는 소스 영상 복사를 보상할 수 있어 Syn4D에서만 GT 타깃 영상 기준으로 보고했고, GT 소스 기하를 줬을 때 Holo4D가 가장 낮았다.

Syn4D에서 GT 소스 깊이·카메라와 Holo4D의 3D 궤적을 주면 Holo4D가 모든 카메라·이미지 지표에서 앞섰다. 별도 32쌍에서 4RC 추정치를 쓰면 카메라 오차와 LPIPS는 앞서지만 PSNR·SSIM은 카메라만 쓰는 ReCamMaster가 앞섰다. 생성 영상 깊이의 일관성도 Syn4D에서 VGGT-Ω와 4RC 두 출력 복원기 모두 AbsRel이 가장 낮았고, VGGT-Ω 기준 AbsRel은 Vista4D 0.628에서 0.423으로 내려갔다. 장면별 최적화 ViDAR는 아이폰 장면당 A6000에서 약 5시간 18분이 걸리지만 Holo4D는 장면별 최적화가 없다. 같은 첫 49개 소스 프레임에서 2단계 변형은 PSNR과 LPIPS(마스크 포함)에서 ViDAR보다 높았고 SSIM은 ViDAR가 높았다. 절제 실험에서 궤적별 색상을 빼면 ATE가 44% 증가해, 소스 영상이 있어도 궤적에 붙은 외관이 중복이 아님을 보였다. 타깃 깊이 제거 영향은 작았고, 렌더링 RGB·마스크 특징을 더해도 카메라 지표는 좋아지지 않았다. 복원 백엔드를 바꾸면 CoWTracker 변형이 ATE·PSNR·SSIM, V-DPM이 회전 오차, 4RC가 LPIPS에서 각각 유리했고 GT 기하는 다섯 지표를 모두 개선해 더 나은 복원기의 여지를 남겼다. GT 궤적에 표준편차 α=0.1의 가우시안 노이즈만 줘도 회전 오차가 0.073°에서 0.221°로 세 배가 되고 SSIM·LPIPS가 나빠져, 깨끗한 소스 영상이 기하 오차를 완전히 보상하지 못함을 보였다. Vista4D의 110개 궤적에서는 2단계 백엔드가 VGGT-Ω 기준 회전 오차를 74%, Pi3 기준 59% 줄여 14.98°에서 6.098°로 낮췄지만 Pi3 회전은 Vista4D의 4.169°보다 여전히 높았고, 저자들은 이 비교가 생성기 자체를 분리하지 못한다고 밝힌다.

로봇 영상에서는 Holo4D-14B가 로봇 영상 없이 학습됐는데도 DROID 조작 에피소드와 휴머노이드 클립을 파인튜닝 없이 다시 촬영했다. 49프레임 윈도를 겹쳐 196프레임 에피소드를 만들 때 첫 윈도는 Holo4D-14B, 이후 윈도는 마지막 생성 프레임을 조건으로 하는 이미지-투-비디오 연속 모델을 썼고, 이 연속 모델은 OmniWorld-DROID로 학습돼 이후 윈도는 제로샷이 아니다. Fast-WAM의 30개 비디오 self-attention 블록을 5B Holo4D 변형으로 초기화해 LIBERO에서 학습한 결과는 혼재했다. LIBERO는 95.60% 대 96.45%로 거의 포화돼 차이를 보기 어려웠고, LIBERO-plus에서는 전체 +1.29%p, 배경 텍스처 +7.1, 조명 +3.9의 이득이 있었지만 공간 스위트에서는 졌다. 카메라 시점 교란은 모든 체크포인트에 어려웠고 단일 시드 결과라, 새 시점 학습이 체화 정책에 도움이 되는지는 열린 문제로 남는다.

개발자 관점에서 Holo4D의 핵심 인터페이스는 복원기에서 궤적 특징 T와 카메라 특징 C를 만들어 고정된 동영상 생성기에 넣는 구조다. 생성기를 재학습하지 않고 4RC, V-DPM, VGGT-Ω+Open-D4RT/CoWTracker 같은 복원기를 바꿀 수 있어, 더 좋은 4D 복원기가 나오면 전단만 교체해 카메라 추종을 개선할 여지가 있다. 소스 복원은 입력 영상당 한 번만 하면 여러 타깃 궤적에 재사용할 수 있고, 워밍된 A6000에서 4RC 8.8초, 2단계 백엔드 11.8초가 걸렸으며 궤적별로는 투영·인코딩만 다시 한다. 따라서 월드 모델·로봇 영상 재촬영·새 시점 데이터 증강처럼 같은 장면을 여러 카메라 경로로 렌더링해야 하는 파이프라인에 맞다. 다만 채널 주입으로 디노이징은 빨라도 전체 파이프라인 시간은 비슷하고, 품질은 전단 복원기의 기하 정확도와 소스 커버리지에 크게 좌우된다.

저자들이 명시한 한계는 기하 오차, 불완전한 소스 커버리지, 어려운 카메라 궤적에 민감하다는 점이다. 유효성 플래그는 다른 점에 의한 가림을 반영하지 않아, 스캐폴드가 비어 있거나 틀린 영역은 생성 사전에 맡겨지고 일관성이 흔들릴 수 있다. 궤적 노이즈 실험은 깨끗한 소스 영상이 있어도 기하 오차가 회전 제어와 지각 품질을 악화시킨다는 것을 보여준다. 또한 현재는 첫 소스 프레임에서 점을 질의하므로 나중에 등장하는 콘텐츠를 놓칠 수 있고, 저자들은 모든 소스 프레임에서 궤적을 질의하는 것을 향후 과제로 든다. 긴 영상은 윈도별 생성과 연속 모델에 의존하며, 로봇 정책 전이 실험은 단일 시드·소수 과제로 결론이 제한적이다.