Gen4P가 비디오 생성기를 단일 순전파 4D 인식기로 재활용한다

무엇인가

이 논문이 푸는 문제는 단안 비디오로부터 완전한 4D 복원을 순전파 한 번으로 얻는 것이다. 여기서 4D 표현이란 장면 기하, 깊이, 카메라 포즈, 3D 점 궤적을 아우르는 통합 표현으로, 물리 환경을 시뮬레이션하고 상호작용하기 위한 토대가 된다. 저자들은 기존 접근의 두 갈래를 구분한다. VGGT, VGGT-Ω, DA3 같은 Geometry Foundation Model 계열은 대규모 기하 지도학습으로 강한 기하 prior를 주지만, 동적 장면에서 점이 시간에 따라 어떻게 진화해야 하는지를 명시적으로 모델링하지 않는다. 반대로 이미지·비디오 생성 모델 계열은 외형·기하·모션에 대한 prior를 제공하지만, 대개 과제별(task-specific) 방식으로 4D 인식에 접근하고 조밀한 프레임 정렬 지도가 필요해 임의의 시공간 입력을 다루는 유연성이 떨어진다. Gen4P는 후자의 prior를 전자의 문제 설정에 끌어다 쓰는 시도다.

어떻게 동작하나

방법의 핵심은 사전학습된 다단계 비디오 생성기를 반복 디노이징 없이 단일 순전파 4D 인식기로 바꾸는 것이다. 백본은 Wan2.1-1.3B이고, 먼저 노이즈 수준이 추출 특징 품질에 미치는 영향을 실험한다. 기존 Wan2.1 기반 인식 방법이 쓰던 σ=0.5에서 출발해 노이즈를 낮춰가며 동일 모델을 학습시킨 결과, σ=0.05 같은 저노이즈 특징이 σ=0.35~0.5보다 추적 End-Point Error에서 일반적으로 우수했다. 이에 저자들은 노이즈를 아예 주지 않고 깨끗한 비디오 latent를 DiT에 직접 통과시키고, velocity prediction head 직전의 마지막 블록 특징을 쿼리 디코딩에 사용한다. VAE 인코더와 DiT는 동결하고 rank-512 LoRA(4D-LoRA)로만 DiT를 적응시킨다. 이렇게 얻은 장면 토큰 F는 이후 모든 쿼리가 공유하므로, 반복적인 4D 예측에서 인코딩 비용이 줄어든다.

무엇과 다른가

디코더는 D4RT의 on-demand point querying 발상을 계승한다. 쿼리 q(u,v,t_src,t_tgt,t_cam)는 "소스 프레임 t_src의 픽셀 (u,v)에 대응하는 3D 점이 시각 t_tgt에서 t_cam 카메라 좌표계로 표현하면 어디에 있는가"를 묻는다. 쿼리는 2D 좌표 임베딩, 9×9 RGB 패치 임베딩, 세 개의 시간 임베딩을 MLP로 합쳐 만들고, cross-attention 디코더가 장면 토큰 F에 어텐션해 쿼리 특징을 뽑은 뒤 MLP 헤드가 3D 위치, 2D 이미지 평면 위치, 표면 노멀, 3D 변위, 가시성, 신뢰도를 출력한다. D4RT와 달리 48프레임 고정 이산 룩업 테이블을 쓰지 않고 연속시간 쿼리를 도입한다. α(t)=t/(T-1)로 정규화한 위치를 두 개의 학습 가능한 시작·끝 임베딩 사이 선형 보간으로 표현해, 절대 시퀀스 길이 T에 독립적인 시간 질의를 가능하게 한다. 디코더는 8블록 cross-attention 구조로 학습 파라미터 0.18B, 인코더 쪽 학습 파라미터는 0.70B다.

어떻게 쓰나

기하 성능을 보강하기 위한 장치도 눈에 띈다. Gen4P는 비디오 생성기의 모션 prior를 쓰지만, 희소 쿼리 기반 지도만으로는 GFM 파인튜닝 방법보다 기하 학습 신호가 약하다. 이를 메우기 위해 역시 Wan2.1 기반인 비디오 깊이 추정 모델 DVD의 Depth-LoRA를 동결된 플러그인 기하 prior로 끼워 넣는다. 각 적응 레이어의 유효 가중치는 W = W_DiT + ΔW_Depth^512 + ΔW_4D^512가 되는 double-LoRA 구조다. VAE 인코더, W_DiT, ΔW_Depth는 동결하고 ΔW_4D와 쿼리 임베딩, 쿼리 디코더, 예측 헤드만 최적화한다. 저자들은 이 변형이 별도의 조밀 예측 헤드를 요구하지 않고 4D-LoRA 단독 변형과 학습 파라미터 수가 동일하다고 강조한다.

전제와 한계

학습에는 11개 공개 데이터셋(Syn4D, Dynamic Replica, PointOdyssey, Kubric CoTracker, DL3DV, ScanNet++, Virtual KITTI 2, MVS-Synth, Spring, Waymo, Aria Digital Twin)에서 뽑은 약 200K 비디오 클립을 쓴다. 8대의 NVIDIA H200에서 AdamW로 75K 스텝, 유효 배치 32, 학습률은 2.5K 스텝까지 10^-4로 워밍업 후 10^-6까지 코사인 감쇠, 그래디언트 노름 클리핑 10을 적용한다. 시간 증강을 위해 원본 비디오를 간격 1~4의 49프레임 클립으로 서브샘플링하고, 학습 중에는 앞쪽 21~49 프레임을 4 단위로 무작위 슬라이스한다. 결과는 WorldTrack(ADT, DR, PO, PS)에서의 3D 추적, Bonn·Sintel·KITTI에서의 비디오 깊이, Sintel·TUM-Dynamics·ScanNetv2에서의 카메라 포즈로 평가된다. 저자들이 서술한 바에 따르면 DR과 PS에서 기존 방법을 뚜렷한 차이로 앞서고 ADT와 PO에서는 동적 점을 중심으로 경쟁력 있는 수준을 유지한다. 비디오 깊이는 모션 복잡도가 가장 큰 Sintel에서 앞서고 Bonn과 KITTI에서 δ<1.25 기준 2위다. 카메라 포즈는 Ours-II가 Sintel의 세 지표 모두에서 최저 오차를, TUM-Dynamics에서 상대 이동 오차 0.007로 최저를 기록한다. 다만 표에 담긴 나머지 구체적 수치는 제공된 본문에 제시되지 않았다.

절제 실험은 45K 스텝, 유효 배치 16, DR·PO·Kubric CoTracker·Syn4D 혼합, 인코더 프레임 해상도 256×512, 6층 디코더 조건에서 수행됐다. 연속시간 임베딩 설계는 ADT에서 큰 향상을 보이면서 다른 지표는 유지했고, 모델은 학습 길이인 49프레임을 넘어 최대 105프레임까지 성능 저하 없이 처리한다. 쿼리 해상도를 바꿔도 AbsRel이 넓은 범위에서 안정적이어서 공간적 유연성도 확인된다. 전경 경계 주변의 모션 누출을 비교한 실험에서는 4RC보다 배경 모션 누출이 적고 모션 경계가 더 선명했다. 적응 전략 절제에서는 LoRA를 더 넓게 쓰거나 DiT 전체를 파인튜닝해도 학습 파라미터가 거의 두 배로 늘어나는데도 전 지표 개선이 보장되지 않았고, 오히려 전체 파인튜닝은 여러 지표에서 성능이 떨어졌다. 기하 prior는 모든 지표에 기여했고, ΔW_4D와 ΔW_Depth를 함께 쓰면 추가 향상이 있었다.

개발자 관점에서 이 논문의 실용적 의미는 이미 가지고 있는 비디오 생성 백본을 인식기로 재활용하는 경로를 제시한다는 점이다. 반복 디노이징이 없으므로 클립당 인코더 순전파 한 번이면 되고, 장면 토큰을 공유하므로 같은 영상에서 여러 시공간 지점을 반복 질의할 때 비용이 누적되지 않는다. 원하는 위치와 시각만 쿼리하는 방식이라 출력 해상도를 미리 고정할 필요가 없다. 도입을 검토한다면 VAE의 시간 압축 제약(4프레임 단위) 때문에 65프레임을 처리해 앞 64프레임만 평가하거나 49프레임 청크에 오버랩을 두고 추론해야 한다는 점, 깊이 평가에서는 쿼리 프레임을 최대 변 512픽셀로 리사이즈한다는 점, 학습 파라미터가 인코더 0.70B와 디코더 0.18B로 구성된다는 점을 확인해야 한다.

저자들이 밝힌 전제와 한계도 분명하다. Gen4P는 희소 쿼리 기반 지도만으로는 GFM 파인튜닝 4D 인식기보다 기하 학습 신호가 약하다는 것을 인정하고, 그 보완책으로 동결된 깊이 LoRA를 붙인다. 즉 기하 성능의 상당 부분을 외부 깊이 모델의 지식에 의존하는 구조다. 또한 프레임 정렬 그리드 디코딩을 쓰는 대부분의 기존 방법과 달리 출력 샘플링을 특징 그리드에서 분리했지만, 평가는 정해진 프레임 수와 청크 오버랩 설정에 맞춰 이뤄진다. 정성적 일반화는 DAVIS 같은 in-the-wild 영상에서 확인되며, 저자들은 비디오 생성 사전학습이 계속 발전하면 성능이 더 개선될 것이라고 전망하면서 비디오 생성기를 통합 4D 복원의 기반으로 제안한다.