비디오 생성 모델의 카메라 자기운동을 인과 진단으로 정렬한다

무엇인가

이 논문은 디퓨전 기반 비디오 생성 모델이 긴 구간에서 카메라 자기운동(ego-motion)을 일관되게 유지하지 못하는 문제를 다룬다. 카메라 자기운동은 프레임 사이 시점 변화로, 장면 기하와 궤적의 일관성을 좌우한다. 특히 비디오 생성 모델을 월드 액션 모델(WAM)의 미래 예측 구성요소로 쓸 때, 시각적으로 그럴듯하지만 기하적으로 어긋난 미래는 하위 행동 예측에 체계적 오류를 만들 수 있다고 저자들은 본다.

어떻게 동작하나

먼저 CausalAlign은 VGM 내부에서 자기운동 정보가 어디서 표현되고 사용되며 유지되는지 진단한다. 연속 프레임의 은닉 상태 전이 특징 u를 만들고, 선형 프로브가 상대 카메라 운동 ξ=Log(T_t^{-1}T_{t+1})을 예측하도록 학습해 디코더빌리티를 측정한다. 이어 Mask, Shuffle, Replace, Inject 네 가지 인과 개입으로 시간적 은닉 상태를 교란하고, 생성 비디오의 궤적 오차가 랜덤 대조군 대비 얼마나 달라지는지를 인과 효과로 계산한다. 정규화한 디코더빌리티와 인과 효과를 레이어·디노이징 타임스텝별로 합쳐, 점수가 가장 크게 하락하는 위치를 정렬 대상으로 고른다. 원래 Wan2.2에서는 두 지표가 모두 중간에 올라갔다가 후반에 떨어지는 상승-하락 패턴을 보였고, 저자들은 이를 '기하 상태 망각'이라 부른다. 실제 선택은 레이어 14를 주 대상으로 10, 12, 20을 보조 대상으로, 타임스텝 398과 799를 사용했다.

무엇과 다른가

정렬은 3D 기초 모델의 델타 토큰 공간을 통해 이뤄진다. 1단계에서 동결된 3D 기초 모델 LingBot-Map이 연속 프레임의 기하 상태 z_t를 추출하고, 학습 가능한 인코더가 (z_t, z_{t+1})를 델타 토큰 δ_t^T로 요약한다. 이 토큰이 단순 압축이 아니라 전이 정보를 담도록 다음 상태 재구성, 다음 토큰 예측, 상대 포즈 예측 보조 과제를 함께 학습한다. 2단계에서는 VGM의 레이어별 전이 특징을 교사 델타 토큰 공간으로 보내는 프로젝터를 학습한다. 3단계에서는 선택된 레이어와 타임스텝에서 LoRA를 업데이트하며, 적응된 VGM 전이를 교사 델타 토큰에 맞추는 손실과 카메라 디코더의 상대 포즈 손실을 함께 건다. 교사 모델과 프로젝터는 학습에만 쓰이고, 추론은 원래 Wan2.2와 같은 절차로 돌아가 추가 기하 계산이 필요 없다.

어떻게 쓰나

실험은 Wan2.2-14B-I2V를 DL3DV와 RealEstate10K에서 파인튜닝해 진행됐다. 데이터는 90% 학습, 10% 평가로 나뉘고, 델타 토큰은 학습 데이터 30%, 프로젝터는 10%, LoRA 적응은 전체 학습 분할로 학습했다. 비교 대상은 기본 Wan2.2와 외부 3D 캐시(GEN3C, Voyager), 선호 정렬(VideoGPA, Epipolar-DPO), 직접 특징 정렬(JOG3R, Geometry Forcing, FantasyWorld)이다. CausalAlign은 Wan2.2 대비 7개 지표 모두를 개선했고 비교 방법 중 6개 지표에서 최고였다. 재투영 오차는 8.4px에서 6.5px로 22.6% 줄었고, 궤적 매끄러움은 0.71에서 0.88로 23.9% 올랐으며, 저크는 0.182에서 0.151로 낮아졌다. 병진 속도 근접도는 0.68에서 0.79, 회전 속도 근접도는 0.70에서 0.89로 개선됐고 에피폴라 오차는 2.9px에서 2.1px로 줄었다. FantasyWorld가 깊이-광류 일관성에서 5.4px로 5.5px보다 약간 낮았지만, CausalAlign은 카메라 궤적 입력 없이 나머지 6개 지표에서 앞섰다.

전제와 한계

시각 품질도 유지됐다. VBench-I2V 품질은 0.805에서 0.806, I2V 점수는 0.958로 동일, VBench 매끄러움은 0.983에서 0.985로 소폭 올랐다. CLIP과 SSIM은 약간 개선됐고 LPIPS는 변하지 않았으며 FVD는 182.4에서 182.7로 거의 같았다. 진단 관점에서도 정렬 후 자기운동 상태가 후반까지 유지되어 상승-하락 패턴이 상승-유지 패턴으로 바뀌었다. 하위 응용으로 Fast-WAM의 비디오 전문가를 파인튜닝된 Wan2.2로 초기화해 RoboCasa365 Target100을 평가했는데, 평균 성공률이 43.5%에서 54.2%로 10.7포인트 올랐고, Atomic Seen은 59.1%에서 78.1%로 19.0포인트(900회 롤아웃 중 703회 성공), Composite Seen은 36.4%에서 40.8%, Composite Unseen은 33.2%에서 40.6%로 개선됐다.

개발자 관점에서 이 논문은 비디오 생성 모델의 품질을 시각적 사실성만으로 평가하면 놓치는 문제를 지적한다. 로봇 조작이나 자율주행처럼 시점 변화가 행동에 영향을 주는 시스템에서는 재투영 오차, 에피폴라 오차, 궤적 매끄러움과 저크, 그리고 내부 표현의 프로브 유지력을 함께 봐야 한다. CausalAlign은 아키텍처를 바꾸지 않고 선택된 레이어·타임스텝에 LoRA를 붙이는 후처리 학습이라 추론 비용을 늘리지 않는다. 다만 대상 레이어와 타임스텝은 Wan2.2에서 진단으로 고른 값이므로 다른 VGM에 그대로 복사하기보다 같은 진단 절차를 먼저 돌려야 한다. 또한 학습 시 카메라 포즈 주석과 3D 기초 모델 교사가 필요하다.

원문 발췌에는 별도의 한계 절이나 정량적 한계 분석이 제시되지 않았다. 다만 평가에서 첫 프레임과 텍스트 프롬프트만으로는 여러 유효한 미래 카메라 궤적이 가능하므로, 단일 정답 궤적과의 오차 대신 내재적 일관성을 측정한다는 전제를 둔다. 방법은 Wan2.2-14B-I2V와 DL3DV·RealEstate10K 조합에서 검증됐고, 3D 교사와 프로젝터는 학습에만 필요하지만 학습 파이프라인에는 포즈 라벨과 3D 기초 모델이 필요하다. 이 점을 실제 제품 적용 전에 확인해야 한다.