VPM은 다중 시점 영상과 3D 점 궤적을 함께 예측해 4D 세계 모델을 학습한다

무엇인가

이 논문은 다중 시점 비디오로부터 미래 영상과 장면 점의 지속적 3D 궤적을 함께 예측하는 세계 모델 VPM을 제안한다. 기존 영상 세계 모델은 시각적 그럴듯함만으로 예측이 일관된 3D 운동을 설명하는지 판단하기 어렵고, 여러 카메라의 관측을 하나의 장면 진화 예측으로 연결해야 한다고 본다. 특히 미래 프레임이 없는 상태에서 점 대응을 예측하는 것은 관측 구간을 넘어선 4D 예측 문제다.

어떻게 동작하나

VPM은 Cosmos 3의 Mixture-of-Transformers 백본 위에 구축된다. reasoner는 언어 지시를 처리하고 generator는 미래 비디오 토큰을 rectified flow matching으로 노이즈 제거한다. 카메라별 비디오 토큰을 하나의 공유 시퀀스로 패킹하고, 각 토큰의 Plücker ray를 경량 인코더로 임베딩해 더하며, 카메라 기하에 따른 회전을 attention query/key에 적용한다. 또한 3D RoPE에 view 축을 추가한 4D RoPE를 써서 같은 시간·공간 좌표를 가진 다른 카메라 토큰을 구분한다. view 주파수는 0으로 초기화해 기존 3D 위치 인코딩을 보존한다.

무엇과 다른가

궤적 헤드는 중간 self-attention의 query/key feature grid에서 각 질의 점에 대한 상관을 계산하고, 공간·시간·시점에 분해된 attention transformer로 M회 반복 정제해 시점별 2D 위치, 깊이, 신뢰도를 예측한다. 이를 고정 기준 프레임으로 unproject해 3D 위치를 얻는다. 감독은 2D 위치와 프레임 간 변위, log-depth에 truncated Huber, 신뢰도에 BCE를 쓰는 L_track과, attention map을 공간 셀 분류로 다루는 cross-view correspondence L_corr로 구성된다. 2D·깊이 타깃은 같은 GT 3D 궤적을 알려진 카메라 파라미터로 투영해 시점 간 기하 일관성을 유지한다. 학습은 L_FM으로 생성 경로와 카메라 임베딩을 적응시킨 뒤, 궤적 헤드와 view 주파수만 L_track으로 학습하고, 마지막에 L_forecast = L_FM + λtrack L_track + λcorr L_corr로 공동 최적화한다. 미래 프레임 feature는 완전히 깨끗한 미래 관측이 아니라 부분 노이즈 제거된 토큰에서 얻어, 모델의 예측 feature로부터 운동을 추론하도록 한다. 로봇 제어 확장에서는 미래 action sequence를 추가 토큰 모달리티로 넣고, action 토큰을 독립 노이즈 레벨로 손상해 공유 denoiser가 비디오와 함께 노이즈 제거하도록 L_robot = L_forecast + λact L_act로 학습한다. 추론에서는 비디오와 action 토큰을 노이즈에서 함께 디노이즈한다.

어떻게 쓰나

학습 데이터 VPM-Data는 10K 클립으로, 테이블탑 조작과 도시 동역학의 동기화된 다중 시점 비디오, 지속적 3D 궤적, 카메라 기하, 가시성, 캡션을 쌍으로 제공한다. 객체당 256개 표면 점과 로봇 팔·손에 512개 점을 주석하고 강체 변환 또는 삼각형 항등식·무게중심 좌표로 운동과 가림을 전파한다. VP-WorldBench는 시뮬레이션과 실제 환경을 아우른다. 시뮬레이션은 도시 C1의 새 테이블탑 436 에피소드, 보지 못한 주방 2곳의 64 에피소드, 학습 도시 C2와 다른 C1의 도시 클립을 포함하고, 최소 30연속 프레임 동안 개별 카메라가 타깃을 놓치지만 매 프레임 최소 한 카메라가 보는 hard 하위 집합을 둔다. 실제 평가는 텔레오퍼레이션 로봇 100 에피소드와 48대 동기 RGB 카메라로 찍은 10초 시퀀스 100개를 사용한다.

전제와 한계

평가는 FVD, PSNR, cross-view MEt3R, MVTracker로 생성 영상에서 뽑은 3D 트랙의 δ_avg^3D, 로봇 성공률로 한다. 미래 카메라 파라미터는 어떤 방법에도 주지 않아 관측 이력에서 카메라 운동을 추론하게 한다. 비교 대상은 HunyuanVideo-1.5, Wan2.2-5B, Cosmos3-Nano, DreamZero, Robot4DGen, X-WAM이며 실제 로봇에는 π0.5와 GR00T N-series VLA도 포함한다. VP-WorldBench에서 VPM(V+T)가 모든 split과 metric에서 최고이며, 점 감독 없는 VPM(V)도 Cosmos3-Nano 백본보다 낫다. zero-shot 4D 생성에서 ReCamMaster와 CMU Panoptic은 VPM(V+T)가 최고이고 RoboCasa Kitchen도 같은 경향이다. VPM(V)는 multi-view consistency에서 geometry-aware Robot4DGen에 뒤지지만 VPM(V+T)는 앞선다. 로봇은 시뮬레이션에서 VPM(V+T+A)가 모든 벤치마크 최고 성공률로 VLA 정책과 world-action 모델을 앞서고, 실제 DROID(Franka Research 3, Robotiq 2F-85)에서 89K 궤적 부분집합만 학습해 세 pick-and-place 과제를 24회씩 평가했을 때 모든 과제 최고 성공률을 낸다. VPM(V+T+A)는 점 감독 없는 VPM(V+A)보다 일관되게 낫다. 모달리티 ablation에서 궤적 추가가 모든 split에서 영상 충실도와 3D 운동 정확도에 가장 큰 이득, action 추가는 완만한 이득, 셋 다 쓸 때 최고다. 다만 제공된 원문 본문에는 표의 구체적 FVD/PSNR/성공률 수치가 제시되지 않아 개선폭을 숫자로 인용할 수 없다.

저자들은 궤적 헤드가 generator 중간 feature에서 점 운동을 예측하고 이후 블록이 이를 미래 프레임으로 처리하므로, 점 감독이 영상 생성 표현을 직접 형성한다고 설명한다. 로봇에서는 궤적이 관절 상태의 순기구학으로 계산되어 action과 같은 운동을 3D·모든 시점에 접지시키고, 수백 점으로 조밀하게 미래 구성을 제약하며, 객체 궤적은 과제 결과를 지정한다고 본다. 개발자에게는 다중 시점 비디오 세계 모델, 3D-aware 정책, 영상-행동 공동 학습을 설계할 때 참고가 된다. 다만 예측 궤적을 inverse kinematics로 명령으로 바꾼 zero-shot 실제 로봇 롤아웃은 실행 가능한 정보를 보였지만 정량 평가할 만큼 일관되지는 않았다고 밝힌다.

한계로 점 감독이 로봇과 주석된 객체에만覆盖되고 전체 장면은 아니다. skeletal annotation은 독립적인 옷·머리카락 운동을 포함하지 않는다. 추론 시 카메라 내부 파라미터와 포즈를 안다고 가정하고, 모든 카메라 스트림이 하나의 토큰 시퀀스를 공유하므로 시점 수가 늘수록 비용이 커진다. 향후 과제로 실제 다중 시점 비디오에서 대규모 궤적 감독을 얻고, 더 조밀한 비강체 내용으로 확장하며, 보정된 카메라 요구를 완화하는 것을 든다.