WorldFlow는 미래 영상과 3D 궤적을 함께 생성해 운동 예측을 개선한다

무엇인가

WorldFlow가 푸는 문제는 관측된 한 장의 RGB 영상, 언어 지시, 3D 쿼리 점이 주어졌을 때 미래의 영상과 그 장면 안 객체들의 3D 운동을 함께 예측하는 것이다. 기존 영상 세계 모델은 미래를 픽셀로만 표현해 3D 동역학이 암묵적으로 남고, 로봇 행동 기반 모델은 특정 로봇 구성에 묶이며, 3D 운동 예측 모델은 흐름(flow)만으로 감독되어 물리 동역학 학습 신호가 제한적이라는 문제의식에서 출발한다. 이 논문은 명시적인 3D 운동 흐름을 영상 생성과 결합해 로봇 조작과 계획, 제어로 이어질 수 있는 기하학적 표현을 만들려 한다.

어떻게 동작하나

문제 설정은 명확하다. 언어 지시 c, 관측 프레임 I0, 3D 쿼리 점 Q와 그 이미지 좌표 S0가 입력으로 주어지고, 모델은 미래 프레임 I1:T와 3D 흐름 f1:T를 함께 예측한다. 모든 3D 위치는 초기 카메라 좌표계로 표현되며, 흐름은 각 쿼리 점의 프레임 간 변위 f_t,i = p_t,i - p_t-1,i로 정의된다. 궤적은 이 변위를 누적해 p_t,i = p_0,i + Σ f_τ,i로 복원한다. 즉 모델은 p(I1:T, f1:T | I0, Q, S0, c)를 학습하는 조건부 생성 모델이다.

무엇과 다른가

구조는 Cosmos-Nano를 기반으로 한다. 사전학습된 reasoner가 언어 지시를 처리하고, 비디오 VAE가 관측 프레임을 깨끗한 잠재값으로 인코딩한다. 여기에 3D 흐름 토크나이저를 추가해 노이즈가 섞인 변위와 초기 쿼리 점 기하를 임베딩하고, 비디오 토큰 격자와 같은 시공간 위치 규약으로 정렬한다. Mixture-of-Transformers 백본 안에서 비디오 토큰과 흐름 토큰은 전체 어텐션으로 상호작용하고 reasoner의 인과 문맥을 참조한다. 추론 시에는 미래 비디오 잠재값과 흐름을 노이즈에서 시작해 공동 디노이징하고, VAE로 비디오를 디코딩하며 예측 흐름은 스케일 복원 후 누적해 3D 궤적으로 만든다. 별도 추적 단계 없이 영상과 명시적 운동을 같은 생성 과정에서 얻는 것이 핵심이다.

어떻게 쓰나

흐름 토큰화에서 중요한 것은 영상 토큰과의 정렬이다. 변위는 도메인별 스칼라로 정규화되고 프레임 우선 순서로 배열된다. 각 쿼리 점의 절대 초기 위치와 쿼리 집합 중심에 대한 상대 위치를 두 개의 병렬 인코더로 처리하고, 좌표 정규화와 고정 Fourier 특징, MLP를 거쳐 기하 임베딩을 만든다. 흐름 토큰은 선형 투영된 노이즈 변위에 기하 임베딩과 조건 임베딩을 더해 구성된다. 또한 흐름 토큰의 회전 위치 좌표를 비디오 토큰과 같은 시간·공간 규약으로 부여해, 미래 프레임과 쿼리 점의 초기 이미지 패치에 고정한다. 이 공유 위치 규약이 멀티모달 어텐션 안에서 비디오와 흐름의 상대적 시공간 관계를 인코딩한다.

전제와 한계

학습 목표는 비디오와 3D 흐름에 대한 가중 rectified-flow 손실을 공동으로 적용한다. 두 모달리티는 샘플별로 같은 노이즈 레벨을 공유하고 함께 디노이징되며, 손실은 모달리티별로 계산하고 조건 위치는 감독에서 제외한다. 여기에 예측 벡터장에서 복원한 깨끗한 정규화 흐름에 대한 보조 목표를 더한다. 프레임 간 변위 오차, 누적 변위 방향 오차, 상대 끝점 오차를 벌점으로 주며, 방향 오차는 정답 변위 크기로 가중하고 순 변위가 작은 점은 끝점 감독에서 제외한다. 보조 항은 노이즈 의존 가중치로 낮은 노이즈 샘플에 더 집중한다.

훈련 데이터는 시뮬레이션과 실제 세계를 아우르는 이질적 혼합으로 약 144만 객체 수준 샘플, 16 FPS의 49프레임 표준화 시퀀스로 1,224시간 규모다. Sim7은 ManiSkill, MIKASA, MetaWorld, MetaFold, RLBench, RoboCasa, RoboTwin을 묶고, Real3는 AgiBot World, EPIC-KITCHENS, Something-Something V2를 포함한다. SpatialCog는 테이블탑·가사 상호작용을 직접 수집한 데이터이고, MolmoMotion-1M은 여섯 소스의 3D 운동 주석을 재사용한다. Sim7과 Real3에는 Gemini-2.5 Pro로 캡션을 생성하고 SAM 2로 객체 마스크를 얻은 뒤 Track4World로 3D 점 궤적을 추출했다. 학습은 49프레임, 288×480 해상도, 쿼리 점 64개로 진행되며, VAE의 시간·공간 압축 계수는 4와 16, 2×2 잠재 패치화로 비디오 토큰 격자는 13×9×15, 흐름 토큰은 48×64가 된다. 64개 H800 GPU로 전역 배치 128을 사용하고, 1단계는 SpatialCog에서 32,000 스텝, 2단계는 이질적 혼합에서 51,100 스텝을 세 단계 커리큘럼으로 학습한다.

평가는 WorldFlowBench로 한다. 1,678개 홀드아웃 샘플이 Sim7 396개, Real3 882개, SpatialCog 400개로 구성되며, 11개 데이터 소스의 시뮬레이션·실제 상호작용과 공간 추론 과제를 포함한다. 지표는 미래 프레임과 쿼리 점에 걸친 평균 유클리드 위치 오차인 ADE, 마지막 프레임 위치 오차인 FDE, 임계값 1·2·5cm 평균에서 위치 오차가 임계값 안에 드는 비율 PWT다. 비교 대상은 영상 생성 후 추적하는 계열(NovaFlow, Cosmos3-Nano나 LingBot-Video-MoE와 Track4World 또는 4RC 조합)과 직접 흐름 생성 계열(MolmoMotion-AR-H1, μ0, EgoWAM)이다. WorldFlow는 세 평가 집합 모두에서 학습 기반 방법 중 가장 낮은 ADE와 FDE를 냈다. 각 집합의 가장 강한 외부 학습 베이스라인 대비 ADE를 Sim7에서 약 46.9%, Real3에서 4.7%, SpatialCog에서 54.2% 줄였고, SpatialCog의 ADE는 0.060m다. PWT는 Sim7과 SpatialCog에서 학습 기반 방법 중 가장 높았고, Real3에서는 0.311로 최고값 0.332보다 낮았다.

절제 실험도 핵심 주장을 뒷받침한다. 같은 백본과 데이터, 최적화로 흐름만 예측하는 변형과 비교했을 때, 영상과 흐름을 함께 생성하면 ADE가 Sim7 48.5%, Real3 19.8%, SpatialCog 55.9% 감소했고 FDE도 세 집합 모두 낮아졌다. SpatialCog의 FDE는 0.248에서 0.078m로 68.5% 줄었다. 같은 WorldFlow 체크포인트가 만든 영상에 Track4World나 4RC를 적용한 추적 파이프라인과 비교해도 직접 흐름 생성이 모든 집합에서 더 낮은 ADE·FDE와 더 높은 PWT를 보였다. SpatialCog에서 직접 생성은 ADE 0.060m였고, Track4World는 0.083m, 4RC는 0.098m였다. 보조 운동 감독을 빼면 Sim7 ADE가 0.063에서 0.051m로 19.0% 개선되는 등 세 집합 모두 ADE·FDE·PWT가 좋아졌다. 로봇 조작 실험은 7-DoF xArm, XHand, ZED Mini RGB-D로 12개 과제를 3회 무작위 시행해 총 36회 실행했다. 흐름 예측 성공률은 97.2%(35/36)로 μ0의 25.0%(9/36)보다 높았고, 로봇 실행 성공률은 66.7%(24/36)로 μ0의 11.1%(4/36)보다 높았다. 다만 흐름 예측과 실행 성공률의 차이는 파지 실패, 궤적 최적화 실패, 적재 시 불안정한 배치 같은 조작 파이프라인 문제에서 비롯된다고 저자들은 설명한다.

개발자 관점에서 WorldFlow는 영상 세계 모델과 3D 운동 예측을 한 백본에서 결합하려는 로봇· embodied AI 파이프라인에 참고가 된다. 특히 영상을 만든 뒤 별도 추적기로 운동을 복원하는 대신, 명시적 3D 흐름을 생성 출력으로 두는 설계가 실무에서 추적 지연과 오차 누적을 줄일 수 있는지 검토할 만하다. 다만 입력으로 미리 정의된 3D 쿼리 점이 필요하고, 자동 생성 궤적 감독의 노이즈를 상속한다는 전제를 확인해야 한다. 또한 도메인별 정규화 스칼라와 데이터 혼합, 40스텝 rectified-flow 샘플링, 대규모 학습 비용이 재현에 영향을 준다. 원문에는 추론 지연이나 온디바이스 비용 수치가 제시되지 않았다.

저자들이 밝힌 한계는 분명하다. 현재 공식은 사전에 정의된 쿼리 점을 요구하고, 자동으로 생성한 궤적 감독에서 오는 노이즈를 그대로 안고 간다. 향후 과제로 자동 쿼리 선택, 다중 미래 생성, 3D 흐름과 행동의 공동 생성을 제시하며, 명시적 운동 표현이 정책 학습에 주는 이점을 더 연구하겠다고 밝힌다.