Ropedia W0가 인간 영상 1만 시간으로 로봇 월드모델을 확장한다

무엇인가

월드모델은 행동이 환경을 어떻게 바꾸는지 상상하게 해주지만, 기존 연구는 대부분 고정된 베이스에 그리퍼를 단 조작에 집중해왔다. 이동(locomotion) 때문에 생기는 시점 변화와 손가락-물체 상호작용은 거의 다뤄지지 않았고, embodiment가 바뀔 때마다 새 제어 인터페이스가 필요하다는 문제도 남아 있었다. 논문은 DreamDojo가 post-training 단계에서 로봇별 action으로 조건을 갈아끼우고, Cosmos3가 도메인별 action projection을 두는 방식을 그 한계로 지목한다. Ropedia W0는 이 두 축, 즉 이동과 조작을 인간과 로봇에 걸쳐 하나의 모델로 묶는 것을 목표로 한다.

어떻게 동작하나

데이터는 Xp-Data다. 공개 인간 자아중심 데이터셋 14개에 4개 어안 카메라 리그로 직접 촬영한 6,000시간 이상을 더해 약 1만 시간, 공개 로봇 데이터셋 13개로 약 3천 시간을 모았다. 원본을 그대로 쓰지 않고 VLM으로 심한 블러·노출 이상·과도한 카메라 흔들림을 걸러내고, 카메라 intrinsics와 metric 궤적은 캘리브레이션 또는 자체 SLAM·DA3로 추정하며, Grounding DINO로 손·사람 같은 동적 영역을 카메라 궤적 일관성 검사에서 제외한다. 인간 손은 WiLoR로 복원한 MANO 키포인트를 이미지에 투영하고, 로봇은 URDF 기반 forward kinematics 투영이 실제 손·그리퍼와 어긋나는 경우가 많고 캘리브레이션이 없는 공개 데이터도 많아 이미지 공간 키포인트를 사람이 직접 주석·보정했다. 이후 깊이 재투영 일관성, 시간적 평활도, MediaPipe·MMPose 2D 검출과의 비교, 두 검출기 교차 검증, Qwen을 통한 캡션 검증을 거쳐 81프레임 640×480 클립으로 정규화한다.

무엇과 다른가

핵심 설계는 통합 운동학 제어 인터페이스다. 이동은 초기 프레임 기준 상대 카메라 포즈를 6채널 Plücker 광선 맵으로 인코딩해 픽셀마다 기하 정보를 붙이고, 조작은 로봇·인간의 스켈레톤을 카메라 시점에 투영해 렌더링한다. 로봇 스켈레톤은 embodiment별 forward kinematics에 수작업 보정을 결합해 그리퍼 개방 형상과 손가락 구성을 보존하며, 두 조건 모두 이미지 공간에 정렬된 형태라 인간·그리퍼 로봇·다관절 휴머노이드가 같은 포맷을 공유한다. 주석이 있는 경우에만 wrist pose 렌더링과 wide-FOV 스켈레톤이 보조 조건으로 붙고, availability gate로 켜고 끈다.

어떻게 쓰나

모델은 잠재 비디오 확산 트랜스포머로, 5B dense와 Wan2.2-I2V-A14B 기반 A14B mixture-of-experts(총 약 27B, 활성 14B) 두 규모로 만든다. 카메라·스켈레톤 잠재는 비디오 토큰에 더해지고(투영 레이어는 0으로 초기화해 백본 동작을 보존), 텍스트는 cross-attention으로 들어가며, wide-FOV처럼 픽셀 대응이 없는 조건은 별도 cross-attention 브랜치를 쓴다. 학습은 인간 영상 사전학습 후 인간·로봇을 1:1로 섞는 mid-training 두 단계다. 추론은 Causal Forcing으로 4-step block-causal 생성기를 얻고 LongLive로 장기 스트리밍을 붙인 뒤 DMD로 증류해, 단일 GPU에서 640×480 21.3fps, 분 단위 롤아웃과 VR 실시간 조작을 가능하게 한다.

전제와 한계

평가는 DreamDojo(In-lab 100·EgoDex 65·DreamDojo-HV 68 클립), Ψ0(100 윈도우), ω-HOME(100 윈도우, 24개 과제), 자체 Xp-Teleop(100 윈도우), AgiBot(50 윈도우) 다섯 개 cross-embodiment 벤치마크와 held-out 인간 자아중심 클립 200개에서 이뤄졌다. 어떤 평가 데이터셋으로도 post-training하지 않은 단일 mid-training 체크포인트가 8개 embodiment에서 19.83(5B)·21.98(A14B) PSNR을 냈고, 같은 로봇 mixture로 Cosmos3를 파인튜닝해도 19.02에 그쳤다. DreamDojo에서는 1%~100% 모든 post-training 예산에서 앞섰고 저데이터 구간에서 격차가 가장 컸으며, Ψ0·ω-HOME·Xp-Teleop에서는 A14B mid-training 변형이 post-training 없이도 베이스라인 full-data 결과를 넘었다. AgiBot held-out 윈도우에서는 A14B가 1위, 5B가 OSCAR와 동급이었다. 모델을 키우면 cross-embodiment +2.2dB, AgiBot +2.3dB(18.60→20.88), zero-shot Ψ0/ω-HOME/Xp-Teleop +2.1/1.7/1.4dB가 붙는다.

절제 실험은 두 조건의 역할이 다르다는 것을 보여준다. 스켈레톤 조건을 빼면 A14B/5B PSNR이 각각 3.8/1.8dB 떨어지고, 카메라 조건을 빼면 평균 하락은 0.3/0.1dB에 그치지만 시점이 실제로 움직이는 embodiment에서는 1.3dB 떨어지며 생성되는 움직임 자체가 줄어든다. 인간 사전학습의 효과도 분리해 측정했다. 같은 아키텍처를 공개 비디오 생성 가중치에서 출발시킨 것과 비교해, post-training 데이터 1%만 써도 5B가 4.8/7.1/6.6dB 앞서고 100%로 학습한 베이스라인마저 넘으며, full-data에서도 약 2.3dB 우위를 유지한다. 인간 영상 사전학습량을 늘리면 held-out 인간 영상, Ψ0·Xp-Teleop·ω-HOME 전이, DreamDojo GR-1 교차 평가가 모두 단조롭게 개선된다.

응용 결과도 수치로 제시된다. 정책 평가 대리 환경으로 쓸 때 RoboTwin 2.0의 π0.5 체크포인트 5개에 대해 상관 r=0.984, 실제 Unitree G1 과제의 Ψ0 체크포인트 3개와 전문가 텔레오퍼레이션 기준에 대해 r=0.996을 기록하고 MMRV=0으로 순위를 보존했다. 모델 기반 계획에서는 RoboTwin 2.0 과제 진행률 92%(무작위 53%, 최고 고정 체크포인트 85%), 실제 G1에서 55%(26%/45%)를 달성했다. FastWAM의 비디오 백본을 이 5B 모델로 초기화하면 LIBERO-Plus 성공률이 50.06%에서 56.82%로 오르고, 실제 G1 이동-조작 과제에서 56.7%로 FastWAM의 33.3%를 크게 앞서며 Ψ0 VLA 정책 자체(50.0%)와 견줄 수준이 된다.

개발자 입장에서 이 논문의 실질적 주장은 "새 로봇마다 action head를 설계하지 않아도 된다"는 것이다. 카메라 포즈와 투영 스켈레톤이라는 이미지 정렬 조건만 맞추면 인간 영상으로 학습한 예측 능력이 로봇으로 넘어가고, 소량의 post-training으로 적응하며, 증류본은 실시간 상호작용까지 감당한다. 다만 도입 전에 확인할 것은 데이터 파이프라인 쪽이다. 로봇 키포인트의 수작업 주석·보정이 성능의 전제이고, 카메라 캘리브레이션이 없는 공개 데이터는 그대로 쓸 수 없다. 또한 이 논문의 "zero-shot"은 타깃 평가 데이터셋을 학습에 쓰지 않았다는 뜻일 뿐, 해당 embodiment가 mid-training mixture에 다른 데이터셋으로 이미 등장했을 수 있다고 저자들이 명시했다. Xp-Teleop 벤치마크 자체도 Unitree G1에 6-DoF 손 두 개를 단 27개 테이크, 약 1시간 분량이며, 각 벤치마크 평가 윈도우는 50~100개 규모다. 논문 본문에는 별도의 한계 절이 없고, 위와 같은 평가 프로토콜상의 전제와 수작업 주석 의존이 사실상의 제약으로 남아 있다.