P³-WAM이 손 재구성과 예측과 계획을 하나의 월드 액션 모델로 통합한다

무엇인가

자아중심(egocentric) 시점의 양손 조작을 다루는 기존 연구는 픽셀을 곧바로 행동에 매핑하는 것으로는 부족하다는 문제의식에서 출발한다. 논문은 embodied 모델이 답해야 할 세 질문을 제시한다. 관측된 상호작용에서 무슨 일이 있었는가(Perceive), 주어진 행동 아래 무슨 일이 일어날 것인가(Predict), 목표를 달성하려면 무엇을 해야 하는가(Plan)다. 그런데 기존 연구는 3D 상호작용 재구성, 행동 조건부 월드 모델, 월드 액션 모델이라는 세 갈래로 거의 분리되어 발전해 왔고, 일부만 부분적으로 결합되어 있었다. 저자들은 이 세 능력이 행동과 그 결과에 대한 지식으로 연결되어 있다는 점에 주목해 하나의 모델로 묶는다.

어떻게 동작하나

구조는 사전학습된 비디오 확산 트랜스포머 Wan2.2-Fun-A14B-Control 위에 세운다. RGB 시퀀스는 Wan2.1 VAE로 시공간 latent로 인코딩하고, 시간 정렬된 손 궤적은 2D 스켈레톤 영상으로 렌더링해 같은 VAE로 인코딩한 뒤 노이즈가 섞인 RGB latent와 채널 방향으로 이어 붙인다. 카메라 조건은 모든 camera-to-world 포즈를 첫 카메라 좌표계로 표현해 첫 포즈를 항등으로 만들고, 상대 포즈와 내부 파라미터로 픽셀별 Plücker 광선 맵을 구성한 뒤 경량 컨볼루션 어댑터로 DiT 패치 특징 공간에 사상해 RGB-손 패치 임베딩에 더한다. 행동은 별도로 사전학습되어 동결된 action autoencoder가 압축 토큰으로 만들고, 프레임마다 카메라 1개와 양손 각 1개, 총 3개 토큰으로 표현한다. 트랜스포머 블록 안에서는 RGB expert와 action expert가 기본 투영 가중치를 공유하고, action expert만 저랭크 적응(LoRA)과 자체 정규화를 추가하며, 두 스트림이 결합된 키·값에 함께 어텐션해 양방향 정보 교환이 일어난다. 이 모달리티 분리는 Wan의 고노이즈·저노이즈 diffusion expert 각각 안에서 반복된다.

무엇과 다른가

학습의 핵심은 무작위 모달리티 가시성이다. 클립별·시간 위치별로 비디오와 행동 중 무엇을 보여주고 무엇을 맞히게 할지 무작위로 정한다. 비디오를 주고 행동을 감추면 Perceive, 행동을 주고 미래 비디오를 감추면 Predict, 둘 다 감추면 Plan이 된다. 비디오는 flow matching으로 학습하되 손실을 관측되지 않은 latent 원소에만 제한하고, 행동 브랜치는 반복 디노이징 없이 한 번의 순전파로 전체 손·카메라 궤적을 예측한다. 그래서 결측 행동은 노이즈 낀 상태가 아니라 학습된 query embedding으로 채우고, 각 query가 프레임과 세 행동 타입 중 하나에 대응한다. 전체 목적함수는 비디오 손실에 MANO 파라미터, 공간 관절 위치, 시간적 손 움직임, 손 존재 확률, 카메라 상태 손실을 더한 형태다. 손은 MANO 파라미터 모델로 표현하며 전역·국소 회전, 시퀀스 단위 형상, 카메라 공간 루트 위치, 손 존재 확률, 관절별 가시성 확률을 예측하고 미분 가능한 MANO 레이어가 관절을 복원한다.

어떻게 쓰나

실험은 EgoDex, ARCTIC, HOT3D, EgoLive 네 데이터셋에서 진행한다. 먼저 단일 모드 학습과 통합 학습을 같은 초기화, 같은 5,000 스텝 조건에서 비교한다. Perceive에서는 카메라 공간 오차 23.46%, 루트 상대 오차 14.23%, Procrustes 정렬 오차 5.69%가 각각 줄었다. Predict에서는 PSNR이 17.356dB에서 18.138dB로 오르고 FVD가 1105.95에서 1009.84로 내려갔다. Plan에서는 VLM 평가의 다섯 항목이 모두 개선됐고, 특히 시간·정체성 일관성이 2.15에서 3.57로, 목표 전이가 1.98에서 3.29로 크게 올랐다.

전제와 한계

전용 베이스라인과의 비교도 제시된다. Perceive에서는 HaMeR, Dyn-HaMR과 비교해 네 데이터셋 모두에서 가장 낮은 presence-aware 재구성 오차를 기록했다. 평균 카메라 공간 MPJPE-p는 63.05mm로 HaMeR 145.34mm, Dyn-HaMR 231.54mm보다 낮고, 루트 상대 오차는 22.54mm 대 46.61mm, 45.25mm이며, Procrustes 정렬 오차는 11.79mm 대 16.75mm, 32.94mm다. 손 가시성 F1도 네 데이터셋 모두에서 가장 높다. Predict에서는 Wan2.2-Fun-Control, DreamDojo, Hand2World, EgoSim과 비교해 네 데이터셋 전부에서 전체 프레임 지표가 가장 좋았고, 백본 대비 평균 PSNR이 15.927dB에서 19.020dB로, FVD가 1217.56에서 621.73으로 개선됐다. 손 영역 LPIPS는 0.4852에서 0.4099로, 손 박스 IoU는 0.6178에서 0.6709로 좋아졌다. Plan은 Wan2.2 I2V-A14B와 Cosmos 3-Nano를 상대로 방법을 모르는 VLM 심판(Qwen3.8-Max)이 1~5점으로 채점한 다섯 항목 중 행동 과정, 지시 준수, 물리적 상호작용, 목표 전이에서 더 높은 점수를 받았다. 긴 과제는 이미지 생성기로 만든 시각적 서브골을 계획 윈도우마다 제공해 블록 배치 같은 공간 목표를 유지하며, 목표 이미지가 없으면 배치 오차가 누적된다. 생성된 사람 손 동작은 Do as I Do 방식을 따라 듀얼암 로봇 명령으로 리타게팅되어 실제 로봇에서 실행된다.

개발자 관점에서 이 논문의 실용적 포인트는 세 가지다. 첫째, 비디오 생성 백본을 그대로 두고 행동을 압축 토큰 스트림으로 붙이는 MoT 패턴은 기존 확산 모델 자산을 버리지 않고 embodied 능력을 얹는 현실적인 경로다. 둘째, 학습 시 모달리티 가시성을 무작위화하는 것만으로 재구성·예측·계획이 서로를 강화한다는 결과는, 태스크별 헤드와 데이터셋을 따로 관리하던 파이프라인을 하나로 줄일 근거가 된다. 셋째, 행동 브랜치가 반복 샘플링 없이 한 번에 궤적을 내놓는다는 점은 추론 지연이 중요한 로봇 제어에서 확인할 가치가 있다. 다만 재현하려면 MANO 기반 손 표현, 동결된 action autoencoder, Plücker 광선 맵 어댑터, 그리고 네 데이터셋의 전처리 규약을 함께 맞춰야 한다.

저자들이 밝힌 한계는 명확하다. 단안 비디오에서 전역 3D 손 위치를 추정하는 것은 본질적으로 모호하며, 촉각이나 깊이 센싱을 넣으면 더 강한 기하 제약을 줄 수 있다고 본다. 로봇 실험은 현재 개루프 실행에 의존하고 있어, 폐루프 피드백을 도입하면 긴 호흡의 상호작용에서 온라인으로 동작을 교정해 견고성이 올라갈 수 있다고 적는다. 또한 Plan 평가의 상당 부분이 VLM 심판 점수에 기반하고, 논문 자체가 생성 AI를 원고 작성과 그림 제작, 연구 코드 개발에 사용했으며 일부 계획 입력 이미지도 AI 생성이라고 명시하고 있다.