UNITAS가 로봇 조작을 영상이 아닌 3D 좌표 흐름으로 통일한다

무엇인가

월드 액션 모델(WAM)은 하나의 질문에 답하려 한다. 과제 지시가 주어졌을 때 로봇이 어떤 동작을 해야 하며, 그 동작이 주변 세계를 어떻게 바꾸는가. 기존 WAM 대부분은 사전학습된 비디오 생성기 위에 올라타 미래 이미지나 시각 잠재로 세계의 진화를 표현한다. 그런데 로봇 상호작용은 미터 단위 3차원 공간에서 일어나고, 이미지는 그 공간의 시점 의존적 투영일 뿐이다. 같은 로봇 동작이나 물체 변위, 접촉 사건도 시점이 바뀌면 서로 다른 픽셀 변화를 만들고, 같은 픽셀 변위가 같은 물리 거리를 뜻하지도 않는다. 카메라 내부 파라미터와 카메라-로봇 포즈 차이는 이 매핑을 임베디먼트마다 다르게 만든다. 논문은 비디오 기반 WAM이 시점과 로봇 상태 변화에 민감하고, 사실적으로 보이는 예측이 물체 변위를 잘못 나타내거나 강체 기하를 왜곡하거나 정적 영역을 흘려보낼 수 있다고 지적한다.

어떻게 동작하나

UNITAS(UNIfied Trajectories for Action and Scene flow)는 각 예측 윈도우 안에서 관측, 행동, 장면 역학을 하나의 고정된 미터 좌표계 F^W에 정렬한다. 핵심 표현은 두 가지 흐름이다. action flow는 사람 손과 로봇 그리퍼를 3D 점 궤적으로 나타내고, scene flow는 그 궤적에 조건화된 장면 점 변위를 나타낸다. 로봇의 경우 URDF로 정의된 그리퍼 기하에서 팔마다 20개 점을 샘플링해 링크 로컬 좌표를 유지하고, 순기구학으로 각 관절 구성에서 월드 프레임에 매핑해 손가락 움직임까지 대응 관계를 보존한다. 사람 시연은 손마다 21개 MANO 키포인트를 쓴다. 로봇 픽셀은 URDF와 현재 관절 상태로 마스킹하고, 나머지 RGB-D 픽셀을 역투영해 장면 쿼리 점을 뽑는다.

무엇과 다른가

이 표현을 가능하게 하는 구성 요소가 셋이다. 첫째, world-aligned 3D 위치 임베딩은 깊이가 있으면 픽셀을 역투영해 월드 좌표를 만들고 고정 푸리에 맵으로 인코딩한다. 깊이가 없으면 카메라 광선을 따라 0.1~2.0m 구간에서 64개 후보 깊이를 균일 샘플링하고, 패치 특징을 쿼리로 후보 위치를 어텐션 가중합해 위치 임베딩을 만든다. 깊이가 신뢰할 수 있는 영역에서는 이 라우팅 가중치를 실제 깊이 기반 푸리에 특징과 맞추도록 감독한다(L_PE). 덕분에 RGB와 RGB-D 데이터로 함께 사전학습하고 추론 시 깊이가 없어도 동작한다. 둘째, physical-time trajectory tokenizer는 프레임 인덱스 대신 초 단위 시간 τ_k = k/f를 쓰고, 데이터셋 간에 공유하는 T_max = 3초 기저와 FiLM 파라미터로 인코더·디코더를 변조한다. 궤적 전체를 토큰 하나로 풀링해 현재 3D 위치에 앵커하므로, 궤적 길이나 샘플 밀도와 무관하게 점 하나가 토큰 하나가 된다. 셋째, 백본은 Mixture-of-Transformers 구조로 point dynamics expert와 action expert 두 개의 diffusion transformer를 두고 rectified flow로 학습하며, causal attention mask로 공유 컨텍스트의 KV를 캐싱해 디노이징 단계 간 반복 계산을 줄인다.

어떻게 쓰나

모델은 결합 분포를 p(A,u,S|C,q0) = p(A|C)·p(u|C,q0)·p(S|A,C)로 분해한다. action flow와 실행 가능한 action chunk u는 병렬로 샘플링되고, scene flow는 생성된 action flow나 시뮬레이터 모드에서 외부 제공 궤적에 조건화된다. 이 구조가 두 가지 운용 모드를 만든다. policy mode는 u만 디노이징해 점 흐름 분기 두 개를 모두 건너뛰고 직접 실행 명령을 낸다. simulator mode는 주어진 action flow에 대한 장면 변화를 예측한다. 학습 손실은 L = λA·LA + λs·Lscene + λctrl·Lctrl + λPE·LPE이고, 앞 세 항의 가중치는 1, L_PE는 0.1이다. 궤적 토크나이저를 먼저 재구성 학습으로 훈련해 동결한 뒤 두 expert를 학습한다.

전제와 한계

실험에서 UNITAS는 1.7B 파라미터로 RoboTwin의 action-conditioned 장면 예측 4개 지표 모두에서 비교 방법을 앞섰다. Moving ADE는 PointWorld의 0.656cm에서 0.427cm로 줄었고, Moving ADE·Moving FDE·Static ADE를 각각 35%, 21%, 49% 낮췄다. 정책 성능은 LIBERO에서 99.8%(혼합 데이터 사전학습 없이 99.5%), RoboTwin 2.0에서 Clean 92.94%·Randomized 93.04%로, 6B Fast-WAM과 8B Motus보다 적은 파라미터로 앞선다. VLABench는 성공률 56.2%로 π0.5의 48.1%를 웃돌고 진행 점수도 높다. LIBERO-Plus에서는 89.1%로 최고 overall 성공률을 기록했고, 카메라 교란 조건에서 82.1%로 Cosmos Policy 75.8%, LaMP 64.5%를 앞섰다. 혼합 데이터 사전학습은 전체 성공률을 2.6%p 올렸고, 로봇 초기 상태 변화에서 84.8%→94.2%, 언어 교란에서 77.6%→85.0%로 개선 폭이 가장 컸다. 실로봇은 Organize Books 90%, Pack the Ball 65%(서론) 또는 80%(4.3절)로 보고되어 원문 안에서 수치가 일치하지 않으며, 초록은 실세계 과제 평균 85%라고만 적는다.

Ablation은 각 구성 요소의 기여를 분리한다. scene-flow 감독이 없는 참조 모델이 LIBERO-Plus에서 85.74%일 때, 3D 위치 인코딩을 빼면 81.35%로 떨어지고 카메라 교란 조건에서는 79.11%→66.73%로 가장 크게 무너진다. action-flow 감독 제거는 78.89%, action-flow 히스토리 토큰 제거는 75.92%이며 이때 로봇 초기 상태 교란에서 19.87%p 하락한다. 세 가지를 모두 제거하면 VLA 스타일 기준선인 67.58%가 된다. 반대로 참조 모델에 scene-flow 감독을 더하면 85.74%→86.47%로 올라, 미래 장면 예측이 행동 예측에 유용한 표현을 학습시키는다는 것을 보여준다.

실무 관점에서 이 논문이 쓸모 있는 지점은 시점과 카메라 포즈가 바뀌어도 흔들리지 않는 조작 정책이 필요할 때다. 카메라 교란 강건성이 3D 위치 인코딩 제거 시 급락한다는 ablation은, 로봇 정책의 일반화 문제를 데이터 증강이 아니라 표현 공간에서 풀 수 있다는 신호다. 도입 전 확인할 것은 세 가지다. simulator mode의 장면 예측은 추론 시 깊이 또는 제공된 기하에서 현재 3D 쿼리 좌표를 요구한다. 시간 표현은 T_max 3초 윈도우로 고정되어 있어 더 긴 과제는 별도 설계가 필요하다. 백본은 Florence-2로 초기화되며 전체 1.7B 규모다. 코드는 공개되어 있다.

저자들이 밝힌 전제와 한계도 분명하다. scene-flow 손실은 시뮬레이터 상태가 정답 대응을 제공하는 유효 궤적에만 적용되고, 결측 타깃과 빈 팔 슬롯은 마스킹된다. 장면 예측 추론에는 3D 쿼리 좌표가 필요하다. 결론에서는 더 긴 상호작용에 대한 신뢰할 수 있는 예측과 폭넓은 실세계 배포로 이 기반을 확장하는 것이 향후 과제라고 적는다. 실로봇 Pack the Ball 성공률이 본문 위치에 따라 65%와 80%로 갈리는 점은 재현 시 확인해야 할 불일치다.