DreamX는 비디오 확산 모델에서 구현체 공통 잠재 행동을 학습한다

무엇인가

일반 로봇 정책은 다양한 시연이 필요하지만 로봇 데이터 수집은 비싸다. 인간 1인칭 영상은 규모 있는 대안이지만 행동 라벨이 구현체에 묶여 있어, 같은 행동도 인간과 로봇에서 서로 다른 저수준 제어로 나타난다. 기존 잠재 행동 모델은 시각적 전이에서 행동을 추론하지만 시점·장면 외형 같은 정보가 행동과 얽히고, 미래 프레임 재구성만 잘해도 행동이 분리된다는 보장이 없다. DreamX는 구현체를 넘어 공유되는 행동 표현을 비디오 확산 모델에서 직접 읽어내는 문제를 다룬다.

어떻게 동작하나

DreamX는 Cosmos-Predict2.5 2B 비디오 확산 트랜스포머를 인코더와 디코더로 재활용한다. 비디오 토큰열에 학습 가능한 쿼리 토큰을 붙여 시공간 어텐션을 함께 통과시키고, 각 잠재 프레임마다 쿼리 그룹을 두어 출력 특징을 잠재 행동 Q로 삼는다. 쿼리에서 비디오로 가는 어텐션은 프레임 인과적이어서 Q_g는 V_0부터 V_g까지만 보고, 쿼리 간 어텐션은 제한이 없다. 이렇게 1,200개 프레임 토큰을 4개 잠재 행동 토큰으로 줄이는 300배 압축을 수행하며, 구현에서는 VAE 잠재 프레임마다 4개 쿼리 토큰을 배정했다.

무엇과 다른가

디코더는 텍스트 없이 초기 프레임 V_0와 잠재 행동 Q_0:N-1을 조건으로 미래 프레임을 재구성한다. 초기 프레임이 장면 외형을 제공하고 사전학습 생성 prior가 그럴듯한 변화를 채우므로, Q는 외형 단서 대신 미래를 설명하는 움직임을 담도록 압박받는다. 행동 라벨이 있을 때는 로봇 고유수용 상태 p_0와 행동 청크도 보조로 디코딩하며, 비디오 스트림과 행동 스트림은 서로를 보지 않고 잠재 행동 쿼리만 참조한다. 학습은 비디오와 행동에 대한 flow matching 손실 L_video + λL_action으로 하고, 행동 라벨이 없는 영상은 λ=0으로 둔다.

어떻게 쓰나

전이는 동결된 인코더로 원본 영상의 Q_src를 뽑아 재사용한다. 같은 Q_src를 대상 초기 프레임과 결합하면 대상 장면·구현체로 비디오를 생성하고, 대상 로봇 상태와 결합하면 실행 가능한 저수준 행동으로 디코딩한다. 이 인간→로봇 행동 전이는 짝지어진 인간-로봇 학습 데이터 없이 이뤄지며, 시각 관측 없이 열린 루프로 실행되어 잠재 행동과 초기 고유수용감각만으로 움직임을 지정한다.

전제와 한계

정책 학습에서는 Q 토큰 수는 적지만 각 토큰이 백본 전체 폭을 가져 직접 확산하기엔 고차원이므로, 변분 병목으로 Q를 저차원 코드 Z로 압축한다. DreamX 인코더를 동결한 채 특징 재구성과 KL 정규화로 병목을 학습하고, 사후 평균을 결정론적 Z로 쓴다. 정책은 현재 프레임·지시문·상태에서 Z와 저수준 행동 A를 예측하며, 별도 DiT 행동 헤드가 잠재 행동 특징을 조건으로 쓴다. 실행 시 미래 영상을 생성하지 않고, 인간 영상은 잠재 코드 예측을, 로봇 시연은 추가로 저수준 행동 예측을 감독한다.

LARYBench에서 DreamX는 프레임 쌍이나 비디오 클립을 쓰는 잠재 행동 모델들을 모든 벤치마크에서 앞섰다. 가장 강한 베이스라인 DiLA 대비 회귀 MSE를 0.38에서 0.17로 낮추고 분류 정확도를 62.25%에서 69.67%로 올렸으며, 32채널 압축 표현 FAE-32도 모든 베이스라인을 이겼다. 비디오 전이는 같은 로봇의 환경 변화, 다른 로봇 구현체, 인간→로봇, 조작 밖 DAVIS 예시까지 보였고, HumanAndRobot의 제로샷 인간→로봇 전이에서는 AdaWorld와 VideoWorld2를 모든 지표에서 앞섰다. 짝지어진 인간-로봇 데이터는 학습에 쓰지 않았고, AdaWorld는 분포 밖 설정에서 시각 열화를, VideoWorld2는 때때로 인간 손을 도입하는 문제를 보였다.

행동 전이 실험에서 인간 영상의 잠재 행동을 로봇 저수준 행동으로 디코딩하자 로봇이 N자 획 구조를 재현했고, 단팔 밀기에서는 앞으로 간 뒤 왼쪽으로 가는 순서와 방향 전환을 유지했으며, 양팔 밀기에서는 양팔의 대응 움직임이 나타났다. 실제 서랍 닫기 정책 평가에서는 Mimic-Video와 비교해 평균 하위목표 성공률 96.7%를 기록했고, 밀기 완료율은 위 서랍 80%, 아래 서랍 100%, 둘 다 열린 경우 100%였다. 정책 호출당 추론 지연은 1.47초였다. 보조 행동 감독을 넣은 절제 실험에서는 회귀 MSE가 0.24에서 0.23으로 조금 좋아지고 분류 정확도가 65.3%에서 64.8%로 조금 낮아져, 행동 라벨 없이도 비디오만으로 움직임·행동 의미를 상당히 포착한다는 해석을 뒷받침했다.

개발자에게 DreamX는 사람 영상과 로봇 시연을 하나의 잠재 행동 인터페이스로 묶고, 추론 시 미래 영상 생성 없이 압축 잠재 코드를 정책 예측 대상으로 쓰는 설계를 보여준다. 다만 저자들은 윤리·재현성 진술에서 교차 구현체 전이와 로봇 정책이 평가된 설정 밖에서는 실패할 수 있고 배포 전 안전 검증이 필요하다고 밝혔다. 인간 1인칭 영상은 식별 가능한 사람·주변을 포함할 수 있어 재배포 시 원 데이터셋 약관과 프라이버시 요건을 따라야 하고, 비디오 전이 출력은 합성임을 표시해야 한다. 행동 전이는 열린 루프이고 정책 평가도 서랍 닫기 설정에 한정되므로, 폐루프 제어·실시간성·분포 이동을 별도로 확인해야 한다.