ThinkWorld는 상상한 미래로 로봇 행동 추론을 강화한다

무엇인가

VLA(Vision-Language-Action) 모델은 조작 과제에서 빠르게 발전했지만, 성능과 행동 커버리지가 여전히 행동 라벨이 붙은 로봇 시연 궤적에 묶여 있다. 로봇 데이터 수집에는 물리 플랫폼과 임베디먼트별 인터페이스, 상당한 인력이 든다. 반대로 인간 영상은 장면·물체·기술의 다양성이 훨씬 크지만 실행 가능한 로봇 행동을 직접 주지 않는다. 기존 접근은 두 갈래였다. 잠재 행동 모델은 프레임 전이에서 행동 유사 변수를 추론해 확장성은 좋지만 외형 변화나 카메라 움직임을 잡아낼 수 있고, 완전 지도 방식은 손 자세·물체 상호작용·리타게팅 궤적으로 명시적 물리 근거를 주는 대신 정확한 자세 추정과 인간-로봇 대응에 의존한다. 이 논문은 그 사이의 절충 대신, 모든 영상이 담고 있는 '행동 뒤에 실제로 일어난 변화'를 감독 신호로 쓰는 쪽을 택한다.

어떻게 동작하나

핵심 표현은 Chain-of-Dynamics(CoD)다. 로봇 궤적과 주석이 달린 인간 손목 궤적을 모두 정규화된 델타 엔드이펙터 표현으로 바꾼 뒤 FAST 스타일 모션 토크나이저로 토큰화해, 인간과 로봇이 공유하는 이산 모션 어휘를 만든다. VLM(Qwen3-VL-2B)은 지시문·시각 히스토리·현재 관측을 조건으로 이 CoD를 자기회귀적으로 생성한다. 여기에 '세계 상상'이 붙는다. CoD 뒤에 학습 가능한 미래 쿼리를 덧붙이면 VLM이 이를 문맥화하고, 경량 디코더가 물리적 지평 Δ=1초 뒤의 미래 표현을 예측한다. 픽셀이 아니라 동결된 DINOv3 특징 공간에서 예측하며, 목표값은 관측된 미래 프레임을 인코딩해 만든다(이 프레임은 목표 생성에만 쓰이고 VLM 입력으로는 주지 않는다). 1단계 SFT 목표는 CoD의 교차엔트로피 손실과 예측 미래-관측 미래 사이 특징 거리(코사인 + SmoothL1)의 가중합이다.

무엇과 다른가

2단계가 이 논문의 승부처다. 같은 문맥에서 CoD 후보 K=4개를 샘플링하고, 각 후보가 상상한 미래와 실제 관측된 미래의 유사도를 보상으로 준다. 유사도는 전체 패치 평균과, 현재→미래 변화가 큰 패치에 가중치를 더 준 모션 강조 평균을 절반씩 섞는다(가중치는 중앙값 이하 0.2에서 90퍼센타일 1까지 선형 증가). 즉 배경이 보상을 지배하지 못하게 하면서 행동이 실제로 바꾼 영역을 더 쳐준다. 이 보상은 관측된 전이만 있으면 되므로 행동 라벨도, 후보 동작의 실제 실행도 필요 없다. VLM은 GRPO로 갱신하되(토큰 중요도 비율 [0.8, 1.28] 클리핑, KL 계수 0.04, λ_GRPO=0.999, λ_replay=0.001), SFT에서 익힌 모션 근거를 잃지 않도록 정규 CoD에 대한 교사강제 리플레이 항을 함께 최소화한다. RL 단계에서 action expert와 미래 프로젝터는 동결된다. 중요한 설계는 배포 시점이다. 추론에서는 CoD 생성도 미래 예측도 하지 않는다. 추론 과정은 VLM의 표현을 행동 중심으로 재편하는 학습 신호로만 쓰이고 버려진다.

어떻게 쓰나

학습 데이터는 인간 1인칭 영상(EgoDex, EgoVerse)과 로봇 시연(MolmoAct2-DROID/BimanualYAM, Bridge/RT-1, BC-Z, RoboCOIN)을 섞었고, SFT에는 시각-언어 능력 보존용 VQA 보조 데이터를 더했다. SFT는 H100 128장, RL은 64장을 쓴다. 시뮬레이션에서는 LIBERO 평균 97.3%, LIBERO-PRO 55.6%로 두 벤치마크 모두 최고 성능을 냈고, 특히 과제·환경 변화 조건에서 31.9%와 60.9%를 기록해 VLA-JEPA를 각각 11.1%p, 19.9%p 앞섰다. LIBERO 표준 학습셋으로만 후학습해 LIBERO-Plus를 제로샷 평가한 결과는 평균 71.7%로 DreamVLA보다 1.8%p 높았고, 로봇 초기 상태 변화에서 70.5% 대 차선 40.8%, 물체 배치 변화에서 79.6% 대 74.2%였다. 실제 양팔 YAM 로봇에서는 컵 걸기·색 맞추기·물체 분류 세 과제에서 ID 60회 전부, OOD 60회 중 52회 성공으로 매크로 94.4%, 마이크로 93.3%를 기록했고, 최강 베이스라인인 MolmoAct2는 62.2%/60.0%에 그쳤다.

전제와 한계

인간 영상이 실제로 기여하는지는 통제 실험으로 확인했다. 로봇 데이터 양을 고정하고 인간 영상 비율을 10%·25%·50%로 늘리자 LIBERO-PRO 성공률이 로봇 단독 45.4%에서 50% 혼합 47.8%까지 단조 증가했고, 학습 규모를 맞춘 로봇 단독 대조군보다 약 1.2%p 높았다. 즉 단순히 데이터가 늘어난 효과 이상이라는 주장이다. CoD의 역할도 분리해 보였다. CoD를 조건으로 한 미래 예측은 전체 패치 코사인 유사도 0.74로 섞은 CoD·빈 CoD·무 CoD(0.71~0.72)를 앞섰고, 변화가 큰 상위 25% 패치에서는 0.62 대 0.54~0.55로 격차가 벌어졌다. 어텐션 시각화에서도 CoD는 정적 배경이 아니라 손·로봇 팔·조작 대상에 집중했다. t-SNE에서 CoD 특징은 데이터셋(인간/로봇)이 아니라 모션 방향을 기준으로 군집을 이루는데, 이는 임베디먼트 정체성보다 행동 구조를 담는다는 근거로 제시된다.

실무 관점에서 이 논문의 값어치는 두 가지다. 첫째, 행동 라벨이 없는 영상도 '관측된 상태 전이'라는 값싼 감독으로 VLA의 추론 표현을 개선하는 데 쓸 수 있다는 파이프라인을 제시한다. 로봇 시연을 늘리기 어려운 팀이 인간 1인칭 영상을 섞는 구체적 방법론이 된다. 둘째, 추론 시 추가 연산이 없다. 추론 시점 비용을 늘리지 않고 학습 시점 추론으로 성능을 얻는 분리 구조는 지연에 민감한 온디바이스 정책에 매력적이다. 다만 재현 시 확인할 것도 분명하다. 미래 예측 목표는 DINOv3 특징에, 모션 토큰화는 FAST 스타일 토크나이저와 델타 엔드이펙터 정규화에 의존하므로 이 두 표현 선택이 성능의 상당 부분을 좌우한다. 보상 가중치(0.2→1 선형, 90퍼센타일 클리핑)와 GRPO 하이퍼파라미터도 과제에 민감할 수 있다. 또한 인간 영상에서 얻는 것은 조합적 기술 순서에 대한 지식이며, 원자 기술 자체는 여전히 로봇 시연으로 감독된다는 전제가 있다(오븐 과제에서 OPEN/PUT-L/PUT-R/CLOSE는 로봇 데이터, 전체 순서는 인간 영상).

저자들이 명시한 한계는 다음과 같다. 훈련 결과가 단일 시드에서 나왔기 때문에 보고된 에피소드 수준 신뢰구간은 독립적으로 학습된 체크포인트 간 변동이 아니라 평가 변동성을 나타낸다. 실제 로봇 실험은 물리적 시행 횟수와 과제 수준 결과만 보고해 평가 범위를 명시하는 데 그친다. 추론 지연은 하드웨어와 입력 구성에 따라 달라지므로 제시된 배포 설정 기준으로만 해석해야 한다.