LaLa-World는 행동을 자연어로 바꿔 잠재 세계 모델을 여러 도메인에서 학습시킨다

무엇인가

JEPA 계열 잠재 세계 모델(LWM)은 픽셀 단위 재구성 없이 시각 표현이 행동에 따라 어떻게 변하는지만 예측해, 후보 행동 시퀀스를 여러 개 굴려보는 상상 기반 계획을 저렴하게 만든다. 문제는 행동 조건 예측기(predictor)가 시뮬레이션·로봇 궤적의 수치 행동 벡터로만 학습돼 왔다는 점이다. 같은 [2,4]라는 벡터가 어떤 도메인에서는 좌우·상하 변위, 다른 도메인에서는 힘을 뜻하므로 차원과 물리적 의미가 도메인마다 어긋나고, 관측의 보고인 이미지·비디오 데이터에는 애초에 행동 주석이 없어 함께 쓰기 어렵다.

어떻게 동작하나

이 논문의 제안은 언어를 공통 인터페이스로 삼는 것이다. 먼저 시뮬레이션·로봇 데이터셋의 수치 행동을 고정 템플릿으로 자연어로 변환한다. "move 2 left and 4 up", "push with force 2 downward"처럼 방향과 크기를 그대로 문장에 담아, 물리적 의미가 다른 7개 제어 데이터셋의 행동을 같은 형식으로 통일한다. 여기에 행동 주석이 없는 전이 데이터를 더한다. OpenVid의 캡션 달린 비디오, OmniEdit·ShareGPT의 이미지 편집 지시문 쌍을 사용해, 프레임 간 변화를 설명하는 캡션이나 편집 지시문 자체를 언어 조건으로 쓴다. 고정 템플릿만 쓰면 언어가 좁은 범위에 갇히는데, 이 데이터가 표현의 폭을 넓혀준다.

무엇과 다른가

구조는 기존 LWM의 인코더-예측기 틀을 따르되 언어 조건에 맞게 손봤다. 관측 인코더는 DINOv2-S/14 또는 DINOv3-L/16을 동결해 사용한다(V-JEPA 2-AC처럼 인코더 붕괴를 막고 사전학습 표현을 보존). 예측기는 별도 텍스트 인코더를 붙이는 대신 사전학습 언어모델 Qwen3.5-0.8B 자체를 백본으로 쓴다. 언어 조건은 토크나이즈되어 토큰 임베딩으로 들어가고, 시각 잠재는 2층 MLP와 시간·2D 공간 위치를 인덱싱한 3D 위치 임베딩을 거쳐 같은 임베딩 공간으로 매핑된다. 다음 잠재 표현은 학습된 query 토큰에서 읽어내며, 목표는 예측 잠재와 실제 다음 잠재 사이의 제곱 오차 최소화다. 고유수용감각(proprioception)은 입력으로도 예측 대상으로도 쓰지 않는다. 도메인마다 정의가 달라 범용 세계 모델에는 맞지 않기 때문이다. 예측 결과를 눈으로 확인하기 위한 12층 transformer 디코더는 L1 재구성 손실과 LPIPS 지각 손실로 따로 학습하며, 세계 모델 학습 자체에는 관여하지 않는다.

어떻게 쓰나

계획 실험은 모델예측제어(MPC)와 교차엔트로피법(CEM)으로 수행했다. 후보 행동 시퀀스를 H스텝 자기회귀 롤아웃한 뒤 최종 예측 잠재와 목표 잠재의 제곱 거리로 비용을 매기고, 비용이 낮은 시퀀스로 샘플링 분포를 갱신한다. 평가 대상은 DINO-WM·JEPA-WMs가 쓴 7개 제어 데이터셋(Wall, PointMaze, Push-T, MetaWorld, Rope, Granular, 실제 로봇 DROID)이고, 학습에서 제외한 RoboCasa로 zero-shot 전이도 본다. 비교군은 DINO-WM을 포함해 IRIS, DreamerV3, TD-MPC2의 세계 모델을 같은 데이터·같은 계획 설정으로 다시 학습한 것이다. 결과적으로 도메인별로 따로 학습하던 기존 LWM을 단일 예측기가 앞선다. 5개 시뮬레이션 과제 평균 성공률 72.1%로 JEPA-WMs보다 7.5%p 높고, Push-T는 68.8%에서 81.2%로 뛰었다. RoboCasa zero-shot은 Reach 40.6%, Place 46.9%다. 이미지·비디오 전이 데이터를 더하면 평균 점수가 59.3에서 61.6으로 오르고, 평가 시 행동 템플릿을 바꿔 말해도(예: "move the gripper" → "shift the robot hand") 제어 궤적만으로 학습했을 때의 6.8점 하락이 사라질 만큼 견고해진다. 수치 없이 "move slightly down" 같은 정성적 표현으로도 계획이 된다.

전제와 한계

생성형 세계 모델과의 비교는 조건을 맞춰 진행했다. 베이스라인은 DINOv3-L/16을 인코더로 쓰는 RAEv2(확산 Transformer, flow matching + REPA)이며, LaLa-World도 같은 인코더를 쓰고 언어 조건·학습 데이터를 동일하게 맞췄다. 양쪽 예측기 규모는 각각 약 0.8B 파라미터로 비슷하다. 8×H100에서 12시간 예산을 걸었을 때 LaLa-World는 2시간 만에 5-step RAEv2의 12시간 성능에 도달했고, 최종 계획 성능은 59.4%로 RAEv2 최고치 48.0%를 넘었다. 계획 시간은 full-depth RAEv2 대비 디노이징 1스텝에서 2.9배, 5스텝에서 13.9배 빠르고, 학습 비용은 6배 적다. 픽셀 디테일 재구성을 목표로 하지 않아도 계획에는 충분하다는 주장의 근거다.

사전학습된 LaLa-World는 정책 초기화로도 쓰인다. 예측기에 학습된 action query를 추가해 관측과 과제 지시문으로부터 action chunk용 특징을 뽑고, Isaac-GR00T의 action head 구조를 따른 확산 Transformer 액션 생성기가 가우시안 노이즈에서 반복 디노이징으로 행동 청크를 만든다. 동시에 미래 잠재 표현도 예측한다. LIBERO와 RoboCasa에서 Cosmos Policy와 경쟁력 있는 성공률을 내면서 궤적당 평균 추론 시간은 최대 5.5배 짧다. 예측기를 LaLa-World로 초기화한 것이 랜덤 초기화나 Qwen3.5 초기화보다 두 벤치마크 모두에서 우수했다는 점도 보고된다.

실무 관점에서 이 논문의 값은 "행동을 언어로 직렬화하면 이기종 제어 데이터와 캡션 달린 비디오를 한 예측기로 섞어 학습할 수 있다"는 레시피를 수치로 뒷받침했다는 데 있다. 다만 적용 전에 확인할 전제가 있다. 고유수용감각을 의도적으로 배제했으므로 도메인 특화 LWM이 누릴 이점을 포기한 셈이고, 평가는 전부 시뮬레이터(LIBERO, RoboCasa)에서 이뤄졌으며, RoboCasa는 학습 제외 도메인에 대한 zero-shot이라는 조건임을 감안해야 한다. 정성적 행동 평가 역시 학습 데이터에서 관찰된 행동 범위를 세 단계(slightly/무수식어/far)로 변환하는 함수에 의존한다.

저자들이 밝힌 한계는 명확하다. 학습 데이터와 모델 크기 확장, 예측 지평(horizon) 연장, 실제 로봇에서의 정책 평가를 향후 과제로 남겼다. 즉 이번 결과는 언어 인터페이스가 잠재 세계 모델의 확장 경로가 될 수 있다는 실험적 증명이며, 실기 배포 성능은 아직 검증되지 않았다.