로봇 월드모델이 테스트 시점에 환경 잠재변수를 직접 최적화한다

무엇인가

로봇이 행동의 결과를 예측하려면 보이는 것만으로는 부족하다. 같은 장면 구성이라도 표면 마찰, 질량 분포, 사람이 정한 상호작용 규칙 같은 숨은 환경 요인이 같은 행동의 결과를 완전히 바꿔놓는다. 이런 요인은 관측되지 않고 명시되지도 않으며, 상호작용을 통해 결과로만 드러난다. 기존처럼 마찰·질량 같은 요인을 미리 지정하고 정답 값을 주는 방식(RMA 계열은 5개 요인으로 제한하고 정답 파라미터로 임베딩을 학습)은 알려지지 않았거나 복합적으로 얽힌 환경 변화로 확장하기 어렵다. 이 논문은 그 자리를 학습 가능한 환경 잠재변수 하나로 대체한다.

어떻게 동작하나

T2-Z는 행동 조건부 월드모델에 환경 잠재 z_e를 붙여 p_θ(y | x, a, z_e)를 예측한다. z_e는 32차원이고 각 차원을 균등분포 U(0,1)에서 뽑아 무작위 초기화하며, 어떤 환경 요인을 담아야 하는지에 대한 감독은 전혀 받지 않는다. 학습은 같은 flow-matching 손실(예측 속도와 목표 속도의 L2 차이) 아래 두 단계를 번갈아 수행한다. 1단계에서는 모든 z_e를 고정하고 월드모델 파라미터만 낮은 학습률 10^-5로 학습해 환경에 공통된 행동 조건부 동역학을 익힌다. 2단계에서는 월드모델을 얼리고 z_e만 빠른 학습률 0.03으로 최적화한다. 예측 오차를 줄이는 유일한 방법이 z_e를 바꾸는 것이므로, 결과가 체계적으로 다른 환경은 잠재공간의 다른 영역으로 밀려난다. 학습은 월드모델 300회 업데이트로 시작해 잠재 200회, 이후 200 대 200을 번갈아 진행한다.

무엇과 다른가

테스트 시점에는 월드모델을 완전히 고정하고 새로 초기화한 z_test만 최적화한다. 대상 환경에서 무작위로 뽑은 행동으로 한 개 이상의 상호작용 궤적을 수집하고, 학습 때와 같은 flow-matching 목적함수로 40스텝 동안 경사하강한다. 학습률은 3.0, 1.5, 0.5, 0.15를 각 10스텝씩 적용하는 거친 단계에서 정밀한 단계로 가는 스케줄을 쓴다. 최적화된 z_test는 관측하지 않은 행동의 결과를 예측할 때도 재사용되어, 얼어붙은 월드모델을 환경에 적응한 테스트 시점 시뮬레이터로 바꾼다. 히스토리 인코더로 추론을 상각하지 않고 직접 최적화하기 때문에, 학습 때와 다른 개수의 테스트 궤적을 그대로 넣을 수 있고 학습 분포 밖의 요인 값에도 제약이 없다.

어떻게 쓰나

실험은 시뮬레이션 7개 설정과 실제 로봇 4개 과제에서 이뤄졌다. 시뮬레이션은 마찰, 중력, 질량 충돌, 전등 스위치(사람이 정한 숨은 규칙), 질량 균형, 질량×마찰 복합, 30종 시각 배경을 다루고, 실제 로봇은 문 닫기(스프링 잠금 강성), 공 마찰, 막대 균형, 부드러운 물체 당기기를 다룬다. 월드모델 백본은 Wan2.2-TI2V-5B 기반 BWM을 쓴다. 베이스라인은 환경 잠재도 테스트 적응도 없는 Standard World Model, 테스트 상호작용으로 어텐션 LoRA를 적응하는 LoRA TTA, 궤적에서 32차원 환경 컨텍스트를 상각하는 DINOv2 Context, 월드모델 내부의 fast weight를 적응하는 TTT-KQV이며, 적응형 베이스라인은 모두 T2-Z와 같은 테스트 궤적을 받는다.

전제와 한계

성능 향상은 크다. 초록 기준으로 객체 예측 오차 지표가 15.20에서 7.00으로 줄고 행동 성공률이 33.73%에서 72.96%로 올랐다. 시뮬레이션에서는 물리 예측 오차가 12.86에서 4.80으로, 실제 환경에서는 추적 상태 오차가 19.30픽셀에서 10.85픽셀로 줄었고 행동 성공률은 각각 37.9%에서 74.2%, 26.5%에서 70.8%가 됐다. 단일 요인 5개 과제 평균 성공률은 36.9%에서 76.6%, LPIPS는 0.0469에서 0.0325로 개선됐고, 마찰 평균 오차 11.06에서 3.85픽셀, 질량 충돌 21.93에서 6.45픽셀, 질량 균형 1.18도에서 0.64도를 기록했다. 질량과 마찰이 동시에 변하는 복합 설정에서도 성공률이 35.0%에서 69.7%로 올랐다. 실제 로봇에서는 평균 및 최종 물리 오차가 19.30과 38.24픽셀에서 10.85와 16.66픽셀로, LPIPS가 0.05194에서 0.04341로, 성공률이 26.47%에서 70.80%로 개선됐고 막대 균형 과제는 20.00%에서 83.33%가 됐다.

저자들은 잠재가 실제로 환경 요인을 담는지도 확인한다. 학습된 z_e에 PCA를 적용해 2차원으로 줄여 보면, 마찰 하나만 변하는 실험에서는 마찰 값에 대응하는 1차원 구조가 나타나고, 질량과 마찰이 함께 변하는 실험에서는 모델이 요인이 두 개라는 사실을 통보받지 않았는데도 2차원 구조가 자연스럽게 형성된다. 30종 배경 설정에서는 서로 다른 배경의 잠재가 외형별로 갈라지지 않고 하나의 일관된 구조로 정렬돼, 잠재가 장면 외형이 아니라 환경 동역학을 담는다는 주장을 뒷받침한다. 절제 실험에서는 제안한 거친-정밀 학습률 스케줄이 가장 좋았고, 테스트 최적화는 40스텝까지 성능이 오르다 포화되며, 궤적 수를 늘려도 이득이 제한적이었다. 실제로 7개 과제는 테스트 궤적 1개, 4개 과제는 2개만 사용한다.

실무적으로 이 논문이 던지는 메시지는 환경 파라미터를 손으로 정의하지 말고, 배포 후 관측된 소수의 상호작용으로 보정하라는 것이다. 로봇 파운데이션 모델이나 시뮬레이터를 다루는 팀이라면 마찰·질량·규칙 같은 값을 명시적 상태로 모델링하는 대신 32차원 잠재 하나를 테스트 시점에 경사하강으로 맞추는 선택지를 검토할 수 있다. 도입 전에 확인할 것은 세 가지다. 첫째, 테스트 시점 최적화가 40스텝의 역전파를 요구하므로 실시간 제어 루프에 넣을 때 지연과 계산 비용이 감당 가능한지다. 원문은 계산 효율 비교를 부록 E.4로 미루고 본문에 수치를 제시하지 않는다. 둘째, 잠재 최적화에 쓸 상호작용 궤적을 어떤 행동으로 수집할지다. 셋째, 백본이 5B급 비디오 생성 월드모델이라는 점에서 실제 로봇 온보드 배포 가능성이다.

논문에는 명시적인 한계 절이 원문에 없다. 다만 본문이 전제로 깔고 있는 조건은 분명하다. 테스트 시점에 대상 환경에서 최소 한 개 이상의 상호작용 궤적을 먼저 수집해야 하고, 월드모델은 학습된 백본에 고정되므로 잠재가 표현할 수 있는 범위도 그 월드모델의 예측 능력에 묶인다. 잠재 차원은 32로 고정되어 있고, 평가는 시뮬레이션 7개 설정과 실제 4개 과제에 한정된다. 학습 시 요인 값 범위를 넘어서는 외분포 구성에서의 유연성은 서술로만 언급될 뿐 정량 결과가 제시되지 않으며, 환경별로 잠재를 따로 최적화해야 하므로 환경 수가 늘어날 때의 확장성도 다뤄지지 않는다.