월드모델이 테스트 장면의 숨은 물리를 상호작용 한 번으로 보정한다

무엇인가

이 논문은 행동 조건 월드모델이 현재 프레임이나 짧은 과거 관측만으로는 장면의 숨은 물리 특성을 알 수 없어 새 테스트 장면에서 예측이 훈련 분포의 경험적 사전으로 회귀하고 심하게 드리프트하는 문제를 다룬다. 질량 분포, 관절 감쇠, 표면 마찰처럼 외형과 거의 무관한 물리량이 전이 동역학을 결정하는데, 불투명한 병이 물이 들었는지 아닌지 겉으로 같아도 같은 동작에 다르게 반응하는 예가 제시된다. 기존 시스템 식별은 닫힌 형태 방정식과 사전 정의된 물리 파라미터 피팅에 의존하고, 월드모델을 배포 환경마다 소규모 사내 데이터로 파인튜닝하는 것도 비용이 크다. 저자들은 테스트 장면에서 수집한 탐색적 상호작용 클립을 문맥으로 넣어 물리를 보정하는 PhysiCalWorld를 제안한다.

어떻게 동작하나

방법의 기본은 잠재 월드모델이다. RGB 프레임은 시각 인코더로 잠재 토큰이 되고, 행동은 MLP로 행동 임베딩이 되며, 인과 트랜스포머인 잠재 동역학 예측기가 K스텝의 관측-행동 이력으로 다음 잠재 토큰을 예측한다. 픽셀 롤아웃을 위해 경량 컨볼루션 디코더를 두고, 시각적 계획은 잠재 공간에서 직접 수행할 수 있다. 핵심은 테스트 장면의 상호작용 클립 C를 경량 문맥 인코더 g_phi가 하나의 물리 디스크립터 토큰 z_phy로 압축하는 것이다. 내부적으로는 프레임별 시각 특징과 행동 임베딩을 채널 방향으로 이어 붙인 전이 토큰을 만들고, 트랜스포머 융합기와 학습 가능한 쿼리 토큰 z_cls를 통해 클립 전체를 풀링해 z_phy를 얻는다. 예측기는 기존 관측-행동 이력과 함께 z_phy를 조건으로 다음 잠재를 예측한다. 단일 토큰만 추가하므로 긴 이력이나 원시 문맥 프레임을 매 스텝 넣는 것보다 계산 비용이 거의 일정하고, 테스트 시 한 번 추출해 캐시하면 장면 동역학이 변하지 않는 한 여러 롤아웃과 계획 후보에 재사용할 수 있다.

무엇과 다른가

훈련은 물리 레이블 없이 잠재 예측 손실만으로 끝난다. 데이터셋을 같은 물리 설정을 공유하는 그룹 G_j로 나누고, 어떤 전이와 같은 그룹에서 뽑은 또 다른 상호작용 클립을 문맥으로 사용한다. 두 시퀀스가 같은 전이 동역학을 공유하므로 문맥 인코더는 장면의 물리적 특성을 z_phy에 증류하도록 학습된다. 손실은 예측기가 z_t, 행동 임베딩, z_phy로 예측한 다음 잠재와 실제 다음 잠재의 제곱 오차다. 분석용 수식에서는 입력 윈도 크기 K를 1로 두지만, 핵심은 물리 파라미터나 시뮬레이터 없이 영상 예측 목적만으로 문맥 인코더와 동역학 예측기를 종단간 최적화한다는 점이다. 추론 시에는 테스트 장면에서 무작위 또는 과업 비의존적 장난형 정책으로 탐색 상호작용 클립을 모으고, 이 클립을 한 번 인코딩해 z_phy를 얻은 뒤 파인튜닝 없이 롤아웃과 시각적 계획에 사용한다. 이때 상호작용은 물리적 접촉이나 움직임을 만들어야 숨은 동역학을 드러낼 수 있다.

어떻게 쓰나

실험은 Push-T의 질량 중심 변화, Reacher의 관절 감쇠 변화, BeerPong의 충돌 에너지 소산 변화, FetchSlide의 퍽 질량·테이블 마찰·공기 저항 동시 변화라는 네 환경에서 이뤄졌다. 훈련에는 M=135개 설정을 쓰고, 15개 미학습 설정에서 설정당 5개 검증 에피소드로 총 75개 에피소드를 평가한다. 각 환경에서 75개 계획 과업도 평가하며, 시작 이미지와 목표 이미지가 주어지고 계획된 행동을 실행했을 때 대상 물체가 임계값 안에서 목표에 도달하는지로 성공률을 잰다. 개루프 롤아웃은 초기 프레임에서 시작해 모델 자신의 예측을 다시 입력으로 넣어 에피소드 전체를 자기회귀적으로 예측하며, PSNR, SSIM, LPIPS, IoU 네 가지 시각 지표를 보고한다. 백본은 DINO-WM과 LeWM을 쓰고 TS-WM을 비교 베이스라인으로 두며, 긴 이력, 원시 문맥 프리픽스, 물리 레이블로 학습한 물리 추정, 정답 물리 파라미터를 주는 오라클 상한 변형과 비교한다. 제공된 원문 본문에는 표 1·2·3의 개별 수치가 실려 있지 않아, 확인 가능한 설정과 저자들의 정량적 주장만 정리한다.

전제와 한계

결과적으로 Push-T에서는 PhysiCal 변형이 긴 문맥 변형들보다 개루프 롤아웃에서 크게 낫고, 물리 레이블 없이도 정답 물리 추정 베이스라인을 모든 개루프 시각 지표에서 앞선다. 정답 물리 파라미터를 받는 오라클과도 경쟁적이며 Push-T에서는 오라클을 능가하기도 한다. Reacher에서는 두 백본 모두 개선되고, 정답 관절 감쇠로 학습한 물리 추정 베이스라인에만 뒤지며, 원시 문맥 프리픽스와 비슷한 계획 성공률을 내면서도 시각 예측 지표는 더 좋고 계산 효율도 높다. BeerPong에서는 미보정 베이스라인보다 시각 예측 정확도가 좋고 원시 문맥 프리픽스보다 시각 지표는 앞서지만 계획 성공률은 약간 낮다. 저자들은 공이 테이블에 닿을 때만 물리 단서가 드러나는 시간적 희소성 때문에 전체 원시 문맥 프레임에 대한 자기주의가 충돌 동역학 파악에 유리할 수 있다고 해석한다. FetchSlide처럼 세 물리량이 결합된 경우에도 두 백본에서 유의미한 개선을 보이며, 정답 세 물리값으로 학습한 물리 추정 베이스라인에만 뒤진다. 분포 밖 일반화 실험에서는 Reacher의 첫 관절 감쇠를 훈련 범위 밖으로 옮겼을 때 정답 물리 오라클은 훈련 구간을 벗어나면 성능이 급격히 나빠지고 롤아웃 PSNR이 떨어져 흐릿한 예측을 내지만, PhysiCalWorld는 더 견고하게 외삽한다. 또한 Push-T에서 8개 미학습 질량 중심 위치마다 10개 상호작용 클립을 모아 z_phy를 비교했을 때, 인접 질량 중심의 디스크립터는 강한 양의 코사인 유사도를, 멀리 떨어진 질량 중심은 음의 유사도를 보여 물리적으로 구조화된 잠재 공간이 학습됐음을 보인다.

개발자 관점에서 이 방법은 새 로봇 장면이나 새 물리 설정에 월드모델을 배포할 때, 물리 파라미터를 계측하거나 모델 가중치를 재학습하지 않고도 짧은 탐색 상호작용만으로 예측을 보정하는 패턴을 제시한다. 특히 문맥을 매 롤아웃 스텝마다 길게 넣지 않고 한 번 인코딩한 단일 토큰을 재사용하므로, 계획 후보가 많거나 롤아웃 지평이 길어도 인코딩 비용이 늘지 않는 점이 실무적이다. 다만 탐색 상호작용이 접촉과 움직임을 포함해야 하고, 장면의 물리가 에피소드 중 변하지 않는다는 전제가 있을 때 재사용이 성립한다. 자체 환경에 적용할 때는 프롬프트 품질, 훈련 분포 밖 물리 범위, 장면 동역학 변화 여부를 먼저 확인해야 한다.

저자들이 밝힌 한계는 분명하다. 훈련에 물리 설정별로 궤적을 그룹화해야 하는데, 환경 정체성으로 데이터를 나누는 것이 해석적 방정식을 세우는 것보다 덜 어렵더라도 야생 영상에서 그룹화된 데이터를 큐레이션하는 일은 쉽지 않다. 이를 완화하기 위해 잠재 전이 동역학을 자동으로 클러스터링하는 자기지도 표현 학습을 향후 방향으로 제안한다. 또한 테스트 시 보정은 주어진 상호작용 프롬프트의 품질에 의존하며, 단순한 장난형 정책이나 무작위 정책으로도 종종 충분하지만 더 유용한 프롬프트를 모으는 능동적·호기심 기반 탐색은 향후 과제다. 마지막으로 이 프레임워크는 에피소드 내에서 물리가 정상적이라고 가정하므로, 바람장처럼 비정상적인 환경으로 확장하려면 반응형 프롬프팅이나 온라인 디스크립터 업데이트 같은 추가 기법이 필요하다.