AnyGoal은 월드모델의 목표 재조합 일반화 실패를 드러낸다

무엇인가

이 논문은 월드모델이 전문가 궤적에서 본 상태-행동 조합을 넘어 새 목표에 일반화하는지를 다룬다. 월드모델은 행동 조건부 환경 동역학을 학습해 계획과 시뮬레이션에 쓰이지만, 오프라인 데이터가 목표 지향 정책에서 수집되면 상태와 행동 사이에 강한 상관이 생긴다. 그러면 모델은 주어진 행동의 효과 대신 전문가가 그 상태에서 주로 취하던 행동을 예측하는 쪽으로 퇴화할 수 있다. 분포 내 평가는 재사용 가능한 동역학을 입증하지 못하며, 고차원 제어 문제에서는 전체 상태-행동 공간을 덮는 데이터를 모으기도 현실적으로 어렵다. 저자들은 이 문제를 조합적 일반화, 즉 익숙한 상태 요인과 행동 요인을 새로운 조합으로 재결합해도 유효한 동역학을 예측하는 능력으로 정식화한다.

어떻게 동작하나

형식화의 핵심은 관측 s=f(z)와 행동 조건부 전이 T(s'|s,a), 그리고 데이터를 만든 행동 정책 π다. 관측 전이는 T^π(s'|s)=∫T(s'|s,a)π(a|s)da로 표현되는데, 특정 상태에서 행동 지원이 좁으면 학습된 예측기가 T^π(s'|s)에 가까워지며 주어진 행동 a에 대한 의존성을 잃을 수 있다. 훈련 목표와 테스트 목표가 각각 π_tr, π_te를 유도해도 환경 동역학 T는 같다고 둔다. 훈련 상태-행동 지원을 C_tr, 각 요인의 주변 지원을 Z_k^tr, 행동 지원을 A^tr이라 할 때, 조합 공간 C^×는 각 주변 지원의 곱으로 정의된다. AnyGoal은 C^× 안에 있지만 C_tr에는 없는 조합적 간극을 겨냥하며, 테스트 지원 C_te가 C^×에 포함되도록 설계한다. 즉 새로운 물리 요인이나 행동을 도입하지 않고, 관측된 요인들의 새로운 조합만 시험한다. 훈련 지원에서 정확한 예측기는 간극에서 서로 다른 외삽을 할 수 있으므로 훈련 정확도만으로는 일반화를 판별할 수 없다.

무엇과 다른가

벤치마크는 TwoRoom, Push-T, DMC Manipulator Insert-Peg, OGBench Cube의 네 기반 과제로 만든 여덟 변형이다. 기반 과제마다 자유 공간 변형을 하나 두고, TwoRoom을 제외하면 접촉이 많은 변형을 하나 또는 둘 둔다. 변형마다 400개 에피소드를 공개하고 추가 데이터 수집 도구를 제공한다. 각 변형은 범위 검사, 마할라노비스 검사(기준 평균·공분산, 0.99 분위 임계값, 질의 샘플 95% 이상 통과), KDE 검사(기준 밀도 0.01 분위 임계값, 질의 샘플 95% 이상 통과)를 모두 통과해 요인별 주변 지원이 훈련 분포 안에 있음을 확인한다. 조합적 간극의 정도는 행동, 에이전트 상태, 과제 물체 또는 목표 상태를 이어 붙인 벡터에 가우시안 KDE를 적합하고 로그 밀도의 0.01 분위를 임계값으로 삼아, 목표 벡터 중 임계값을 넘는 비율로 측정한다. 이 점수가 낮을수록 기반 과제의 결합 지원과 겹침이 적고 간극을 더 많이 덮는다. 평가는 기반 데이터로만 학습한 뒤 기반 궤적과 목표 이동 궤적에서 상대 변화를 본다. 예측 오차는 각 모델의 고유 예측 공간에서 MSE로 재고, 프레임 스킵 5, 지평선 5와 25 환경 스텝, 시드 0·1·2, 시드별 100개 에피소드로 평가한다. 계획은 Stable-WorldModel의 CEM 기반 MPC를 모든 모델에 같은 설정으로 적용하며, 계획 지평선은 25 환경 스텝이고 25스텝 행동 시퀀스를 모두 실행한 뒤 다시 계획한다. 라이브러리는 데이터 접근, 과제별 수집, 롤아웃 예측과 MPC 계획 평가를 표준화한 파이썬 패키지와 CLI, API를 제공한다.

어떻게 쓰나

모델군은 JEPA 계열과 생성형 계열, 학습된 인코더와 고정 인코더, 여러 행동 조건화 방식을 포함한다. LeWM은 픽셀에서 시각 인코더와 행동 조건부 트랜스포머 예측기를 함께 학습하는 JEPA이고, SMWM은 같은 인코더-예측기 계열에 역동역학 목적을 더한다. DINO-WM은 고정 DINOv2 패치 인코더를 쓰고 미래 패치 표현을 예측하며, DriftWorld는 행동 조건부 시공간 U-Net으로 미래 관측을 직접 생성하고, IRASim은 고정 VAE와 Diffusion Transformer로 미래 잠재를 예측한다. 시각 표현 실패와 동역학 실패를 분리하려고 정답 상태를 입력으로 쓰는 AdaLN 예측기, 행동 연결 예측기, Toy-DriftWorld도 비교한다. 정답 상태를 줘도 결과는 균일하지 않았다. TR-Route, Avoid-T, Avoid-Peg, Cube-Hop 같은 자유 공간 변형에서는 MPC 성능이 기반 과제와 비슷하거나 오히려 좋아졌지만, 접촉이 많은 변형은 같은 특권 상태 입력에도 일관되게 나빠졌다. 롤아웃 예측에서도 접촉이 많은 변형은 정답 상태를 써도 오차가 종종 1~3 오더, 대략 10배에서 1000배 수준으로 커졌고, 자유 공간 변형은 악화가 훨씬 작거나 기반 과제와 비슷했다. 저자들은 이를 단순히 관련 상태 요인에 접근하지 못해서가 아니라, 목표 이동이 정밀한 물체 상호작용을 요구하는지의 문제로 해석한다. 자유 공간에서는 롤아웃 오차와 계획 성능이 갈라지기도 하는데, MPC는 정확한 중간 경로보다 목표에 도달하는 어떤 행동 시퀀스를 찾으면 되기 때문이다. 접촉이 많은 과제는 성공 가능한 시퀀스가 적어 두 지표가 더 가깝게 움직인다. 제공된 본문에는 모델별 전체 성능 표의 구체적 수치가 실려 있지 않고, 전체 수치는 부록 I.1에 정리되어 있다고 밝힌다.

전제와 한계

표현 학습의 효과도 별도로 나타난다. 종단간 월드모델은 정답 상태 예측기가 안정적인 경우에도 두 지표 모두 나빠질 수 있다. AnyGoal은 물리 요인 수준에서 일반화를 통제하지만, 종단간 모델은 렌더링된 관측 s=f(z)를 받는다. 주변적으로 익숙한 요인을 재결합해도 전문가 롤아웃의 결합 시각 지원 밖에 있는 관측이 만들어질 수 있어, 동역학 예측 이전에 인코더 추론 문제가 추가된다. 훈련 관측에서 요인을 잘 추론하더라도 새로운 재조합 관측을 뒤집어 해석하는 능력이 조합적 일관성 제약 없이 보장되지는 않는다. TwoRoom과 TR-Route는 이를 통제해 보여주는 사례다. 에이전트 위치만 변하고 TR-Route 위치가 TwoRoom 훈련 지원 안에 있어 관측도 시각적으로 지원 안에 있는데, 종단간 모델은 나빠지고 정답 상태 예측기는 안정적이었다. 이는 학습된 잠재 공간이 에이전트 위치를 정확히 보존하지 못하거나, 불필요한 차원과 잡음을 넣거나, 예측과 계획에 불리한 기하 구조를 만들 수 있음을 뜻한다.

저자들은 행동 정책 지름길도 진단한다. 상태를 고정하고 행동 입력만 고정된 개입 행동 집합 A_cf의 행동으로 바꾼 뒤 표현 변화의 평균 크기 Sθ(s)=1/|A_cf| Σ_{a'∈A_cf} ||φθ(s,a)-φθ(s,a')||₂를 측정한다. 점수가 작으면 주어진 행동 변화에 덜 민감하다는 뜻이다. TwoRoom에서는 좁은 통로 쪽으로 가는 전문가 행동, Push-T에서는 블록에 먼저 접근하는 행동, Insert-Peg에서는 집은 페그를 목표로 운반하는 행동, Cube에서는 낮은 말단 높이에서 수직 행동이 두드러진다. 이렇게 훈련 행동이 목표에 강하게 제약된 상태 영역에서 개입 행동에 대한 민감도가 줄어드는 패턴이 관찰됐고, 저자들은 이를 앞서 말한 행동 정책 퇴화와 일관된다고 본다.

이론적으로 저자들은 두 과제를 남긴다. 훈련 궤적을 맞추는 것만으로 재사용 가능한 행동 조건부 메커니즘을 식별했다고 보장할 수 없고, 새로운 상태-행동 조합에서의 외삽은 추가 구조 가정 없이는 결정되지 않는다. 설명을 위해 상호작용 영역 r_t에 따라 z_{t+1}=T_{r_t}(z_t,a_t)로 변하는 동역학을 든다. 한 영역 안에서 각 다음 상태 요인이 전체 상태-행동의 작은 부분집합 u_k에만 의존해 ||∇_x T_{k,r_t}(x)||_0가 전체 차원보다 훨씬 작다면, 전체 조합 C_te가 C_tr에 없더라도 각 메커니즘의 입력 지원 U_k^te가 U_k^tr 안에 있기만 하면 개별 메커니즘을 외삽하지 않고 새로운 조합으로 일반화할 수 있다는 것이다. 부록 J의 명제 1이 이를 형식화한다. 따라서 모든 상태-행동 조합을 전역적으로 덮는 것은 현실적이지도 필요하지도 않고, 국소 메커니즘 입력의 커버리지와 행동 정책 지름길 대신 행동 조건부 메커니즘을 식별하는 목적·구조가 필요하다는 결론이다.

실무에서 이 논문은 오프라인 전문가 데이터로 월드모델을 학습한 뒤 분포 내 롤아웃 손실만 보고 배포하지 말라는 경고로 읽힌다. 새 목표가 상태-행동 결합을 바꾸는지 확인하고, 접촉이 많은 과제에서는 정답 상태를 넣은 오라클 실험으로 표현 문제와 동역학 문제를 분리하며, 행동 민감도와 잠재 기하 구조를 점검해야 한다. AnyGoal 라이브러리는 같은 기반 모델을 원래 과제와 목표 이동 과제에서 비교하는 표준 인터페이스를 제공한다. 한계도 분명하다. 이 벤치마크는 관측된 요인과 행동의 새로운 조합만 시험하고 새로운 물리 요인이나 행동으로의 외삽은 다루지 않는다. 물리 요인 수준의 통제가 렌더링 관측 수준의 이동을 완전히 없애지 못하며, 접촉이 많은 동역학은 요인별 재사용만으로 설명하기 어렵다. 저자들이 제시한 영역별 희소 의존성 이론은 유리한 조건을 보여주는 예시이지 일반적인 해법이 아니다. 또한 제공된 본문에는 모델별 개선폭을 담은 전체 수치 표가 없어 구체적 성능 수치를 인용할 수 없다.