보상이 높아도 월드모델은 환경 동역학을 배우지 못한다

무엇인가

월드모델은 에이전트가 긴 시간·공간 지평에서 추론하게 만드는 핵심 부품으로 제안되지만, 현재의 평가는 사실상 과제 보상(task reward) 하나에 기대고 있다. 보상은 에이전트가 성공했는지는 알려주지만, 학습된 잠재 동역학이 환경의 실제 상태 전이를 담고 있는지는 알려주지 않는다. 이 논문은 그 간극을 정면으로 다룬다. 환경을 부분 관측 조절 동역학계로 두고 상태 전이 s_{t+1}=f(s_t,a_t)와 관측 x_t=g(s_t)로 형식화한 뒤(여기서 g는 비선형 혼합 함수), 학습된 월드모델이 언제 환경의 좋은 모델인지 정의부터 세운다.

어떻게 동작하나

저자들이 제안하는 것은 충실한 잠재 월드모델(faithful latent world model)이라는 정의다. 인코더 h와 잠재 동역학 f̂로 이루어진 월드모델이 충실하려면 두 조건이 필요하다. 첫째, 상태를 잠재로 보내는 사상 r=h∘g에 대해 f̂(r(s),a)=r(f(s,a))가 모든 상태·행동에서 성립해야 한다(동역학 등변성). 실제 전이 후 인코딩한 결과와 잠재 공간에서 예측한 결과가 같아야 한다는 뜻이다. 둘째, r이 단사여야 한다(상태 충분성). 정보를 버리는 추상화를 허용하는 MDP 동형 사상이나 인과 추상화와 달리, 과제와 무관하게 전체 상태 보존을 요구한다. 이 등변성은 실제 상태 없이 관측된 전이만으로 학습 신호를 만들 수 있는데, 다음 관측의 인코딩을 목표로 예측 잠재를 맞추는 방식이며 기존 기법의 재구성 손실·대조 학습·정규화·보상 및 가치 예측은 붕괴 방지 항으로 덧붙는다. 측정은 두 축으로 나뉜다. 등변성 위반은 잠재 롤아웃 일관성(LRC)으로 잰다. 에피소드 시작점에서 자가회귀 롤아웃을 돌려 예측 잠재 ẑ_H와 실제 궤적에서 추론한 잠재 h(x≤H,a<H) 사이의 R²를 지평 H마다 계산하며, 충실한 모델이라면 모든 지평에서 100%여야 한다. 다만 LRC가 높다고 충분하지는 않다. 표현이 붕괴하면 예측하기 쉬운 잠재가 생기기 때문이다. 그래서 상태 충분성은 얼린 월드모델의 잠재에서 각 상태 좌표를 맞히는 사후 프로브(2은닉층 MLP, 폭 128·64, 에피소드 단위 80/20 분할)로 따로 확인하고, 물리 단위 MAE를 섞은 타깃 대조군 MAE 대비 백분율로 보고한다.

무엇과 다른가

실험은 두 축(재구성 기반 여부, 보상 기반 여부)을 가로지르는 세 패밀리를 쓴다. DreamerV3는 재구성 기반·보상 기반, TD-MPC2는 재구성 없이 보상으로, LeWM은 재구성도 보상도 없이 자기지도 잠재 예측으로 학습한 뒤 MPC를 붙이는 JEPA 계열이다. 환경은 DeepMind Control Suite의 Pendulum(d_s=3), CartPole(d_s=5), Reacher(d_s=6)로, 일부러 단순한 최소 테스트 케이스다. 각 모델을 원시 상태 벡터와 렌더링 픽셀(TD-MPC2·DreamerV3 64×64, LeWM 224×224) 두 모달리티로 학습하고 모델·모달리티·환경 조합마다 시드 4개를 돌린다. 평가는 무작위 Ornstein–Uhlenbeck 정책으로 모은 1,000개·100스텝 에피소드로 하고, 상태 공간 상한선으로 2은닉층 MLP 전이 예측기와 지속(persistence) 베이스라인을 둔다. LeWM은 원 구현이 상태 입력을 지원하지 않아 상태 기반 변형을 따로 구현했다.

어떻게 쓰나

가장 눈에 띄는 결과는 보상과 LRC의 분리다. 과제로 학습된 TD-MPC2와 DreamerV3는 LRC가 매우 낮아도 컨트롤러가 과제를 풀어낸다. 몇 스텝 앞의 잠재 롤아웃조차 부정확한데도 그렇다. 저자들은 원인 후보로 과제 특화 지름길을 허용하는 목적 함수, 또는 정책·가치 네트워크에 예측 정보가 암묵적으로 인코딩되어 명시적 동역학 모델의 부정확성을 메우는 경로를 든다. 반대로 별도 사전학습 후 MPC를 붙이는 LeWM은 설계상 그 지름길을 쓸 수 없어 보상을 얻으려면 LRC가 충분히 높아야 하는데, 테스트한 환경에서는 롤아웃 품질이 그 문턱에 못 미쳤다. 여기에 통제된 반례가 붙는다. 항등 인코딩에 전이 잡음을 더하면 선형·비선형 프로브 R²는 1에 머물러 실패를 못 보지만 LRC는 보상과 함께 떨어지고, 역인코더를 오염시키면 디코딩과 보상은 높게 유지되는데 LRC만 붕괴한다.

전제와 한계

두 번째 결과는 픽셀 관측이 잠재 예측을 끌어내린다는 것이다. 지평이 길어질수록 두 모달리티 모두 예측이 나빠지지만, 픽셀 기반 롤아웃은 더 빨리 무너져 지속 베이스라인에 가까워진다. CartPole에서 30 제어 스텝(Δt=0.02초 기준 0.6초)만 굴려도 세 패밀리 모두 실제 궤적에서 벗어난다. 원인을 분해하려고 얼린 잠재에서 상태 좌표를 디코딩하면, 위치(선형 위치·각도)는 대부분 조건에서 0~7% 오차로 복원되고 상태 입력과 픽셀의 차이도 작다. 반면 속도(선형·각속도)는 3~22%로 더 나쁘고 상태 모델이 픽셀 모델을 큰 격차로 앞선다. 속도 오차는 균일하지 않아 시스템이 빠르게 진화하는 큰 속도 영역에서 커지며, 픽셀 모델의 중앙값 오차는 모델과 변수에 따라 2~15배 크다.

저자들은 이 격차의 일부가 마르코프성이 결여된 관측 탓이라고 보고 CartPole에서 픽셀 모델에 정답 카트·폴 속도를 주입해 검증한다(평가 중에는 초기화 시점에만 제공하고 이후는 잠재 동역학이 진화시켜야 한다). 부정 통제로 TD-MPC2와 LeWM의 시간 문맥을 3프레임에서 1프레임으로 줄였는데, 이렇게 하면 두 모델의 정규화 속도 오차가 약 130%까지 치솟고 속도를 주입하면 약 1~2%로 떨어진다. TD-MPC2와 LeWM은 LRC가 크게 개선됐지만 DreamerV3는 효과가 없었고, 저자들은 속도가 RSSM의 사후(posterior)에는 들어가고 사전(prior)에는 없어 불일치가 생겼을 가능성을 든다. 보상은 일관되게 오르지 않았다. TD-MPC2는 거의 변화가 없고, LeWM은 LRC가 크게 좋아졌어도 상태 입력 성능에 크게 못 미쳤으며, DreamerV3는 오히려 나빠졌다. CartPole swing-up이 30스텝(0.3초)보다 긴 시간 척도의 협응을 요구하기 때문이다. 남는 격차는 관측의 비선형성에서 온다. 렌더링 대신 0~3층의 가역 혼합 함수를 씌우면 정보량은 같지만 좌표가 반전하기 어려워진다. 층이 늘수록 보상과 LRC가 함께 하락하고 0층·1층에서만 과제가 풀린다. 픽셀 모델은 정규화 위치 디코딩 오차가 1%를 약간 넘으며 과제에 실패하고, 1층 혼합에서는 약 0.5%로 성공, 2층에서는 1.5%를 넘기며 실패한다. 입력에 정보가 전부 있는데도 목적 함수들이 상태를 복원할 표현을 배우지 못한다는 뜻이다.

실무적으로 이 논문은 월드모델 도입 판단을 보상 곡선에 맡기지 말라는 경고다. 모델 기반 RL이나 JEPA류 사전학습 표현을 에이전트에 붙일 때, 학습된 잠재가 행동 조건부로 얼마나 일관되게 롤아웃되는지(LRC), 그리고 잠재에서 물리 상태 특히 속도가 얼마나 복원되는지를 별도로 재야 한다. 픽셀 입력 파이프라인이라면 시간 문맥(프레임 수)을 줄여 속도 추정이 버티는지 확인하는 것이 값싼 스트레스 테스트가 된다. 보상이 높다는 사실이 내부 모델이 맞다는 증거가 아니므로, 롤아웃을 계획에 쓰는 구조일수록 LRC를 배포 전 게이트로 두는 편이 안전하다. 반대로 LeWM처럼 사전학습과 계획이 분리된 구조는 보상이 LRC를 우회하지 못하므로, 보상이 낮을 때 원인 진단에 LRC가 유용하다.

저자들이 밝힌 한계는 분명하다. 실험은 결정론적이고 단순한 연속 제어 환경 세 개에 한정되며, 확률적·부분 관측·이산·고차원 환경으로 결과가 확장되는지는 열려 있다. 비교한 것도 대표적인 월드모델 세 패밀리이지 전체 방법론의 망라가 아니다. 따라서 결과는 성공적인 제어가 환경 동역학의 정확한 모델을 함의한다는 가정에 대한 통제된 반례로 읽어야 하고, 모든 잠재 월드모델이 같은 실패 모드를 보인다는 증거는 아니다. 방법론적으로도 저자들은 식별가능성 표현 학습 이론과 실제 수치 구현 사이의 간극을 메우는 것을 후속 과제로 남긴다.