월드모델의 망각은 결함이 아니다, 불변성 시간척도로 보존과 갱신을 나눈다

무엇인가

이 논문은 지속학습(continual learning)이 오랫동안 당연하게 여겨온 전제 하나를 월드모델에 대고 반박한다. 지속학습은 이전에 본 데이터에 대한 성능이 떨어지면 실패로 간주하는데, 이 관습은 정답 라벨이 영원히 정답인 정상(stationary) 예측 대상에서 물려받은 것이다. 월드모델의 예측 대상은 상태와 행동에서 다음 상태로 가는 분포 p(s_{t+1}|s_t,a_t)이고, 그 대상인 환경은 고정되어 있지 않다. 도로가 재시공되고 물체가 옮겨지고 장면이 재배치되면 습득 당시 정확했던 지식은 거짓이 되며, 그것을 버리는 것은 결함이 아니라 요구되는 동작이다. 저자들은 현재 실무가 하나로 뭉뚱그려 보고하는 세 현상을 분리한다. 참으로 남아 있는 지식의 상실인 파국적 망각(결함), 참이지만 원치 않는 지식의 제거인 의도적 언러닝, 그리고 거짓이 된 지식을 계속 붙들고 있는 진부화(수정이 의무)다. 월드모델이 특별한 이유는 절대 수정되어서는 안 되는 지식까지 함께 부호화한다는 점이다.

어떻게 동작하나

저자들은 이 문제가 우연이 아니라 구조적이라고 본다. Continual-Dreamer는 Minigrid·Minihack 과제열에서, WMAR은 Procgen·Atari 열에서 평가되는데 두 경우 모두 과제 내부의 정답이 고정되어 있어 이후의 성능 저하가 진짜 망각이 된다. DRAGO는 같은 동역학을 공유하고 보상만 다른 과제열을 다루는데, 이는 지식이 낡을 수 없는 바로 그 설정이다. 환경이 실제로 변하는 곳에서는 적응이 잘 안 된다는 보고도 있다. Wan 등은 PlaNet과 DreamerV2가 환경의 국소적 변화에 잘 적응하지 못한다고 보고했고, Nijjer는 무제한 리플레이 버퍼를 쓴 DreamerV3에서 월드모델이 이전 과제에 대한 측정 가능한 지식을 거의 그대로 보유하는데도 정책은 무관하게 퇴화한다고 관찰했다. 월드모델이 갱신에 실패할 때 그 원인이 저장된 정보의 상실이 아닐 수 있다는 뜻이다.

무엇과 다른가

제안의 핵심은 월드모델 지식을 과제나 모달리티가 아니라 불변성 시간척도 τ로 조직하는 것이다. τ는 그 지식이 참으로 유지되는 시간 규모이며, 모델이나 갱신 스케줄의 속성이 아니라 환경의 속성이다. 보호 강도는 τ가 커질수록 증가한다. τ=∞ 층에는 물리 법칙, 객체 영속성, 기하학적 일관성, 인과적 행동-결과 구조, 에이전트 자신의 신체 모델처럼 수정되어서는 안 되는 지식이 놓이고, 아래층에는 환경이 바뀌면 즉시 수정해야 할 인스턴스 수준 사실이 놓인다. 저자들은 EWC, 리플레이, 증류 기반 통합이 무엇을 보호할지는 정하지만 기준이 틀렸다고 지적한다. 과거 성능에 중요했는지를 기준으로 삼을 뿐, 그 지식이 얼마나 오래 참인지는 보지 않는다는 것이다. 두 기준은 무관하며, 환경이 이미 무효화한 사실을 부호화한 파라미터가 과거 과제에 중요했다는 이유로 가장 강하게 보호될 수 있다. 결과는 양방향으로 실패한다. 표준 파이프라인 어디에도 물리·기하 불변량이 갱신 후에도 살아남았는지 검사하는 절차가 없어 최상위 층은 과소보호되고, 방의 예전 배치를 충실히 저장한 리플레이 버퍼는 방이 바뀐 뒤에도 그것을 계속 주장해 하위 층은 과대보호된다. 저자들은 이것이 갱신 빈도로 메모리를 층화하는 다중 시간척도 메모리(Titans에 기반한 Continuum Memory System)와도 다르다고 강조한다. 갱신 빈도 층화는 그 변경이 옳았는지를 알려주지 않는다. 빠르게 갱신하는 모듈이 물리 불변량을 수정하면 설계대로 동작한 것이면서 동시에 틀린 것이다.

어떻게 쓰나

평가 쪽 문제도 지적한다. backward transfer나 forgetting measure 같은 표준 지표는 이전 과제 성능을 이후 학습 전후로 재서 감소를 망각으로 해석하는데, 망가져서 떨어진 모델과 환경이 무효화한 지식을 올바르게 수정해서 떨어진 모델이 같은 숫자를 낸다. 그 결과 뒤틀린 최적점이 생긴다. 가능한 최고의 망각 점수는 전혀 갱신하지 않는 모델의 것이다. 정상적 벤치마크에서는 이런 모델이 이후 과제에서도 나쁘므로 무해하지만, 변하는 환경에서는 정반대다. 얼어붙은 모델이야말로 지속 적응이 고치려는 실패 모드이기 때문이다. 분류나 텍스트 사실성에서는 라벨을 갱신해 지표를 수리할 수 있지만 월드모델에서는 그것으로 부족하다. 갱신된 목표와 일치한다는 사실은 불변량이 갱신을 견뎠는지에 대해 아무것도 말해주지 않기 때문이다. 재배치된 장면에 적응하면서 객체 영속성 표현을 훼손한 모델도 갱신된 목표 기준으로는 좋은 점수를 받는다.

전제와 한계

제안하는 평가 프로토콜인 차등 보존(differential retention)은 두 양을 집계 없이 따로 보고한다. 첫째는 불변량 회귀 테스트다. τ=∞ 층에서 뽑아 적응 데이터에서 배제해 둔 고정 프로브 집합을 두고, 적응 라운드마다 다시 실행한다. 마지막에 한 번 평가해서는 어느 갱신이 불변량을 훼손했는지 알 수 없다. 개념을 분리한 물리 프로브는 이미 존재하며 그대로 재사용할 수 있다. WorldBench는 개별 물리 개념을 분리해 개념별 진단을 지원하고, PhyGround는 고체 역학·유체 역학·광학에 걸친 13개 물리 법칙을 다룬다. 다만 둘 다 발표된 형태로는 얼어붙은 체크포인트를 평가한다. 이를 적응 스트림 전반의 회귀 스위트로 쓰는 것은 저자들이 알기로 문헌에 없으며, 새 데이터가 필요하지 않고 프로브를 언제 돌리는지만 바꾸면 된다. 둘째는 수정 지연(revision latency)이다. 바뀐 사실이 예측에 반영되기까지 모델이 몇 개의 관측을 필요로 하는지 재고, 끝내 수정하지 않는 사실은 따로 센다. 어느 한쪽만으로는 유용하지 않다. 얼어붙은 모델은 불변량 유지에서 좋은 점수를 받고 수정 지연에서 실패하며, 덮어쓰기로 적응하는 모델은 그 반대다. 둘을 동시에 만족하는 모델만이 지속 적응이 의도한 일을 하는 것이고, 단일 숫자로는 이를 담을 수 없다.

이 논문은 포지션 페이퍼로, 자체 실험이나 데이터셋 결과를 제시하지 않는다. 본문에 나오는 수치는 모두 인용된 선행 연구의 것이다. Maes 등은 Push-T에서 배경 색을 바꾸면 LeWM과 PLDM 모두 계획 성공률이 50.8%에서 6.0%로 떨어진다고 보고했고, 저자들은 이를 현재 월드모델이 분포 이동에 여전히 취약하다는 근거로 인용한다. 규모 관련 수치로는 V-JEPA 2가 100만 시간이 넘는 영상으로 사전학습되고 제로샷 로봇 조작으로 전이된다는 점, LeVJEPA가 V-JEPA 2와 같은 성능을 5.6배에서 20.8배 적은 총 사전학습 연산으로 달성한다는 점, Dreamer 4가 오프라인 데이터만으로 Minecraft 안에서 에이전트를 학습시킨다는 점이 언급된다. 저자들이 직접 측정한 개선폭이나 베이스라인 비교표는 원문에 없다.

실무적으로 이 논문이 요구하는 것은 새 라이브러리가 아니라 평가 습관의 변경이다. 월드모델이나 모델 기반 에이전트를 배포하고 온라인으로 계속 갱신한다면 망각 지표 하나로 적응 품질을 판단하지 말아야 한다. 적응 데이터에서 빼둔 물리·기하 프로브 세트를 만들어 두고 갱신 라운드마다 돌려 불변량이 살아남았는지 확인하고, 바뀐 사실이 예측에 반영되기까지 몇 번의 관측이 걸리는지를 별도로 재는 것이 제안의 골자다. 리플레이 버퍼가 오래된 장면 배치를 계속 재주장하고 있지 않은지, EWC류 정규화가 이미 무효가 된 사실을 과도하게 붙들고 있지 않은지도 점검 대상이다. 다만 저자들 스스로 밝히듯 이 프로토콜을 오늘 온전히 구현할 수 있는 것은 물리 불변량 부분뿐이다.

저자들이 명시한 한계는 세 가지다. 첫째, 층화 표는 출발점 제안일 뿐이며 경계는 도메인에 따라 달라질 가능성이 크고, τ를 관측에서 추정할 수 있는지 아니면 도메인 지식으로 주어야 하는지 불분명하다. 둘째, 충분히 엄밀한 프로브는 현재 물리 불변량에만 존재하므로 프로토콜을 완전히 실현하려면 기하학적 일관성과 인과 구조에 대한 비교 가능한 프로브가 필요하다. 셋째, 불변량이 학습된 월드모델 안에서 국소화되어 있는지 알려져 있지 않으며, 다른 지식과 얽혀 있다면 층화 보존에 아키텍처 수준의 지원이 필요할 수 있다. 저자들은 불변량 회귀 테스트가 오늘 구현 가능한 범위가 물리 하위 사례에 한정된다는 점도 인정한다.