규칙 실행과 영상 생성을 분리해 숨은 상태를 지키는 월드 모델

무엇인가

이 논문이 푸는 문제는 "보이는 것"과 "지켜야 하는 것"의 불일치다. 기존 월드 모델은 단일 이미지에서 행동 조건 영상을 생성하고, 대부분 카메라 이동에 집중해 사용자가 생성된 장면을 탐험하게 한다. 그러나 항해만으로는 행동의 결과가 현재 프레임에 보이지 않는 상태에 의존할 때 지속적인 규칙 준수가 보장되지 않는다. 논문이 드는 예는 잠긴 상자다. 플레이어가 열쇠를 들고 있을 때만 같은 행동이 상자를 열어야 하는데, 초기 화면이 동일하다면 영상 생성기는 두 경우를 구분할 근거가 없다. 이런 구분에는 인벤토리·진행도 같은 의미 상태와, 장면 배치와 카메라 경로를 턴 사이에 보존하는 주소 지정 가능한 공간 상태가 함께 필요하다. 기존 시스템들도 프로그래머블 엔진이나 학습된 게임 변수, 재구성된 NPC 상태로 명시적 상태를 도입했지만, 평가는 선택된 메커니즘에 그쳐 고정된(frozen) 영상 모델이 새로 지정된 규칙이 요구하는 결과를 실제로 렌더링할 수 있는지는 검증하지 않았다.

어떻게 동작하나

제안 방법인 Stateful Harness는 세계 상태 진화와 영상 렌더링을 분리한다. 세계 상태는 s_t = (z_t, u_t)로, 의미 성분 z_t는 자원·엔티티 속성·진행 카운터·태도·종료 상태처럼 화면에 안 보일 수 있는 값을 기록하고, 공간 성분 u_t는 편집 가능한 엔티티 배치·스케일·카메라 경로를 담는다. 세계 설명과 초기 이미지가 주어지면 코딩 에이전트가 상태 스키마, 사용 가능한 행동, 규칙, 이벤트, 목표, 시각적 의미를 담은 실행 가능한 게임 정의를 작은 타입 언어로 작성하고, 상호작용 전에 검증해 고정한다. 초기 이미지는 피드포워드 기하 모델로 인스턴스 박스와 바닥 평면을 가진 텍스처 없는 편집 가능 3D 장면, 이른바 클레이 모델로 승격된다. 벤치마크의 반사실 쌍은 첫 프레임과 공간 배치는 같지만 초기화 단계에서 서로 다른 숨은 값 z_A ≠ z_B를 부여받는다.

무엇과 다른가

한 턴의 절차는 규칙 정산이 렌더링보다 먼저 온다는 점이 핵심이다. 사용자가 행동 a_t를 고르면 규칙 프로그램이 s_t와 a_t에 대해 가드를 평가해 잠정 의미 상태, 규칙 이벤트 e_t, 공간 편집 스크립트 ε_t를 내놓고, 편집을 클레이 모델에 적용해 잠정 공간 상태를 만든다. 대사나 자유 서술이 필요하면 선택적 신경 커널 ρ가 제안할 수 있지만, 스키마 검증·값 클램핑·제한된 재시도·규칙 기본값 폴백으로 허용 집합 밖으로 나가지 못하게 게이트한다. 이어 절차적 카메라 프로그램이 클레이 모델을 미리보기 클립 r_t로 렌더링하고, VisualScript 컴파일러가 행위자·행동·대상·반응·대사·효과·종료 상태·샷 슬롯을 가진 타입 지정 스크립트를 고정된 텍스트 지시 p_t로 변환한다. 같은 입력은 같은 지시를 낳으며, 지시문은 미리보기를 "공간 참조"로 명시해 백엔드가 클레이 질감을 그대로 베끼지 않도록 유도한다. 고정된 영상 모델 V_θ는 지시문, 미리보기 클립, 그리고 초기 이미지 또는 직전 클립의 마지막 프레임에서 가져온 시각 앵커 f_t를 받아 클립을 생성하고, 그 마지막 프레임이 다음 턴의 앵커가 된다. 마지막으로 비전 언어 모델이 생성 클립을 관찰해 의미·공간 필드 갱신을 제안하고, 런타임은 고정 규칙과 양립하는 갱신만 수용한다. 정산된 결과와 모순되는 듯한 시각적 사건은 "렌더링 불일치"로 기록될 뿐 그 결과를 뒤집지 못한다.

어떻게 쓰나

평가는 WorldState-Bench로 한다. 동일한 첫 프레임과 행동 스크립트를 공유하지만 관찰 불가능한 숨은 값 하나가 달라 서로 다른 결말을 요구하는 50개의 반사실 쌍으로 구성되며, 49개의 숨은 변수와 21개의 시나리오 테마를 아우른다. 첫 프레임은 FLUX.2가 1280×720으로 생성하고, 숨은 값을 드러내는 시각적 단서가 없는지 감사한다. 프로토콜은 Change-to-Comply로, 행동이 카메라 이동 이상의 식별 가능한 사건을 만드는지(Change)와 그 사건이 해당 숨은 상태의 규칙을 만족하는지(Comply)를 나눠 본다. 지시 조건은 원본 지시·숨은 값·선택된 규칙 분기·행동을 주는 Rule-only와, 요구되는 종료 결과를 마지막 상태 문장으로 명시하는 Rule+end 두 가지다. 판정은 Qwen3.8-27B-VL이 3fps로 샘플링한 프레임과 최종 프레임에 고정 선택 질문으로 답하는 방식이고, 클립 수준의 EndFollow·CntAbsent·Strict와 쌍 수준의 PairFollow·PairStrict, 그리고 두 클립의 판정 결말이 실제로 갈렸는지를 보는 TwinContrast를 쓴다.

전제와 한계

결과는 분리의 효과를 뚜렷하게 보여준다. 11개 백엔드(이미지-투-비디오 4종: Wan2.2, LongCat-Video, HunyuanVideo 1.5, MiniMax-H3 / 인터랙티브 월드 모델 7종: LingBot-World v2, Echo-WM Flash, FantasyWorld, AlayaWorld, InSpatio-World, Astra, HY-WorldPlay)를 추가 학습 없이 평가했을 때, Rule-only에서 MiniMax-H3는 EndFollow 66%·PairFollow 32%, Wan2.2는 65%·32%였다. 개별 클립 정확도에 비해 쌍 단위 정확도가 크게 낮다는 것은 한쪽 숨은 상태에서 맞는 결말이 다른 쪽에서도 반복된다는 뜻이다. Astra·HY-WorldPlay·InSpatio-World는 CntAbsent는 높은데 EndFollow가 20% 미만으로, 금지된 결과가 없다는 것이 요구된 사건을 만들었다는 뜻은 아니라는 점을 드러낸다. Rule+end로 결말을 명시하면 MiniMax-H3의 PairFollow가 32%에서 64%로 오르지만 PairStrict는 4%, CntAbsent는 30%에 그쳤고, 감싸지 않은(unwrapped) 백엔드 최고 PairStrict는 Wan2.2의 26%였다. 같은 MiniMax-H3 가중치를 고정한 채 전체 하네스를 적용하면 PairFollow 92%, PairStrict 90%, TwinContrast 96%, EndFollow 96%가 된다. 블라인드 인간 비교에서도 하네스는 널리 쓰이는 4개 베이스라인 대비 98% 선호를 얻었고 베이스라인이 이긴 비교는 없었다. 구성요소 분해에서는 결말 명시가 +32점, 컴파일된 참조를 동반한 실행된 상태가 +28점을 기여했고 둘 다 50쌍에 대한 짝지은 McNemar 검정에서 유의했다.

단일 턴 탐침을 넘어서는 증거도 있다. 같은 폐루프가 15턴·29턴·11턴짜리 세 편의 에피소드에서 상태를 이어갔고, 각각 마을 탐험·연애 서사·턴제 결투라는 서로 다른 장르였으며 모두 같은 런타임과 영상 모델 위에 학습 없이 새 게임 정의만으로 인스턴스화됐다. 외부 벤치마크 비교에서는 비디오 품질 78.0, 물리적 개연성 68.8로 텍스트 기반 모델 클래스 평균(77.4, 66.9)에 근접했고, 설정 준수는 공식 프로토콜의 71.1에서 87.2로, 상호작용 점수는 77.7로 비교 대상 중 최고를 기록했다. 채널 절제에서는 첫 프레임 앵커링이 전체 점수를 74.2에서 76.1로, 설정 준수를 71.1에서 89.6으로 올렸고, 제어 영상을 추가하면 내비게이션이 79.0, 상호작용이 69.0에서 77.7로 올랐다(일관성은 83.8에서 75.3으로 떨어졌다가 77.8로 회복). 같은 제어 영상을 순수 텍스트 프로토콜에 넣으면 67.1에 그쳤는데, 이는 미리보기의 기하와 외형이 출력으로 전이되는 현상이 있어 참조를 어떻게 해석할지 지시문이 규정해야 함을 시사한다.

개발자 관점에서 이 논문의 메시지는 "상태는 생성 모델에게 맡기지 말라"는 것이다. 인벤토리·퀘스트 진행도·잠금 해제 조건처럼 화면에 안 보이는 변수로 결과가 갈리는 인터랙티브 콘텐츠를 만든다면, 그 로직은 타입이 있는 규칙 프로그램과 직렬화 가능한 원장에 두고 영상 모델은 정산된 이벤트를 그리는 렌더러로만 쓰는 편이 훨씬 신뢰할 만하다. 특히 영상 모델을 파인튜닝하지 않고 기존 백엔드의 텍스트·이미지·비디오 참조 인터페이스만으로 92% 수준의 규칙 준수를 얻었다는 점, 그리고 새 세계를 작은 타입 프로그램 하나로 정의해 학습 없이 얹을 수 있다는 점은 실무 파이프라인 설계에 직접 참고할 만하다. 다만 VLM이 생성 클립을 관찰해 상태 갱신을 제안하는 단계가 들어가므로, 관찰 결과를 규칙과 대조해 수용 여부를 결정하는 검증 계층은 필수로 두어야 한다.

저자들이 밝힌 전제와 한계도 분명하다. 규칙 프로그램 R은 에피소드 내내 고정되며, 영상 모델은 턴당 한 번 생성 요청을 하고 일시적 오류에만 제한적으로 재시도한다. 장면 전환이 일어나면 앵커 체인을 리셋하고 외형 정보를 지시문에 실어 나른다. 또한 미리보기를 레이아웃 참조로 명시하지 않으면 클레이 질감이 결과물에 새어 나오는 현상이 30개 생성 클립에서 관찰됐다고 보고한다. 평가 자체도 VLM 판정관에 의존하고, 다중 턴 검증은 세 편의 에피소드로 예시한 수준이며, 하네스는 864×480·24fps로 클립을 생성한다.