월드 모델이 숨은 상태를 지키도록 규칙 실행과 영상 생성을 분리한다

무엇인가

기존의 월드 모델은 한 장의 이미지에서 출발해 행동 조건부 영상을 만든다. 상당수는 카메라 이동에 집중해 사용자가 생성된 장면을 탐험하게 해준다. 그러나 행동의 결과가 현재 프레임에 보이지 않는 상태에 달려 있다면, 내비게이션만으로는 그 행동이 지속적인 규칙을 따르게 만들 수 없다. 논문이 드는 예는 잠긴 상자다. 플레이어가 열쇠를 들고 있을 때만 같은 행동이 상자를 열어야 하는데, 두 경우의 초기 화면은 완전히 같을 수 있다. 이런 구분에는 인벤토리나 진행도 같은 의미 상태와, 장면 배치와 카메라 경로를 턴 사이에 보존하는 주소 가능한 공간 상태가 함께 필요하다. 기존 시스템들도 프로그래머블 엔진이나 학습된 게임 변수, 복원된 NPC 상태로 명시적 상태를 도입했지만, 저자들은 그런 평가가 선택된 몇 가지 메커니즘에 머물러 새로 지정한 규칙과 숨은 상태에 대해 고정된 영상 모델이 규정된 결과를 그려낼 수 있는지는 확인하지 못한다고 지적한다. 핵심 과제는 상태 전이를 권위 있는 것으로 만들고 그 결과를 충실히 렌더링하는 것이다.

어떻게 동작하나

제안하는 Stateful Harness는 세계의 진화와 영상 렌더링을 분리한다. 세계 상태는 의미 성분과 공간 성분의 쌍으로 표현되는데, 의미 성분은 자원·엔티티 속성·진행 카운터·태도·종료 상태처럼 현재 화면에 보이지 않을 수 있는 값을 기록하고, 공간 성분은 편집 가능한 엔티티 배치와 스케일, 카메라 경로를 담는다. 세계 설명과 초기 이미지가 주어지면 코딩 에이전트가 상태 스키마, 사용 가능한 행동, 규칙, 이벤트, 목표, 시각적 의미를 담은 실행 가능한 게임 정의를 작은 타입 지정 언어로 작성한다. 이 정의는 에피소드가 진행되는 동안 고정된다. 초기 이미지는 피드포워드 기하 모델로 인스턴스 박스로 올려져 지면과 라벨이 붙은 큐브로 이루어진, 텍스처 없는 편집 가능한 3D 장면이 되는데 논문은 이를 점토 모델이라 부른다.

무엇과 다른가

한 턴의 절차는 규칙 정산에서 시작한다. 규칙 프로그램이 현재 상태와 사용자가 고른 행동에 대해 가드를 평가해 잠정 의미 상태, 규칙 이벤트, 공간 편집 스크립트를 내놓고, 편집 스크립트를 점토 모델에 적용해 잠정 공간 상태를 얻는다. 대사나 자유 서술이 필요하면 선택적 신경 커널이 제안할 수 있지만, 스키마 검증과 값 클램핑, 제한된 재시도, 규칙 정의 기본값으로의 폴백을 거쳐 허용된 집합 밖으로 나가지 못한다. 즉 이 커널은 허용된 이벤트의 표현 방식을 바꿀 수 있을 뿐 규칙이 강제한 전이는 바꾸지 못한다. 이어서 절차적 카메라 프로그램이 잠정 공간 상태를 미리보기 클립으로 렌더링하고, VisualScript 컴파일러가 행위자·행동·대상·반응·대사·효과·종료 상태·샷 슬롯을 가진 타입 지정 시각 스크립트를 고정된 텍스트 지시문으로 변환한다. 이때 미리보기를 공간 참조로 명시해 백엔드가 점토 질감을 그대로 베끼지 않도록 유도한다. 고정된 영상 모델은 텍스트 지시문, 미리보기 클립, 그리고 초기 이미지나 직전 클립에서 가져온 시각 앵커를 입력받아 클립을 생성하고, 마지막 프레임이 다음 턴의 앵커가 된다. 생성 후에는 비전 언어 모델이 클립을 관찰해 의미·공간 필드 갱신을 제안하고, 런타임은 고정 규칙과 양립하는 제안만 받아들인다. 정산된 결과와 모순되는 시각적 사건은 렌더링 불일치로 기록될 뿐 그 결과를 뒤집지 못한다. 규칙 실행, 영상 생성, 시각 관찰이 이렇게 닫힌 루프를 이룬다.

어떻게 쓰나

평가를 위해 WorldState-Bench를 만들었다. 49개의 숨은 변수와 21개의 시나리오 테마에서 뽑은 50개의 반사실 쌍으로, 각 쌍은 같은 첫 프레임과 같은 행동 스크립트를 공유하지만 첫 프레임에서 관측 불가능한 숨은 값 하나가 다르고 같은 규칙 프로그램이 서로 다른 결말을 요구한다. 첫 프레임은 FLUX.2로 1280×720 해상도에서 생성하고, 숨은 값을 드러내는 시각적 단서가 없는지 감사한다. Change-to-Comply 프로토콜은 카메라 움직임을 넘어선 식별 가능한 사건이 나왔는지(Change)와 그 사건이 해당 숨은 상태의 규칙을 만족하는지(Comply)를 나눠 본다. 클립 수준에서는 EndFollow, CntAbsent, Strict를, 쌍 수준에서는 두 클립 모두가 조건을 만족해야 하는 PairFollow와 PairStrict, 그리고 두 클립의 판정 결말이 서로 다른지를 보는 TwinContrast를 쓴다. 판정은 Qwen3.8-27B-VL이 3fps로 샘플링한 프레임과 마지막 프레임을 보고 고정 선택지 질문에 답하는 방식이며, 심판에게는 해당 규칙 분기의 기대 결과만 주고 숨은 변수나 규칙 텍스트는 주지 않는다.

전제와 한계

실험은 이미지-투-비디오 생성기 4종(Wan2.2, LongCat-Video, HunyuanVideo 1.5, MiniMax-H3)과 인터랙티브 월드 모델 7종(LingBot-World v2, Echo-WM Flash, FantasyWorld, AlayaWorld, InSpatio-World, Astra, HY-WorldPlay)을 추가 학습 없이 비교했다. Rule-only 프롬프트에서 MiniMax-H3는 EndFollow 66%, PairFollow 32%였고 Wan2.2는 65%와 32%였다. 개별 클립 정확도에 비해 쌍 단위 정확도가 크게 낮다는 것은 한쪽 숨은 상태에서 맞는 결말이 나와도 두 상태 모두를 만족하지는 못한다는 뜻이다. Astra, HY-WorldPlay, InSpatio-World는 CntAbsent 점수는 높은데 EndFollow가 20% 미만이었는데, 금지된 내용이 없다는 것과 요구된 사건을 만들어낸다는 것이 별개임을 보여준다. 요구 결말을 명시하는 Rule+end 조건에서도 MiniMax-H3의 PairFollow는 32%에서 64%로 오르는 데 그쳤고 PairStrict는 4%, CntAbsent는 30%였다. 래핑하지 않은 백엔드 중 최고 PairStrict는 Wan2.2의 26%다. 반면 같은 MiniMax-H3 가중치를 고정한 채 전체 하네스를 적용하면 PairFollow 92%, PairStrict 90%, TwinContrast 96%가 나왔고, EndFollow는 66%에서 96%로 올랐다. 하네스는 클립을 864×480, 24fps로 생성했고 실험은 A800 80GB 8대로 수행했다.

구성 요소별 분해에서는 결말 명시가 32점, 실행된 상태와 컴파일된 참조가 28점을 기여했고 두 증가분 모두 50쌍에 대한 짝지은 정확 McNemar 검정에서 유의했다. 블라인드 인간 비교에서는 널리 쓰이는 베이스라인 4종과의 쌍대 비교에서 98% 선호를 얻었고 베이스라인이 이긴 비교는 없었다. 외부 벤치마크(Ying 등이 보고한 20개 모델 비교)에서도 영상 품질 78.0과 물리적 개연성 68.8은 텍스트 기반 모델 클래스 평균(77.4, 66.9)에 근접했고, 설정 준수는 공식 프로토콜의 71.1에서 87.2로 올랐으며 상호작용 점수 77.7은 비교 대상 중 최고였다. 채널 절제에서는 첫 프레임 앵커링이 전체 점수를 74.2에서 76.1로, 설정 준수를 71.1에서 89.6으로 올렸고, 제어 영상을 추가하면 내비게이션 79.0, 상호작용 69.0에서 77.7을 기록했다. 다만 일관성은 83.8에서 75.3으로 떨어졌다가 77.8로 회복됐다. 정성적으로는 15턴, 29턴, 11턴짜리 세 에피소드(마을 탐험, 연애 서사, 턴제 대결)를 같은 고정 가중치로 수행해 다중 턴 상호작용이 유지됨을 보였다.

개발자 관점에서 이 논문의 요지는 영상 생성 모델에게 규칙 준수를 기대하지 말고, 규칙 실행을 모델 바깥의 결정론적 런타임으로 빼내라는 것이다. 상태 스키마와 규칙을 작은 타입 지정 프로그램으로 고정하고, 렌더러에는 텍스트 지시문과 공간 미리보기, 시각 앵커만 넘기며, 생성 결과는 규칙과 양립하는 범위에서만 상태에 반영한다. 새 세계를 추가하는 데 엔진도 파인튜닝도 필요 없다는 점, 그리고 미리보기 클립을 공간 참조라고 명시하지 않으면 점토 질감이 결과물에 새어 나온다는 관찰은 실제 파이프라인을 붙일 때 바로 확인해야 할 지점이다.

논문에는 별도의 한계 절이 따로 있지는 않지만 본문에 전제가 흩어져 있다. 규칙 프로그램은 에피소드 동안 고정되며, 게임 정의는 코딩 에이전트가 작성하고 저자들이 검증해 동결한다. 하네스 조건은 행동마다 생성 전에 결과를 정산할 뿐, 반복 샘플링으로 규칙 준수 판정을 보고 좋은 클립을 고르는 데는 쓰지 않는다. 반사실 평가는 어디까지나 렌더링된 규칙 준수를 재는 것이고, 다중 턴 결과는 11~29턴 규모의 정성적 사례다. 또한 비전 언어 모델이 제안한 갱신은 규칙과의 양립성만 검사하므로, 시각적으로 드러난 세부가 다음 상태에 들어가는 경로는 규칙이 허용하는 범위로 제한된다.