Wizard는 골격과 기하 프록시를 에이전트로 제어해 실시간 게임 세계를 생성한다

무엇인가

이 논문은 비디오 월드 모델로 플레이어가 실시간으로 조작하는 게임 세계를 만드는 문제를 다룬다. 기존 행동 조건부 모델은 미리 정한 동작 집합에 묶이고, 프롬프트 조건부 모델은 학습 때 본 모션·스킬 패턴에 의존해 새 지시를 따르기 어렵다. 에이전트형 프레임워크가 깊이·시맨틱·블록아웃·3D 박스 같은 구조화 프록시로 상태 일관성을 높였지만, 대부분 차량 주행이나 캐릭터 이동 같은 단순 동작에 머물렀고 관절 캐릭터 동작 지원이 부족했다. 엔진 기반 접근은 장면 유연성과 지연 문제가 있다. 저자들은 Wizard를 장면 기하와 관절 골격을 명시적으로 유지하면서 실시간 조작·제로샷 일반화·메커니즘 일관성을 동시에 달성하는 첫 에이전트형 게임 월드 모델이라고 주장한다.

어떻게 동작하나

Wizard의 핵심은 장면 구성, 캐릭터 애니메이션, 게임플레이 로직을 비디오 생성에서 분리하는 에이전트형 구조다. 세션 시작 전 5분 이내 초기화 단계에서 사용자 장면 이미지로 이동 가능한 2.5D 환경을 추정하고, 캐릭터 이미지로 메시와 골격을 만들고, 모션 라이브러리에서 대상 캐릭터에 맞는 동작을 검색·리타게팅한다. 장면은 MoGe-2로 3D 포인트 맵과 카메라 파라미터를 복원하고 캐릭터 영역을 제거한 뒤 배경 메시와 높이 필드를 만든다. 캐릭터는 Qwen3-VL로 자세·팔다리·날개·꼬리 등 신체 구조를 추론하고, SAM2 분할, TripoSG 메시 복원, UniRig와 중축 피팅으로 후보 골격을 생성한 뒤 가장 잘 맞는 골격을 고르고 관절·사지 체인에 의미 라벨을 붙인다. 참조 모션은 CombatMotion·WildWorld·엘든 링 애니메이션 자산에서 가져오며, VLM으로 동작 스타일 적합성을 평가하고 역기구학으로 지면 접촉을 맞춘 뒤 불량 클립을 거른다.

무엇과 다른가

실행 중에는 장면 기하와 캐릭터 골격을 같은 카메라 아래 공동 렌더링한 통일 프록시를 만든다. RGB 채널은 모양이 아니라 기하 속성을 담아 R은 높이, B는 카메라 전방 깊이, G는 캐릭터 슬롯과 정면 방향을 인코딩한다. 이 프록시를 조건으로 비디오 생성기가 장면과 캐릭터 외형을 렌더링한다. 여기서 캐릭터별 참조 이미지를 올바른 위치에 묶기 위해 적응형 마스킹을 쓴다. 각 캐릭터 골격에서 경계 영역을 얻고 25% 확장한 뒤, DiT 자기주의에서 비디오 토큰이 해당 캐릭터 영역 안에 있을 때만 그 참조 토큰을 볼 수 있게 한다. 마스크는 에이전트가 관리하는 캐릭터 상태를 따라 갱신되어 캐릭터 간 외형 누출을 줄이고, 변신 시에는 이전 정체성의 캐시 토큰 주의를 차단하되 배경 히스토리와 첫 프레임 싱크는 유지한다.

어떻게 쓰나

전투는 명시적 월드 상태로 관리된다. 양 캐릭터의 위치·포즈·체력·행동 단계·쿨다운을 추적하고, 행동 플래너가 거리와 쿨다운을 고려해 공격을 고르며 실제 스윙을 플레이어 형상에 시뮬레이션해 맞을 가능성이 높은 공격을 우선한다. 규칙 기반 컨트롤러가 스윕 히트박스와 무적 시간으로 명중을 판정하고 체력·사망·전투 종료를 처리한다. 비디오 생성기는 Wan2.2-TI2V-5B를 기반으로 첫 장면 이미지를 깨끗한 잠재 프리픽스로 넣고, 프록시 프레임을 잡음 비디오 잠재와 채널 결합하며, 최대 2개의 캐릭터 참조 이미지를 추가 토큰으로 붙인다. 이후 교사 강제, 일관성 증류, DMD를 거쳐 2단계 노이즈 제거로 24 FPS 자동회귀 롤아웃을 만들고, 최근 20개 잠재 프레임과 하나의 싱크 프레임을 KV 캐시에 유지해 메모리를 제한한다.

전제와 한계

학습 데이터는 50.3시간의 정렬된 프록시-비디오 쌍으로, 750개 장면과 178개 캐릭터를 포함한다. 엘든 링에서 8.8시간의 3인칭 전투·탐험 영상(보스 6종, 11개 지역, 20개 이상 의상)을 수집했고, Sketchfab·Quaternius·KayKit 자산 133개 보스와 29개 플레이어 자산으로 11.6시간 합성 데이터를 만들었으며 Poly Haven 자산 842개로 장면을 구성했다. Unreal Engine에서 3.3시간, WildWorld에서 26.6시간을 더했다. 121프레임 30fps 윈도를 480 높이로 리사이즈해 832×480으로 크롭했고, 44,075개 클립으로 30K 양방향 미세조정, 10K 인과 적응, 증류를 수행했다. 다만 이 논문의 실험 절은 정성 비교 중심이며, 본문에 인용된 범위에서는 정량 베이스라인 표나 개선폭 수치가 제시되지 않는다.

정성 평가에서 사용자는 학습 때 보지 못한 장면·캐릭터·동작을 참조 이미지와 자연어로 지정하고, 에이전트가 만든 프록시와 생성 비디오를 나란히 비교한다. 체력이 0이 되면 사망·전투 종료·결과 표시가 이어지는 핵심 규칙도 보여 주고, 게임 중 참조 이미지로 캐릭터 변신, 환경 반전, 새 장면 요소 추가, 변신과 장면 조작의 결합을 시연한다. 저자들은 이를 통해 같은 모델이 추가 학습 없이 새 장면·캐릭터·모션 조합을 받아들이고 실시간 상호작용을 유지한다고 주장한다. 다만 24 FPS와 2단계 생성이 어떤 GPU에서 달성되는지, 장기 롤아웃의 정량 일관성, 베이스라인 대비 우위는 본문 수치로 확인되지 않는다.

개발자에게 이 논문은 비디오 생성 모델을 게임 루프에 넣을 때 픽셀 감독만으로 상태를 유지하기보다 명시적 상태·기하 프록시·규칙 엔진을 분리하는 설계가 유효하다는 참고가 된다. 사용자 이미지와 자연어로 캐릭터·장면을 구성하고, 골격과 전투 상태를 에이전트가 관리하며, 생성 모델은 렌더링에 집중하는 구조는 맞춤형 게임·시뮬레이션 프로토타입에 응용할 수 있다. 확인할 점은 모션 라이브러리 의존성, 장기 롤아웃에서 프록시와 비디오의 일치 저하, 데이터 라이선스(WildWorld 비상업 연구 라이선스, Elden Ring 연구용 녹화), 실제 하드웨어에서의 지연·메모리다. 저자들도 희귀 신체 구조에 맞는 모션을 찾기 어렵고 긴 롤아웃에서 장면 프록시와 생성 비디오의 일관성이 떨어질 수 있다고 한계로 밝힌다.