Kunlun Wanwei가 단일 RTX 5090에서 60FPS로 구동되는 비디오 월드모델 게임을 공개했다

雷锋网4시간 전

Kunlun Wanwei(昆仑万维)가 2026년 10월 15일 Matrix-Game 4.0을 공개했다. 비디오 생성 모델이 실시간으로 화면을 그려내는 게임으로, 회사 측은 단일 소비자용 그래픽카드에서 구동되는 첫 사례라고 밝혔다. 코드와 가중치, 게임 코드를 함께 오픈소스로 공개했으며 모델은 Hugging Face의 Skywork 조직 페이지에서 받을 수 있다.

하드웨어 요구치는 NVIDIA RTX 5090 한 장이다. 480p 해상도에서 60 FPS로 돌고, 키 입력부터 첫 프레임이 나올 때까지의 지연은 150밀리초 미만이라고 회사는 설명했다. 단일 스텝 디노이징 기준 정상 상태 생성 속도는 83 FPS, 최대 VRAM 사용량은 18.5GiB다. 발표 자료에 실린 비교에서 자사 측정 지연은 112밀리초로, Code World Model의 약 10.2초, StreamRender-H3의 약 545밀리초, AgentGarten의 약 878밀리초보다 낮다. 같은 비교에서 다른 시스템들은 H200 141GB, GB200 8장, H100 같은 데이터센터급 가속기를 요구한다.

구조의 핵심은 역할 분리다. 게임 엔진이 월드 상태와 상호작용 규칙을 들고 있고, 비디오 모델은 그 위에 화면만 입힌다. 체력, 인벤토리, 중력, 충돌, 퀘스트 진행 같은 값은 생성된 픽셀에서 추측하는 게 아니라 코드로 명시해 관리한다. 엔진은 단순화된 기하 구조로 도로·건물·캐릭터·상호작용 오브젝트의 배치를 표현하고, 이를 구조 화면으로 내보내 비디오 모델의 제약 조건으로 넘긴다. 오브젝트가 시야 밖으로 나가도 상태는 엔진이 계속 유지한다. 여기에 코딩 에이전트가 붙어 자연어 요구를 게임 코드와 장면 설정으로 바꾼다. 몬스터가 사방에서 몰려오게 만드는 요청은 생성 위치, 이동 방식, 공격 행동, 승패 조건까지 코드로 구현된다.

비디오 모델은 Wan2.2 5B를 비디오 간 변환(V2V) 방식으로 개조했다. 엔진이 렌더링한 구조 화면과 생성할 영상을 채널 단위로 이어 붙여 148채널 입력을 만들고, 여기에 장면 이벤트 프롬프트, 공간 기억 참조 이미지, 첫 프레임을 함께 넣는다. 네트워크는 30층 인과(causal) DiT 구조이며 자기주의는 K/V 캐시를, 교차주의는 텍스트 K/V를 읽는다. 고정된 텍스트 설명 대신 객체 ID와 의미를 연결해 두고 런타임에 현재 보이는 객체와 상태를 프롬프트 템플릿에 채우는 동적 캡션 방식을 쓴다.

학습 데이터는 언리얼 엔진 5 기반으로 만들었다. CitySample 초대형 도시, 개방 사막, 복잡한 성, 고기동 공중전 네 가지 장면을 대상으로 구조 화면과 정밀 화면을 픽셀 단위로 정렬한 데이터셋을 구축했다. 카메라 궤적과 타임스탬프를 맞춘 상태에서 복잡한 장면을 공간 위상과 강체 자세, 동역학 궤적을 보존하는 저해상도 구조 표현으로 추상화하고, 객체 인스턴스 ID와 가시성 상태, 상호작용 이벤트를 함께 수집한다.

60 FPS를 소비자용 카드에 올리기 위한 공학 최적화도 상당하다. DiT 본체 연산을 CUDA Graph로 미리 기록해 런타임에 한 번에 재생하고, RoPE와 정규화, FP8 양자화를 위한 융합 GPU 커널을 직접 작성했다. 같은 층의 Q·K·V는 입력 양자화를 한 번만 공유하고, 텍스트 조건의 KV는 캡션이 갱신될 때만 다시 계산한다. 비디오 히스토리 KV는 링 버퍼로 돌리고, 자기주의는 KV 윈도우 단위로 쪼개 병렬 처리한다. 인코더·디코더는 경량 TAEHV로 교체했다. 그 결과 텍스트 인코더, DiT, VAE를 모두 RTX 5090 한 장에 상주시킬 수 있다고 한다.

배경에는 기존 인터랙티브 월드모델의 구조적 한계가 있다. 장면과 객체의 지속성을 모델 내부 표현과 이력 기억에 맡기면 개발자가 개별 객체 상태를 읽고 고치고 검증하기 어렵다. 자동회귀 생성은 국소 오차가 누적돼 오래 플레이하거나 같은 장소를 반복 방문할 때 구조와 객체 정체성이 흔들린다. 문 열기나 충돌 같은 시각 효과는 만들어도 체력 증감, 아이템 소유, 퀘스트 진행, 승패 판정 같은 수치 결산은 보장되지 않는다. Matrix-Game 4.0은 세계를 모델 기억에 맡기는 대신 코드로 관리되는 명시적 매체 위에 올린다.

개발자 입장에서 의미가 있는 지점은 제작 문턱이다. 정밀 3D 에셋 제작 의존도를 낮추고 게임 프로토타입을 빠르게 돌려볼 수 있으며, 자연어로 장면·상호작용·규칙을 바꿀 수 있다. 회사는 공개한 게임 코드를 기반으로 창작자가 개작과 확장을 이어가기를 권한다고 밝혔다.

다만 수치는 모두 회사가 자체 측정해 발표한 값이고 제3자 재현 결과는 아직 없다. 해상도는 480p이고, 검증된 장면 유형도 네 가지에 한정된다. 회사는 향후 refiner를 붙여 해상도를 높이고, 플레이어 시점 간 일관성을 유지하는 멀티플레이, 더 세밀한 화면 제어, 더 많은 게임 유형 지원을 계획이라고 밝혔다.