텐센트가 텍스트로 조작하는 오픈소스 세계 모델 Hy-Nomas를 공개했다

텐센트가 공개소스로 내놓은 Hy-Nomas는 완성된 영상 한 편을 뽑아내는 모델이 아니다. 텍스트 지시와 카메라 움직임을 넣으면서 세계를 한 세그먼트씩 이어 붙이는, 말하자면 '대화형 세계 생성기'다. 생성이 진행되는 도중에 사물을 추가하거나 장면과 스타일을 바꾸고, 특정 동작을 지시하거나 시점을 옮길 수 있다는 것이 이 모델의 핵심 주장이다.

구조는 세그먼트 단위 자기회귀 확산 트랜스포머(DiT)에 Qwen 텍스트 인코더, 카메라 조건 모듈, PixelUMM 비디오 디코더를 얹은 형태다. 세그먼트 사이의 맥락은 영속적인 키/값(KV) 캐시로 이어진다. 증류된 추론 설정에서는 디노이징 8스텝으로 720×1280 해상도, 24FPS 영상을 만든다.

조건 입력 쪽을 보면 텍스트는 Qwen2.5-VL-7B-Instruct의 언어모델 부분에서 3,584차원 은닉 상태를 뽑아 2층 토큰 리파이너를 거쳐 DiT의 2,048차원 공간으로 투영된다. 카메라는 4×4 외부 파라미터 행렬을 4프레임 단위로 묶어 64차원으로 펼쳐 넣는다. 백본은 54개의 듀얼스트림 MMDiT 블록으로, 블록마다 16헤드·128차원, 3D RoPE를 쓰고 세그먼트 간 인과적 조인트 어텐션으로 과거를 참조한다. 웹 데모에서는 별도 서비스인 Nomas-PE가 사용자 지시를 구조화된 생성 프롬프트로 다듬는데, 오프라인 추론에서는 준비된 프롬프트 파일을 그대로 읽힐 수 있다.

배포 구성은 두 갈래다. 표준 구성은 전체 히스토리를 캐시에 유지하고 시퀀스 병렬로 돌린다. 반대로 단일 GPU 구성은 NVIDIA 지포스 RTX 4090 한 장에서 동작하도록 DiT 가중치와 KV 캐시를 INT8로, 디코더를 FP8로 낮추고 CPU 오프로드를 섞는다. 이때 과거 맥락에 쓸 수 있는 잠재 프레임 예산은 기본 18프레임이고, 나머지는 CPU 아카이브로 넘긴다. 영상 표현은 32채널에 공간 32배·시간 4배 압축을 적용한 DCAE-V 잠재이며, 이를 36층·4,096차원, 쿼리 헤드 32개·KV 헤드 8개의 PixelUMM 디코더가 1스텝으로 픽셀까지 복원한다. 디코딩은 10개 잠재 프레임 윈도를 5프레임 겹쳐가며 처리한다.

평가 도구도 함께 나왔다. Hy-Nomas-Bench는 4개 벤치마크, 280개 테스트 케이스로 멀티턴 자유형 텍스트 상호작용, 카메라 내비게이션, 텍스트와 카메라가 교차하는 제어, 공간 기억을 측정한다. 구조화 프롬프트와 상호작용 시퀀스, 키보드 타임라인, 참조 카메라 궤적이 함께 제공돼 연속 생성 중의 제어 가능성과 일관성을 같은 조건에서 비교할 수 있다.

이 흐름은 최근 세계 모델 연구가 '한 번 생성하고 끝'에서 '생성 중에 계속 개입하는' 방향으로 옮겨가는 것과 맞닿아 있다. 문제는 그런 모델이 대개 대규모 클러스터를 전제한다는 점이었는데, Hy-Nomas는 소비자용 GPU 한 장 구성과 양자화 체크포인트를 선택지로 제시했다.

실무적으로 눈에 띄는 것은 확장 경로다. 공개된 체크포인트에는 8스텝 추론용 증류 모델과 INT8 양자화판, 비증류 베이스 모델이 있고, 실제 로봇 팔 데이터셋(RealSource-World)으로 학습한 LoRA 어댑터도 포함된다. 이 어댑터를 증류 DiT에 병합하면 생성되는 세계의 로봇 시뮬레이션 능력을 끌어올릴 수 있다고 안내한다. 즉 영상 생성 실험이 곧바로 로봇 학습용 환경 합성으로 이어지는 경로가 열려 있는 셈이다.

주의할 점도 분명하다. 표준 구성은 전체 히스토리를 유지하므로 메모리 요구량이 크고, 단일 GPU 구성은 히스토리 예산이 18 잠재 프레임으로 제한된다. 웹 데모는 프롬프트 향상 서비스인 Nomas-PE가 사실상 필수 구성 요소이며, 추론 설정에 맞는 생성 체크포인트와 디코딩 체크포인트를 짝을 맞춰 골라야 한다는 전제도 붙는다.