Hy-Nomas가 8B 모델 하나로 다중 턴 세계 생성과 카메라 제어를 묶는다

무엇인가

영상 생성 모델을 "세계 모델"로 부르려면 조건이 달라진다. 고정된 프롬프트로 짧은 클립을 만드는 대신, 사용자가 현재 화면을 보고 명령을 넣으면 모델이 그 명령과 이전 상호작용 이력을 함께 반영한 다음 관측을 렌더링해야 한다. 명령은 생성 도중에 도착하고, 행동의 결과는 이후 구간까지 남아야 하며, 이전에 본 장면을 다시 마주했을 때 물체의 정체성과 배치가 유지되어야 한다. Hy-Nomas는 이 폐루프를 8B 파라미터 디퓨전 트랜스포머 하나로 구현하겠다는 시도다. 저자들이 서론에서 강조하는 점은, 사전학습된 양방향 DiT의 어텐션을 인과 마스크로 갈아끼우는 것만으로는 부족하다는 것이다. 인과성을 깨는 정보 누출을 막고, 캐시된 과거를 효율적으로 재사용하고, 각 구간의 출력이 다음 구간의 입력이 되면서 생기는 오차 누적에 모델을 미리 적응시켜야 한다.

어떻게 동작하나

백본은 HunyuanVideo 1.5이고, VAE는 DCAE-V를 쓴다. RGB 영상을 공간 32배·시간 4배로 압축해 32채널 잠재로 만들고, 각 잠재 위치를 1×1×1 패치로 취급해 2048차원 DiT 은닉으로 투영한다. 텍스트는 동결된 Qwen2.5-VL-7B 인코더가 뽑고, 3584차원을 2048차원으로 줄인 뒤 확산 타임스텝과 풀링된 텍스트 컨텍스트로 변조하는 2층 토큰 리파이너를 통과시킨다. 학습 목표는 선형 플로우 매칭이고, 추론에서는 t=1의 가우시안 노이즈에서 100번의 오일러 스텝으로 역 ODE를 적분하며 텍스트 CFG와 카메라 가이던스를 함께 건다. 생성은 한 번에 전체 영상을 만드는 게 아니라 구간(segment) 단위로 노이즈를 제거하며, 이전 구간의 키·값 캐시를 조건으로 붙인다.

무엇과 다른가

핵심 설계는 구조화 캡션과 행동 인식 인과 어텐션의 정렬이다. 캡션은 JSON 형식으로, 영상 수준에는 화면 스타일·카메라 시점·공유 피사체 목록이 들어가고 각 피사체는 식별자와 최초 등장 시점에 고정된 프로필을 갖는다. 구간 수준에는 장면 묘사와 카메라 이동 문장이 시간순으로 섞여 들어가고, 피사체 행동과 그 가시적 결과는 시작·끝 타임스탬프를 가진 별도 항목으로 기록된다. 어텐션은 구간 내부에서는 양방향, 구간 사이에서는 인과적으로 동작한다. 문제는 이 정도로는 부족했다는 관찰이다. 첫째, 같은 구간 안에서 행동 순서가 뒤바뀌는 현상이 나타났다. 질의 토큰이 구간 캡션 전체를 볼 수 있어 다른 시점의 행동 설명까지 참조하기 때문이다. 둘째, 이전 구간의 행동이 이후 구간에서 반복 재생되는 현상이 있었다. 과거 행동 설명에 계속 접근할 수 있어 모델이 그 행동을 다시 실행하는 쪽으로 끌린다. 해법은 구간 텍스트 토큰을 환경을 서술하는 설명 헤드와 개별 행동 및 그 시간창을 지정하는 행동 테일로 쪼개는 것이다. 행동 윈도 안의 질의 토큰은 같은 구간의 설명 헤드와 해당 행동 토큰에만 접근하고, 설명 헤드는 이후 구간에서도 열려 있지만 행동 테일은 자기 구간 밖으로 나가지 못한다. 환경 맥락은 유지하고 행동 지시는 국소화하는 이 분리가 두 문제를 동시에 줄인다.

어떻게 쓰나

카메라 제어는 별도 경로로 주입된다. 구간마다 카메라-월드 포즈로부터 프레임 간 상대 변환 ΔP= P(t-1)^-1 · P(t)를 계산하고, 첫 증분은 항등행렬로 둔다. 상대 변환은 구간 내부에서 독립적으로 계산해 전역 좌표계나 이전 구간 포즈에 의존하지 않는다. 이동량은 영상 전체 프레임 변환 크기의 99백분위수로 정규화해 극단값이 스케일을 흔들지 않게 하고, 시퀀스 길이가 4의 배수가 되도록 첫 변환을 반복해 패딩한 뒤 연속한 4×4 행렬 4개를 64차원 벡터로 펼쳐 선형 투영과 잔차 MLP에 넣는다. 결과적으로 VAE 잠재 프레임당 카메라 토큰 하나가 나오고, 각 MMDiT 블록에서 시각 토큰을 질의로, 시간 정렬된 카메라 토큰을 키·값으로 하는 크로스어텐션으로 더해진다. 기존 모델들이 회전과 이동을 고정 방향 명령으로 양자화하거나 이동만 키보드 이산 입력으로 제한한 것과 달리, 상대 포즈 궤적은 이동과 회전을 모두 연속으로 유지해 방향·속도·스케일을 세밀하게 다룬다. 학습 때는 구간별로 카메라 조건을 무작위로 꺼서 카메라 제어 구간과 텍스트 제어 구간이 번갈아 나오는 상황에 노출시키고, 카메라 조건이 켜진 구간에서는 캡션의 카메라 묘사 문장을 제거해 모델이 그것을 지름길로 쓰지 못하게 한다. 추론 시 키보드 입력은 W/S 전후진, A/D 좌우 이동, 마우스나 방향키는 요·피치 회전으로 누적되어 카메라 궤적이 된다.

전제와 한계

사용자 요청을 조건으로 바꾸는 것은 프롬프트 인핸서(PE)다. 비전-언어 모델이 사용자 요청과 현재 관측, 멀티모달 상호작용 이력을 받아 다음 구간에 맞는 길이를 가진 구조화 프롬프트를 만든다. 데이터 쪽에서는 물리적 상호작용·인간 및 물체 운동·카메라 이동·장거리 의존성이 있는 영상을 모으고, OmniShotCut 기반 숏 경계 검출, Qwen3-VL-Embedding 클러스터링과 SemDeDup 중복 제거, 계층 분류 라벨링을 거친다. 카메라 궤적은 ViPE로 추정하되 비용 때문에 일부 영상에만 적용하고, VPT 백본에서 초기화한 비디오 기반 역동역학 모델로 WASD 같은 이산 카메라 입력을 영상에서 직접 예측하게 해 라벨 품질 검증과 필터링에 쓴다. 캡셔닝은 V-JEPA 2 특징으로 클립을 시간 분할한 뒤 VLM이 멀티턴 대화로 순차 주석을 달고, 마지막 텍스트 전용 턴에서 앞선 초안을 교정하며 영어 캡션과 구조 정렬된 중국어 번역을 만든다. 학습은 인과 생성, 텍스트 상호작용, 카메라 제어, 모델이 생성한 이력에 대한 학습(구간 포싱), 확산 증류 순으로 역량을 단계적으로 얹는 커리큘럼을 따른다. 인프라는 Ulysses 방식 시퀀스 병렬 8, FSDP2 하이브리드 샤딩, 데이터 병렬을 조합해 최대 36만 토큰 패킹 시퀀스를 처리하고, 이기종 마스크를 실행하는 어텐션 커널과 FLOPs 균형 패킹, 분산 Muon 옵티마이저, 비동기 체크포인팅을 함께 쓴다.

평가는 인간 평가로 진행됐고, 저자들은 다중 턴 텍스트 상호작용, 카메라 내비게이션, 두 제어의 교차, 공간 기억의 네 축을 나눠 기존 세계 모델 대비 우수한 성능을 보였다고 보고한다. 비교 대상으로는 Genie 3, 알리바바 클라우드의 HappyOyster, LingBot-World v2가 언급된다. 다만 제공된 본문에는 실험 표의 구체적 수치나 데이터셋 규모, 베이스라인별 점수가 제시되지 않아 개선폭을 숫자로 인용할 수는 없다. 저자들은 모델 가중치와 코드, 벤치마크를 공개하고, 기본 모델에서 증류 모델로 어댑터를 옮기는 LoRA 워크플로와 경계가 정해진 캐시 추론을 함께 내놓아 다운스트림 적응 비용을 낮추려 했다. 로보틱스 적응을 위한 LoRA 파인튜닝 예시도 초기 단계로 제시된다.

실무 관점에서 이 논문의 값은 "무엇을 생성하느냐"보다 "어떻게 조건을 시간에 묶느냐"에 있다. 텍스트 조건을 통째로 넣으면 장기 롤아웃에서 이전 행동이 되살아나는 현상은 인터랙티브 생성에 한정되지 않고, 긴 대화나 긴 에이전트 루프에서도 같은 형태로 나타난다. 만료 시점이 있는 지시와 계속 유효한 맥락을 캡션 스키마 수준에서 분리하고, 그 분리를 어텐션 마스크로 강제하는 이 방식은 다른 조건부 생성 시스템에도 이식 가능한 패턴이다. 반면 카메라 토큰을 프레임별로 넣는 구조, 99백분위수 정규화, 4프레임 묶음 투영 같은 세부는 백본과 VAE 압축률에 강하게 종속되므로 그대로 베끼기보다 자기 파이프라인에서 재검증해야 한다. 서빙 측면에서는 경계가 정해진 캐시 추론과 LoRA 어댑터 이전이 실제 배포 비용을 좌우한다는 점을 확인해 두는 게 좋다.

저자들이 인정하는 한계도 분명하다. 시간적 인과 정보 흐름이 물리적 인과성을 보장하지는 않으며, 작은 오차가 누적되어 외형 드리프트와 장면 붕괴로 이어질 수 있다. 데이터와 모델 용량을 더 키우고 강화학습을 붙이는 것이 이 한계를 근본적으로 넘는지는 열린 질문으로 남겨 둔다. KV 캐시는 롤아웃이 길어질수록 GPU 메모리 부담이 커지고, 검색만으로는 시야 밖에서 일어난 변화를 복원할 수 없다는 점도 지적한다. 방을 떠났다가 10분 뒤 돌아왔을 때 벽시계는 같은 위치에 있어야 하지만 시간은 10분 흘러 있어야 한다는 예시가 그 문제를 잘 보여준다. 이들은 기억을 기하·참조 이미지·텍스트 요약·캐시로 나눠 에이전트가 관리하는 방향을 다음 과제로 제시하며, Hy-Nomas 자체는 그 구조를 아직 갖추지 않은 상태다.