월드-인-컨텍스트가 시점·행동·카메라 제어를 토큰 하나로 통합한다

무엇인가

이 논문이 다루는 문제는 인터랙티브 비디오 월드 모델에서 시점, 캐릭터 행동, 카메라 움직임을 동시에 정교하게 제어하는 일이다. 기존 방법은 시점 모드를 텍스트 캡션에 암묵적으로 맡기고, 행동과 카메라 운동을 뒤섞으며, AdaLN·교차어텐션·추가 토큰 주입 같은 분절된 경로로 제어를 넣는다. 그 결과 조건 간 상호의존성이 간접적으로만 학습되고, 제어가 조합될수록 구조가 복잡해진다. 논문은 이를 전용 조건 분기를 늘리는 대신, 여러 상호작용 신호를 하나의 문맥 시퀀스로 모델링하는 문제로 재정의한다.

어떻게 동작하나

제안 방법 World-in-Context의 핵심은 In-Context Conditioning(ICC)이다. 시점, 행동, 카메라 조건을 각각 토큰 시퀀스로 만들어 시각 잠재변수 앞에 붙이고, 공유 자기어텐션 공간에서 함께 처리한다. 조건 토큰은 c=[c_view; c_action; c_camera]로 결합되며, 플로우 매칭 백본은 [c; z_tau] 위에서 속도장을 예측한다. 시점은 Free·Fpp·Tpp를 학습된 범주형 토큰과 타입 임베딩으로 명시해 운동 의미를 분리한다. 행동 토큰은 move·turn·Δtrans·Δrot 같은 하위 슬롯으로 분해되고, 카메라 토큰은 상대 6DoF 포즈와 Plücker 광선장, 전역 포즈, 국소 이동량을 인코딩한다.

무엇과 다른가

시간축 처리에는 Interaction-Transport RoPE(IT-RoPE)를 추가한다. 표준 3D-RoPE가 상대적 시공간 좌표만 담는 반면, IT-RoPE는 행동과 카메라 각각에 대해 사용자 입력이 만든 단계 변환을 누적해 구간 전송 연산자 T_i→j를 만든다. 이 비가환적 합성은 제어 순서를 보존하므로, 끝점은 같지만 실행 순서가 다른 궤적을 구분할 수 있다. 어텐션 점수에는 게이트와 유효 구간 마스크, (T−I)로 중심화한 보정항을 더하며, 학습 초기에는 보정 스케일을 0으로 초기화해 백본의 원래 동작을 유지한다.

어떻게 쓰나

실험은 Wan2.2-TI2V-5B 백본 위에서 WBench의 Navigation과 Perspective Switching(Fpp↔Tpp)으로 평가했다. 비교 대상은 같은 기반의 YUME 1.5, ABot-World, DreamX-World, Zing-0.5이며, 22B EchoWM과 LingBot-World v2, Alaya-EVOKE, HY-World 1.5도 참조로 포함했다. World-in-Context-5B는 Navigation 평균 81.5로 22B EchoWM의 81.6과 대등했고, Interaction 점수는 84.2에서 86.0으로 올랐다. 시점 전환 성공률은 93.8%로 5B 베이스라인 최고 18.8%를 크게 앞섰다. 전환 감독 없이도 37.5%였고, 500개 전환 시퀀스를 더하자 93.8%가 됐다.

전제와 한계

절제 분석에서 ICC의 이점은 조건이 풍부해질수록 커졌다. 카메라만 쓸 때는 76.3으로 다른 주입 방식(76.3~77.0)과 비슷했지만, 행동+카메라에서는 Navigation +0.6, Interaction +1.1이었고, 시점 토큰까지 더하면 +1.0과 +1.4로 늘어 81.2와 86.8에 도달했다. IT-RoPE는 3D-RoPE 대비 Navigation 80.5→81.2, Interaction 86.2→86.8을 기록했고, 끝점만 쓰는 변형(80.5/86.6)보다 나았다. 데이터 효율도 50K+250 클립으로 전환 75.0%를 내어 100K+500으로 학습한 추가 주입 방식(71.9%)을 앞섰고, 100K+500에서 81.5/93.8로 125K+750 추가 주입(80.3/78.1)을 이겼다.

확장 적용도 제시한다. WiC-Causal은 외부 KV 캐시 검색 대신 과거 잠재 토큰을 조건 시퀀스에 직접 넣고, 초기 문맥을 보존하는 sink 토큰과 최근 토큰 창을 함께 사용한다. 이 인과적 롤아웃은 Navigation 81.2, 시점 전환 90.6%로 양방향 버전(81.5/93.8) 대비 작은 저하만 보였다. 게임 제어로는 Counter-Strike 2의 EWM 시퀀스에서 fire·duck·walk 토큰을 추가해 Dust II로 학습하고 Mirage·Nuke와 실제 장면으로 전환하는 실험을 보였다.

개발자 관점에서 이 논문은 인터랙티브 영상 생성에서 제어 모달리티를 아키텍처 분기로 늘리지 않고 공통 시퀀스 인터페이스로 관리하는 설계 지침을 준다. 다만 저자들은 이 작업이 완성형 시스템 제품이 아니라 상호작용 조건화의 알고리즘 공식을 다룬다고 밝힌다. 전체 성능은 데이터 품질, 모델 크기, 학습 규모에 의존하며, 실험은 100K 내비게이션 클립과 500개 전환 시퀀스라는 비교적 작은 규모에 기반한다. 기존 방법들이 학습 데이터 규모를 일관되게 공개하지 않아 교차 방법의 데이터 규모 비교는 본표에서 제외했고, 시점·행동·카메라라는 세 가지 기초 제어 양상에 초점을 맞췄다는 전제가 있다. 원문에는 코드 저장소나 프로젝트 페이지 URL이 제시되지 않았다.