X-World 1.6이 3D 장면 참조로 제어 가능한 주행 시뮬레이터를 만든다

무엇인가

X-World 1.6은 자율주행용 생성형 월드 모델을 '쓸 만한 시뮬레이터'로 만드는 문제를 다룬다. 논문이 내세우는 전제는 명확하다. 엔드투엔드 폐루프 평가와 정책 학습에 생성 모델을 투입하려면 정밀한 시나리오 제어, 카메라 간 일관된 관측, 그리고 긴 상호작용 동안 유지되는 생성 품질이 동시에 필요하다. X-World 1.0은 ego motion, 교통 참여자, 도로 형상, 전역 외관을 제어하는 스트리밍 자기회귀 인터페이스로 이미 XPENG의 VLA 2.0 워크플로에서 폐루프 시뮬레이션과 온라인 강화학습, 합성 데이터 생성에 쓰이고 있었다. 1.6은 그 위에 기본 모델 제어력, 장기 호라이즌 후학습, 평가·반복 파이프라인이라는 세 축을 얹는다.

어떻게 동작하나

데이터 쪽 변화는 규모와 선별 방식 모두에 걸친다. 후보 녹화 풀은 1.0 대비 4배, 실제 선택된 학습 데이터는 2배로 늘었다. 후보 풀이 크면 더 엄격한 선별을 하면서도 쓸 수 있는 클립과 주행 상황의 다양성을 유지할 수 있다는 것이 저자들의 설명이다. 촬영 결함(휘도 플리커, 가로 색 줄무늬, 렌즈 오염·가림, 강한 색 편향, 과다 노출)은 절대적 화질 신호와 다른 카메라와의 비교를 함께 써서 걸러내고, 안개·비·저조도처럼 여러 카메라에 동시에 영향을 주는 환경 조건과 구분한 뒤 VLM 검증을 붙인다. 주석 체계는 150개 이상 태그로 확장됐고, SFT 데이터는 운동학 기반 선택(지속적 고곡률, 완전 정지까지의 감속)과 행동 태그 기반 선택(교차로 회전, 합류, 추월)을 함께 쓴다. 선택된 SFT 데이터의 분포로 교차로 좌회전 41.5%·우회전 40.3%·U턴 18.2%, 도로 유형 중 도심 도로 58.4%, 날씨 중 비 9.5%, 신호등 중 적색 36.0%·녹색 32.2%가 제시된다.

무엇과 다른가

생성 모델 자체는 7대 카메라의 동기화 영상을 장면 증거 S, 시나리오 제어 C, 카메라 구성 Π에 조건화해 만든다. C에는 ego motion, 교통 참여자, 도로 형상, 신호등 상태, 노면 표시, 환경 텍스트가 들어가고, S는 같은 장소를 다른 시나리오로 재생할 수 있게 하는 지속적 증거다. 기하 표현의 핵심은 GeoPE로, 각 이미지 패치를 공통 장면 좌표계의 시선 광선에 묶는다. 기술자는 방향 벡터, symlog로 압축한 Plücker 모멘트(c×d), 수평·수직 각도 폭을 합친 12차원이고, WAN2.2 VAE가 4프레임을 한 레이턴트로 압축하는 점을 반영해 첫 레이턴트는 1슬롯, 이후 레이턴트는 4개의 순서 있는 슬롯으로 지오메트리 임베딩을 만든다. 동적 객체·노면 표시·차선은 각 조건에 맞는 별도 인코더를 쓰되 출력은 같은 DiT 폭으로 사상한 뒤 하나의 cross-attention에 토큰과 유효성 마스크를 이어 붙인다(1.0에서는 동적 객체가 뷰별 경로, 차선이 융합 후 별도 브랜치였다). 신호등은 별도 브랜치를 갖는다. 신호등의 가시 영역은 작고 카메라에 따라 다르며, 4개 소스 프레임이 하나의 레이턴트로 압축되면서 색이 바뀌면 시간 평균이 서로 다른 상태를 섞어버리기 때문에, 소스 프레임별 상태 토큰과 광원별 공간 마스크로 국소화한다.

어떻게 쓰나

절대 정적 장면 제어는 이 논문의 가장 큰 확장이다. 희소한 도로 주석만으로는 특정 장소의 건물, 가드레일, 노면 디테일을 결정할 수 없기 때문에, 점구름·3DGS·참조 이미지라는 세 가지 증거 경로를 둔다. 점구름은 7대 카메라 각각에 대해 요청 포즈에서 RGB와 깊이를 렌더링하고(깊이 0은 관측 없음 표시), 이를 VAE 인코딩해 장면 토큰으로 만든다. 3DGS는 SAM3로 이동 객체를 제거한 뒤 정적 환경 참조 비디오를 렌더링하는데, 객체를 추적해 숨기는 방식(OmniRe)과 재구성 시 마스킹하는 방식 두 가지를 쓰고 추적이 불안정할 때 후자를 택한다. 여기서 중요한 설계는 궤적 분리다. 학습 시 참조 비디오를 다른 카메라 경로로 렌더링하고 실제 녹화 영상은 그대로 노이즈 제거 타깃으로 두며, 약 100만 쌍의 참조-타깃 쌍을 오프라인으로 만들어 모델이 참조에서 장면 세부를 읽되 타깃 궤적을 따르도록 학습시킨다. 참조 이미지 경로는 3D 재구성 없이 건물 외벽 같은 국소 외관 패치를 직접 조건으로 쓴다. 저자들은 이 조건화 경로들이 각각 독립적으로 학습된 모델이며, 공통 인터페이스가 하나의 모델이 모든 참조 모달리티를 받는다는 뜻은 아니라고 명시한다.

전제와 한계

학습은 Wan2.2-TI2V-5B에서 초기화해 VAE와 텍스트 인코더는 고정하고 DiT만 갱신하며, Rectified Flow로 flow velocity를 예측한다. 먼저 조건 드롭아웃을 높여 불완전한 입력 조합에 적응시키고, 드롭아웃 가능한 조건이 전부 빠진 경우에는 임의의 시간 레이턴트 위치를 깨끗하게 유지해 관측 프레임처럼 쓰는 temporal latent inpainting을 함께 한다. 이후 드롭아웃을 낮춰 조건 준수를 강조하는 단계로 이어진다. 후학습은 4단계다. 전체 시간 어텐션을 블록 인과 마스크로 바꿔 teacher forcing하고, Causal Consistency Distillation으로 few-step 인과 예측을 만들고, Connected Self Forcing(CSF)으로 자기 생성 이력을 문맥으로 쓰는 분포를 직접 학습한다. CSF의 핵심은 Shortcut Gradient Replay로, 표준 Self Forcing이 메모리 때문에 과거 KV 캐시를 detach해 이후 손실이 앞선 생성을 개선하지 못하는 문제를, 나중 청크의 DMD 그래디언트를 선택된 과거 KV 상태를 미분 가능하게 만든 재생 계산으로 되돌려 보내 해결한다. 과거 청크는 자신의 직접 DMD 그래디언트와 교차 청크 피드백을 함께 받는다. 이어서 교사 모델을 원래 학습보다 3배 긴 7-카메라 시퀀스로 파인튜닝하고 학생 롤아웃 길이와 교사 감독 창을 함께 늘리는데, 짧은 교사 감독을 유지하는 Self-Forcing++나 LongLive와 다르다고 저자들은 강조한다. 마지막으로 DiffusionNFT 기반의 One Packed NFT로 시각 품질과 ego motion 준수를 보상 학습하는데, 인과 모델에서 표준 마스크로 모든 블록을 한꺼번에 노이징하면 깨끗한 이력이 오염되므로 clean-history 인코딩과 noisy-target 예측을 분리하고, 순차 호출 H번을 packed 호출 한 번으로 접는다.

평가는 모델 반복의 일부로 설계됐다. 사람 주석 파이프라인이 실패 유형 분류 체계와 국소 주석을 제공하고, VLM 사전 라벨링과 사람 교정으로 효율을 올리며, 자동 벤치마크가 버전 간 시간적·교차 뷰 일관성을 비교한다. 부록에는 진단 지표의 정의가 실려 있다. 추적 진단은 동일 트랙 임베딩의 코사인 유사도를 1·2·4·8·16·32 프레임 간격에서 평균한 C_app, 간격이 2배가 될 때 유사도가 얼마나 떨어지는지를 로그 회귀로 적합한 기울기 D_app(0에 가까울수록 감쇠가 느림), 동일 카테고리 교차 뷰 관측의 광선 간 최근접 거리 R_ray(미터)로 구성된다. 압축 진단은 libx264 CRF 36, GOP 128과 all-intra 스트림을 비교해 ΔSSIM, ΔPSNR, 비트 크기 비율을 재고, 재구성은 UniSplat으로 SSIM·PSNR·MAE를 본다. 다만 제공된 본문 발췌에는 6·7장의 정량 비교표가 포함되어 있지 않아, 버전 간 개선폭 수치는 원문에 제시된 값을 확인할 수 없다. 발췌에서 확인되는 수치는 데이터 분포 비율과 지표 정의뿐이다.

실무 관점에서 이 시스템은 폐루프 평가, 강화학습, 합성 데이터 생성을 하나의 인터페이스로 묶는다는 데 의미가 있다. 배포 구현도 함께 서술하는데, 초기화·디노이즈·디코딩을 별도 워커 프로세스로 분리하고 세션마다 캐시와 스트림을 미리 할당하며, X-Cache 잔차를 pinned 호스트 메모리에 두고 비동기 전송해 4-PPU 노드에서 디노이저 하나당 세 세션을 돌린다. BF16 DiT는 FlashAttention-3의 SAIL 구현을 쓰고, 커널 최적화가 참조 리덕션 순서와 BF16 반올림 경계를 보존하도록 명시해 수치적으로 정확한 구현 변경과 X-Cache의 의도적 근사 사이를 구분한다. 도입 전에 확인할 점은 세 가지다. 조건 모달리티마다 체크포인트가 따로라는 점, 참조 커버리지 밖 영역은 학습된 사전분포로 채워진다는 점, 그리고 신호등 상태와 액터 궤적처럼 별도로 지정되는 입력들이 서로 일관해야 한다는 점이다.

저자들이 밝힌 한계는 분명하다. 30초를 넘는 멀티뷰 롤아웃을 지원하지만, 장시간 가려짐과 장거리 이동이 겹치면 이전에 관측한 장면 콘텐츠를 충실히 복원하지 못할 수 있어 롤아웃 길이가 장면 기억의 지속성을 보장하지 않는다. 또한 시간적으로 일관되지 않은 제어 입력은 불연속이나 비일관된 행동을 낳을 수 있다. 보고된 일관성 및 응용 결과는 이런 한계와 공급된 장면 참조의 커버리지 범위 안에서 해석해야 한다고 못박는다. 장면 기억 개선과 불완전한 제어를 일관된 세계 진화로 조화시키는 일이 이후 후학습의 우선순위라는 것이 저자들의 정리다.