CADRE가 인터랙티브 월드 모델의 압축 위치와 정도를 다시 정한다

무엇인가

이 논문은 인터랙티브 비디오 월드 모델이 과거 프레임과 행동으로 다음 프레임을 생성할 때, 비디오 오토인코더의 압축이 처리량과 행동 지연을 결정한다는 문제를 다룬다. 기존 월드 모델은 텍스트-투-비디오 생성기의 오토인코더를 재사용하는데, 이런 모델은 오프라인 생성을 전제로 8배 시간 압축을 쓰는 경우가 많아 20fps에서 첫 행동이 최소 400ms 늦어진다. 논문은 인간이 자기 움직임의 230ms 지연을 알아차리고 100ms 아래에서 즉각적으로 느낀다는 선행 연구를 근거로, 압축을 어디서 얼마나 할지가 상호작용 품질을 좌우한다고 본다.

어떻게 동작하나

저자들은 CADRE라는 공개 오토인코더군을 만든다. 인코더는 프레임별로 고정된 DINOv3 특징을 뽑고, 학습되는 하나의 3D 합성곱(커널 τ,k,k, 스트라이드 τ,s′,s′)으로 τ프레임과 s′² 패치를 결정적 잠재로 압축한다. 구성원은 이 작은 병목만 달라져 7가지 시공간 압축을 제공하고, 디코더는 공간-시간 분해 트랜스포머 기반 확산 디코더를 공유한다. 각 구성원은 처음부터 학습되어 월드 모델 차이가 압축에만 기인하게 하며, 디코더는 잠재를 전치 합성곱, 공간 AdaLN, zero-init 스킵으로 조건받고 시간 인과적으로 청크 단위 스트리밍이 가능하다.

무엇과 다른가

디코더는 flow matching의 x-예측 손실로 학습되며, 평균절대오차, LPIPS와 DINO 특징 공간 지각 거리, 3D 웨이블릿 항을 함께 쓴다. 강한 압축에서는 지각 회귀 디코더가 텍스처를 평균내 흐려지므로 확산 디코더를 쓰고, progressive self-distillation으로 한 번 또는 두 번의 점프만으로 디코딩하도록 만든다. 별도 2단계 증류나 적대적 손실 없이 한 단계에서 자기 교사 방식으로 학습하는 것이 특징이다.

어떻게 쓰나

실험은 조작 2개(로봇, 사람 손)와 내비게이션 2개(주행, 실내) 총 4개 환경에서 진행한다. 모든 영상은 20fps, 288×512로 맞추고, 1.2B 인과 확산 트랜스포머 월드 모델을 MIRA 레시피로 각 오토인코더의 잠재에 대해 동일하게 학습한다. 평가는 40개 실제 프레임(2초)을 주고 96개(4.8초)를 생성해 마지막 16개 디코딩 프레임을 FID, FVD, PSNR, LPIPS, 행동 재현율 ARR로 채점하며, 환경별 2048개 홀드아웃 샘플을 공유한다. 비교 대상은 Wan 2.2(4×16×16), Cosmos(8×8×8), LTX-2(8×32×32), DC-AE(1×32×32), 그리고 같은 데이터로 재학습한 MIRA 오토인코더(2×32×32)다.

전제와 한계

결과적으로 CADRE는 특히 카메라가 움직이는 환경에서 지연-품질 프런티어의 대부분을 차지한다. MIRA, Wan 2.2, Cosmos, LTX-2와의 48개 비교 중 42개에서 CADRE가 최소한 같은 속도이면서 2% 이상 더 좋았고, 두 단계 디코딩에서 모든 환경의 최고 FID는 CADRE, 대개 4×16×16이었다. 최고 FVD도 로봇 조작에서 Cosmos와 동률인 것을 제외하면 CADRE가 가져갔다. 내비게이션에서는 한 개를 제외한 모든 CADRE가 다른 오토인코더보다 FID와 FVD가 좋았고, Wan 2.2의 FVD는 로봇 조작 53에서 내비게이션 600 이상으로 커졌으며 LTX-2의 ARR은 실내에서 0.04까지 떨어졌다. 64초 로봇 조작 롤아웃에서도 CADRE가 드리프트가 가장 적었다. 빠른 끝에서는 CADRE-1×48×48이 DC-AE와 비슷한 반응 속도였고 내비게이션에서는 DC-AE를 이겼지만, 조작에서는 DC-AE가 이겼다. H100에서 8회 디노이징으로 20fps와 230ms 미만 지연을 동시에 만족한 것은 CADRE-2×32×32, CADRE-2×16×16, MIRA뿐이었다.

세부 발견도 실무적이다. 강한 압축에서 확산 디코더는 지각 회귀보다 선명했고, 한 단계로 FVD를 1.4~2.5배 낮추면서 행동 재현은 비슷했으며 두 번째 단계는 FID를 최대 23% 낮췄다. 로봇 조작에서는 시간 압축을 월드 모델 내부 패칭이 아니라 오토인코더에서 하는 편이 FID, FVD, PSNR, LPIPS에서 더 좋았고, 8프레임 압축에서는 ARR이 0.72에서 0.56으로 떨어졌다. 조작은 카메라가 정지해 있어 시간 압축 비용이 작고 공간 압축이 작은 물체를 잃어 손해이며, 내비게이션은 카메라가 움직여 반대로 공간 압축 비용이 작고 시간 압축이 이음새를 만든다. 내비게이션에서 긴 잠재는 2프레임 잠재 대비 FVD를 최대 64% 높였고, τ=8에서 청크 경계 이음새 지표가 1.6~1.8로 커졌다. 고정 토큰 예산 약 1100토큰/16프레임에서 내비게이션은 2×32×32, 조작은 8×16×16이 가장 좋았다. 또한 조작에서 τ=2일 때 거친 공간 토큰은 FID를 거의 바꾸지 않으면서 FVD를 2.4배로 키우고 ARR을 낮췄다.

개발자에게 이 논문은 월드 모델용 오토인코더를 텍스트-투-비디오용에서 그대로 가져오면 안 된다는 체크리스트를 준다. 실시간 상호작용이 목표라면 시간 압축이 행동 지연을 직접 늘린다는 점을 먼저 계산하고, 카메라가 고정된 조작 장면과 움직이는 주행·실내 장면에 서로 다른 압축을 선택해야 한다. 또한 FID 같은 이미지 품질만 보지 말고 FVD와 ARR로 움직임과 행동 추종을 함께 평가해야 한다.

저자들은 각 월드 모델이 한 환경만 다루므로 일반화된 월드 모델, 정책 학습, 계획 수립으로 결론이 이어지는지는 열린 문제라고 밝힌다. 조작 데이터는 정지 또는 거의 정지한 카메라에 한정되며, 손목 장착 카메라처럼 움직이는 시점은 내비게이션 쪽 압축을 선호할 것으로 예측한다. 생성 영상의 오용 가능성과 288×512, 저수준 행동에 특화된 범위도 한계로 제시한다.