Velox가 시공간 기억을 라우팅해 월드모델 롱롤아웃을 가속한다

무엇인가

비디오 월드모델은 사용자가 지정한 행동이나 카메라 이동을 따라 미래 프레임을 롤아웃한다. 문제는 일관성이다. 이전 프레임이 담고 있는 외형·기하·객체 상태를 미래 프레임이 존중해야 하는데, 청크 단위 확산 모델은 보통 과거 전체를 KV 캐시에 쌓아두고 새 청크가 이를 참조한다. 그래서 뒤로 갈수록 청크 생성이 느려진다. 현재 카메라가 과거 장면의 아주 일부만 비추더라도 비용은 히스토리 길이에 비례해 커진다. 논문은 이 지점을 "컨텍스트 누적이 아니라 컨텍스트 선택"의 문제로 재정의한다.

어떻게 동작하나

Velox는 재학습이 필요 없는 추론 시점 어텐션 라우터다. 사전학습된 생성기와 컨디셔닝 인터페이스는 그대로 두고, 현재 쿼리 블록과 과거 KV 블록 사이의 가시성 관계만 바꾼다. 핵심 표현은 프러스텀 슬랩이다. 청크 j가 디코딩되면 재구성 백엔드가 깊이·신뢰도·마스크·카메라 포즈를 만들고, Velox는 신뢰할 수 있는 깊이 샘플을 3D로 언프로젝션한 뒤 해당 청크의 잠재 카메라로 투영해 전역 Gilbert 블록 단위로 버킷팅한다. 각 블록 조각에는 소스 카메라 토큰 사각형과 백분위수 깊이 구간(예: Quantile_p_lo, Quantile_p_hi), 유효성 통계가 붙는다. 현재 블록의 깊이는 최신 우선 멀티워프로 얻는다. 최근 재구성 청크의 첫·마지막 픽셀 프레임 깊이를 캐시해 두고 타깃 청크의 잠재 카메라로 포워드 워프한 뒤, 샘플 수가 하한을 넘는 가장 최신 프레임의 중앙값 깊이를 채택한다.

무엇과 다른가

라우팅은 두 단계다. 먼저 월드 좌표계에서 카메라 지향 OBB로 근사한 프러스텀 슬랩의 IoU를 계산해 기하 점수 g_i,r을 만든다. 다음으로 커버리지 ρ_i를 따로 계산한다. 토큰의 멀티워프 깊이가 유효한 과거 슬랩 안에 들어가면 커버된 것으로 보고, 블록의 90% 이상이 커버되면 기하를 신뢰한다. 커버된 블록에서는 각 레이어가 스스로 만든 블록 중요도 p_i,r(평균 쿼리·키 벡터의 소프트맥스)에 기하 점수를 (1+λ·ĝ_i,r)로 곱해 재정규화한다. 즉 기하는 모델 순위를 대체하지 않고 증폭만 한다. 커버되지 않은 블록은 기하 편향 없이 모델 분포를 그대로 쓰고, 누적 질량이 임계값에 도달하는 최소 프리픽스를 라우트로 삼는다. 이전 청크 블록은 항상 예산 안에 예약되고, 전역 정렬 Gilbert 도메인의 26-이웃과 참조 프레임 블록은 예산 밖 안전장치로 추가된다. 설정값은 τ=0.1, g_ref=0.2, λ=2, η_cov=0.9, K_cov=80, K_unc=150이다.

어떻게 쓰나

복잡도 관점의 주장은 명확하다. 밀집 어텐션 비용이 O(N·M_c·b_tok²·d)로 히스토리 길이 M_c에 비례해 커지는 반면, Velox는 라우트 상한 K_max와 안전장치 Δ_safe만 남겨 O(N(K_max+Δ_safe)b_tok²·d)로 묶는다. 블록 크기를 FlashAttention 타일 실행 단위와 맞춰서, 스킵된 블록은 QK^T 타일 곱과 KV 타일 로드 모두를 제거한다. KV 캐시는 라우트와 같은 전역 정렬 Gilbert 순서로 저장해 이웃 영역이 메모리상 가깝게 유지된다.

전제와 한계

실험은 LingBot-Fast-Cam 추론 스택(Wan 계열 비디오 확산 트랜스포머) 위에서 수행됐다. 48청크 타이밍 트레이스에서 청크 48 기준 호출당 어텐션 지연이 약 34.2ms에서 7.8ms로 줄어 4.36배, 같은 단일 H200 비동기 설정에서 청크 디노이징 시간이 약 7.19초에서 2.96초로 줄어 2.43배가 됐다. 기하 재구성은 디노이징과 같은 H200에서 비동기로 돌며 두 청크 지연을 두고 소비된다. 품질은 WBench 내비게이션 분할 158개 케이스 전체에서 평가됐다. 밀집 LingBot-Fast-Cam 대비 API-free 평균에서 0.15점 이내를 유지했고, 19개 지표 전체 평균은 75.52에서 75.60으로 소폭 올랐다. 모델 중요도만 쓰는 블록 희소 라우팅 베이스라인과 비교하면 API-free 평균 73.11→73.51, 전체 평균 75.01→75.60, 공간 일관성 71.8→74.3으로 개선됐다. 별도 감사에서는 τ=0.1일 때 레이어 14가 기하 재현율 R_geo=0.7302, 상위 50 일치도 R_50=0.8909를 기록해 랜덤 기대값 50/143=0.350을 크게 웃돌았고, λ=2·g_ref=0.2 설정이 융합 상위 80의 양의 중첩 재현율을 0.602에서 0.852로 올리면서 선택 블록의 9.0%만 바꿨다.

개발자 관점에서 이 논문의 실용적 함의는 "메모리를 버리지 않고 노출만 줄인다"는 설계다. KV 캐시를 잘라내는 eviction이나 압축과 달리, 과거 전체를 보관한 채 쿼리 블록마다 고정 예산의 라우트만 물린다. 따라서 롤아웃이 길어질수록 이득이 커지고, 짧은 컨텍스트에서는 고정 오버헤드만 남는다. 도입을 검토한다면 세 가지를 확인해야 한다. 첫째, 깊이·포즈를 주는 재구성 백엔드가 파이프라인에 있어야 한다. 둘째, 라우트가 블록 단위여야 커널이 타일 스케줄을 줄일 수 있다(토큰 단위 불규칙 인덱싱은 이득이 사라진다). 셋째, 커버리지 임계값과 K_cov·K_unc 같은 예산이 워크로드별로 재보정이 필요한 하이퍼파라미터라는 점이다.

저자들이 밝힌 범위도 분명하다. 그들은 "소프트 프러스텀 슬랩 라우팅이 후반 청크 어텐션 병목을 완화하면서 벤치마크 품질을 크게 떨어뜨리지 않는다"는 제한적 주장만 내세운다. 기하 상태는 두 청크 지연을 두고 비동기로 준비되므로 청크 c는 보통 c-2까지의 기하만 소비한다. Q-깊이 구멍이나 디스오클루전 뒤에 남은 낡은 워프 깊이처럼 재구성이 불완전한 경우를 전제로 설계됐고, 그래서 커버되지 않은 영역의 폴백 분기가 필요하다. 품질 평가는 WBench 내비게이션 분할에 한정되며, 심사 모델이 다른 공개 WBench 수치와 직접 비교하면 안 된다고 명시한다. 정성적 비교 그림의 사례들은 예시용으로 골랐고, 집계 품질의 1차 근거는 벤치마크 점수라고 못 박는다.