4LC가 4D 잠재 캐시로 동적 월드 모델링의 조건 생성을 가속한다
4LC: 4D Latent Cache for Efficient Conditioning in Dynamic World Modeling
무엇인가
동적 월드 모델링에서 영상 생성은 관측된 장면 정보를 조건으로 삼아 지정된 시각과 시점의 프레임을 만든다. 문제는 같은 관측이 서로 다른 요청과 이어지는 생성 세그먼트에 반복해서 쓰인다는 점이다. 기존 파이프라인은 장면을 3D 재구성이나 4D 가우시안 스플래팅(4DGS) 같은 명시적 기하로 유지하고, 요청마다 이를 RGB로 렌더링한 뒤 다시 인코딩한다. 이 반복 처리가 전체 생성 시간에서 상당 부분을 차지한다. Mirage처럼 잠재 특징을 캐시하는 선행 연구도 있었지만, 그 특징은 특정 생성기의 잠재 공간에 묶여 있고 동적 내용은 캐시에서 빠져 있었다.
어떻게 동작하나
4LC는 이 문제를 4D 잠재 캐시로 푼다. 캐시는 C = {C_q} 형태이고, 각 엔트리 C_q는 K개의 타임스탬프 소스 이미지(키프레임)에서 만든 P개의 캐시 유닛 u_i = (x_i, t_i, v_i+, v_i-, b_i, {f_i^(r)})을 담는다. x_i는 사전학습 추정기로 역투영한 공유 월드 좌표계상의 기준 위치, t_i는 소스 타임스탬프다. v_i+와 v_i-는 인접 관측을 향한 전방·후방 월드 속도이고, 이진 모션 마스크 b_i가 1이면 추정된 모션을 적용하고 0이면 기준 위치를 고정한다. 소스 이미지가 하나뿐이면 관측 사이 모션 추정이 없으므로 b_i=0으로 둔다. 시각 표현은 VAE, DINO, V-JEPA, VGGT 같은 여러 인코더가 만든 특징 맵에서 소스 프레임과 소스 픽셀 좌표, 공간 스트라이드 d_r로 색인해 가져온다. 같은 특징 셀을 공유하는 유닛들은 벡터를 재사용하면서 각자의 기하와 모션은 그대로 유지한다.
무엇과 다른가
인터페이스는 세 연산으로 이뤄진다. Construction은 소스 관측을 여러 인코더로 인코딩해 새 엔트리로 저장한다. Readout은 엔트리의 기하를 요청 시각으로 전파하고 독립적으로 지정된 타깃 카메라로 투영한다. 시간 전파는 국소 선형 근사로, b_i=1이고 t가 소스 시각보다 뒤면 x_i + (t-t_i)v_i+, 앞이면 x_i + (t_i-t)v_i-로 위치를 옮긴다. 정적 구조에 가짜 모션이 붙는 것을 막으려고 소스 카메라에서 투영된 변위를 픽셀 단위 임계값 ε으로 잘라 b_i를 정한다. 카메라 투영에서는 깊이만 쓰면 다른 시각의 가까운 유닛이 움직이는 내용을 가릴 수 있어서, 먼저 가장 가까운 소스 시각의 움직이는 후보를 채우고 남은 셀을 정적 유닛으로 메운다. 선택된 유닛이 없으면 특징과 커버리지 마스크가 모두 0이 되는데, 이 마스크 덕분에 값이 0인 유효 특징과 내용이 없는 셀을 구분한다. 키프레임 K개로 만든 엔트리 하나가 N이 K보다 큰 타깃 시퀀스의 조건을 제공할 수 있고, 표현마다 자체 특징 그리드·차원·시간 샘플링 인덱스를 쓰면서도 하나의 접근 절차를 공유한다.
어떻게 쓰나
Composition은 선택된 엔트리들을 지정된 순서로 읽어 커버리지를 보충한다. 누적 특징은 H_j^(r) ← H_j^(r) + (1 - M_j^(r)) ⊙ H_q,j^(r), 누적 마스크는 M_j^(r) ← M_j^(r) ∨ M_q,j^(r)로 갱신하며, 특징 갱신을 커버리지 갱신보다 먼저 적용해 겹치는 위치에서는 먼저 들어온 유효 판독값을 남긴다. 모든 표현이 정해진 커버리지 비율 임계값에 도달하거나 선택된 엔트리가 없어지면 멈춘다. 엔트리를 하나로 합치지 않기 때문에 요청마다 독립적으로 조합하거나 제거할 수 있다.
전제와 한계
4LC-Video는 이 판독값을 사전학습 영상 확산 모델의 조건으로 쓴다. 조건 어댑터가 표현별로 다른 공간 해상도, 시간 샘플링, 특징 차원을 생성기의 시공간 잠재 그리드에 맞춘다. 공간 정렬은 마스킹된 특징을 보간하고 보간된 커버리지로 정규화하며 덮이지 않은 위치는 0으로 둔다. 시간 정렬은 첫 판독값을 첫 잠재 스텝에 매핑하고 이후 판독값을 잠재 시간 구간 안에서 평균해 유효 기여와 커버리지를 기록한다. 정렬된 표현, 병합된 커버리지 마스크, 타깃 카메라 레이를 각각 선형 투영한 뒤 연결·융합해 h_cond를 만든다. 제어 브랜치가 이를 확산 모델에 주입하고, 생성된 관측은 규정된 카메라·타임스탬프와 함께 새 엔트리로 캐시에 추가된다. 학습은 조건 어댑터와 제어 브랜치만 가중 플로우 매칭 목적으로 하고 시각 인코더와 확산 백본은 동결한다.
실험은 Wan2.1-T2V-14B에 VACE 제어 브랜치를 붙이고, 기하·모션 추정은 NeoVerse 재구성기를 쓴다. 기본 인코더는 FLUX.2 VAE와 V-JEPA 2.1이며, SpatialVID·RealCam-Vid·OpenVid에서 뽑은 20만 개 단안 클립으로 다중 시점 지도 없이 학습한다. 추론은 LightX2V 4스텝 LoRA로 81프레임 560×336 세그먼트를 생성한다. 카메라 제어는 SpaceTimePilot, TrajectoryCrafter, GEN3C, NeoVerse와 비교해 가장 낮은 카메라 오차와 가장 높은 피사체·배경 일관성을 동시에 얻었고, 베이스라인들은 둘 중 하나를 포기하는 트레이드오프를 보였다. 시간 제어에서도 같은 우위를 유지했다. RealEstate10K 신규 시점 합성에서는 최고 LPIPS를 기록하고 PSNR은 LiveWorld에 0.1 dB 이내로 근접했으며 ViewCrafter, FlexWorld, Voyager, Spatia를 세 지표 모두에서 앞섰다. Mirage는 더 높은 출력 해상도(1280×704 대 560×336)에서 SSIM이 더 높지만 PSNR과 LPIPS는 4LC-Video보다 나쁘다. WorldScore 장면 재방문에서는 LiveWorld를 PSNR_C 기준 1.84 dB 앞서고 최고 LPIPS_C를 냈다. MBench-A 장기 생성에서는 Environment와 Causal 점수가 가장 높았는데, HY-WorldPlay와 Infinite-World는 공간·렌더링 지표는 높지만 장면이 지나치게 정적으로 남고 Yume-1.5와 LingBot-World는 장면 상태는 진화하지만 공간 일관성을 잃는다.
효율 수치는 조건 획득 비용의 성격을 잘 보여준다. NeoVerse에서 조건 획득은 18.47초 종단 간 생성 시간의 14.9%를 차지한 반면, 같은 생성 설정을 쓴 4LC-Video는 16.19초 중 0.25%다. 4DGS 렌더링 후 VAE 인코딩과 비교하면 4LC 판독은 68.5배 빠르고 최대 GPU 메모리는 12.6배 낮다. Wan2.1 VAE에 DINOv2, VGGT, V-JEPA 2.1을 추가하면 판독 지연이 40.14ms에서 196.14ms로, 최대 GPU 메모리가 0.385GiB에서 1.245GiB로 늘고, 기본 구성인 FLUX.2 VAE + V-JEPA 2.1은 162.03ms·0.763GiB, 여기에 DINOv2와 VGGT를 더하면 255.20ms·1.605GiB다. 모두 표현 하나를 렌더링·인코딩하는 비용보다는 낮다. 재인코딩과의 품질 비교에서는 VAE 특징의 상대 유사도가 낮았고(중앙값 FLUX.2 VAE 0.85, Wan2.1 VAE 0.71), 절제 실험에서 네 인코더를 모두 조합한 구성이 가장 강해 번역 오차를 0.112에서 0.101로 줄였다.
개발자 관점에서 이 설계는 조건 획득이 반복되는 인터랙티브 월드 모델, 장기 영상 생성, 카메라 궤적 제어 파이프라인에서 그 비용을 줄이는 데 직접 쓸 수 있다. 다만 4LC는 학습된 피드포워드 4D 재구성 추정기에 의존하므로, 자체 데이터에 적용하려면 깊이·카메라·모션 추정 품질을 먼저 확인해야 한다. 기본 인코더 선택도 결과를 가른다. 직접 판독 시 FLUX.2 VAE가 Wan2.1 VAE보다 일관성 손실이 작았고, V-JEPA 2.1은 영상에서 학습한 시간적 일관성 덕분에 회전·번역 오차를 함께 낮췄다. 엔트리를 하나로 합치지 않고 요청별로 조합·제거할 수 있게 한 점은 캐시 메모리 관리 측면에서 참고할 만하다.
저자들이 밝힌 한계는 두 가지다. 4LC는 피드포워드 4D 재구성 모델로 깊이, 카메라 파라미터, 모션을 추정하며, 그 추정 오차가 학습 증강에도 불구하고 판독 품질에 영향을 줄 수 있다. 또 4LC 자체는 정적·동적 내용을 모두 지원하지만, 4LC-Video의 장기 생성에서는 이전 엔트리의 정적 유닛만 이력으로 재사용한다. 생성 세그먼트 사이의 동적 재사용은 향후 과제로 남겨 두었다.