L3G-World가 잠재 3D 가우시안 메모리로 실시간 세계 생성을 구현한다

무엇인가

이 논문은 사용자 행동에 따라 영상을 생성하는 인터랙티브 월드 모델에서, 긴 탐색과 루프 클로저에도 공간 일관성을 유지하면서 실시간으로 생성하는 문제를 다룬다. 기존의 시간적 문맥 방식은 과거 프레임이나 self-attention KV 캐시를 붙잡아 메모리와 어텐션 비용이 생성 스트림 길이와 해상도에 따라 선형으로 커지고 결국 OOM에 이를 수 있다. 명시적 3D 메모리 방식도 피드포워드로 픽셀마다 dense point cloud나 Gaussian을 예측해 같은 공간에 중복 primitive를 쌓으면 메모리와 렌더링 비용이 계속 늘고, 최적화 기반은 compact하지만 반복 최적화 지연이 커 실시간 생성과 맞지 않는다. 논문은 이 두 비용 구조를 동시에 줄이는 것을 목표로 한다.

어떻게 동작하나

제안하는 L3G-World는 Latent 3D Gaussian Memory(L3G)를 장면 기억으로 두고, 메모리 업데이터 L3G-Mem과 비디오 DiT L3G-Gen을 자기회귀적으로 번갈아 실행한다. 메모리는 토큰과 해당 3D Gaussian의 집합으로 표현되고, Gaussian 파라미터는 MLP 기반 Gaussian head가 토큰에서 디코딩한다. 업데이터는 V개 프레임의 이미지, 카메라, VAE 잠재를 한 윈도로 처리하며, 메모리 크기가 생성 스트림 길이가 아니라 탐색한 장면 범위에 주로 비례하도록 설계한다.

무엇과 다른가

L3G-Mem의 핵심은 선택적 생성과 기존 Gaussian의 정제다. 현재 카메라에서 이전 메모리를 렌더링해 얻은 opacity와 RGB 오차로 spawn mask를 만들고, 낮은 opacity나 큰 오차가 있는 영역만 새 Gaussian 후보로 삼는다. DA3 기반 기하 특징 중 마스크 안의 특징만 남기고 K-means로 spawn query token을 초기화하므로, 모든 픽셀 특징을 clustering하는 대신 메모리가 부족한 곳에만 primitive를 배정한다. 동시에 현재 뷰에 보이는 기존 메모리 토큰을 refinement token으로 뽑아 residual update를 예측한다. spawn과 refine 토큰은 하나의 transformer에서 기하 특징에 cross-attention하고, 스트림별 self-attention과 전체 self-attention을 거친 뒤 각각 새 Gaussian과 기존 Gaussian의 잔차로 디코딩된다. 새 Gaussian은 append되고 선택된 기존 Gaussian은 제자리에서 갱신되며, 선택되지 않은 항목은 그대로 둔다.

어떻게 쓰나

또한 각 Gaussian에 VAE 잠재 특징을 함께 저장한다. 현재 VAE 잠재에서 latent query를 초기화해 cross-attention으로 정렬하고, spawn token과 채널 방향으로 합쳐 Gaussian을 디코딩한다. 이렇게 하면 L3G-Gen이 목표 카메라에서 메모리를 렌더링할 때 RGB로 렌더링한 뒤 VAE로 다시 인코딩하지 않고, 곧바로 DiT의 잠재 공간으로 조건화할 수 있다. L3G-Mem은 K개 윈도에 걸쳐 빈 메모리에서 시작해 학습하며, 이전 메모리에는 stop-gradient를 적용해 인과성을 지킨다. 손실은 RGB L1, LPIPS, depth L1, VAE 잠재 MSE, visibility loss의 합이다.

전제와 한계

L3G-Gen은 목표 카메라에서 메모리의 VAE 잠재와 alpha mask를 렌더링해 target latent 및 reference latent와 채널 방향으로 결합하고, target만 denoising한다. 카메라 ray를 위한 RayRoPE와 reference latent에 시간적으로 음수 오프셋을 준 temporal RoPE를 사용한다. teacher는 rectified flow로 학습하고, AnyFlow를 따라 on-policy distillation으로 few-step student를 만들어 L3G-World Fast를 구성한다. 이 distillation이 실시간 추론의 핵심이다.

실험은 DL3DV와 RealEstate10K에서 수행하고, 481프레임 루프 클로저 궤적으로 장기 일관성을 측정한다. L3G-Mem은 ZipSplat에서 영감을 받아 DA3를 geometry backbone으로, L3G-Gen은 Cosmos-Predict2.5를 사용하며 DiT는 LoRA로 fine-tuning한다. 비교 대상은 Lyra 2.0, GEN3C, Spatia, SPMem, 3DScenePrompt, NeoVerse, Yume 1.5, Matrix-Game 3.0 등이다. 본문 표 기준으로 NeoVerse 대비 266~417배 적은 primitive와 42~67배 적은 메모리를 쓰고, RGB 렌더링은 8.3~10.4배 빠르며, VAE 조건화 처리량은 349~359배 높다. Lyra 2.0 대비로는 메모리 재구성이 8.9~9.5배 빠르고 메모리는 7.8~10.4배 적으며, VAE 공간 렌더링 처리량은 643~648배 높다. 논문은 가장 효율적인 기존 3D 메모리 베이스라인 대비 지표별로 최대 38.6배 적은 3D primitive, 3.2배 빠른 메모리 재구성, 359배 빠른 메모리 렌더링을 보고하고, H100 한 장에서 9.02 FPS를 달성했다고 주장한다.

품질 지표에서도 DL3DV에서는 L3G-World가 LPIPS, FID, SC, BC에서 최고, Fast가 IQ와 AQ에서 최고를 기록한다. RealEstate10K에서는 L3G-World가 LPIPS, FID, SC, BC에서 최고, IQ에서 두 번째다. DL3DV 카메라 제어에서는 translation error가 가장 낮고 rotation error가 두 번째로 낮다. 다만 RealEstate10K에서는 pose 오차와 MEt3R 오차가 더 낮은 베이스라인이 있어, 모든 지표에서 압도적이라기보다 생성 품질과 장기 자기일관성의 균형을 강조한 결과로 읽어야 한다. 절제 실험에서 adaptive spawning을 빼고 모든 기하 특징에 K-means를 적용하면 Gaussian 수가 약 1.8배 늘고 RGB와 VAE NVS가 나빠졌다. refinement stream, spawn-refine 간 global self-attention, RGB supervision을 제거하면 성능이 떨어졌고, RGB 렌더링 후 VAE 인코딩하는 대신 직접 잠재 렌더링하는 쪽이 더 빠르고 품질도 좋았다. 월드 모델에서 residual refinement를 끄면 self-consistency, pose accuracy, 3D consistency가 특히 악화됐다.

개발자에게 이 논문은 장기 인터랙티브 월드 모델의 병목이 모델 크기만이 아니라 메모리 표현과 조건화 경로에 있다는 설계 교훈을 준다. 모든 프레임을 dense primitive로 쌓지 않고 부족한 영역만 spawn하며 기존 Gaussian을 residual로 고치는 방식, 그리고 VAE 특징을 3D 메모리에 직접 저장해 재인코딩을 없애는 방식은 실시간 지연을 줄이는 구체적 패턴이다. 원문에 별도 한계 절은 없지만, 메모리는 여전히 장면 범위가 커지면 증가하고, 단일 이미지 초기화와 metric depth 정렬, DA3와 Cosmos-Predict2.5 같은 특정 백본, H100 한 장에서의 9.02 FPS라는 측정 조건에 의존한다. 평가도 DL3DV와 RealEstate10K 두 데이터셋에 한정되므로, 실제 서비스에서는 장면 규모가 커질 때의 메모리 증가와 백본 교체 비용을 확인해야 한다.