PPMem이 평면 프리미티브로 비디오 월드 모델의 장기 3D 기억을 압축한다

무엇인가

이 논문은 수백 프레임 규모로 장면을 생성하고 탐색하는 비디오 월드 모델이 이전에 만든 3D 구조를 계속 기억해야 한다는 문제를 다룬다. 기존 순수 비디오 모델은 명시적 3D 상태가 없고, 3D 기반 모델도 2프레임 포인트 버퍼, 서펠 저장소, TSDF와 키프레임 풀, 프레임 검색 뱅크 등에 머물러 있어 압축성, 기하학적 명시성, 시점 간 일관성, 생성 중 적응성을 동시에 만족하지 못한다고 지적한다. 저자들은 벽, 바닥, 파사드 같은 구조 요소를 7개 파라미터의 방향성 평면으로 표현하면 전체 장면을 훨씬 적은 3D 기억으로 유지할 수 있다고 보고, 평면 프리미티브를 비디오 월드 모델의 영속 메모리로 쓰는 PPMem을 제안한다.

어떻게 동작하나

PPMem에서 평면 프리미티브는 카메라 광선 방향의 중심 깊이, 두 개의 사각형 크기, 표면 법선을 주는 회전 쿼터니언으로 정의된다. 약 25프레임 단위의 자기회귀 청크가 RGB 영상과 평면 파라미터를 함께 예측하고, 예측된 평면을 월드 좌표로 옮겨 전역 평면 풀에 병합한다. 병합은 관측 품질 점수 r/|cosθ|가 낮을수록 좋다는 기준 아래 다중 카메라 투표 기반 폐색 삭제, 청크 내부와 청크 사이의 양방향 품질 중복 제거, 다음 청크에서 더 가까이 보일 평면을 미리 제거하는 전방 예측 가지치기를 수행한다. 청크 내부 중복 제거만으로도 평면 수가 약 80% 줄고, 약 400프레임 뒤 풀은 약 10만 개 평면, 약 5MB 규모가 되며 전체 3D 메모리는 10MB 미만으로 유지된다. 다음 청크 전에는 이 풀을 목표 카메라 자세에서 렌더링해 부분 깊이 맵을 만들고, 이를 VAE 잠재 채널 연결과 토큰 수준 융합으로 생성 조건에 넣는다.

무엇과 다른가

구현은 Wan 2.2 5B 비디오 확산 트랜스포머 위에 평면 예측 헤드와 Depth Token Fusion 모듈을 붙인다. 평면 예측 헤드는 Plana3R에서 가져와 DiT 특징에서 7개 평면 파라미터를 회귀하고, 특징 디코더는 Wan 2.2 VAE 디코더의 업샘플링 블록으로 초기화해 공간 해상도를 2배로 올린다. 세 MLP가 각각 로그 공간 0.2~277m의 중심 깊이, 미터 단위 사각형 크기, 회전 쿼터니언을 예측한다. DTF는 평면 풀에서 렌더링한 부분 깊이 맵을 16×16 패치 합성곱으로 토큰화하고, DINOv2-Base로 초기화한 약 8700만 파라미터 ViT-Base로 처리해 DiT 특징 토큰과 이어 붙인다. 깊이 맵의 구멍과 부분 가림을 다루기 위해 완전 무효 패치는 항상 버리고, 혼합 패치는 0.75 확률로 버리며, 유효 패치도 전체 마스크 비율이 0.6~0.9가 되도록 무작위로 버린다.

어떻게 쓰나

학습은 두 단계다. 1단계에서는 Wan 2.2 백본을 카메라 제어 영상 생성에 맞게 미세조정하고, 2단계에서는 비디오 백본을 동결한 채 평면 헤드, DTF, 특징 디코더를 기하 손실로만 학습한다. 손실은 패치별 깊이 L1과 법선 코사인 및 L1, 1000회 워밍업 뒤 켜지는 렌더링 깊이·법선 항, 렌더링 깊이의 총변동 정규화로 구성된다. 30개 DiT 블록의 자기어텐션에 LoRA를 넣어 기하 전용 어텐션 패턴을 학습하지만, 추론 시 디노이징은 LoRA를 끈 1단계 백본으로 돌려 원래 영상 품질을 유지하고 마지막 특징에서 LoRA를 켠 한 번의 추가 전방 패스로 평면 기하를 뽑는다. 1단계는 약 7000회, 2단계는 약 5000회 반복한다.

전제와 한계

실험은 DL3DV와 RealEstate10K 8만 개 이상 클립을 576×1024로 학습하고, 소거 실험은 DL3DV 실내 약 5000개 클립을 288×512로 학습한다. 테스트는 DL3DV 100장면과 RealEstate10K 100클립이며, 장기 문맥 평가는 300~400프레임의 DL3DV 전체 테스트 시퀀스로 한다. 비교 대상은 Gen3C, Voyager, VMem, SPMem이고, 49프레임과 121프레임 단기 평가에서 PPMem은 두 데이터셋과 두 프레임 예산 모두 모든 지표에서 최고라고 보고한다. 이때 PPMem은 Gen3C의 Cosmos 7B, Voyager의 HunyuanVideo 약 13B보다 작은 Wan 2.2 5B 기반이다. 장기 평가에서는 프레임이 늘수록 격차가 커지고, 300프레임에서 DINOv2 유사도가 차선 방법보다 약 0.27 앞선다.

소거 실험은 평면 풀 자체의 기여를 수치로 보여준다. 공동 평면 풀의 깊이 정확도 δ<1.25는 70.3으로, 영속 메모리 없음, 포인트클라우드 메모리, 사후 Plana3R 대안의 64.0, 55.0, 57.0보다 높다. 깊이 조건을 빼면 AbsRel이 0.436, δ<1.25가 30.7%로 무너지고 PSNR도 14.19로 떨어져 조건이 있을 때의 14.91보다 나쁘다. DTF는 입력 깊이 스케일을 1.0에서 1.00±0.01로 추종했고, 전체 스케일 범위의 항등 매핑 대비 로그 RMSE는 0.273으로 채널 연결만 쓴 0.320보다 낮았다. 스케일 증강을 더하면 DTF가 0.131, 채널 연결이 0.293이었다. VAE 초기화 디코더는 Plana3R 업샘플링 헤드 대비 δ<1.25를 11.1포인트 올리고 AbsRel을 0.046 줄였으며, 렌더링 손실을 빼면 δ<1.25가 3.9포인트 내려가고 법선 오차가 1.2도 늘었다. 법선 손실을 빼면 깊이가 전부 0으로 붕괴한다.

개발자에게 이 논문은 장기 카메라 제어 영상 생성이나 3D 장면 탐색 모델에서 메모리 예산과 기하 일관성을 함께 관리하는 설계 참고가 된다. 특히 평면으로 설명 가능한 실내외 구조 장면에서 5MB 수준의 명시적 3D 메모리, 내보낼 수 있는 표면, 미터 단위 깊이와 법선을 얻는 접근이 유용하다. 다만 장면이 평면 prior에 잘 맞는지, 학습 때 보지 못한 극단적 카메라 궤적인지, 두 단계 학습과 추론 시 추가 전방 패스 비용을 감당할 수 있는지 확인해야 한다. 저자들은 밀집 식생이나 물처럼 유기적인 환경에서는 포인트 기반 대안보다 세부를 덜 담을 수 있고, 극단적 궤적에서 품질이 떨어질 수 있다고 밝힌다. 또한 비디오 백본을 동결하고 경량 어댑터로 기하를 학습해 영상 품질은 보존하지만 영상과 기하 목표의 종단 간 공동 적응은 포기했으며, 동적 평면과 오픈월드 확장은 향후 과제로 남긴다.