GeoState가 카메라 시점을 분리해 3D 월드 모델 예측을 쉽게 만든다

무엇인가

3D 월드 모델은 미래 장면을 픽셀 공간이 아니라 기하학적으로 근거 있는 상태 공간에서 예측하려 한다. 최근에는 VGGT 같은 기하 파운데이션 모델(GFM)의 특징을 그대로 예측용 월드 상태로 쓰는 시도가 나왔다. 그런데 이 논문은 GFM 특징이 관측 시점을 기준으로 만들어지고 조직되기 때문에, 장면 자체의 변화와 카메라 이동에 따른 변화가 하나의 상태 안에서 뒤섞인다고 지적한다. 정지한 장면조차 카메라가 움직이면 특징 공간에서 크게 변하고, 시간 모델은 물리적 장면 진화가 아닌 시점 의존 변환까지 예측해야 하므로 잠재 동역학이 불필요하게 복잡해져 장기 예측이 어려워진다. 저자들의 주장은 이 분리를 사후 모델링이 아니라 표현 자체에 넣어야 한다는 것이다. 상태는 세계가 무엇인지를 기술하고, 카메라는 그 세계를 어떻게 관측하는지만 결정해야 한다.

어떻게 동작하나

방법의 첫 단계는 시점 분리 기하 상태(GeoState)를 만드는 것이다. 다중 뷰 RGB 관측을 동결된 VGGT-Ω에 통과시켜 기하 특징을 얻고, 여러 시점의 기하를 공통 앵커 뷰가 정의하는 하나의 장면 좌표계로 표현한다. 여기서 학습 가능한 Scene Tokenizer가 GFM 패치 특징에 3D 위치·신뢰도·소스 카메라 포즈·시선 광선을 명시적 기하 단서로 붙여 융합한 뒤(공간 스케일은 중앙값으로 정규화), Perceiver 스타일 어텐션으로 가변 길이 메모리를 고정 길이 장면 상태 S_t로 압축한다. 장면 쿼리와 상태 차원은 각각 512로, 상태 크기는 입력 시점 수와 무관하다. 이 상태는 특정 관측 시점에 묶이지 않으며, 같은 상태를 재인코딩 없이 여러 시점에서 반복 질의할 수 있다.

무엇과 다른가

시점은 디코딩 단계에서만 들어온다. 질의 카메라 Q=(K,P)의 내부 파라미터와 카메라-월드 포즈로 Plücker 광선장을 만들고, 이를 장면 기하와 같은 좌표계·스케일로 맞춘 뒤 Fourier 인코딩해 질의 토큰으로 패치화한다. 장면 상태는 먼저 scene-only self-attention conditioner를 거치고, 이어 ray 토큰과 결합해 joint Transformer가 시점 조건부 표현을 만든다. feature decoder는 동결된 VGGT-Ω dense prediction head가 기대하는 4개 레벨 특징을 복원하고, 그 헤드가 깊이를 출력한다. 정규화된 예측은 장면 표현이 쓰는 컨텍스트 유래 스케일 규약으로 다시 미터 깊이로 환산된다. 동결된 GFM 헤드를 재사용함으로써 dense geometry 예측을 처음부터 다시 배우지 않게 한 것이 설계 포인트다.

어떻게 쓰나

월드 모델은 이 GeoState 공간에서 직접 미래를 예측한다. 미래 상태를 S_{t+1} = S_t + ΔS_{t+1}, ΔS_{t+1} = F_θ(S_{t-3:t}) 형태의 잔차 업데이트로 두고, FR3D의 masked factorized Transformer 구조를 채택한다. 마스크된 예측 상태를 4개의 과거 상태 뒤에 붙여 시간 어텐션과 장면 어텐션을 번갈아 적용하고, 잔차 헤드는 0으로 초기화해 학습 시작 시점에 정확히 Copy-Last와 동등하게 만든다. 추론은 4개 상태 슬라이딩 컨텍스트로 자기회귀적으로 진행되며, 카메라 진화는 별도로 학습한 카메라 예측 모델이나 사용자가 지정한 카메라로 처리한다. 스케일은 마지막 관측 FRONT 프레임에서 LiDAR로 한 번 보정한 값을 롤아웃 전체에 유지하므로, 베이스라인들이 하는 프레임별 스케일 정렬이 필요 없다.

전제와 한계

실험은 Scene Tokenizer와 디코더를 DL3DV·TartanAir·RealEstate10K·CO3D·WildRGB-D의 약 1만 다중 뷰 장면으로 사전학습하고 Waymo의 정적 장면 부분집합으로 적응시킨 뒤, 800개 세그먼트에서 뽑은 약 14만 윈도우(0.2초 간격 4개 컨텍스트 + 7개 미래 상태, FRONT/FRONT_LEFT/FRONT_RIGHT 뷰)로 월드 모델을 학습했다. 평가는 Waymo 100개 윈도우, KITTI 113개 드라이브, nuScenes 검증 150개 장면이며 지표는 AbsRel과 δ1이다. Waymo 장기 깊이 예측에서 예측 카메라를 쓸 때 모든 지평선에서 비교 방법을 앞섰고, VGGT-World 대비 우위는 지평선이 길어질수록 커져 2.0초에서 AbsRel 40.4% 감소를 기록했다. 이는 학습에 쓴 1.4초 롤아웃을 넘어선 지평선에서도 유지된다. KITTI와 nuScenes에서는 타깃 데이터셋 적응 없이 DINO-Foresight, VGGT-World, FR3D를 모든 지평선에서 앞섰다. Copy-Last 변형 비교에서는 마지막 관측 상태를 미래 카메라로 재질의하는 것만으로 마지막 깊이를 반복하는 것보다 크게 좋았고, 예측 상태는 카메라를 맞춘 Copy-Last보다 모든 지평선에서 좋아 카메라 재질의로 설명되지 않는 장면 진화를 포착했음을 보였다. 개선은 정적 창보다 동적 창에서 더 컸다. 교차 질의 일관성 실험에서는 Small(0~0.5m, 0~2도), Medium(0.5~1.0m, 2~5도), Large(1.0~1.5m, 5~10도) 섭동 카메라에서 대칭 재투영 AbsRel이 관측으로 인코딩한 상태와 근접했다. 절제 실험에서는 GeoState의 재구성 품질이 직접 VGGT-Ω 깊이 예측과 비슷했고, 같은 월드 모델·데이터·목적함수로 비교한 단순 특징 압축 베이스라인보다 예측이 일관되게 쉬웠다. 1단계 상태 지도는 예측을 개선했지만 롤아웃 전체에 잠재 상태 매칭을 걸면 장기 성능이 오히려 나빠졌다.

개발자 관점에서 이 논문은 월드 모델의 병목이 백본 성능이 아니라 상태 표현의 시점 결합일 수 있음을 보여준다. 자율주행이나 로보틱스 파이프라인에서 GFM 특징을 그대로 시간 모델에 넣어 장기 예측이 흐릿해지는 문제를 겪고 있다면, 상태를 시점 비의존적으로 압축하고 카메라를 디코딩 시점의 질의로 옮기는 설계를 우선 검토할 만하다. 특히 스케일을 롤아웃 내내 하나로 유지하는 방식은 프레임별 정렬로 생기는 깜빡임과 누적 드리프트를 줄이는 실무적 이점이 있다. 다만 재현 시에는 동결 GFM 버전, 컨텍스트 유래 스케일 보정 절차, 그리고 상태 매칭을 롤아웃에 걸지 않는 학습 스케줄을 그대로 따라야 한다.

논문은 별도의 한계 절을 두지 않았지만 전제는 분명하다. 기하 백본(VGGT-Ω)과 그 dense head를 동결한 채 쓰는 구조이며, 스케일 보정은 마지막 관측 FRONT 프레임의 LiDAR 측정에 의존하므로 LiDAR가 없는 환경에서는 이 규약을 그대로 쓸 수 없다. Waymo 적응은 정적 장면 부분집합에서 수행됐고, FR3D 비교 수치는 원 논문에서 인용한 값이다. 또한 롤아웃 단계의 잠재 상태 매칭이 장기 성능을 떨어뜨린다는 결과는 GFM 특징이 컨텍스트에 따라 기하 변화와 무관하게 흔들릴 수 있음을 시사하며, 저자들은 이를 부록에서 추가로 분석한다고 밝힌다. 결론에서는 embodied 환경으로의 확장을 향후 과제로 남긴다.