시각 기반 모델의 공간 상태는 네 단계 기능으로 따로 평가해야 한다

무엇인가

이 논문은 시각 기반 모델이 현재 프레임을 넘어 주변 공간의 지속적 상태를 표현하는지 묻는다. 관찰자는 일부만 보지만 시야 밖 물체 위치를 유지하고 자기 운동에 따라 갱신하며 목표 행동에 써야 한다. 논문은 공간 상태를 명시적 3D 맵, 객체 그래프, 좌표계, 특정 아키텍처로 규정하지 않고 네 가지 기능적 유용성, 즉 L1 공간 구조, L2 객체 지속성, L3 예측적 공간 갱신, L4 행동 가능성으로 조작적으로 정의한다. 이는 단일 디코딩 점수로 공간 표현을 평가하기 어렵다는 문제의식에서 출발한다.

어떻게 동작하나

방법은 동결 특징 프로브다. DINOv2, V-JEPA2, VideoMAE, Fast3R, Wan, CogVideoX, MiniMax-H3, LingBot-video, Aether, Qwen2.5-VL 열 개 표현을 ScanNet++의 정적 실내 주행 궤적에서 평가한다. 시작 프레임을 공유하고 끝점 p가 8, 12, 16, 24인 인과적 스트리밍 접두사를 각각 독립 인코딩하며 미래 프레임은 따로 인코딩해 L3와 L4의 타깃·목표로 쓴다. L1은 깊이·카메라 포즈, 인스턴스 아이덴티티, 시점 일관성을 읽고, L2는 이전에 보인 객체가 시야 밖으로 나간 뒤 현재 카메라 기준 방위를 맞히며, L3는 주어진 상대 카메라 운동으로 미래 특징을 직접 예측하거나 경로 적분으로 순차 갱신하고, L4는 목표 프레임과 현재 표현으로 9D 카메라 운동을 선택하거나 연속 출력한다. 운동·히스토리·변환 순서·목표를 바꾸는 매칭 통제로 판독 정확도와 입력 활용을 분리한다.

무엇과 다른가

L1과 L2에서 어떤 표현도 모든 과제를 이끌지 않는다. Fast3R가 카메라 포즈 AUC@30 0.3870과 객체 지속성 오차 32.79도로 가장 강하고, DINOv2는 직접 미래 특징 예측 R@1 0.2373으로 앞선다. 그러나 VideoMAE는 깊이·인스턴스·시점 일관성 판독이 약한데도 객체 지속성 오차 36.45도로 DINOv2 65.38도, Qwen2.5-VL 68.59도보다 훨씬 정확하다. 열 개 표현에서 객체 지속성은 카메라 포즈 판독과 순위 상관 ρ=0.76을 보였고 깊이·인스턴스·시점 일관성과는 ρ≤0.43이었다. 가장 정확한 세 국소화기 Fast3R, VideoMAE, V-JEPA2가 정확히 카메라 포즈 AUC 상위 세 개였고, 네 개 다층 백본에서 지속성 피크 블록이 메트릭 기하 피크 블록과 일치했다. 가시 장면 판독이 좋다고 시야 밖 객체 유지가 보장되지 않는다.

어떻게 쓰나

L3에서 DINOv2의 직접 예측은 0.2373, V-JEPA2는 0.0625였고, 경로 적분은 DINOv2 0.0900, V-JEPA2 0.1588이었다. Qwen2.5-VL은 직접 예측 2위, 경로 적분 공동 2위(0.0903 대 0.0900)였다. 공통 예측 프로토콜의 아홉 표현에서 두 예측 과제는 순위 상관 ρ=0.93으로 비슷했지만 지속성과는 |ρ|<0.1로 무관했다. 층과 접두사도 판독을 바꾼다. V-JEPA2는 직접 예측·경로 적분·인스턴스 아이덴티티에서 블록 23, 객체 지속성에서 블록 17이 최고였고, VideoMAE는 국소화·인스턴스에서 블록 23, 두 예측 과제에서 블록 17이 최고였다. 긴 접두사가 항상 낫지도 않다. 56개 모델-메트릭 끝점 쌍 중 45개가 p8을, 8개가 p24를, 3개가 동률을 보였고 각각 33개와 5개가 95% 구간에서 0을 제외했다. 객체 지속성 여덟 쌍은 모두 p24에서 나빠졌다. VideoMAE 국소화 오차는 29.55도에서 54.80도로, DINOv2 경로 적분 R@1은 0.1256에서 0.0713으로 떨어졌다. p24가 유리한 쌍은 CogVideoX 경로 적분을 빼면 모두 가시 장면 판독이었다.

전제와 한계

통제 실험은 판독 정확도와 입력 사용이 다르다는 점을 보여준다. 한 단계 미래 특징 검색에서 마지막 특징을 복사하는 기준선이 V-JEPA2의 학습 예측을 앞섰고(19.93% 대 13.04%), Wan은 예측 15.22% 대 복사 11.96%였다. 올바른 운동은 매칭 후보 검색에서 V-JEPA2 +18.84%p, VideoMAE +10.51%p, CogVideoX +4.35%p 개선했지만 Wan의 +2.90%p는 구간이 0을 포함했다. 전체 히스토리는 V-JEPA2의 국소화 오차를 10.26도, Wan을 10.01도 줄였으나 VideoMAE와 CogVideoX의 구간은 0을 포함했다. 가장 정확한 국소화기인 VideoMAE조차 현재 프레임을 넘는 히스토리 이득이 측정되지 않았다. 네이티브 미래 예측은 복구 가능한 기하 구조를 유지하지만, 실제 특징으로 학습한 공간 리더가 예측 특징으로 그대로 전이되지는 않았다.

L4 행동 가능성에서 후보 선택 정확도는 75.9~79.9%로 67.8%의 행동만 사용하는 기준선을 넘었고, 목표를 섞으면 12.2~20.7%p 떨어졌다. 후보 선택에는 목표 정보가 쓰인다. 그러나 연속 출력에서 FULL은 양의 진행률 50.2~59.8%로 GOAL-ONLY보다 6.0~13.8%p 높았지만, 어떤 백본에서도 CURRENT-ONLY보다 개선하지 못했다. Fast3R가 59.8%로 가장 높고 V-JEPA2와 DINOv2가 53.8%, Wan이 50.2%였는데 이 순서는 직접 예측 순위가 아니라 객체 지속성과 카메라 포즈 순위를 따른다. 현재 상태와 가중치를 고정하고 다른 장면의 난이도 매칭 목표로 바꾸면 예측 방향은 29.8~45.6도 회전했지만, 올바른 목표와 섞은 목표의 차이는 양의 진행률 -2.3~+1.2%p, 목표 거리 감소 -0.006~+0.001로 모두 95% 구간이 0을 포함했다. 목표 민감성이 목표 유용성을 뜻하지는 않는다. 논문은 카메라 포즈 판독이 객체 지속성을 거쳐 목표 조건 행동을 뒷받침하고, 가시 장면 판독이 특징 예측을 뒷받침하는 두 재료 사슬을 제시한다.

개발자에게 이 논문은 인코더 선택 기준을 바꾼다. VLA, 로봇 내비게이션, 월드모델에 쓸 표현을 고를 때 깊이·인스턴스·시점 일관성 같은 가시 장면 점수 하나로 판단하면 시야 밖 객체 유지나 목표 행동 유용성을 놓칠 수 있다. 층과 스트리밍 접두사 길이에 따라 판독 성능이 달라지고, 긴 문맥이 지속성을 악화시킬 수 있으므로 배포 설정에서 L1부터 L4까지 따로 측정해야 한다. 또한 프로브가 히스토리와 운동을 실제로 쓰는지, 올바른 목표가 진행을 개선하는지 매칭 통제로 확인해야 한다. Fast3R의 선두 결과는 학습 데이터에 ScanNet++가 포함되고 일부 검증 장면이 겹친 점 때문에 일부 장면 친숙도가 반영됐을 수 있다.

저자들이 밝힌 한계는 분명하다. 결론은 동결 특징 인터페이스, 학습된 프로브, 오프라인 실내 궤적에 한정되며 객체 동역학, 접촉 물리, 완전한 물리 세계 모델링은 범위 밖이다. 독립 인코딩한 인과적 접두사는 온라인 상태 갱신 자체가 아니라 관찰 이력의 표현이 무엇을 제공하는지를 본다. 서로 다른 타깃 특징 공간의 검색 점수는 공통의 물리적 오차 척도가 아니고, MiniMax-H3 예측 프로브는 별도 프로토콜을 쓴다. 층 인덱스도 모델별 상대 깊이일 뿐 절대 깊이가 아니다. L4 결과는 감독된 오프라인 진단이며 폐루프 정책의 성능을 입증한 것은 아니다.