자기지도 3D 기하 학습의 비대칭을 입력이 아닌 장면 표현에 둔다

무엇인가

이 논문은 포즈 없는 다중 뷰 이미지에서 카메라와 3D 구조를 자기지도로 학습하는 문제를 다룬다. 기존 방법은 학습 목표를 뷰 합성에 두고, 타깃 뷰가 자신의 재구성에 새어 들어가는 것을 막기 위해 입력 공간에서 비대칭을 만든다. E-RayZer처럼 카메라와 기하 예측을 별도 백본으로 나누거나, NAS3R처럼 컨텍스트와 타깃 사이의 어텐션을 마스킹하는 식이다. 논문은 이 설계가 렌더링 품질에는 자연스럽지만 기하 정확도에는 손해라고 본다. 타깃 뷰가 컨텍스트 사이에 있는 보간형 NVS에서는 컨텍스트가 이미 타깃이 보는 장면의 대부분을 제약하므로, 타깃을 입력 상호작용에서 배제하면 새로운 장면 정보를 숨기는 것이 아니라 유용한 대응 관계를 빼앗는다는 것이다. 또한 잠재 NVS는 렌더링은 좋아도 기하가 물리적 3D와 느슨하게만 묶이므로, 논문은 물리 공간에 놓이는 명시적 3D 가우시안을 쓴다.

어떻게 동작하나

제안 방법의 핵심은 비대칭을 입력 이미지가 아니라 3D 장면 표현에 두는 것이다. 입력 N장의 이미지를 컨텍스트와 타깃으로 나누고, Pixio base 인코더 뒤의 12층 트랜스포머가 모든 뷰를 함께 처리해 카메라 포즈와 픽셀별 가우시안 속성을 예측한다. 각 컨텍스트 뷰 픽셀의 광선 깊이를 예측 카메라로 3D에 올려 가우시안 중심을 만들고, 장면은 컨텍스트 뷰에서 나온 가우시안만으로 구성한다. 타깃 뷰는 자신의 예측으로 장면에 들어가지 않지만, 공유 백본에서는 다른 뷰와 정보를 교환해 대응 관계를 제공한다. 이렇게 하면 타깃의 자기 재구성 경로는 막으면서 모든 뷰가 포즈와 깊이 추정에 기여한다. 카메라 헤드는 중간 입력 뷰 기준 상대 포즈와 장면 공통 내부 파라미터를 예측하고, DPT 헤드가 가우시안 속성을 예측하며, 미분 가능 래스터라이저가 타깃 뷰를 렌더링한다. 렌더링 손실은 L2와 지각 손실을 결합한다.

무엇과 다른가

여기에 두 가지 보조 신호를 더한다. 첫째는 희소·밀집 특징 정렬이다. 같은 장면도 뷰가 많으면 대응 관계가 풍부해져 깊이와 포즈가 더 정확해지므로, 전체 뷰를 보는 EMA 복사본을 밀집 교사로 두고 희소 부분집합을 보는 온라인 네트워크의 중간 패치 특징을 코사인 유사도로 맞춘다. 깊이 출력이 아니라 DPT 헤드가 읽는 네 개 트랜스포머 층의 특징을 정렬하며, stop-gradient와 경량 투영을 쓴다. 깊이를 직접 증류하면 스케일 불일치와 밀집 교사의 오류 때문에 기하가 나빠질 수 있어, 스케일은 렌더링 손실에 맡긴다. 정렬 손실은 학습 40%에서 도입해 60%까지 최대 가중치로 올리고, EMA 모멘텀은 0.999, λalign은 0.1이다. 둘째는 의미론적 사전이다. 인코더 특징을 고정된 비전 파운데이션 모델의 패치 특징과 코사인 유사도로 맞춰, 텍스처가 없거나 반복되는 영역에서 픽셀 광도만으로 부족한 구조 단서를 보탠다. λsem은 0.2이며 기하 주석은 필요 없다.

어떻게 쓰나

실험은 RE10K와 DL3DV에서 각각 모델을 학습하고, ScanNetv2와 NRGBD를 도메인 밖 평가에 쓴다. 비교 대상은 SPFSplat, NAS3R, E-RayZer다. RE10K에서 입력 뷰 10개일 때 제안 모델은 보고된 모든 포즈 임계값에서 가장 높은 정확도를 보였고, 훨씬 적은 파라미터로도 깊이 정확도는 경쟁력 있거나 더 좋았다. 도메인 밖에서는 이점이 더 커진다. DL3DV에서 E-RayZer와 같은 데이터로 학습한 비교에서는 도메인 안팎의 모든 포즈·깊이 지표를 개선했고, 단일 이미지 깊이에서도 두 데이터셋 모두 E-RayZer를 앞섰다. 평가는 상대 포즈 정확도와 AUC@30, per-view median alignment 후 AbsRel과 δ<1.25^k를 쓰며, 깊이는 평면 z-depth로 변환해 측정한다. 표 1·2의 개별 개선폭은 제공된 본문에 수치로 제시되지 않아, 본문이 서술한 비교 결과와 설정 수치만 확인할 수 있다.

전제와 한계

통제 실험은 DL3DV에서 48프레임 구간의 5·7·9·11개 뷰로 평균을 낸다. 같은 백본·데이터·학습 설정에서 비대칭을 3D 표현에 둔 full-view 변형은 별도 분기 변형보다 용량이 적어도 모든 뷰 수에서 가장 정확한 깊이와 포즈를 냈다. 희소·밀집 특징 정렬은 정렬 없이 학습한 모델보다 모든 지표를 개선했지만, 깊이 정렬은 도움이 되지 않았고 학습 중 깊이 순서를 보는 shape 상관도가 계속 떨어졌다. 즉 밀집 깊이의 오류가 스케일 오차가 아니라 잘못된 기하로 전파된다. 자기지도 사전학습도 효과가 있다. 자기지도만 100K 반복 학습한 모델은 지도학습 200K 모델과 비슷했고 엄격한 포즈 임계값에서는 더 정확했다. 여기에 지도 미세조정을 더한 SSL+SFT는 총 150K 반복으로 지도학습 단일 모델보다 모든 지표에서 앞섰다. 또한 ScanNetv2에서 포즈가 어려운 장면일수록 다중 뷰 깊이가 단일 이미지 깊이보다 나빠졌고, 장면을 포즈 오차로 나눴을 때 다중 뷰 깊이가 단일 이미지 깊이를 이긴 비율은 오차 최저 45%, 중간 41%, 최고 3%였다. 다중 뷰 AbsRel과 포즈 오차의 Spearman 상관은 0.45였고 E-RayZer는 94%, 88%, 56%와 ρ=0.61을 보였다.

동적 단안 비디오 실험도 있다. 정적 장면을 가정하는 같은 모델을 DL3DV와 SpatialVID에서 같은 비율로 학습해도 구조 변경은 하지 않았다. 모델은 움직이는 물체의 가우시안에 낮은 불투명도를 부여하는 경향을 보였다. 각 100개 장면으로 만든 거의 정적인 dyn_low, 매우 동적인 dyn_high, 붐비는 crowded 테스트셋에서 32프레임 구간의 10개 뷰로 평가했을 때, SpatialVID를 함께 학습한 모델은 세 그룹 모두에서 포즈 정확도를 개선했다. 거의 정적인 장면에서도 좋아진 점은 동적 내용에 대한 강건성만이 아니라 카메라 운동 다양성의 효과가 섞여 있음을 시사한다. DL3DV에서는 두 모델이 비슷했다.

개발자 관점에서 이 논문은 포즈 없는 다중 뷰 3D에서 기하 정확도가 목표라면 타깃 뷰를 입력 어텐션에서 무조건 배제하지 말라는 설계 지침을 준다. 공유 백본은 모든 뷰로 대응 관계를 학습하게 하고, 타깃 뷰가 자신의 가우시안으로 렌더링되는 경로만 장면 구성 단계에서 차단하면 된다. 희소·밀집 자기지도에서는 깊이 출력을 교사로 쓰기보다 중간 특징을 정렬하는 편이 스케일 문제를 피한다. 고정 비전 파운데이션 모델 정렬은 추가 비용이 크지 않은 구조적 사전으로 쓸 수 있다. 다만 보간형 NVS, 정적 장면, 미터 스케일 없는 재구성, 장면 공통 내부 파라미터 같은 전제를 확인해야 한다.

저자들이 밝힌 한계도 분명하다. 프레임워크는 정적 장면을 가정하므로 동적 물체를 모델링하지 않고, 움직이는 영역을 낮은 불투명도로 사실상 재구성에서 배제한다. 향후 과제로 시간에 따라 움직이는 가우시안이나 타임스텝별 재구성 같은 명시적 동적 표현을 제안한다. 또한 기하 주석이 없어 재구성은 스케일까지만 복원되고, DL3DV 통제 분석은 GT 깊이가 없어 MoGe-2 예측을 pseudo GT로 쓴다. 다중 뷰 깊이는 포즈 추정과 같은 교차 뷰 추론에 의존해 포즈가 어려운 장면에서는 단일 이미지 깊이보다 나빠질 수 있다는 점도 전제로 남는다.