ReLift는 2D 추적과 3D 기하를 재사용해 3D 추적 오류를 고친다

무엇인가

이 논문은 단안 비디오에서 모든 참조 픽셀의 3D 궤적을 복원하는 밀집 3D 추적을 다룬다. 기존 접근은 대응점 찾기, 깊이 추정, 가려짐 뒤 운동 추론을 하나의 네트워크로 공동 학습하려 하지만 4D 감독이 희소해 어렵다. 저자들은 2D 추적과 장면 기하가 이미 성숙했다는 점에 주목한다. 2D 트래커는 대응을 잘 찾고, 기하 모델은 깊이와 카메라를 제공하므로 4D 감독은 결합된 추정의 오류 보정과 가려진 운동 완성에 집중하자는 것이다.

어떻게 동작하나

방법은 먼저 2D 궤적을 3D로 들어올린다. 각 점의 시선 방향은 2D 트래커에서, 시선을 따른 거리는 깊이 모델에서 가져와 카메라 좌표의 3D 위치로 만든다. 트래커가 가려짐으로 표시한 관측은 버리고 빈 구간은 선형 보간하며, 깊이가 튀거나 경계에서 다른 표면 깊이를 샘플링한 관측은 남아 있을 수 있다. 이렇게 만든 초기 lifted trajectory만으로도 같은 기하를 쓴 전용 3D 트래커와 비슷하거나 더 나은 평균 정확도를 보인다는 것이 출발점이다.

무엇과 다른가

핵심은 ReLift의 궤적 보정기다. 각 궤적을 프레임 청크 단위 토큰으로 묶고, 궤적 내부를 따라가는 시간 어텐션과 같은 시간 청크의 궤적들 사이를 잇는 어텐션을 번갈아 적용한다. 이로써 신뢰할 수 있는 관측은 유지하고 손상된 위치는 고치며, 가려짐으로 비어 있는 운동은 주변 시공간 증거로 완성한다. 보정기는 시선 방향에 조건화되지만 3D 잔차 자체는 제약 없이 예측해 거리 오류와 대응 오류를 함께 수정한다. 추론에서는 참조 픽셀을 1024개 궤적 그룹으로 나눠 배치 처리해 밀집 추적 비용을 선형으로 만든다.

어떻게 쓰나

학습은 이미지나 실제 트래커와 깊이 모델을 실행하지 않고 PointOdyssey의 깨끗한 3D 궤적에 lifting 오류를 모사해 진행한다. 시선 방향의 작은 회전, 로그 거리 잡음과 시간 상관 드리프트, 큰 이상치를 통한 다른 표면 관측, 이동 가림체와 연속 드롭아웃을 통한 결측을 무작위로 주입한다. 손실은 위치 오차와 프레임 간 변위 오차를 함께 감독하고, 움직이는 궤적에 4배, 결측 관측에 2배 가중한다. 이 방식은 특정 트래커나 기하 모델의 오류 분포에 훈련을 묶지 않아 전이를 노린다.

전제와 한계

실험은 WorldTrack의 ADT, Panoptic Studio, PointOdyssey, Dynamic Replica에서 처음 84프레임, 그리고 Kubric 50개 24프레임 클립에서 평가된다. 지표는 0.1, 0.3, 0.5, 1.0m 임계값 평균 APD3D다. CoWTracker와 4RC 기하를 쓴 구성이 전체 점과 동적 점 평균에서 SOTA를 달성했고, 원문은 가장 강한 베이스라인 대비 전체 2.1, 동적 3.0 APD 개선을 보고한다. 같은 4RC 기하에서 CoWTracker 기반 파이프라인은 4RC의 궤적 예측보다 평균 전체 2.1, 동적 5.4 포인트 높다.

보정 효과도 수치로 제시된다. CoWTracker와 VGGT-Ω 기하의 초기 lift는 전체 점 평균 APD3D 84.9로, 같은 기하를 쓴 TrackCraft3R 83.9와 DELTAv2 81.1을 앞섰다. 보정 후에는 87.5로 올라 4RC와 V-DPM을 전체 및 동적 점에서 앞선다. 보정은 평가한 여섯 가지 트래커-기하 조합 모두에서 재학습 없이 개선을 주었고, 평균 APD3D를 1.6~3.6 포인트 끌어올렸다. VGGT-Ω 구성은 공급자 추론을 포함해도 4RC보다 2.7~4.4배 빠르다. 절제 실험에서는 공급자 생성 lift로 학습하는 것보다 모의 lift 학습이 전이에 낫고, 다른 표면 관측 오류를 제거했을 때 정확도 손실이 가장 컸다.

개발자 관점에서 ReLift는 3D 추적을 단일 블랙박스로 새로 학습하기보다, 이미 쓰는 2D 트래커와 깊이 및 카메라 모델을 조합하고 그 위에 재사용 가능한 보정 단계를 얹는 설계를 보여준다. 파이프라인을 교체하거나 더 좋은 공급자로 업그레이드할 때 보정기 가중치를 다시 학습하지 않아도 되는지가 실무적 매력이다. 다만 입력 기하 품질에 민감하고, 지속적인 대응 오류나 카메라 포즈 오류는 학습에서 명시적으로 모사하지 않았으므로 실제 배포 전 해당 실패 모드와 해상도별 런타임, 메모리를 확인해야 한다.

저자들이 밝힌 한계는 성능이 입력 기하에 민감하다는 점과 기하 및 지속적 대응 오류에 대한 견고성이 향후 과제라는 점이다. 또한 학습 시 카메라 포즈 오류나 다른 객체로 궤적이 영구히 바뀌는 상황은 명시적으로 시뮬레이션하지 않았다. 그러므로 ReLift는 강한 2D 추적과 깊이 및 카메라 추정이 주어지는 조건에서 결합 오류를 보정하는 모델로 이해해야 한다.