OmniCam은 파노라마와 언어로 카메라 궤적을 생성한다

무엇인가

이 논문은 단일 파노라마 관측과 텍스트 지시로 장면을 인식하는 카메라 궤적을 생성하는 문제를 다룬다. 카메라 궤적은 영상 생성, 장면 재구성, 로봇 인지에서 시점 변화를 제어하는 인터페이스인데, 언어로 궤적을 지정하려면 장면 기하와 목표물 프레이밍을 동시에 알아야 한다. 기존의 원근 RGBD 입력은 시야각이 제한되고, 기하 기반 플래너는 명시적 공간 표현을 필요로 한다. 파노라마는 전방향 관측을 주지만 가려진 표면은 여전히 알 수 없다. 또한 쿼터니언 부호 모호성, 좌표 스케일, 상대 증분 누적 같은 포즈 직렬화 문제와, 기하적 자유공간 정보와 언어가 가리키는 목표를 어떻게 조건으로 줄지가 설계 쟁점이다.

어떻게 동작하나

OmniCam은 파노라마와 텍스트 궤적 설명에서 카메라 포즈 시퀀스를 생성하는 자기회귀 모델이다. 핵심은 기하 기반 포즈 토큰 학습으로, 전방향 기하 맥락을 위한 파노라마 점군 인코더, 시간적으로 일관된 쿼터니언 부호를 쓰는 절대 회전·상대 이동 하이브리드 토큰화, 기하와 의미를 분리한 조건 스트림 및 명시적 3D 타깃 앵커를 결합한다. 파노라마 깊이를 점군으로 역투영하고 장면 중심과 스케일로 이동과 초기 프레임을 보정한다. 회전은 순차 부호 정렬을 적용한 절대 단위 쿼터니언으로, 이동은 초기 프레임 이후 상대 증분으로 인코딩한다. 정규화된 내부 파라미터까지 균일 양자화해 프레임당 9개 토큰, 즉 회전 4개, 이동 3개, 내부 파라미터 2개로 묶고 BOS, EOS, PAD와 학습 가능한 코드북을 붙인다. 절대 회전은 프레임별 각도 양자화 오차 한계를 유지하지만, 상대 이동은 국소 해상도를 높이는 대신 오차가 누적될 수 있다. 부호 정렬은 인접 회전 차이가 파이보다 작을 때 쿼터니언 이중 덮개 모호성을 줄이지만, 유한 양자화는 여전히 손실을 가진다.

무엇과 다른가

조건부 구조는 의미 분기와 기하 분기로 나뉜다. 의미 분기는 텍스트 인코더와 비전 인코더로 캡션과 파노라마를 함께 처리해 목표 인식 특징을 만든다. 기하 분기는 직접 텍스트를 받지 않고, 단안 깊이 추정기로 파노라마 깊이를 복원한 뒤 점군으로 역투영하고 복셀화해 희소 합성곱과 Transformer 인코더로 기하 기술자를 만든다. 언어 유도 의미 리샘플러는 자기 어텐션, 점 좌표와 시각 특징에 대한 공간 교차 어텐션, 텍스트 교차 어텐션을 사용하고, 기하 리샘플러는 텍스트 없이 조밀한 점별 기술자를 고정 길이 잠재 시퀀스로 압축한다. 목표 중심점은 점별 타깃 어텐션 로짓에 온도를 둔 soft-argmax로 계산해 3D 앵커로 주입하며, 캡션 드롭아웃으로 목표 태그가 사라지면 해당 토큰을 마스킹한다. 최종 조건은 텍스트, 의미, 기하 잠재를 연결해 만들고, 디코더는 인과 자기 어텐션, 타깃 메모리에 대한 게이트 교차 어텐션, 피드포워드 네트워크로 토큰을 생성한다. 추론 시에는 9개 토큰 그룹 안에서 EOS를 마스킹해 프레임 경계에서만 종료하도록 형식을 제약하고, 초기 프레임은 보정된 원점으로 고정한다. 학습은 회전과 이동 채널에 더 높은 가중치를 준 교차 엔트로피 손실과, 추정 중심점을 주석된 3D 목표 위치에 맞추는 보조 smooth L1 위치 손실을 함께 최적화한다.

어떻게 쓰나

학습 데이터로 OmniCaT를 구축했다. 9,998개 장면에서 267,700개 궤적과 2,170만 렌더링 프레임을 만들었고, 네 가지 카메라 행동은 Surrounding 97,702개, Target 90,065개, Reconstruction 43,316개, Wandering 36,617개로 구성된다. 파노라마에서 기하와 의미 목표를 복원하고 내비게이션 메시 위에서 행동별 궤적을 합성한 뒤, 점 기반 렌더러로 영상을 만들고 계층적 텍스트 주석을 붙인다. 다만 감독 신호가 추정 기하 위에서 생성되므로 재구성 오차와 플래너 선호를 학습할 수 있고, 재구성 기하에 대한 실행 가능성 평가가 물리 장면의 충돌 회피를 보장하지는 않는다.

전제와 한계

실험은 OmniCaT의 분리된 학습·평가 분할에서 수행됐다. Director3D와 GenDoP는 OmniCaT로 재학습했고, CCD와 E.T.는 공개 체크포인트를 도메인 밖 참조로 사용했다. 평가 지표는 ATE, FDE, RPE-R/T, 재구성 내비게이션 메시 대비 충돌, 목표 가시성, 각도 편차다. OmniCaT에서 OmniCam은 재학습한 GenDoP 대비 ATE, FDE, RPE-R, RPE-T를 각각 46.6%, 41.1%, 28.0%, 28.9% 줄였다. 충돌은 30.4%에서 10.4%로 65.8% 상대 감소했고, 가시성은 33.6%에서 52.0%로 54.8% 상대 증가했다. ATE와 충돌에서 최고 베이스라인인 Director3D 대비 감소율은 43.0%와 62.3%다. DataDoP 제로샷 전이로 보고된 값은 ATE 0.925 대 1.437, 충돌 8.9% 대 28.5%, 가시성 64.2% 대 36.6%, 각도 12.7도 대 29.8도다. 재구성 기하와 내비게이션 메시, 의미 주석을 가진 휴리스틱 플래너는 충돌 5.2%, 가시성 58.7%로 OmniCam의 10.4%, 52.0%보다 우수했지만 이는 특권 정보를 가진 참조일 뿐 수학적 성능 상한은 아니다. 원문은 플래너와 OmniCam의 런타임으로 0.84초와 약 16.5초를 보고했으나, 동일 조건 타이밍 검증이 필요하다고 밝힌다.

절제 실험은 설계 선택의 근거를 보여준다. 의미 분기를 제거하면 가시성이 52.0%에서 11.5%로 떨어지고, 기하 분기를 제거하면 충돌이 10.4%에서 45.8%로 증가한다. 기하 입력을 RGB만, RGB-D, 점군으로 바꾼 경우 충돌은 각각 38.7%, 22.6%, 10.4%였다. 타깃 교차 어텐션을 제거하면 가시성 52.0%가 25.8%로, 각도 10.9도가 35.6도로 나빠지고, 위치 손실을 제거하면 32.4%와 28.7도, 둘 다 제거하면 21.3%와 40.2도가 된다. 하이브리드 포즈 인코딩은 RPE-R 1.135, RPE-T 0.027로, 전부 절대 인코딩의 1.625/0.058과 전부 상대 인코딩의 1.984/0.062보다 좋았다. 부호 정렬을 제거하면 RPE-R이 1.847로 증가한다. WorldStereo를 쓴 다운스트림 영상 생성에서는 GenDoP 대비 CLIP 점수 14.1%, 연속 프레임 SSIM 15.4% 향상을 보고했다. 로봇 능동 인지 결과와 실제 로봇 시연은 부록에 제시되지만, 로봇 성공률 집계는 검증이 필요하고 시연은 체계적 sim-to-real 평가가 아니라 실행 가능성의 증거로 제한된다.

개발자 관점에서 이 논문은 파노라마 한 장과 언어 지시로 카메라 경로를 만들고, 이를 영상 생성·재구성·로봇 관측 수집에 연결하려는 경우 참고할 만하다. 특히 RGB-D만 쓰는 대신 명시적 점군 기하 분기와 3D 타깃 앵커를 두는 라우팅, 그리고 절대 회전·상대 이동을 섞는 포즈 토큰화가 학습 안정성과 목표 지향성에 영향을 준다는 절제 결과가 실무적 힌트를 준다. 다만 실제 배포 전에는 자신의 깊이 추정 품질과 장면 기하에서 충돌·가시성·각도 편차를 재검증해야 하고, 정적 장면 가정, 플래너 편향, 양자화 손실, 상대 이동 오차 누적, 추론 비용을 확인해야 한다. 저자들이 밝힌 한계도 분명하다. 추정되고 불완전한 기하, 플래너에서 파생된 감독, 정적 장면 관측, 독립적으로 검증된 평가 프로토콜의 필요성이 남아 있으며, 향후 과제로 동적 장면과 폐루프 계획을 제시한다. 또한 쿼터니언 부호 정렬은 전역적으로 연속인 회전 매개변수화나 단사 유한 양자화기를 제공하지 않고, 분기 제거 실험은 용량과 정보량도 바꾸므로 용량을 맞춘 단일 분기 비교가 필요하다고 논문은 명시한다.