SwitchSplat이 일상 촬영에서 물체 상태를 분리해 재구성한다

무엇인가

이 논문은 일상적인 360도 촬영에서 사용자가 문을 열거나 스위치를 켜거나 물체를 옮기는 장면을 다룬다. 기존 3D Gaussian Splatting은 장면을 정적으로 가정하기 때문에 이런 이산적 상태 변화가 들어오면 하나의 고정된 형상으로 평균화되거나 소수 상태가 잡음으로 버려진다. 시간 조건부 4DGS 계열은 상태가 관측된 시점과 장면이 실제로 어떤 상태인지를 뒤섞어, 학습 중 본 시퀀스를 재생하는 데 그치고 보지 못한 상태 조합을 새로 구성하지는 못한다. 저자들은 시간이 아니라 물체 상태를 조건으로 하는 표현이 필요하다고 주장한다.

어떻게 동작하나

SwitchSplat의 핵심은 장면을 공유 정적 베이스와 물체별 슬롯으로 나누는 것이다. 베이스는 촬영 내내 변하지 않는 벽·바닥·가구 등을 담고, 각 슬롯은 상호작용 가능한 물체 하나의 두 이진 상태인 off와 on을 각각 별도의 3D 표현으로 보관한다. 모든 Gaussian에는 기존 기하·외관 속성 외에 1+2K 채널의 학습 가능한 범주형 상태 분포가 붙는다. 여기서 1은 정적 베이스, 2K는 슬롯마다 off/on 두 채널이다. 슬롯당 채널을 하나가 아니라 둘로 둔 이유는 열린 문과 닫힌 문처럼 두 상태가 외관뿐 아니라 공간 범위도 다르기 때문에, 서로 다른 Gaussian 부분집합이 각 상태의 형상을 독립적으로 모델링할 수 있게 하기 위해서다.

무엇과 다른가

추론 시 사용자는 슬롯별 이진 상태를 직접 지정한다. 각 Gaussian이 최종 장면에 존재할 확률은 베이스 확률에 각 슬롯의 on/off 확률을 선택 상태에 따라 더해 계산하고, 이 확률로 불투명도를 곱한 뒤 고전적 볼륨 렌더링을 수행한다. 학습 시에는 슬롯 테이블이 각 슬롯이 시간 t에 on일 확률을 부드러운 시간 창으로 모델링한다. 창은 시작·끝 시점과 온도 파라미터로 정의되고, 베르누리 상태로 해석된다. 이 슬롯 테이블과 Gaussian의 상태 로짓, 기하 파라미터가 미분 가능하게 연결되어 영상의 광도 손실만으로 어떤 Gaussian이 어느 상태에 속하는지와 상태 전환 시점을 함께 학습한다. 슬롯 수와 대략적 상호작용 시점은 VLM인 GPT 5.6이 프레임 시퀀스를 보고 초기화하며, 학습은 3DGUT 구조 위에서 COLMAP 점군으로 시작한다. Gaussian이 복제·분할될 때 상태 로짓도 상속되어 공간적 일관성을 유지한다. 손실은 RGB, SSIM에 더해 정적 베이스를 선호하는 희소성 정규화와 슬롯 내 Gaussian을 국소적으로 묶는 컴팩트니스 정규화로 구성된다.

어떻게 쓰나

실험은 소비자용 Insta360 X4 듀얼 피시아이 360도 카메라로 새로 수집한 데이터셋에서 진행됐다. 표준 세트는 실내 8장면·실외 2장면을 포함한 10개 장면으로, 각 장면에 3~9개의 물체 상호작용이 있다. 골든 세트는 2개 장면으로, 새로운 카메라 궤적과 물체 상태 조합을 담은 통제된 테스트 시퀀스를 별도로 촬영했다. 전처리는 FullCircle 방식으로 촬영자를 마스킹하고 COLMAP으로 보정한 뒤 피시아이 영상을 핀홀 영상으로 왜곡 해제한다. 평가는 8번째 프레임마다 테스트로 분리하되, 물체가 실제로 움직이는 상태 전환 프레임은 테스트에서 제외하고 학습에는 남긴다. 베이스라인은 정적 모델 FullCircle과 그 기반 3DGUT, 동적 모델 4DGS와 DeGauss다. 골든 세트의 동적 베이스라인은 시간별 렌더링 중 이미지별 최고 PSNR을 고르는 오라클을 적용해 상한으로 비교했다.

전제와 한계

본문은 Table 1~3을 인용하지만 표의 구체 수치는 원문 텍스트에 제시되지 않았다. 정성적으로는 4DGS와 DeGauss가 Car 장면의 후드 주변, Kitchen의 냉장고 on 상태, Flat의 수납장·옷장 상호작용에서 떠다니는 플로터와 노이즈를 보이는 반면, SwitchSplat은 정적 환경과 상태별 변화를 분리해 더 깨끗한 재구성을 보인다고 보고한다. 골든 세트에서는 학습 중 보지 못한 카메라 시점과 상태 조합에서도 SwitchSplat이 동적 베이스라인보다 나은 품질을 유지한다고 주장한다. 소거 실험은 Kitchen 2 장면에서 표준 8번째 프레임, 새 카메라 프레임, 새 상태 조합 프레임의 PSNR을 5회 평균으로 비교했으며, 슬롯 자체를 제거하면 큰 성능 하락이, VLM 초기화 슬롯을 고정하면 품질 저하가 나타났다. 컴팩트니스 정규화는 중요한 역할을 했고, 희소성 정규화는 평균 품질에는 완만한 영향을 주지만 불필요한 상태 할당을 줄이는 데 기여한다고 설명한다.

개발자 관점에서 이 방법은 문·서랍·스위치처럼 명확한 이산 상태를 가진 장면을 3DGS로 재구성하고, 촬영 후 사용자가 상태를 임의로 조합해 새 시점에서 렌더링하려는 응용에 의미가 있다. 다만 전제가 분명하다. 상태는 물체당 이진값이어야 하고, 한 명의 촬영자가 한 손으로 조작하는 상황을 가정한다. 슬롯 수와 대략적 상호작용 구간은 VLM이 초기화하므로 VLM 품질에 의존하며, 완전 비지도 발견은 아직 열린 문제다. 또한 이 논문은 새 시점 합성에 초점을 두고 물리 기반 시뮬레이션이나 장면 편집까지 검증하지는 않는다. 실무 적용 전에는 전환 프레임 처리, 보지 못한 상태 조합의 일반화, 360도 캡처·COLMAP·3DGUT 파이프라인과의 결합 비용을 확인해야 한다.

저자들이 밝힌 한계는 명확하다. 현재 모델은 이진 상태만 지원하고, 단일 조작자와 한 손 촬영 제약을 전제로 한다. 슬롯 개수와 상호작용 시간 창은 VLM이 시드하며, 원시 비디오에서 상호작용 수와 시점을 완전히 비지도로 발견하는 것은 미해결 과제다. 향후 연속·다값 상태, 다중 조작자, 물리 사전지식이나 생성 모델과의 결합을 확장 방향으로 제시한다.