T3lescope가 추론 시점 계층 캐스케이드로 장면 메시를 복원한다

무엇인가

이 논문은 카메라 포즈가 주어진 다중 뷰 이미지에서 고품질 3D 장면 메시를 복원하는 문제를 다룬다. 로봇 인식, 시뮬레이션, 디지털 트윈, 몰입형 환경 같은 응용은 단일 물체부터 대형 야외 장면까지 미세한 표면 디테일과 전역적으로 일관된 기하를 동시에 요구한다. 기존 접근은 장면별 최적화, 피드포워드 예측, 생성적 재구성 세 갈래인데, 장면별 최적화는 관측이 희소하거나 표면이 광택·투명할 때 학습된 3D 사전지식이 없어 무너지고, 피드포워드는 뷰 간 불일치로 노이즈·구멍·중복 표면이 생기며, 생성적 방법은 고정 복셀 그리드에서 동작해 공간 커버리지와 기하 디테일을 맞바꾼다. 가장 가까운 선행 연구인 GenRecon은 겹치는 로컬 셀과 MultiDiffusion으로 대형 장면까지 확장하지만, 먼 영역은 인접 겹침을 통해서만 간접적으로 상호작용해 전역 기하를 유지하기 어렵다.

어떻게 동작하나

T3lescope의 핵심은 하나의 고정 해상도 생성기를 추론 시점의 coarse-to-fine 캐스케이드로 여러 장면 스케일에 재사용하는 것이다. 레벨 l의 셀 크기는 s_l = s_0 / 2^l로 절반씩 줄어들고, 가장 거친 레벨이 장면 전체 레이아웃을 잡고 이후 레벨들이 세부를 복원한다. 베이스 생성기는 희소 복셀 메시 생성기인 TRELLIS.2로, 표면 복셀의 희소 구조(SS)를 만드는 단계와 그 위에 메시를 생성하는 단계로 나뉜다. 두 단계 모두 3D VAE로 표현을 인코딩하고 Diffusion Transformer로 flow matching을 수행하며, DINOv3 이미지 특징과 카메라 내부·외부 파라미터를 조건으로 받는다. 장면 생성은 GenRecon을 따라 장면을 겹치는 셀로 분할하고 SS·메시 두 단계 모두에서 MultiDiffusion으로 갱신되는 장면 전역 latent를 공유한다.

무엇과 다른가

레벨 간 연결은 부모의 메시 디코더에서 자식의 희소 구조를 유도하는 방식이다. 부모 shape latent를 subdivision으로 업샘플링해 2R 해상도 출력을 얻고, 부모 셀의 절반 크기 자식 셀에 대응하는 R^3 복셀 블록을 자식의 희소 구조로 삼는다. 부모 기하는 거친 해상도로 추정된 것이라 이 초기화는 표면이 자식 그리드와 어긋난 노이즈 상태이고, 이를 SS flow 모델로 다듬는다. 구체적으로 상속된 희소 구조를 SS 인코더로 latent에 넣고, forward 경로의 중간 시점 t_s까지 노이즈를 더한 뒤 K번의 오일러 스텝으로 flow를 t=0까지 역적분한다. 이는 결정론적 flow 샘플러 위에서 레벨 사이에 SDEdit을 적용하는 것과 같다. t_s는 부모 기하 보존과 자식 레벨의 고해상도 이미지 디테일 반영 사이의 균형을 잡는 값으로, 논문은 모든 벤치마크에서 장면·데이터셋·뷰 수별 튜닝 없이 0.8로 고정했다. 부모는 또한 예측 기하와 교차하는 셀만 남겨 자식 셀 레이아웃을 정하고, 최상위 레벨의 셀 초기화와 셀별 뷰 선택에는 Depth Anything 3의 포인트 클라우드를 쓰되 깊이는 출력 기하에 융합하지 않는다.

어떻게 쓰나

학습에는 짝지어진 coarse-fine 예제가 필요 없다. 여러 edge length s의 셀을 같은 정규 좌표와 R^3 그리드로 매핑하고, 개별 셀 단위로 SS flow 하나와 메시 flow 하나를 표준 조건부 flow matching으로 학습한다. 스케일이 다른 셀은 복셀 간격 Δ = s/R만 다르고, s와 Δ 모두 모델에 주어지지 않으므로 같은 가중치가 모든 스케일에 적용된다. XCube나 SCube와 달리 학습 시 계층이 고정되지 않아 재학습 없이 추론 시점에 캐스케이드 깊이, 셀 레이아웃, 물리적 스케일을 정할 수 있다. 이미지 조건화는 셀 독립적으로 설계됐다. 복셀 질의 이미지 어텐션은 각 뷰에서 복셀 투영 주변 w×w 윈도의 DINO 토큰을 모아 현재 복셀 특징이 토큰과 뷰 전체에 단일 softmax로 어텐션하게 하고, 토큰 중심까지의 연속 오프셋에 상대 위치 인코딩을 적용해 서브 토큰 위치와 국소 이미지 문맥을 보존한다. 질의가 현재 복셀 특징이므로 어텐션 가중치가 트랜스포머 블록과 flow 스텝에 따라 진화하는 3D 상태에 적응한다. 메시 단계는 같은 투영 위치에서 경량 multi-stride ConvNeXt 특징도 샘플링한다. 셀 독립 타일 뱅크는 각 입력 이미지의 등방성 피라미드를 만들고 각 레벨을 512×512 타일 격자로 나눈다. 타일은 3D 셀과 무관하게 원본 이미지, 피라미드 레벨, 크롭 원점으로 정의되고, 각 셀은 자기 복셀 간격에 맞는 레벨과 투영을 덮는 타일을 고른다. 타일의 스케일과 크롭 원점을 내부 파라미터에 반영해 가상의 포즈된 뷰로 취급함으로써 사전학습 입력 형식을 유지하고, 레벨마다 선택된 타일 합집합만 인코딩해 셀·단계·flow 스텝에 재사용한다.

전제와 한계

실험 설정은 다음과 같다. 셀당 SS 그리드는 R=64, 메시 디코더는 512^3 해상도이며 margin 기반 청크 디코딩으로 장면 전체 메시를 얻는다. 셀은 모든 레벨에서 s/2 간격으로 배치하고, SS·메시 단계 각각 12 flow 스텝에 classifier-free guidance 스케일 7.5와 4.0을 쓴다. 세밀 레벨의 SS 단계는 부모에서 t_s=0.8로 시작해 K=10 스텝을 돌리고, 셀당 최대 64개 조건 이미지 타일을 사용한다. 캐스케이드는 3레벨(도시 블록은 4레벨)이다. 평가는 ScanNet++의 검증 장면 25개(32 또는 256 뷰), Tanks and Temples 6개 장면(2K 이미지에서 16 또는 256 뷰), 자체 도시 블록 3개(256 뷰)에서 했다. 베이스라인은 장면별 최적화(2DGS, MILo, GaussianWrapping, CityGaussianV2), 피드포워드(DA3, MapAnything, Murre), 생성적 방법(GenRecon)이며, 지표는 Chamfer distance(m), F-score, normal consistency다.

ScanNet++에서 가장 세밀한 레벨은 32·256 뷰 두 설정 모두에서 생성적 베이스라인 GenRecon을 7개 지표 전부에서 앞선다. DA3는 두 설정 모두 F@2가 더 높고 256 뷰에서 Chamfer distance가 약간 낮고 completeness가 높지만 깊이·노멀 오차는 이 방법이 더 작다. 뷰 수에 대한 강건성도 차이가 나는데, 32 뷰에서 최적화 기반 방법들이 일제히 성능이 떨어지는 반면(예: 2DGS의 F@2가 0.53에서 0.48로 하락) 이 방법은 32 뷰와 256 뷰의 정확도 차이가 거의 없다. 장면별 최적화 없이 세 가지 3D 지표 모두에서 최적화 기반 베이스라인 전부를 능가한다. Tanks and Temples에서는 조밀 관측에서 최적화 기반 방법들이 더 높은 F-score를 얻지만, 이 방법은 모든 설정에서 Chamfer distance가 가장 낮거나 경쟁력 있고 16 뷰 대형 장면에서는 F-score가 가장 높다. 픽셀 단위로 입력 이미지에 피팅하지 않기 때문에 표면이 정답에서 약간 어긋날 수 있고, 3~25mm의 타이트한 임계값이 이를 벌점으로 반영한다. 도시 블록에서는 베이스라인들이 Chamfer distance 약 5m 이상으로 모두 실패하는 반면 이 방법은 0.65m에 도달하고 세 지표 모두에서 앞서며, 세밀 레벨이 하나씩 추가될 때마다 세 지표가 모두 개선된다. 절제 실험에서 부모 초기화를 쓰지 않고 t_s=1로 두면 세밀 레벨이 순수 노이즈에서 시작하는데, 32 뷰의 대형 ScanNet++ 장면에서 t_s를 낮추면 모든 지표가 좋아지고 Chamfer distance가 80% 줄어든다. 조건화에서는 GenRecon식 이중선형 DINO 샘플링이 토큰보다 미세한 디테일을 잃는 반면, 복셀 질의 어텐션 단독은 베이스라인과 동등하고 ConvNeXt 분기를 더하면 모든 지표가 크게 개선된다. 추론 시간은 H200 한 장에서 대형 ScanNet++ 장면당 L1 17분, L2 89분으로 장면별 최적화와 비슷하고 피드포워드보다 느리다.

실무 관점에서 이 방법은 장면별 최적화를 돌리기 어렵거나 관측이 희소하고 표면이 광택·투명한 대상에서 메시를 뽑아야 할 때 후보가 된다. 포즈가 주어진 이미지가 전제이고, DA3 포인트 클라우드로 초기화한 뒤 타일 뱅크를 캐싱해 여러 셀과 flow 스텝에 재사용하는 구조이므로, 파이프라인을 직접 구성하려면 R=64 SS 그리드, 512^3 메시 디코더, 레벨별 셀 크기 절반 감소, t_s=0.8, K=10 같은 하이퍼파라미터를 그대로 맞춰야 한다. 도시 블록용 모델은 일본 도시 사진과 BIM 쌍으로 별도 파인튜닝된 모델이라는 점, 그리고 GPU 비용이 장면당 수십 분 규모라는 점을 감안해야 한다.

저자들이 밝힌 한계는 명확하다. 입력 이미지에 픽셀 단위로 피팅하지 않으므로 표면이 관측에서 약간 어긋날 수 있고, 뷰가 조밀할 때 타이트한 임계값에서 F-score가 떨어진다. 비용이 셀 수와 캐스케이드 레벨 수에 비례해 대형 장면을 고해상도로 샘플링하는 것은 여전히 느리다. 포즈가 주어진 이미지를 가정하며, 무한(unbounded) 장면의 원거리 물체에는 동작하지 않는다. 향후 계획으로 flow 모델을 few-step 샘플러로 증류해 샘플링 비용을 줄이고 unbounded 장면으로 확장하는 것을 제시한다.