FlowMoDE가 두 단계 흐름 매칭으로 합성 깊이 추정을 실내외에 전이한다

무엇인가

이 논문은 단안 깊이 추정을 로봇의 3D 공간 인지, 장면 재구성, 조작, 자율 주행의 기반 기술로 놓고, 기존 판별형 모델과 생성형 모델의 상충을 해결하려 한다. 판별형은 큰 패치 ViT 인코더와 컨볼루션 업샘플링 디코더를 쓰면서 초기 토큰화에서 픽셀 단위 신호와 고주파 세부를 잃어 경계, 전선, 구멍, 원거리 물체 가장자리에서 깊이가 틀어지고, 다양한 대규모 데이터에 의존한다. 생성형 확산 모델은 세부 복원과 일반화에 유리하지만 다단계 샘플링 비용이 크고, VAE 잠재 공간 압축이 가장자리 선명도와 구조 충실도를 깎으며, 단일 단계 확산은 고품질 깊이 복원에 한계가 있다. FlowMoDE는 이 사이에서 합성 데이터로 학습해 실제 실내외 장면으로 전이되는 효율적이고 구조 인식적인 깊이 추정을 노린다.

어떻게 동작하나

핵심 구조는 거친 단계와 세밀 단계로 나뉜 흐름 매칭 속도장 예측이다. 입력 영상 I와 노이즈가 섞인 깊이 D_t, 의미 특징 s를 받아 속도장을 예측한다. 의미 특징은 동결된 DINOv2-B(MoGe에서 가져옴)로 뽑아 정규화와 선형 투영으로 384차원 조건 토큰을 만들고, 4개 Transformer 블록의 Semantic Decoder를 거쳐 조건 s로 쓴다. 깊이는 log(D+1)을 2~98% 분위수로 정규화한 뒤 t/T 비율로 노이즈와 선형 보간해 D_t를 만들고, I-0.5와 채널 결합해 16×16 패치로 임베딩한다. 시간 t는 0~1000 범위에서 정규 노이즈를 시그모이드 형태로 사상해 샘플링한다. 조건 c=s+t는 SiLU와 선형층으로 스케일·시프트·게이트로 변조되어 어텐션과 MLP에 주입된다.

무엇과 다른가

Coarse Decoder는 4개의 조건화 Transformer 블록으로 거친 특징 맵을 만들고, 이를 2배 업샘플링해 8×8 패치 해상도로 올린다. 이때 조건 c와 시간 t도 최근접 반복과 선형 투영으로 c_f, t_f로 확장한다. 이어 Fine-grained Decoder가 4개의 조건화 Transformer 블록으로 세밀 구조를 복원하고, 마지막에 시간 토큰 t_f로 변조한 LayerNorm과 선형층을 거쳐 패치를 다시 펼쳐 속도장을 출력한다. 구현상 Semantic Decoder와 Coarse Decoder 차원은 384, Fine-grained Decoder는 768이다. 학습은 단일 단계 흐름 매칭으로, 목표 속도 v*=ε-D와 예측 속도장의 마스크된 MSE를 최소화한다. 추론은 같은 네트워크를 두 번 써서 x0.5 = x1 - 0.5·F([x1, I-0.5]|s), x0 = x0.5 - 0.5·F([x0.5, I-0.5]|s)를 계산하고 D̂=x0+0.5를 얻는다. 저자들은 1·2·4·6·8단계 비교에서 2단계 추론과 4층 디코더, 제안한 의미 주입 방식의 조합이 가장 좋았다고 보고한다.

어떻게 쓰나

실험은 합성 실내 데이터 하나로만 학습한다. Hypersim의 54K 고품질 합성 실내 프레임과 깊이 맵을 쓰고, 200 에폭(에폭당 2000 샘플링 스텝), 배치 4, 고정 학습률 1e-4, 640×480 리사이즈, NVIDIA H100에서 학습했다. 평가는 실제 데이터인 NYUv2, KITTI, ETH3D, ScanNet, DIODE 다섯 개에서 Marigold 설정을 따라 긴 변 768로 리사이즈하고 절대 상대 오차와 δ 정확도로 수행한다. 원문에 따르면 제안 모델은 다섯 데이터셋에서 기존 생성형 모델을 앞서고, 비교한 전체 모델 중 10개 지표 평균 순위가 가장 높아 state-of-the-art라고 주장한다. 또한 최신 방법 대비 상대 오차를 평균 14.1% 줄이고, 포인트클라우드 재구성의 Chamfer 거리를 9.9% 줄였다고 제시한다.

전제와 한계

포인트클라우드 평가는 카메라 내부 파라미터가 있는 NYUv2와 ETH3D에서 예측 깊이를 3D로 올려 Accuracy와 Chamfer Distance로 비교한다. 제안 모델은 두 데이터셋 평균 지표에서 가장 좋은 성능을 냈지만, NYUv2에서는 UniDepth v2가 더 나은 Accuracy를 보였다. 정성 비교에서는 수도꼭지나 창문 같은 얇은 구조에서 더 나은 공간 인지를 보였다고 한다. 로봇 장면에서는 Baxter, Franka, Kuka, da Vinci 로봇이 등장하는 여러 크로스 엠보디먼트 장면에 zero-shot으로 적용해 로봇 몸체와 케이블 같은 미세 구조를 인지하고, PPD나 MoGe-2와 비교한 3D 재구성에서 로봇과 환경 사이의 플라잉 포인트를 줄였다고 보고한다. 계산 비용은 UniDepth v2보다 지연 시간과 모델 무게가 크지만, 기존 생성형 깊이 모델보다는 현저히 낮다고 정리한다.

개발자 관점에서 이 논문은 합성 실내 데이터만으로 실외까지 전이되는 단안 깊이 추정을, 두 번의 흐름 매칭 추론과 의미 조건 주입으로 구현하려는 설계를 보여준다. 로봇 조작, 장면 재구성, AR/VR, 자율주행 인지처럼 경계와 얇은 구조가 중요한 파이프라인에서 생성형 깊이 모델의 추론 비용을 낮추는 대안이 될 수 있다. 다만 실제 배포 전에는 자신의 카메라 내부 파라미터와 해상도에서 포인트클라우드 정합을 다시 확인해야 하고, 원거리 물체의 경계 번짐과 플라잉 포인트, UniDepth v2 대비 높은 지연·메모리 요구량을 실측해야 한다. 또한 이 논문의 정량 평가는 절대 상대 오차와 δ 정확도 중심이므로 절대 스케일 오차를 직접 보증하지는 않는다.

저자들이 밝힌 한계는 분명하다. 흐름 매칭 파이프라인의 패치 임베딩 때문에 간헐적으로 플라잉 픽셀이 생길 수 있고, 근거리 실내 합성 데이터로만 학습한 데다 패치 단위 디노이징을 하기 때문에 원거리 영역의 가장자리가 흐려질 수 있다. 결론적으로 FlowMoDE는 적은 Transformer 블록과 최소 추론 단계로 기존 생성형 깊이 모델보다 가볍고 효율적이면서 세밀 기하 복원을 노리지만, 학습 데이터의 근거리 실내 편향과 패치 기반 처리에서 오는 원거리 품질 저하는 실제 로봇 배포 전에 검증해야 할 전제다.