Gate3DGen은 실사 이미지를 선별적으로 정화해 3D 생성 품질을 끌어올린다

무엇인가

단일 이미지 3D 생성 모델은 큐레이션된 벤치마크에서는 높은 품질을 내지만, 실제 사용자가 찍은 사진에서는 성능이 급격히 떨어진다. 논문은 그 원인을 입력 가정의 협소함으로 지목한다. 현재 모델들은 물체가 화면 중앙에 있고, 선명하며, 균일한 스튜디오 조명 아래 완전히 보인다고 전제하는데, 실사 사진은 블러·불균일 조명·전경 가림이 흔하다. 기존 오픈소스 파이프라인이 쓰는 배경 제거와 재중심화는 이런 광도(photometric) 손상이나 가림을 직접 다루지 못하고, 조명 보정(delighting) 같은 특화 전처리는 여러 열화가 동시에 있을 때 한 요인만 고쳐 다른 모호함을 남긴다. 저자들은 범용 2D 이미지 편집을 적용하면 물체 외형이나 윤곽이 바뀌어 오히려 하류 3D 기하에 악영향을 준다는 것을 실험으로 보인다. 목표는 같은 물체의 적합한 관측을 복원하되, 3D 생성기가 형상과 외형을 추론하는 데 쓰는 가시적 구조 단서를 보존하는 것이다.

어떻게 동작하나

제안 방법은 크게 두 부품이다. 먼저 Qwen2.5-VL 기반의 열화 인지 라우터가 입력을 보고 정화가 필요한지 판단한다. 그리디 디코딩 대신 Purify와 Keep 두 결정의 비정규화 로짓 차이를 시그모이드에 통과시켜 확률 p를 얻고, 임계값 τ로 이진 결정을 내린다. Keep으로 분류되면 이미지는 아무 변경 없이 그대로 3D 생성기로 흘러가고, Purify로 분류되면 원스텝 정화기가 개입한다. 이때 라우터는 결정과 함께 최종 히든 상태 h를 연속적인 열화 인지 특징으로 뽑아 정화기의 조건으로 넘긴다. 정화기는 FireRed-Image-Edit-1.1 체크포인트에서 초기화한 플로우 매칭 확산 모델인데, t=1 지점에서 단 한 번의 순전파로 ẑ0 = ε − vθ(ε, E(x^o), h, 1)을 예측하고 VAE 디코더로 이미지를 복원한다. 반복 디노이징을 생략해 추론 지연을 줄이는 구조다.

무엇과 다른가

학습 손실은 3D 생성을 겨냥해 설계됐다. 표준 픽셀 재구성 손실은 모든 영역을 균등하게 다루지만, 범용 편집기는 손상되지 않은 영역까지 덮어쓰고 3D 생성기가 의존하는 고주파 음영 단서를 흐린다. 그래서 전경 마스크 m과, 열화 입력과 깨끗한 참조의 잔차를 스무딩해 만든 소프트 열화 맵 r로 가중한 영역 손실, 그리고 수평·수직 유한 차분에 인접 마스크 값을 가중한 에지 손실을 추가한다. 전체 목적함수는 잠재 MSE, L1, LPIPS에 이 두 공간 손실을 가중 합한 형태다. 학습 데이터는 3D 자산에서 합성한다. TexVerse의 약 4천 개 자산에서 균일 조명으로 8개 뷰를 렌더링하고 VLM이 기하 가시성과 자기 가림으로 순위를 매겨 상위 4개 뷰를 정답 참조로 삼은 뒤, 명령 기반 편집으로 불균일 조명·블러·가림을 합성하고 Qwen3-VL로 구조 일관성을 검수한다. 이렇게 43,936쌍의 정렬된 이미지 쌍과 3D 정답이 있는 1,082개 홀드아웃 케이스, 라우터용 10만 쌍의 라우팅 데이터를 만든다.

어떻게 쓰나

라우팅 성능은 합성 벤치마크에서 Purify 클래스 재현율 88.45%, 정확도 90.77%, 조화평균 H 89.59%로, 가장 강한 베이스라인인 MANIQA보다 5.55%포인트 높다. NIQE나 mPLUG-Owl2, DepictQA-Wild는 재현율이 98%를 넘지만 정확도가 '전부 Purify'로 찍는 53.7%에서 1%포인트 안쪽이라 H는 69~70%대에 머문다. 다만 96장의 실사 이미지에서는 H 70.56%(재현율 89.29%, 정확도 58.33%)로 2위이며, 저자들도 이 프록시 레이블 프로토콜에서는 항상 Purify를 예측하는 전략을 이기지 못한다고 인정한다.

전제와 한계

2D 정화 결과는 7개 명령 기반 편집 베이스라인과 비교된다. 모든 범용 편집기는 PSNR과 SSIM을 낮추고 그래디언트 MAE를 17.8~125.9% 높였고, LPIPS를 낮춘 것은 FireRed의 0.0004뿐이었다. Gate3DGen은 다섯 지표를 모두 개선해 전경 LPIPS를 39.1%, 그래디언트 MAE를 16.4% 낮추고 실루엣 IoU를 0.9758까지 올린다. 추론 시간은 이미지당 2.3초로, 베이스라인의 15.6~100.8초 대비 가장 빠른 Mage-Flow보다 6.8배, FireRed보다 36.2배 빠르다. 하류 3D에서는 TRELLIS.2 기준으로 열화 입력 대비 메시 거리와 Chamfer Distance를 61.5% 줄이고, F1_all과 F1_outer를 각각 3.8%, 6.4% 올리며, 셰이딩·알베도 LPIPS를 10.9%, 10.6% 낮춘다. 깨끗한 참조 오라클과의 메시 거리 격차 중 83.1%를 메운다. 비교한 편집기 중 메시 거리와 두 F1 점수를 동시에 개선한 것은 Gate3DGen뿐이며, 7개 편집기 모두 F1 점수를 편집 전 입력보다 떨어뜨렸다.

실사 사진 96장에 대한 VLM 평가(Qwen3.8-27B 심사)에서는 Identity 8.62, Purification 8.00으로 앞섰다. FireRed와 GPT Image-2.5 Flare는 Quality에서 6.92 대 6.58로 높았지만 Identity는 8.00, 6.95로 낮았다. 341개의 유효 평가로 진행한 인간 선호도 조사에서도 세 기준 모두 모든 베이스라인에 대해 50%를 넘는 선호를 얻었고, 가장 낮은 상대가 GPT Image-2.5 Flare로 58.5%, 57.1%, 57.5%였다. 절제 실험에서는 라우터 특징 h를 더하면 메시 거리가 0.820에서 0.755로 7.9%, 렌더링 LPIPS가 0.1794에서 0.1658로 7.6% 개선되는 반면 2D LPIPS는 0.0012 나빠졌다. 공간 손실까지 넣은 Full 구성은 메시 거리가 0.764로 약간 높지만 셰이딩·알베도 LPIPS가 0.1654, 0.1714로 가장 낮고 윤곽 보존이 더 충실했다. 저자들은 이 결과로 이미지 유사도만으로는 3D 품질을 예측할 수 없다고 강조한다.

개발자 관점에서 이 논문의 실용적 핵심은 3D 생성기를 동결한 채 앞단에 2.3초짜리 전처리만 붙여 실사 입력의 robustness를 끌어올린다는 점이다. 사용자 업로드 사진을 그대로 3D 파이프라인에 넣는 서비스라면, 재학습 없이 라우터로 깨끗한 입력은 건드리지 않고 문제 있는 입력만 골라 정화하는 패턴을 참고할 만하다. 다만 라우터의 실사 성능은 프록시 레이블 기준으로 항상 Purify보다 낫지 않았으므로, 자체 도메인 사진으로 Keep 클래스 판별 정확도를 반드시 재검증해야 한다. 또한 정화 품질은 2D 지표가 아니라 하류 메시 거리·렌더링 외형으로 평가하라는 것이 저자들의 권고다.

저자들이 밝힌 한계도 분명하다. 실사 사진에는 라우팅 정답 레이블이 없어 GPT-5 에이전트가 다중 뷰 렌더링과 무참조 지표를 비교해 프록시 레이블을 붙였고, 이 프로토콜에서 라우터는 Keep으로 라벨된 입력을 정화로 과다 라우팅하는 경향을 보인다. 저자들은 그 원인이 라우팅 데이터의 Keep 클래스가 깨끗한 렌더로만 구성된 데 있을 수 있다고 보며, 실사 사진을 이 클래스에 추가하면 개선되는지는 아직 검증되지 않았다고 남겨둔다. 단일 뷰에서 가려진 기하는 부분적으로만 복원 가능해 F1_all 격차(11.96 대 12.46)가 가장 크게 남고, FD-DINOv2는 열화 제거나 객체별 충실도를 직접 측정하지 않으므로 VLM 점수·인간 선호와 함께 해석해야 한다. 깨끗한 참조와 전경 마스크는 학습에만 쓰이고 추론에는 관측 이미지와 라우터 특징만 들어간다는 점도 전제다.