Coarse3D가 영상에서 방향을 제어할 수 있는 희소 복셀 구조를 생성한다

무엇인가

이 논문은 TRELLIS로 대표되는 coarse-to-fine 방식의 3D-native 생성 파이프라인에서 첫 단계인 희소 복셀 구조 생성만을 떼어내 다룬다. 저자들이 보는 문제는 두 가지다. 첫째, 기존 coarse 생성기는 객체중심 정준 공간(canonical space)에서 의미론적 부품을 미리 정해진 축에 맞추도록 학습되는데, 천장 선풍기처럼 '정면'이 정의되지 않는 객체에서는 이 추론 자체가 ill-posed이고, Objaverse-XL 같은 대규모 데이터셋이 같은 카테고리 자산을 서로 다른 방향으로 저장하고 있어 감독 신호마저 일관되지 않다. 둘째, 2D-3D 그라운딩이 약해 입력에 보이는 부분을 누락하거나(꽃의 잎과 가지), 어느 시점에도 없는 형상을 환각하거나(수레의 다섯 번째 가로대), 관측 대비 구조를 뒤섞는(접시 위 물건의 재배치) 실패가 발생한다. 첫 단계에서 생긴 오류는 이후 정밀화 단계에서 되돌리기 어렵기 때문에, 저자들은 이 두 가지를 coarse 단계의 핵심 병목으로 규정한다.

어떻게 동작하나

첫 번째 설계는 첫 시점 고정 정준 공간(first-frame anchored canonical space)이다. 객체는 여전히 원점 중심의 단위 큐브에 정규화하되, 방향만은 의미론적 정면이 아니라 첫 번째 입력 시점의 방위각 θ_a에 고정한다. 정준 z축 둘레로 A = R_z(−θ_a)만큼 회전시켜 기준 시점의 방위각을 정확히 상쇄하고, 다시 렌더링하지 않기 위해 카메라 외부 파라미터를 M'_i = [R_i A^T | t_i]로 갱신한다. 회전이 원점 기준이고 객체가 원점에 있으므로 평행이동은 그대로 둔다. θ_a는 학습 시 전처리에만 쓰이고 추론 시에는 학습된 매핑에 내재되어 카메라 파라미터가 필요 없다. 같은 공간을 재구성에도 재사용해, 카메라 헤드는 M'_i로, 포인트 헤드는 정준 공간의 P_i^orig에 A를 곱한 P_i로 감독함으로써 생성과 재구성을 하나의 좌표계로 통일한다.

무엇과 다른가

두 번째 설계는 재구성 기반 듀얼 타워 DiT다. 이미지 타워는 VGGT 구조를 따라 프레임별 self-attention과 전역 self-attention을 교차시켜 다시점 스테레오 연관을 만들고, 형상 타워는 구조 잠재 토큰을 디노이징한다. 두 타워는 깊이를 맞추고, 형상 타워가 매 레이어마다 같은 깊이의 이미지 타워 특징에 cross-attention하도록 붙였다. 조건 입력은 동결된 DINO 인코더의 패치 토큰에 시점 임베딩 e_i를 더해 구성하되, 사전학습 특징을 초기에 흔들지 않도록 e_i를 0 근처로 초기화한다. 손실은 L = L_geo + λ_cam·L_cam + λ_pmap·L_pmap로, flow-matching 손실이 cross-attention을 통해 이미지 타워로 역전파되므로 한 벌의 특징이 생성과 재구성 두 목표를 동시에 만족해야 한다. 이는 재구성 후 생성을 별도 단계로 두는 ReconViaGen이나 RecGen3D식 파이프라인의 특징 불일치와 정보 병목을 피하려는 선택이다.

어떻게 쓰나

세 번째 설계는 공간 사전 유도 어텐션이다. 정답 구조를 고정된 정준 공간에 래스터화하면 각 이미지 토큰 u가 덮는 가시 표면 복셀 위치 p_u를 얻고, 복셀 중심 c_i와 같은 좌표계에 있으므로 직접 비교할 수 있다. 이를 잘린 가우시안 A^sp = exp(−‖c_i−p_u‖²/2δ²)·1{‖c_i−p_u‖ ≤ δ}로 만들고(δ=0.1), 각 행을 정규화하며 모든 시점에서 보이지 않는 복셀 행은 손실에서 제외한다. 이 사전만으로 감독하면 기존 모델이 학습한 의미론적 연관을 덮어쓰게 되므로, 동결된 베이스 모델의 조밀 어텐션 A^dense 위에 A^gt = (1−β)A^dense + βA^sp (β=0.2)로 얹어 의사 정답을 만든다. 헤드마다 자기 분포를 기준으로 목표가 잡히므로 기하 정보가 기존 의미 구조 위에 더해진다. 예측 어텐션과의 KL 발산으로 파인튜닝하며(λ_attn=0.1), 이 사전은 학습 시에만 쓰이므로 추론에는 카메라 포즈가 필요 없다.

전제와 한계

실험은 약 200만 개 3D 자산(TRELLIS-500K, TexVerse에서 걸러낸 약 50만 개, 방향이 정렬되지 않은 사내 자산 약 100만 개)으로 학습하고 Toys4K와 Google Scanned Objects(GSO)에서 평가한다. 구조 해상도는 64³, 반복마다 포즈 없는 시점 약 6개를 샘플링하며, 64개 H20 GPU에서 배치 256으로 베이스 모델 20만 스텝(lr 1e-4) 후 사전 유도 파인튜닝 10만 스텝(lr 1e-5)을 돌린다. 비교 대상은 TRELLIS, TRELLIS2, ReconViaGen, Pixal3D의 다시점 변형이며, 앞 세 개는 coarse 단계만 Coarse3D로 교체하고 정밀화 모델은 동결했다. Coarse3D는 GSO에서 PA-IoU 0.5364, Toys4K에서 0.6368, CD는 각각 0.0124와 0.0091로, 포즈를 쓰지 않는 가장 강한 베이스라인 대비 PA-IoU 약 1.45배, CD는 절반 이하를 기록했다. 두 지표 모두 방향에 무관하므로 단순히 자세가 좋아진 것이 아니라 구조 자체가 정확해졌다는 것이 저자들의 해석이다.

방향 제어 가능성은 IoU와 PA-IoU의 격차로 드러난다. 베이스라인들은 최대 IoU의 30%에 달하는 격차를 보였지만, Coarse3D는 이를 0.03 이내(6% 미만)로 줄였다. 최강 비포즈 베이스라인 대비 개선폭이 IoU에서 1.6배, PA-IoU에서 1.45배로 더 큰데, 그 초과분이 바로 올바른 방향에서 나온 몫이다. 교체 실험에서는 TRELLIS2-MV on GSO 기준 CD가 0.0613에서 0.0127로 약 6배 떨어졌고, 결론부에서는 GSO에서 F-Score가 0.54에서 0.86으로 올랐다고 정리한다. 세 파이프라인 모두 지표가 개선됐으며, 정밀화 단계가 서로 다른데도 GSO CD가 0.0127~0.0132 구간에 모여 최종 형상 품질을 좌우하는 것은 정밀화가 아니라 coarse 구조라는 점을 시사한다. 의미 점수 개선은 상대적으로 완만하다(예: ReconViaGen의 Uni3D 0.2707 → 0.2836). 다시점 입력을 위한 보조 재구성 태스크도 GSO에서 VGGT의 회전 오차를 10.54에서 2.02로 약 5배 줄이며, 생성 목적과 함께 end-to-end로 학습해도 재구성 정확도가 희생되지 않음을 보였다.

절제 실험은 세 설계가 서로 다른 실패 요인을 담당함을 보여준다. 듀얼 타워를 더하면 CD가 0.0280에서 0.0117로 58% 줄고 PA-IoU가 0.065 오르지만 IoU–PA-IoU 격차는 0.064에서 0.068로 그대로여서, 그라운딩만으로는 전역 방향이 결정되지 않는다. 첫 시점 고정을 더하면 격차가 5.7배 줄어 0.012가 되고 IoU +0.093 대 PA-IoU +0.038의 비대칭 이득이 나타나며, 재구성도 같은 좌표계를 쓰면서 RRE가 5.88에서 3.42로, RTE가 0.0692에서 0.0413으로 좋아진다. 마지막으로 공간 사전 유도 어텐션은 PA-IoU를 0.085 올려 세 요소 중 가장 큰 구조적 이득을 내고 CD를 16% 줄인다. 어텐션 맵 시각화에서도 베이스 모델은 객체 전체에 흩어져 반응하는 반면 유도 모델은 질의 복셀이 투영되는 픽셀에 집중한다.

개발자 관점에서 이 논문의 실용적 가치는 인터페이스 호환성에 있다. 희소 복셀 인터페이스를 유지하므로 기존 TRELLIS 계열 파이프라인의 coarse 단계를 재학습 없이 교체할 수 있고, 추론 시 포즈 없는 다시점 이미지만 있으면 된다. 다만 Pixal3D에는 적용하지 않았는데, 그쪽은 정준 공간이 아니라 픽셀 정렬 공간에서 동작하고 다시점 변형이 정확한 카메라 포즈를 전제하기 때문이며, 평가에서 Pixal3D의 결과는 정답 포즈를 준 네이티브 수치로 별도 표기했다는 점을 감안해야 한다. 저자들이 명시한 한계는 범위다. 이 연구는 coarse 단계에 집중했고, 재구성 기반 듀얼 DiT와 공간 사전 유도 어텐션을 정밀 형상 생성까지 확장해 하나의 통합 프레임워크로 묶는 일은 구조적으로 자연스럽지만 향후 과제로 남겼다. 또한 첫 시점 고정은 방위각만 고정하고 정준 상축은 유지하는 방식이므로, 상하 방향 자체가 모호한 입력에서는 이 전제가 그대로 유효한지 별도 검증이 필요하다.