SeMo3D는 3D 생성·편집·완성을 선택 영역 합성으로 통합한다

무엇인가

이 논문이 겨냥하는 문제는 3D 생성, 편집, 완성이 서로 다른 제약을 가진 별도 모델로 다뤄진다는 점이다. 기존의 홀리스틱 모델링은 로컬 영역만 바꾸면 되는 편집이나 일부가 빠진 완성에서도 전체 3D 에셋을 다시 생성한다. 그 결과 작업별 아키텍처와 목표가 중복되는 태스크 격리, 바뀌면 안 되는 영역이 다시 생성되며 생기는 영역 불일치, 소스-타깃 쌍 데이터에 대한 의존이 생긴다. 논문은 편집을 스타일 전이 같은 전역 조작이 아니라 추가, 삭제, 교체 같은 국소 조작으로 한정한다.

어떻게 동작하나

저자들의 핵심 관찰은 세 작업이 모두 지정 영역만 합성하고 나머지는 그대로 두는 구조라는 것이다. 생성은 전체 영역, 편집은 대상 영역, 완성은 빠진 영역을 선택한다. 이들을 공간적으로 정렬된 토큰 위에서 선택 집합 S와 문맥 집합 C로 나누고, S만 노이즈 제거하며 C는 깨끗하게 유지하는 선택적 모델링으로 통합한다. C는 다시 생성되지 않으므로 원본 보존이 토큰 수준에서 구조적으로 보장되고, 구조화 latent의 거의 무손실 복원 덕에 에셋 수준 보존에 가까워진다. 또 어떤 일반 3D 에셋도 선택 영역과 문맥으로 나눌 수 있어 편집·완성용 쌍 데이터 없이 학습할 수 있다는 주장이다.

무엇과 다른가

학습 절차인 영역 선택 노이즈 제거는 선택 영역에만 노이즈를 넣고 손실도 그 영역에만 준다. 혼합 입력은 선택 토큰에 대해 (1-t) z0 + t epsilon을 적용하고, 문맥 토큰은 z0 그대로 둔다. 모델에는 선택과 문맥을 구분하는 이진 마스크가 함께 들어가고, 손실은 선택 집합 크기로 정규화된다. 각 학습 단계는 전체 영역을 고르는 생성 모드와 랜덤 3D 박스 안을 고르는 국소 모드를 같은 확률로 샘플링한다. 추론에서는 생성이 전체 선택, 편집이 사용자 마스크, 완성이 사용자 지정 또는 부분 입력 점유의 여집합을 선택 영역으로 쓴다. 세 단계 중 SS 단계가 선택 영역 내 점유를 결정하고, shape와 texture SLat 단계가 같은 분할을 이어받는다. 학습은 박스로만 해도 자유형 편집·완성 영역을 처리한다고 보고한다.

어떻게 쓰나

아키텍처 Omni3DiT는 Trellis2의 3단계 이미지 조건 3D DiT를 확장한다. 역할 임베딩은 선택된 노이즈 토큰과 깨끗한 문맥 토큰을 구분하도록 입력 투영 뒤에 더해지고, 두 임베딩은 초기 사전학습 동작을 보존하려고 0으로 초기화된다. 텍스트는 CLIP 특징을 병렬 cross-attention으로 주입하며, 이미지 DINOv3 경로와 같은 쿼리를 공유하고 출력 투영을 0으로 시작한다. 포인트는 희소 포인트의 공유 학습 임베딩을 복셀 좌표의 RoPE로 위치시키고 토큰 시퀀스에 이어 붙여 self-attention으로 공간 추론을 하게 한다. SLat 단계는 포인트 조건을 생략한다. 구성적 조건 드롭아웃은 이미지, 텍스트, 포인트를 무작위로 비활성화하되 이미지를 자주 빼서 텍스트와 포인트가 독립적으로 제어를 맡도록 만든다. 추론에서 이미지는 필수이고 텍스트와 포인트는 선택이다.

전제와 한계

실험은 Trellis2의 사전학습 SC-VAE를 재사용하고 Trellis-500K에서 512 해상도로 세 단계 flow 모델을 미세조정한다. 학습률은 5×10^-5, 배치 크기는 32, SS 단계는 200K 스텝, SLat 단계는 100K 스텝이며 512 해상도 에셋 생성은 약 5초로 Trellis2와 비슷하다고 한다. 벤치마크는 생성 Toys4K, 편집 Edit3D-Bench, 완성 Omni-Comp다. 생성 비교 대상은 Trellis, ShapeLLM-Omni, HY3D-2.1, Trellis2, Pixal3D, TIGON, HY3D-Omni이고, 편집은 VoxHammer, Nano3D, 3DEditFormer, PartFlow, 완성은 LaS-Comp와 HY3D-Omni다. 원문은 생성에서 LPIPS, FID, DINO, CD가 가장 좋고 KID가 두 번째라고 서술하며, 편집에서는 영역 일관성, 지각 품질, 정확도 세 지표군 모두 앞서고, 완성에서는 포인트 추가 없이도 CD, EMD, F-Score가 가장 좋다고 보고한다. 다만 제공된 본문에는 표 1~4의 구체적인 숫자가 실려 있지 않아 수치 인용은 하지 않는다.

개발자 관점에서 이 논문은 3D 에셋의 일부만 고치거나 빠진 부분만 채우면서 나머지를 보존해야 하는 도구에 의미가 있다. 하나의 모델로 생성, 국소 편집, 완성을 처리하고 이미지·텍스트·포인트를 조합해 제어할 수 있으며, 편집·완성용 대규모 쌍 데이터 없이 일반 3D 자산으로 학습한다는 점이 실무 파이프라인 비용을 낮출 수 있다. 자연어 상호작용을 통해 에이전트가 GPT-Image로 참조 이미지를 만들고 GPT-6 Astra와 Codex가 편집 영역을 정해 SeMo3D를 호출하는 흐름도 제시된다. 다만 보존 보장은 토큰 수준이고 구조화 latent의 복원 품질에 의존하므로, 실제 도입에서는 512 해상도와 Trellis2 표현의 재구성 한계, 마스크·점유 입력의 정확도를 먼저 확인해야 한다.

저자가 밝힌 한계는 두 가지다. Trellis2의 구조화 latent 해상도가 제한적이라 얇은 야자수 잎 같은 매우 미세한 구조를 담지 못하고, CLIP 텍스트 인코더가 복잡한 조합 프롬프트에 약해 오렌지 열매를 객체가 아니라 오렌지색 텍스처로 축소하는 사례가 있다. 이를 위해 더 높은 충실도의 3D 표현과 더 강한 비전-언어 인코더를 향후 과제로 든다. 또한 편집은 추가·삭제·교체 같은 국소 조작에 초점을 두므로 전역 스타일 전이는 직접 대상이 아니다.