LLM2R이 3D 부품 조립을 언어모델 한 번의 순전파로 푼다

무엇인가

3D 부품 조립은 흩어진 부품 점군 집합을 입력받아 각 부품의 강체 SE(3) 변환을 예측해 완성 형상을 복원하는 문제다. 저자들이 강조하는 어려움은 부품의 위치가 그 부품 하나의 형상만으로는 거의 결정되지 않는다는 점이다. 모든 자세가 전체 집합에 의존하므로, 기존 방법들은 부품 간 쌍별 매칭이나 국소 호환성 점수에 기대거나 후보를 반복 생성·검증하는데, 이런 방식은 부품 수가 늘면 고차 제약을 담기 어렵고 비용이 급격히 커진다. 참조 이미지나 CAD 템플릿, 카테고리별 사전 지식에 의존하는 방법도 개방 환경에서는 쓰기 어렵다.

어떻게 동작하나

LLM2R의 출발점은 이 문제를 디코더 전용 LLM이 잘하는 종류의 시퀀스 모델링으로 재해석하는 것이다. 각 부품은 사전학습된 Point-BERT 인코더로 64개 이웃 패치 기술자로 변환되고, Q-Former가 이를 언어모델 은닉 차원의 토큰 K=64개 블록으로 압축한다. 모든 부품 블록을 이어 붙인 뒤 Qwen3.5-0.8B 백본을 LoRA(r=32, α=64)로 적응시켜 한 번의 순전파로 처리한다. 입력은 점군뿐이며 이미지·템플릿·카테고리 라벨은 쓰지 않고, 의미론적 부품 조립과 기하학적 파편 재조립을 같은 구조로 다룬다.

무엇과 다른가

문제는 인과적 어텐션이다. i번째 부품의 은닉 상태는 자기보다 앞선 부품만 보기 때문에, 부품 자체 토큰에서 자세를 읽으면 의자의 첫 다리를 좌석도 다른 다리도 보지 못한 채 배치하게 된다. 저자들은 어텐션 마스크를 건드리는 대신 마지막 부품 뒤에 학습 가능한 요약 토큰 S=64개를 덧붙인다. 이 토큰들은 모든 부품 뒤에 위치하므로 전체 조립을 본 상태를 부품 수와 무관한 상수 토큰 비용으로 한 번 계산해 둔다. 이후 부품 인지 자세 헤드가 j번째 부품 상태와 j번째 요약 상태를 쌍으로 묶어 GELU 선형층에 통과시키고 블록 평균을 내어 특징을 만들고, 그로부터 회전과 이동을 회귀한다. 회전은 32개 앵커 쿼터니언의 소프트맥스 볼록결합을 정규화해 연속적인 SO(3) 표현으로 뽑고, 이동은 MLP로 직접 회귀한다. 학습 손실은 쿼터니언 부호 모호성을 처리한 자세 손실, 예측·정답 자세로 변환한 점군 사이의 Chamfer 거리, 그리고 기하 시그니처로 묶은 교환 가능 부품 그룹의 예측 간격이 정답 간격보다 좁아지지 않게 하는 반발 항으로 구성된다. 언어모델링 손실은 쓰지 않아 요약 토큰은 오직 자세 목표로만 학습된다. 추론은 시퀀스를 한 번 디코딩해 모든 자세를 병렬로 읽어내며, 자세를 되먹이거나 정제하지 않는다.

어떻게 쓰나

실험은 PartNet(Chair/Table/Lamp), Breaking Bad(Everyday 7,872·Artifact 3,697 조립), PartNeXt(학습 15,563, 평가 3,903 형상)에서 각 벤치마크 최강 베이스라인의 프로토콜을 그대로 따랐다. Breaking Bad에서는 이동 오차가 0.46과 0.53으로 GARF의 1.34, 1.77보다 낮고 추론 시간도 인스턴스당 0.092초로 GARF 0.225초, Jigsaw 0.185초보다 빨랐다. 다만 회전 오차·PA·CD는 파편 표면에 특화된 GARF가 앞서는데, PA 격차는 2.2포인트와 3.2포인트(GARF 94.77%·93.34% 대 LLM2R 92.57%·90.11%)다. PartNet에서는 세 카테고리 모두 최고 PA(최강 베이스라인 대비 2.2, 2.2, 8.3포인트)와 보고된 방법 중 최고 성공률을 냈고, Chair 성공률은 41.40%로 Assembler의 22.59%를 크게 앞선다. PartNeXt에서는 회전 오차 41.12(CRAG 45.12), 이동 RMSE 5.24(9.13), PA 67.93%(65.89%)로 1위지만 CD는 6.37로 CRAG 2.40, GARF 3.10에 뒤진다. 저자들은 자세 지표와 CD가 재는 것이 다르며, 소수가 표면에서 멀리 어긋난 부품이 CD를 부풀린다고 해석한다.

전제와 한계

확장성과 일반화가 이 논문의 핵심 주장이다. Chair/Table/Lamp만으로 학습해 Bed, Door, Storage Furniture에 제로샷 전이하면 LLM2R은 31.03%, 32.49%, 26.35%로 최강 베이스라인(CFPA)의 10.29%, 15.78%, 9.13%보다 최소 16.7포인트 높다. 부품 수가 늘수록 격차도 커져서, 100개 조각에서 Breaking Bad PA는 57.85%로 GARF의 24.33%보다 33.5포인트, PartNet에서는 36.83%로 Assembler의 7.78%보다 29.1포인트 높다. 반대로 30개 수준에서는 GARF(83.61% 대 80.13%)와 Assembler(49.34% 대 52.57%)가 비슷하거나 앞선다. 키-값 캐시를 재사용하면 100개 인스턴스 처리 시간이 부품 10개에서 6.33초(인스턴스당 63ms), 100개에서 47.54초로 거의 선형 증가하지만, 매번 프리픽스를 다시 계산하면 103.37초까지 늘어난다.

절제 실험은 설계 근거를 분명히 보여준다. PartNet Chair에서 요약 블록을 제거하고 부품 블록 마지막 토큰만 읽으면 PA가 7.7포인트 떨어지고 CD가 2.31 나빠졌는데, 연결성 정확도는 거의 그대로여서 요약이 국소 연결보다 절대적 배치를 개선한다는 것을 시사한다. Q-Former를 2층 MLP 투영으로 바꾸면 PA가 4.9포인트 하락하고 CD가 3.5 상승했고, 프롬프트의 자연어 지시문을 지우면 PA 6.1포인트, 성공률 6.6포인트가 떨어졌다. 기하 토큰·요약 블록·자세 헤드는 두 변형에서 동일하므로 이 차이는 지시문 토큰에서만 나온다. 저자들은 이를 백본의 언어 사전학습이 단순한 용량 이상으로 기여한다는 가장 직접적인 증거로 제시한다. 토큰 예산은 K=64에서 포화되어 128로 늘려도 PA는 0.13포인트만 오른다. 20개 부품 의자에서 위치별 PA는 앞 두 자리가 83.4%·80.9%로 가장 높고 18~20번째가 56.4~59.6%로 가장 낮으며, 꼬리에서 급락하지는 않는다.

개발자 관점에서 이 방법의 매력은 반복 정제나 후보 생성 없이 한 번의 순전파로 가변 개수 부품의 자세를 모두 뽑는다는 점, 그리고 부품 수에 대해 요약 토큰 비용이 상수라는 점이다. 조립 라인이나 파편 복원처럼 부품 수가 많은 배치를 다루면서 지연 시간이 중요한 경우, 반복 검증 파이프라인을 대체할 후보로 볼 수 있다. 다만 CD가 계층적·파편 특화 방법보다 나쁘다는 것은 표면이 딱 맞물리는 정밀도가 중요한 용도에서는 그대로 쓰기 어렵다는 뜻이고, 부품 순서에 불변이 아니어서 입력 순서가 결과에 영향을 준다는 점도 실제 적용 전에 확인해야 한다.

저자들이 밝힌 한계도 분명하다. 모델은 부품 순서에 대해 불변이 아니고, 디코더의 문맥 창이 한 번에 처리할 수 있는 부품 수를 제한한다(K=64, 8,192 토큰에서 약 125개). 부품당 하나의 자세만 회귀하므로 여러 그럴듯한 조립을 표현하지 못하고, PCA에서 유도한 자세 목표는 부품 대칭성만큼 모호한데 Chamfer 목적함수가 이를 부분적으로만 보상한다. Chamfer 거리가 계층적·파편 특화 방법에 뒤지는 것도 한계로 인정하며, 순서 불변 위치 인코딩, 더 큰 백본, 예측 자세의 경량 기하 정제를 다음 단계로 제안한다.