Möbius가 모션 이해와 생성을 하나의 확산 공간으로 합친다

무엇인가

기존의 통합 모션 모델은 이름만 통합일 뿐 구조는 반쯤 분리돼 있었다. 모션 이해는 언어모델이 처리하고, 생성은 언어모델이 만든 특징을 조건으로 받는 별도의 확산 모듈이 학습된 모션 latent 위에서 담당한다. 확산 기반 방법은 생성 품질이 높지만 이해 능력이 없고, 언어모델 기반 자기회귀 방법은 여러 모션-언어 작업을 한 틀에 담지만 생성 품질이 약하다. 공유 표현이 '무엇을 생성할지'는 정하지만 '어떻게 조금씩 만들어갈지'에는 참여하지 못한다는 것이 저자들이 지적하는 부분 통합의 한계다. 논문은 이해와 생성 과정 전체가 하나의 표현 공간에서 돌아갈 수 있는지를 질문으로 삼는다.

어떻게 동작하나

Möbius의 출발점은 모션 표현을 단순화한 것이다. 이산 토크나이저는 양자화 오차를 낳고 VAE 계열은 모션을 시간축으로 압축하며 프레임 단위 정보를 잃는다. 그래서 이 논문은 사전학습된 모션 인코더나 토크나이저 없이, 한 클립을 X ∈ ℝ^(T×D), D=201(관절 위치와 회전)의 프레임 단위 원시 모션으로 표현한다. 경계 토큰 ⟨BOM⟩과 ⟨EOM⟩으로 텍스트와 모션 시퀀스를 구분하고, 깨끗한 모션용과 노이즈 모션용 프로젝터 두 개가 각각을 공유 표현 공간으로 사상하며, 대응하는 모션 헤드가 다시 원시 모션으로 디코딩한다. 이해용 인코더와 생성용 인코더를 따로 학습하던 기존 방식과 달리, 같은 표현 인터페이스를 두 모드가 공유하는 셈이다.

무엇과 다른가

토큰 처리는 Mixture-of-Transformers 구조를 따른다. 라우팅 기준은 모달리티가 아니라 역할이다. 텍스트 토큰, 경계 토큰, 깨끗한 모션은 이해 파라미터로, 노이즈가 섞인 목표 모션은 생성 파라미터로 보내 정규화와 QKV 선형 투영을 다르게 적용하고, 투영된 뒤에는 하나의 공유 어텐션에서 정보를 교환한다. 어텐션 가시성도 비대칭이다. 텍스트는 사전학습 언어모델의 인과적 패턴을 유지하지만, 같은 모션 시퀀스 안의 모션 토큰들은 깨끗하든 노이즈 상태든 서로 양방향으로 참조한다. 이해 단계에서는 전체 관측 모션이 이미 주어져 있으므로 각 프레임이 시퀀스 전체 맥락을 볼 수 있고, 생성 단계에서는 각 디노이징 스텝마다 노이즈 목표 프레임이 한꺼번에 인스턴스화돼 과거와 미래 맥락을 동시에 활용한다. 생성 대상 시퀀스는 항상 전체 시퀀스 끝에 배치되고 길이를 미리 지정해, 노이즈 시퀀스 전체가 통째로 점진 정제된다.

어떻게 쓰나

학습은 2단계 커리큘럼이다. Qwen3에서 초기화한 뒤 먼저 모션 캡셔닝으로 이해 파라미터와 모션 프로젝터를 학습한다(자기회귀 언어모델링 손실). 무작위 초기화된 생성 경로를 처음부터 함께 최적화하면 사전학습된 언어 표현이 흐트러지기 때문이다. 2단계에서는 이해 파라미터를 동결하고, 생성 파라미터를 1단계에서 학습한 이해 파라미터로 초기화한 뒤, X_t = (1−t)ε + t·X_gt로 만든 노이즈 모션을 정답 모션으로 복원하도록 프로베니우스 노름 제곱 손실로 학습한다. 조건은 동결된 이해 파트가 만든 텍스트 표현이다. 같은 틀에서 소스 모션을 깨끗한 조건 컨텍스트로 넣고 관측되지 않은 부분이나 편집 대상만 생성하면, 별도 아키텍처 없이 시간적 완성(예측, 백캐스팅, 인비트위닝, 키프레임 채우기)과 자연어 지시 기반 편집까지 커버된다.

전제와 한계

실험은 HumanML3D를 중심으로 하며, 생성 평가에는 MotionStreamer의 MS-272 평가기를, 캡셔닝에는 TM2T 프로토콜을 쓴다. 0.6B 변형은 HumanML3D만으로 학습했고 1.7B 변형은 1,700시간 분량의 사내 주석 모션을 추가로 사용했다. 저자들에 따르면 0.6B는 HumanML3D에서 학습한 생성 특화 모델과 통합 베이스라인을 모두 앞서고, 통합 모션 모델 중 최고 성능을 낸다. 1.7B는 비교 대상 중 최고 R-Precision, FID, MMDist를 기록했고, 캡셔닝에서는 보고된 모든 지표에서 기존 통합 모션-언어 모델을 앞선다. 편집·완성은 MotionLab 벤치마크에서 평가했으며, MotionFix 데이터를 추가한 변형은 편집 특화 베이스라인은 물론 편집하지 않은 원본 모션보다도 좋은 점수를 냈다고 주장한다. 다만 제공된 본문에는 표가 포함돼 있지 않아 구체적인 수치와 개선폭은 제시되지 않았다.

절제 실험은 Qwen3-0.6B에 HumanML3D, T2M·M2T 목적만으로 학습해 MS-272 특징 포맷 위에서 수행됐다. 모션 인코딩은 VQ, VAE, 프레임 단위를 비교했는데 VQ는 생성이 크게 약화됐고, VAE는 경쟁력은 있었으나 이해 성능이 프레임 단위보다 낮았다. 라우팅은 Dense, 모달리티 기준, 역할 기준을 비교했는데, 깨끗한 관측과 노이즈 상태에 같은 모션 파라미터를 쓰는 모달리티 방식은 이해가 붕괴했다. 반대로 깨끗한 모션과 노이즈 모션을 역할로 분리하면 양방향 모두 강한 성능이 유지됐다. 학습 스케줄에서는 생성만 학습, 이해 후 생성, 생성-정렬-조인트, 조인트 동시 최적화를 비교해, 이해를 먼저 세우고 파라미터 초기화와 레이어 단위 상호작용으로 생성을 전이하는 이 논문의 방식이 가장 나았다. 조인트 최적화는 이해를 눈에 띄게 훼손했고, 디노이징을 마지막 레이어 컨텍스트에만 제한하거나 생성 파라미터를 무작위 초기화하면 생성 품질이 떨어졌다.

개발자 관점에서 이 설계의 핵심은 모션용 경량 코덱을 따로 학습시키지 않아도 된다는 점과, 하나의 백본으로 캡셔닝·생성·완성·편집을 같은 인터페이스로 처리한다는 점이다. 프레임과 모델 위치가 1대1로 대응하므로 특정 프레임만 관측으로 바꾸는 것만으로 예측·백캐스팅·인비트위닝이 모두 가능하다는 서술은, 태스크별 헤드를 만들지 않으려는 파이프라인 설계에 직접적인 힌트가 된다. 다만 공개된 본문에는 표 수치와 추론 비용, 디노이징 스텝 수, 실패 사례가 담겨 있지 않으므로 실제 도입 전에는 HumanML3D·MotionLab 리더보드 원본과 프로젝트 페이지의 코드 공개 여부를 확인해야 한다.

저자들이 명시한 한계는 범위다. 현재 실험은 통제된 단일 인물 모션 설정에 국한되며, 다인 상호작용, 손가락을 포함한 세밀한 손 모션, 이질적인 신체 구조 간 리타게팅, 실제 로봇 같은 구현체 배치는 향후 과제로 남겨두었다.