휴머노이드 로코매니퓰레이션을 희소 자세와 잠재 운동 사전으로 제어한다

무엇인가

이 논문은 휴머노이드 로코매니퓰레이션에서 고수준 과제 정책과 전신 제어 사이의 운동 인터페이스를 문제로 삼는다. 기존 시스템은 과제 의도와 전신 협응을 하나의 행동 표현으로 함께 인코딩하는 경우가 많아, 관절 공간 명령은 고수준 정책에 전신 협응 모델링 부담을 주고, 과제 공간의 희소 목표만으로는 협응된 전신 운동이 충분히 지정되지 않으며, 토큰 공간 표현은 재사용 가능한 협응 패턴을 담지만 과제에 중요한 공간 목표가 암묵적으로 남는다. 저자들은 공간 의도는 명시적으로, 전신 협응은 학습된 운동 사전으로 암묵적으로 표현하자는 원칙을 세우고, 골반과 양 손목, 양 발목의 다섯 개 과제 핵심 자세를 3차원 위치와 6차원 회전으로 노출한다.

어떻게 동작하나

SP-HLM의 앞단인 SP-VLA는 자기중심 RGB 이미지, 언어 지시, 로봇 상태를 입력으로 받아 월드 프레임의 다섯 점 목표 자세와 양손 손가락 관절 위치를 H스텝 청크로 예측한다. GR00T N1.7에서 초기화하고 비전-언어 백본은 고정한 채 플로 매칭 액션 헤드만 미세조정하며, 학습 시 RTC와 접두부 조건화를 사용해 청크 간 시간 연속성을 유지하고 추론 중에는 현재 청크 실행과 다음 청크 생성을 비동기로 겹친다. TensorRT 가속에서 SP-VLA는 25Hz, SP-MGM은 10Hz로 동작한다고 보고한다.

무엇과 다른가

SP-MGM은 다섯 점 목표에서 실시간으로 전신 운동 궤적을 복원한다. 사전학습된 확산 기반 운동 생성기를 네트워크 깊이와 디노이징 스텝을 줄여 압축하고, 1단계에서는 고정된 교사 모델의 예측과 짝지은 정답 운동을 함께 사용해 일반 전신 운동 생성 능력을 학습한다. 2단계에서는 학생 모델이 실제 롤아웃에서 방문한 상태에 대해 교사가 보정한 깨끗한 운동 목표를 제공하고, 관절 운동과 골반 이동·회전의 유한차분 정규화로 고주파 흔들림을 억제한다. 이렇게 생성된 전신 운동은 사전학습된 운동 인코더로 압축 잠재 명령으로 변환된다. SP-GMT는 명시적 희소 목표와 암묵적 운동 잠재를 결합하는 전신 추적 정책이다. 약 190시간의 운동 데이터로 운동 VAE를 사전학습해 관절 위치·속도, 골반 자세, 골반 선형·각속도를 담은 10프레임 창을 잠재 표현으로 인코딩하며, 이때 골반 양상은 현재 골반 요에 정렬되고 전역 수평 이동과 헤딩은 제거해 전역 배치에 불변하게 만든다. 인코더는 동결되고 사후 평균이 결정론적 잠재 명령으로 쓰인다. 정책은 잠재 명령, 현재 골반 프레임으로 변환된 다섯 점 목표, 고유수용감각, 이전 행동을 받아 신체 관절 위치 목표를 출력하고, 손가락 목표는 손 PD 제어기로 직접 전달된다. 학습은 PPO와 비대칭 액터-크리틱으로 하며, 보상에는 다섯 점 자세의 전역 위치·자세 추적 항과 전신 자세·속도 추적 항, 제어 정규화 항이 들어간다. 학습 시 실패 인식·균일 운동 샘플링과 모터 동역학, 접촉, 외란, 행동 지연, 명령 필터링 무작위화를 사용한다.

어떻게 쓰나

운동 추적 실험은 Filtered CLOT-500과 BONES-SEED Diverse-500의 각 500개 운동 데이터셋에서 시드 10회, 기준 궤적에 섭동을 준 조건으로 평가한다. 본문은 표 II의 절대 수치를 직접 옮기지 않지만, SP-GMT가 두 데이터셋 모두에서 전역 MPJPE와 전역 말단효과기 오차가 가장 낮았고, 지역 MPJPE·관절 오차·지역 말단효과기 오차의 여섯 데이터셋-지표 비교 중 다섯에서 2위였다고 보고한다. 학습 비용은 192 GPU시간으로, SONIC의 21k GPU시간과 Humanoid-GPT의 15k GPU시간보다 훨씬 작다. 절제 실험에서 잠재 참조만 쓰면 전역 추적 오차가 커지고, 다섯 점 참조만 쓰면 지역 추적과 관절 정확도가 나빠지며, 잠재 참조를 관절 공간 참조로 바꾸면 전역 오차가 증가했다. 로봇 골반 자세를 제거하면 성능 하락은 중간 정도였다.

전제와 한계

운동 생성 품질은 BONES-SEED에서 고른 600개 운동으로 평가한다. 동일한 20스텝 디노이징 설정에서 압축하지 않은 Kimodo 베이스라인과 비교했을 때 SP-MGM은 평균 및 P95 말단효과기 오차가 더 낮았고 생성 속도는 최대 1.45배였다. 다만 말단효과기 저크와 신체 저크는 소폭 증가했다. 절제 실험에서 전체 SP-MGM의 P95 말단효과기 오차는 3.212cm였는데, Stage II를 제거한 Stage I 단독에서는 12.772cm로 커졌고, 시간 정규화 항을 빼면 말단효과기 정확도는 전체 모델과 비슷하지만 말단효과기와 신체 저크 P95가 각각 27.8%와 37.0% 증가했다.

로코매니퓰레이션 평가는 시뮬레이션 8개 과제와 실제 로봇 4개 과제로 나뉜다. 시뮬레이션의 T1~T6은 과제당 120개의 원격조작 시연을 SONIC으로 모아 객체 위치, 로봇 초기 위치, 조명을 무작위화했고, T7과 T8은 HumanoidArena 벤치마크 과제와 시연을 포함했다. 과제당 50회 평가에서 SP-HLM은 전체 성공률 52.75%로, GR00T와 토큰 공간 조합의 33.75%, GR00T와 관절 공간 조합의 31.50%, SP-VLA가 잠재를 직접 예측하는 변형의 23.25%를 앞섰다. GR00T 베이스라인도 같은 SONIC 백엔드를 쓰므로 이 비교는 운동 인터페이스 차이를 드러내도록 설계됐다.

실제 로봇은 Unitree G1에 ZED 2i 스테레오 카메라를 붙여 평가했고, 일상 환경의 네 과제를 과제당 20회 시험했다. 객체 배치와 선반 이동 과제는 성공률이 50%를 넘었고, 더 어려운 수납장 열기와 쓰레기통 열기는 각각 25%와 40%였다. 실패 분석은 균형이 중요한 정밀 조작에서 집중된다. 수납장 열기는 한쪽 다리로 스쿼트한 채 작은 손잡이에 손을 정렬해야 하고, 쓰레기통 열기는 한 발을 들어 좁은 페달에 정확히 올려야 하는데, 약간의 몸 흔들림만으로도 말단효과기 자세가 어긋나 접촉 정확도가 떨어진다. 실제 시연은 SONIC으로 모았지만 평가에서는 SP-GMT를 사용해, 인터페이스가 다른 전신 추적기에서도 과제 의도를 보존하는지도 확인했다.

개발자 관점에서 이 논문의 핵심은 휴머노이드 VLA 스택에서 고수준 정책과 전신 제어 사이의 인터페이스를 하나의 행동 표현으로 뭉개지 말라는 설계 지침이다. 고수준 정책은 다섯 점 같은 과제 공간 목표와 손가락 목표만 예측하고, 전신 협응은 학습된 잠재 사전과 추적 정책에 맡기면 정책 출력 차원과 학습 부담을 줄이면서 전역 추적과 지역 추적을 상보적으로 가져갈 수 있다는 주장이다. 실제 시스템에 적용할 때는 다섯 점이 해당 과제의 공간 의도를 충분히 담는지, 좌표 프레임 변환이 정확한지, SP-VLA 25Hz와 SP-MGM 10Hz의 비동기 청크가 제어 주기와 맞는지, 그리고 사용하는 전신 추적기가 바뀌어도 성능이 유지되는지를 확인해야 한다. 저자들이 밝힌 한계는 분명하다. 이 연구는 전신 협응에 초점을 두고 손 제어는 손가락 관절 위치 목표로만 지정하며, 다른 손 수준 인터페이스나 손가락을 활용한 정교한 조작은 탐구하지 않는다. 전신 정교 조작으로 인터페이스를 확장하는 것이 향후 과제라고 적는다. 또한 실제 환경에서는 균형 조건이 까다로운 정밀 조작 과제의 성공률이 시뮬레이션보다 크게 떨어지므로, 희소 자세 인터페이스만으로 접촉 정밀도까지 보장되지는 않는다는 점을 전제로 읽어야 한다.