단안 영상에서 휴머노이드 동작을 직접 생성하고 추적 피드백으로 다듬는다

무엇인가

이 논문은 단안 인간 영상에서 휴머노이드의 전신 동작을 학습하는 문제를 다룬다. 기존 재구성-리타기팅-추적 파이프라인은 인간 동작 재구성, 휴머노이드로의 리타기팅, 참조 동작 추적을 각각 최적화한다. 그 결과 중간 단계의 오차가 누적되고, 재구성과 리타기팅은 대상 휴머노이드의 형태와 동역학을 직접 고려하지 못하며, 추적 결과는 파이프라인 마지막에야 관찰되어 전체 영상→휴머노이드 매핑을 실행 가능성 기준으로 직접 개선하기 어렵다. 저자들은 중간 표현을 거치지 않고 로봇 동작 공간에서 참조 동작을 생성한 뒤, 실제 추적 결과를 생성 모델의 후학습 신호로 쓰는 생성-추적 패러다임을 제안한다.

어떻게 동작하나

ViT-H의 생성기는 단안 영상에서 얻은 조건 집합을 입력으로 Unitree G1의 참조 동작을 직접 출력하는 확산 모델이다. 조건 집합에는 상대 카메라 방향, 2D 바운딩 박스, 2D 키포인트, 이미지 특징이 포함된다. 출력 동작은 루트 속도, 카메라 시점과 중력 시점의 루트 방향, 6D 표현으로 인코딩한 국소 관절 회전, 카메라 상대 스케일과 이동, 말단 효과기 정지 확률로 구성된다. DDPM 방식으로 잡음을 점진적으로 주입한 뒤 깨끗한 동작을 예측하도록 학습하고, 예측 동작에서 전역 궤적을 복원해 순기구학을 적용한 뒤 관절, 정점, 루트 이동, 말단 정지, 2D 재투영 손실을 계산한다. 추적 정책은 기존 범용 트래커 SONIC을 PPO로 미세조정하며, 앵커의 수평 위치와 요 추적 보상을 추가하고, 로봇과 참조의 루트 자세 오프셋을 관측하는 특권 변형도 함께 만든다.

무엇과 다른가

후학습은 생성기에서 뽑은 여러 후보 동작을 두 추적 정책으로 실제 롤아웃해 점수화하는 방식으로 진행된다. 점수는 국소 자세 보상, 전역 동작 보상, 두 트래커가 모두 성공했는지를 나타내는 추적 성공 보상으로 구성되고, 각 오차는 exp(-오차/스케일^2) 형태의 0과 1 사이 보상으로 정규화된다. 정답 동작이 있으면 후보와 정답, 정답과 롤아웃 사이의 추가 보상도 쓴다. 보상 우위가 각 차원의 마진을 넘고 선호 후보가 두 트래커 모두에서 성공한 경우에만 선호 쌍을 만들고, 가중 총 보상 격차가 가장 큰 쌍을 고른다. 이후 고정된 사전학습 생성기를 기준 모델로 두고, 선호 동작과 비선호 동작의 잡음 제거 손실 차이를 Diffusion-DPO 목적함수로 학습하며 선호 동작에 대한 SFT 손실도 더한다. 선호 쌍 구성에 정답 동작이 필요 없어 주석 없는 인터넷 영상까지 후학습에 쓸 수 있다는 점이 핵심이다.

어떻게 쓰나

자동회귀 변형은 고정 길이 세그먼트를 앞 세그먼트에 조건화해 온라인으로 생성한다. 이전 세그먼트와 겹치는 L프레임을 잡음 입력의 앞부분에 덮어써 문맥을 주입하고, 미세조정 중 이전 세그먼트를 무작위로 제거해 첫 세그먼트 생성 능력을 보존한다. 이 변형은 400ms 미만 지연의 실시간 영상-휴머노이드 원격조작을 지원한다고 보고된다. 오프라인 생성은 전체 참조 동작을 한 번에 만들고, 온라인 생성은 스트리밍 영상에 대응하는 세그먼트를 순차적으로 만든다.

전제와 한계

실험은 Unitree G1에서 진행됐다. 생성기는 AMASS, BONES-SEED, BEDLAM, BEDLAM2.0, Human3.6M 혼합 데이터로 사전학습하고, 인간 동작만 있는 데이터는 적응된 GMR로 G1 동작으로 변환했다. 후학습은 BEDLAM, BEDLAM2.0, Human3.6M과 춤, 피트니스, 체조, 무술을 포함한 주석 없는 비디오 데이터로 수행했고, 두 추적 정책은 BONES-SEED에서만 미세조정했다. 평가는 3D 정답을 G1으로 리타기팅한 EMDB와 RICH, 그리고 비디오 전용 데이터의 홀드아웃 분할에서 이뤄졌다. 지표는 국소 MPJPE, PA-MPJPE, RTE, 지터, 자기 관통이며, 비디오 전용 데이터에는 지터와 자기 관통, 2AFC 인간 선호 연구를 사용했다. 실행 가능성은 MuJoCo에서 추적 정책으로 예측 동작을 실행해 추적 성공률, 정답 대비 MPJPE와 PA-MPJPE, 예측 동작과 추적된 동작 사이의 Trk. MPJPE와 Trk. PA-MPJPE로 측정했다. 베이스라인은 GVHMR 또는 GEM으로 재구성하고 GMR로 리타기팅한 뒤 추적하는 파이프라인이며, 같은 이미지 특징과 비슷한 모델 크기로 재학습한 변형도 비교했다.

결과에서 오프라인 생성기는 동작 정확도와 품질 지표 전반에서 재구성-리타기팅 베이스라인을 일관되게 앞섰고, 비디오 전용 데이터의 인간 선호 연구에서도 참가자들이 ViT-H 결과를 더 선호했다. 온라인 생성기는 인과적 설정에서 루트 이동 정확도가 상대적으로 약했지만, 모든 파이프라인보다 낮은 MPJPE와 PA-MPJPE를 기록해 국소 동작 정확도는 유지했다. 후학습은 대부분의 설정에서 지터와 자기 관통을 낮추면서 예측 정확도는 비슷하게 유지했다. 실행 가능성에서는 후학습된 두 생성기 모두 모든 테스트 세트에서 모든 파이프라인보다 높은 추적 성공률을 보였고, 오프라인 생성기의 추적 동작은 어떤 파이프라인보다 정답에 가까웠다. 후학습 후 추적 정책은 리타기팅된 정답보다 생성기 참조를 더 잘 따라갔고, EMDB와 RICH에서 GT+GMR보다 낮은 Trk. MPJPE와 Trk. PA-MPJPE를 기록했다. EMDB에서 성공률은 GT+GMR의 91.0%에 대해 90.2%와 88.5%로 접근했다. 후학습은 세 테스트 세트 모두에서 성공률을 높이거나 유지하고 추적 오차를 낮췄으며, 온라인 생성기와 비디오 전용 테스트 세트에서 가장 큰 개선을 보여 성공률이 오프라인 74.8%에서 80.0%, 온라인 49.6%에서 63.8%로 올랐다.

DPO 분석에서는 배포 가능한 추적기 보상만으로도 성공률이 오프라인 74.8%에서 75.8%, 온라인 49.6%에서 61.5%로 올랐고, 특권 추적기의 전역 동작 보상을 더하면 80.0%와 63.8%까지 상승했다. 평가가 배포 가능한 추적기로 이뤄진다는 점에서 이 이득은 국소 피드백이 놓치는 전역 추적 감독을 특권 피드백이 보완한다는 뜻으로 해석된다. 후학습 데이터 구성에서는 사전학습 분포 데이터가 비디오 전용 데이터의 절반일 때 가장 좋았고, 더 늘리면 성능이 떨어지는 비단조 경향이 나타났다. 16개 Transformer 층 중 마지막 8개만 미세조정하는 것이 가장 좋았고, 더 적게 또는 16개 전부를 갱신하면 성능이 낮아졌다. 확장성에서는 생성기를 49.9M에서 114.6M, 224.7M 파라미터로 키울수록 오프라인과 온라인 모두 추적 성공률이 오르고 Trk. MPJPE가 낮아졌다. 사전학습 데이터를 25%, 50%, 100%로 늘려도 같은 경향이었고 성공률 개선은 50%에서 100% 구간이 가장 컸다. 후학습 데이터 규모도 두 지표를 일관되게 개선했다. 후학습에 쓰지 않은 Humanoid-GPT, ScaleBFM, HoloMotion 추적기로 평가해도 후학습은 두 생성기 모두의 성공률을 높이고 Trk. MPJPE를 낮춰, 특정 피드백 추적기에 과적합된 것이 아니라 동작 실행 가능성 자체를 개선했음을 보였다.

개발자 관점에서 ViT-H의 핵심은 영상→인간 동작→리타기팅→추적의 분리된 파이프라인을 유지하지 않고, 로봇 동작 공간에서 참조 동작을 생성한 뒤 추적 롤아웃을 선호 학습 신호로 쓰는 설계다. 비디오 기반 휴머노이드 텔레오퍼레이션이나 참조 동작 생성기를 만들 때, 추적기를 단순 실행기가 아니라 생성 모델의 감독자로 활용할 수 있는지 검토할 만하다. 다만 저자들이 밝힌 한계로 확장성 연구는 사용 가능한 학습 데이터와 컴퓨팅 자원에 제한됐고, 현재 프레임워크는 손가락의 정교한 자세를 모델링하지 않아 세밀한 물체 조작에는 제약이 있다. 향후 과제로 더 큰 모델과 데이터, 대안 후학습 알고리즘, 여러 추적기의 피드백, 정교한 조작으로의 확장이 제시된다.