로봇이 사람의 짧은 놀이 시연으로 스스로 접촉 데이터를 모아 손재주를 익힌다

무엇인가

접촉이 많은 손 조작(dexterous manipulation)을 학습하려면 로봇이 물체와 부딪히고 미끄러지고 다시 잡는 경험을 대량으로 쌓아야 한다. 그런데 강화학습은 보상 설계와 안전한 탐색 계획에 의존하고, 시뮬레이션을 쓰면 sim-to-real 간극이 따라붙는다. 이 논문은 그 병목을 '놀이(play)'로 우회한다. 사람이 몇 분간 목표 없이 손을 움직인 텔레오퍼레이션 데이터를 시드로 쓰고, 로봇이 스스로 그 놀이를 이어가며 접촉 데이터를 모으게 만드는 프레임워크 DSP(Dexterity from Supervised Play)를 제안한다. 저자들의 핵심 가설은 놀이가 목표 없는 상태 조건부 확률 모델로 표현될 수 있어, 손으로 규칙을 짜는 대신 행동 복제로 암묵적으로 학습된다는 것이다.

어떻게 동작하나

파이프라인은 네 단계다. 먼저 목표 없는 사람 텔레오퍼레이션 데이터로 디퓨전 트랜스포머 놀이 정책을 행동 복제로 학습한다. 이 정책은 관찰 이력을 조건으로 H 길이의 행동 청크를 샘플링한다. 두 번째로 이 정책을 로봇에 배포해 자율적으로 굴리면서 (o_t, a_t, o_t+1) 전이로 이루어진 놀이 데이터셋을 모은다. 이 수집은 사람의 감독이 거의 필요 없고 여러 로봇과 환경에 병렬화할 수 있다. 세 번째로 이 데이터로 행동 조건부 월드 모델을 학습한다. 최근 관찰 이력 C개와 입력 행동 청크를 받아 다음 K개 관찰을 예측하며, Diffusion Forcing을 써서 각 시점에 독립적인 노이즈 수준을 부여하고 인과적으로 디노이징한다. 덕분에 깨끗한 관찰 이력을 조건으로 미래를 점진적으로 복원하는 자기회귀 롤아웃이 가능해진다.

무엇과 다른가

추론에서는 놀이 정책과 월드 모델을 묶어 모델 예측 제어(MPC)를 돌린다. 놀이 정책이 행동 사전분포 역할을 해 탐색을 시연된 상호작용 근처로 좁혀주고, 매 시점 N개의 후보 행동 청크를 뽑아 월드 모델로 K스텝 앞을 예측한 뒤 목표 관찰과의 보상이 가장 큰 후보를 고른다. 선택한 청크의 앞 E개 행동만 실행하고 다시 계획한다. 목표는 보상으로만 들어가고 놀이 정책과 월드 모델은 목표에 대해 무관하게 유지된다. 선택적으로, MPC의 반복 평가 비용을 줄이기 위해 월드 모델 안에서 자기 놀이(self-play)를 돌려 목표 조건부 폐루프 정책을 증류한다. 기록된 관찰 이력과 샘플링한 목표에서 MPC를 월드 모델 내부에서 실행해 (이력, 목표, 선택된 행동 접두) 튜플을 만들고, 이를 행동 복제로 학습한다.

어떻게 쓰나

실험은 Push-T, 시뮬레이션 큐브 재정렬, 실세계 큐브 재정렬, RGB 기반 시각 재정렬 네 과제로 구성된다. Push-T에서 놀이 유도 MPC는 [email protected] 98%, [email protected] 74%를 기록해 같은 데이터로 학습한 hindsight BC의 74%, 36%를 앞섰고, 평균 커버리지는 0.764에서 0.953으로 올랐다. 128개의 먼 목표 시행에서 놀이 정책을 그대로 실행하면 0.4/0.6/0.8 rad 기준 15.6/36.7/54.7%, hindsight 재라벨링은 25.8/53.9/71.9%, 놀이 유도 MPC는 72.7/91.4/96.1%였다. 같은 701K 프레임 예산의 PPO는 0.0/0.0/1.6%에 그쳤고, 비슷한 성능에 도달한 PPO 체크포인트는 344M 프레임, 즉 약 490배의 상호작용을 요구했다.

전제와 한계

실세계 재정렬에서 관절 공간 랜덤워크는 목표 임계값에 도달하지 못했고, 놀이 정책의 각속도에 맞춘 SO(3) 랜덤워크는 6.3/11.4/17.5%에 머물렀다. 학습된 놀이 정책 자체는 20.9/38.3/54.1%, 놀이 유도 MPC는 68.6/90.0/97.1%로 놀이 정책 대비 47.7/51.7/43.0%포인트 향상됐고, 시뮬레이션 수치(72.7/91.4/96.1%)와 모든 임계값에서 4.1%포인트 이내 차이를 보였다. RGB 입력을 쓰는 시각 재정렬에서는 RGB 정책 단독이 34.4/53.1/76.6%, 월드 모델 MPC를 붙이면 56.2/78.1/89.1%가 됐다. 증류 정책은 40.6/72.7/86.7%로 0.8 rad에서 MPC 성능의 90% 이상을 회복하면서 실행당 21.8ms, MPC 재계획보다 7배 빨랐다. 증류 데이터는 시뮬레이터 없이 월드 모델 내부에서만 만들어졌다(54K 기록 상태에 목표 24개씩, 총 1.3M 레이블).

분석 파트에서 저자들은 놀이 사전분포의 품질을 상태 커버리지가 아니라 전이 커버리지로 봐야 한다고 주장한다. 결정론적 정책과 디퓨전 정책의 홀드아웃 명령 오차는 0.192 대 0.181로 비슷했지만, 디퓨전 정책은 회전 속도를 두 배 이상 높이고 방향 커버리지를 11.2%포인트, 전이 커버리지를 55.4%에서 84.2%로 끌어올렸다. 또한 실로봇 자율 놀이 데이터를 0.54시간에서 5.11시간으로 늘리면 50스텝 회전 MAE가 34.96도에서 28.40도로 단조 감소했고(18.8% 개선), 지속성 베이스라인 38.60도보다 26.4% 낮았다. 이득의 대부분은 처음 두 시간에 나오고 이후 완만해진다. 실세계 추론은 RTX 5090에서 재계획당 134ms(후보 1024개 샘플링 61ms, 배치 월드 모델 롤아웃 44ms, 스코어링 23ms)로, 배치 평가와 행동 청킹으로 15~18Hz 실시간 제어가 가능했다.

실무 관점에서 이 논문이 주는 메시지는 명확하다. 사람 시연을 정답 궤적이 아니라 데이터 수집을 지속하게 하는 행동 구조로 쓰면, 과제별 보상 설계나 시뮬레이터, sim-to-real 전이 없이도 접촉이 많은 조작을 학습할 수 있다. 목표가 계획 시점에 들어오므로 같은 놀이 사전분포와 월드 모델을 재학습 없이 다른 목표에 재사용할 수 있고, 월드 모델 내부 자기 놀이로 증류하면 추론 비용도 크게 줄어든다. 다만 MPC의 성능은 후보 수와 월드 모델 정확도에 직접 의존하므로, 배포 전에 월드 모델의 홀드아웃 예측 오차와 재계획 지연을 먼저 측정해야 한다.

저자들이 밝힌 한계도 분명하다. 논문 후반부는 실세계 요약이 잠정적이며, 최종 과제 성공 주장을 위해서는 고정된 프로토콜과 불확실성 추정이 필요하다고 스스로 명시한다. Push-T와 RGB 재정렬의 고정된 정량 결과, 호기심 기반 탐색 및 동일 아키텍처 비교는 아직 본문에 삽입되지 않은 상태로 남아 있다. 또한 시뮬레이션이 가능한 과제에서 미세 수렴은 PPO가 더 강하며, 자율 놀이 데이터 확장은 테스트한 규모에서 수확 체감을 보인다. 시각 재정렬 실험은 64개 시행과 3600스텝 지평을 써서 표현 전이를 확인하는 용도이며, 상태 대 RGB의 프로토콜 일치 비교는 아니다.