DONIC가 인간 시연에서 양손 로봇 조작 정책을 일반화한다

무엇인가

이 논문은 로봇 손 두 개가 물체를 함께 다루는 양손 조작에서, 인간 시연에서 얻은 참조 궤적을 하나의 정책으로 추종하는 문제를 다룬다. 기존의 손가락 조작 추적기는 대부분 한 손이나 제한된 상호작용에 머물러, 한 손이 물체를 고정하고 다른 손이 열거나 돌리는 일상적 비대칭 양손 협응을 일반화하지 못한다. 접촉이 많은 양손 조작 데이터가 드물고, 두 손의 접촉 시점과 역할을 함께 조율해야 하므로 일반화된 양손 추적기는 특히 어렵다.

어떻게 동작하나

이를 위해 저자들은 BiHOI라는 다중 시점 손-물체 상호작용 데이터셋을 만든다. 32대의 보정된 RGB 카메라로 1920×1232 해상도, 30fps로 촬영했고, 229개 물체를 포함한 1,575개 시퀀스, 14.77시간 분량이다. 접촉 프레임 중 65.91%에서 두 손이 동시에 접촉해 H2O의 38.57%보다 양손 접촉 비중이 높다. SAM3 마스크, Depth Anything 3 깊이, MV-SAM3D 물체 메시, FoundationPose 6DoF 추적, WiLoR와 MANO 손 재구성을 거쳐 Wuji Hand V1 로봇 손 참조로 리타게팅한다.

무엇과 다른가

DONIC의 정책은 양손의 고유수용감각, 물체 자세와 속도, 다음 참조 목표, 참조-상태 오차, 손끝-물체 거리, 물체 형상 인코딩 등을 관측으로 받고, 다음 참조에 대한 제한된 보정량을 출력해 PD 제어 목표를 만든다. 보정은 매 스텝 다음 참조에 고정되고 누적되지 않는다. 보상은 물체 위치·회전·선속도 일치를 계속 요구하면서, 참조가 요구하는 손끝 접촉만 손별로 감독한다. 접촉은 힘 임계값과 거리 임계값으로 판정하고, 접근 항과 유지 항을 나누며, 한 손이 접촉을 잃어도 다른 손의 피드백이 사라지지 않도록 참여 손 집합에서 평균한다.

어떻게 쓰나

학습은 PPO와 행동 복제를 번갈아 수행한다. 궤적별 정책이 선별된 참조를 최적화하고, 검증된 성공 롤아웃을 시연 라이브러리에 넣어 일반 정책의 BC 업데이트에 재사용한다. CCA는 GAE 이후 각 참조 클립의 평균 어드밴티지를 빼서 클립 난이도에 따른 공통 오프셋을 제거하되 클립 내 전이 간 차이는 보존한다. 표준편차로 나누지 않아 어드밴티지 스케일은 유지한다.

전제와 한계

실험은 GRAB, GigaHands, OakInk2, TACO, H2O에서 모은 공개 데이터 1,845개 클립으로 학습하고, BiHOI를 더하면 3,420개 클립이 된다. 평가는 학습 물체의 미학습 궤적 53개와 미학습 물체 164개 클립에서 미세조정 없이 진행한다. 베이스라인은 두 Wuji 손에 맞춰 적응시킨 DexTrack-bi와 Dexplore-bi다. DONIC 단일 체크포인트는 미학습 궤적에서 성공률 86.79%, 완료율 67.62%, 미학습 물체에서 성공률 57.32%, 완료율 54.69%를 기록했다. 강한 베이스라인 대비 성공률은 각각 77.36, 45.73 퍼센트포인트 높고, 미학습 물체에서 Dexplore-bi는 성공률 11.59%, 완료율 26.37%였다. 손목 병진 오차는 미학습 궤적에서 21.88cm에서 3.96cm로, 미학습 물체에서 19.46cm에서 4.58cm로 줄었다. BiHOI를 추가한 Ours+BiHOI는 성공률 88.68%, 59.76%, 완료율 68.72%, 55.35%로 더 올라간다. CCA를 제거하면 성공률이 81.13%, 48.17%로, 접촉 소유 게이트를 제거하면 81.13%, 48.78%로 떨어진다.

실무에서는 인간 시연을 로봇 손으로 리타게팅해 학습할 때, 손 자세 오차만 보상하면 물체가 움직이지 않는 실패를 놓친다는 점을 보여준다. 물체 운동 피드백과 손별 접촉 역할을 분리한 보상, 난이도가 다른 참조를 섞을 때 클립별 어드밴티지 정규화, 성공 롤아웃 재활용 루프는 로봇 조작 파이프라인 설계에 참고할 만하다. 다만 실제 배포 전에는 시뮬레이터와 로봇 손 모델, 리타게팅 품질, 평가 성공 기준을 확인해야 한다.

저자들은 정량 평가가 시뮬레이션의 단일 물체 상호작용에 집중되어 있고, 재구성·리타게팅된 운동 참조에 의존한다고 밝힌다. 향후 과제로 더 긴 호라이즌과 다물체 조작, 독립 벤치마크 평가, 실제 양손 로봇 시스템으로의 전이를 든다.