Pixel-UMI가 사람 시연에서 환경 인식 전신 조작 정책을 학습한다

무엇인가

이 논문은 로봇 텔레오퍼레이션 없이 사람이 착용한 센서화 인터페이스로 수집한 시연에서 모바일 매니퓰레이터의 전신 정책을 학습하는 문제를 다룬다. 모바일 조작은 팔, 몸통, 머리, 베이스의 협응이 필요하고, 텔레오퍼레이션은 고품질 시연을 주지만 다자유도를 동시에 조작해야 하고 환경마다 로봇을 옮겨야 한다. UMI식 손에 든 그리퍼와 머리 카메라는 사람이 몸으로 상호작용하며 데이터를 모으게 해 주지만, 사람과 로봇의 기구학 차이 때문에 그리퍼와 카메라 프레임만 맞추는 것으로는 전신 자세가 결정되지 않는다. 예를 들어 깊은 상자에서 테니스공 통을 꺼낼 때 팔꿈치가 상자 테두리 위로 올라오지 않으면 충돌 때문에 그리퍼 추종이 끊긴다. 저자들은 장면 기하를 고려해 전신 자세를 정하는 재타기팅이 필요하다고 주장한다.

어떻게 동작하나

핵심 구성인 Environment-Aware Retargeting(EAR)은 에피소드의 머리 장착 깊이 영상으로부터 오프라인으로 장면을 재구성한다. 점군 등록과 포즈 그래프 최적화로 머리 궤적을 보정하고, 시간적 지속성으로 정적 표면을 남기며, 자유공간 관측과 충돌하는 복셀을 제거해 조작 대상 물체를 동적 형상으로 분리한다. 바닥 평면도 추정해 z=0 기준을 맞춘 뒤, geometric fabrics 기반 솔버로 시연된 머리와 그리퍼 자세를 추종하면서 정적 장면 및 자기충돌, 관절 한계, 기본 자세를 함께 고려하는 관절·베이스 궤적을 만든다. 충돌 회피는 하드 제약이 아니라 소프트 제약으로 두어 재구성 잡음에 덜 민감하게 했다. 이어서 궤적을 느리게 시간 스케일링하고, 로봇 텔레오퍼레이션 데이터로 관절별 추종 지연을 최소화하도록 보정해 의사 액션 라벨을 만든다. 최종 액션은 평면 베이스 속도와 20개 관절 명령을 합친 23차원이며, 정책은 온라인 전신 제어기나 장면 재구성 없이 관절 공간 목표를 직접 출력한다.

무엇과 다른가

REAM(Retargeting-Error-Aware Masking)은 재타기팅 후에도 남는 자세 오차가 사람 시연 영상과 로봇 관측 사이의 시점 불일치를 만든다는 문제를 훈련 단계에서 완화한다. 시연된 머리·그리퍼 프레임과 재타기팅된 프레임의 위치 오차와 회전 오차를 계산하고, 훈련 데이터에서의 백분위 순위를 평균해 오차 점수를 만든다. 점수가 임계값을 넘으면 오차가 클수록 해당 카메라의 시각 토큰을 배제할 확률을 높이고, 어텐션의 키·값에서 그 카메라 토큰을 -∞ 마스크로 제거한다. 배포 시에는 모든 카메라를 그대로 사용한다. 즉 로봇이 정확히 재현하기 어려운 시점에 정책이 덜 의존하도록 훈련하는 것이지, 추론 때 카메라를 끄는 기법이 아니다.

어떻게 쓰나

DAgger 보정은 사람 시연이 상태만 기록하고 힘·촉각을 기록하지 않아 접촉이 많은 상호작용의 액션을 완전히 알려주지 못한다는 한계를 보완한다. 먼저 사람 시연으로 학습한 정책을 로봇에서 굴리고, 사람이 VR 컨트롤러로 말단 효과기 목표를 상대적으로 교정하면 같은 전신 제어기가 이를 관절 액션으로 바꾸며 정책의 관절 예측은 자세 정규화에 쓴다. 실시간 청킹(RTC)으로 교정된 최근 액션을 다음 정책 예측의 고정 프리픽스로 넣어 정책 롤아웃으로 부드럽게 복귀한다. 한 라운드가 끝나면 정책 액션과 사람 교정이 모두 들어간 전체 롤아웃을 이전 사람 시연 및 로봇 데이터와 합쳐 새 정책을 처음부터 학습한다.

전제와 한계

실험은 다섯 개 모바일 조작 과제로 구성된다. Arrange Mouse는 100개 시연으로 의자 주변을 피해 마우스를 패드에 놓는 전신 협응, Pack Tennis Canister는 178개로 깊은 상자 안 테니스공 통을 꺼내 백에 넣는 제한 공간 양팔 조작, Retrieve Drink는 219개로 냉장고 문을 열고 음료를 꺼내며 머리 시점 불일치를 견디는 조작, Fold Box는 393개로 접기·탭 삽입·압착이 필요한 접촉 중심 양팔 조작, Hang Jacket은 261개로 긴 호흡의 접촉 중심 작업을 평가한다. 저자들은 다섯 과제 평균 87.0% 작업 진행도를 보고한다. 전신 협응이 필요한 세 과제에서 EAR은 평균 작업 진행도를 64.41%p 높였고, REAM을 더하면 14.05%p 추가 개선되어 모든 카메라와 REAM 조합이 91.79%를 기록했다. 손목 카메라만 쓰면 Arrange Mouse에서 20%에 그친 반면 EAR과 모든 카메라만으로는 82.5%였고, Retrieve Drink에서는 모든 카메라를 쓰되 REAM 없이 두는 조건이 손목만 쓰는 조건보다 낮았다. 접촉 중심 두 과제의 DAgger는 초기 6.82%에서 1라운드 50.68%, 2라운드 79.77%로 올랐으며, 교정 구간만 학습하면 각각 47.27%, 69.77%였다. 사람 시연을 최종 데이터에서 빼고 로봇 롤아웃만 써도 73.41%였지만, 그 롤아웃 자체가 사람 시연 기반 정책의 교정으로 수집된 것이다.

개발자 관점에서 이 파이프라인은 로봇 없는 환경에서 사람이 데이터를 모으고, 그 데이터를 로봇 학습용으로 변환하려는 팀에 직접적인 체크리스트를 준다. 깊이 카메라는 훈련용 장면 재구성에만 쓰이고 배포 시 정책은 머리·손목 RGB와 23차원 관절 액션만 다루며, 온라인 충돌 회피나 재타기팅이 없다는 점을 전제로 시스템을 설계해야 한다. 지연 보정에는 사람 시연과 쌍을 이룰 필요가 없는 로봇 텔레오퍼레이션 데이터가 필요하고, REAM은 훈련 시에만 카메라 토큰을 마스킹한다. DAgger는 사람 개입과 전체 재학습 비용을 요구하지만, 전체 교정 롤아웃을 보존하는 편이 교정 구간만 쓰는 것보다 좋았다. 장면 재구성 품질과 바닥 기준, 정적/동적 분리 가정이 성능을 좌우하므로 실제 적용 전에 이 부분을 검증해야 한다.

저자들이 밝힌 한계는 분명하다. 지연 보정 액션 라벨은 접촉에 의해 관절이 목표에 도달하지 못하는 상황의 힘을 복원하지 못하므로, 힘·토크나 촉각 센서, 로봇 동역학과 제어기 모델이 추가로 필요하다. 장면 재구성은 머리 장착 단일 깊이 카메라에 의존해 가려지거나 관측되지 않은 표면이 비고, 정적 장면 공식은 움직이는 장애물과 의도된 접촉을 잘 표현하지 못한다. 또한 시연 목표가 머리와 그리퍼만 지정하므로 팔꿈치로 문을 잡거나 엉덩이로 서랍을 닫는 식의 다른 신체 부위 접촉은 명시적으로 포착되지 않는다. 물체가 시연 중 움직이지 않으면 정적 지도에 남을 수 있고, 바닥이 보이지 않는 과제는 별도 바닥 관측이 필요하다는 전제도 남는다.