EgoMatrix가 1인칭 영상에서 로봇 손 조작 궤적을 만든다

무엇인가

로봇 조작 정책을 학습하려면 시각 관측과 로봇 행동이 짝지어진 크고 다양한 데이터가 필요하다. 텔레오퍼레이션과 모션캡처는 품질이 높지만 전용 하드웨어와 조작 인력 때문에 확장 비용이 크고, 다지 손가락 로봇일수록 더 그렇다. 1인칭 인간 영상은 훨씬 값싼 대안이지만 두 가지가 걸린다. 첫째, 단안 RGB에서 손-물체 상호작용(HOI)을 정확히 복원하는 일이다. 3D 스케일·깊이·손-물체 배치의 서로 다른 조합이 같은 2D 투영을 만들어낼 수 있어 상대 기하와 접촉을 안정적으로 복원하기 어렵고, 입력 영상과는 잘 맞지만 손과 물체 사이에 틈이나 관통이 남은 복원이 나온다. 둘째, 로봇 시연, 특히 시각 관측을 고품질로 만드는 일이다. 기존 데이터 엔진은 원본 물체 이미지를 그대로 유지해서 화면에 묘사된 접촉과 물체 운동이 실제 로봇 궤적과 어긋날 수 있다.

어떻게 동작하나

EgoMatrix는 단안 1인칭 인간 영상을 양손 다지 로봇 궤적과 동기화된 관측 영상으로 바꾸는 end-to-end 데이터 엔진이다. 정확한 미터 단위 장면 복원 대신 조작에 필요한 상대 기하와 접촉을 우선한다. 흐름은 세 단계다. 접촉 인지 HOI 복원으로 손-물체 참조를 만들고, 리타게팅과 강화학습으로 시뮬레이션에서 시연된 과제를 재현하고, 성공한 시뮬레이션 롤아웃에서 로봇 손과 물체를 함께 렌더링해 상태·제어 기록과 동기화된 관측을 만든다. 만들어진 궤적은 실제 로봇에서 바로 재생 가능하다.

무엇과 다른가

복원은 손 앵커 초기화에서 출발한다. SAM 3.1에 자연어 프롬프트를 줘 손·물체 마스크를 얻고, SAM 3D로 물체별 정준 메시를 복원한다. MoGe-3의 프레임별 내부 파라미터를 시간축 중앙값으로 묶어 시퀀스 공유 카메라 행렬 K를 정하고, HaWoR로 MANO 손 궤적을 얻는다. 장면 스케일은 MANO 기하가 담고 있는 인간 스케일 사전을 앵커로 삼아 정한다. 가시 손 마스크와 렌더된 MANO 표면이 겹치는 픽셀에서 MANO 깊이와 MoGe-3 깊이의 로그 차이를 강건하게 집계해 시퀀스 레벨 스케일을 구하고(식 1), 그 스케일로 정렬한 깊이를 물체 마스크 안에서 역투영해 물체 메시의 시퀀스 공유 스케일을 추정한다. 정렬된 깊이는 HaWoR의 SLAM 모듈에도 입력되어 카메라 이동이 같은 스케일로 복원된다. 물체 포즈는 FoundationPose로 초기화하고 SpatialTracker의 강체 운동 가설로 손 가림 상황의 전파를 보강한다. 이어 오른손을 고정한 채 왼손과 두 물체의 프레임별 병진만 최적화하는 가벼운 정렬을 수행한다(식 2: 2D 항, 전후 순서와 상대 깊이 차이를 보존하는 깊이 항, 시간·사전 정규화 항). 접촉 프레임은 HACO 접촉 확률과 손·물체 마스크 근접도를 결합하고 시간 필터링해 지속 접촉 구간으로 판정하며, 배경 기하에서 중력과 공유 지지 평면도 추정한다.

어떻게 쓰나

다중 시작 포즈 정제에서는 손가락 관절(MANO articulation)을 고정하고 손목과 물체의 강체 포즈만 다시 푼다. 접촉 확률이 임계값을 넘는 정점을 통해 카메라 광선을 쏘면 오목하거나 여러 층인 물체에서 교차점이 여러 개 나오는데, 법선 호환성만으로는 하나를 고를 수 없고 정제가 초기값에 민감하기 때문에 이 대안들을 여러 시작 포즈로 삼는다. 각 후보의 다양성을 다른 시작들과의 차이로 재고, 큰 다양성을 가진 후보를 탐욕적으로 추가하되 짝지은 점 사이 거리가 멀어지면 벌점을 준다. 목적함수는 L_base에 λ_c[η_s·L_ray + (1-η_s)·L_surf]를 더한 형태이고, 가중치 η_s를 1에서 0으로 줄여 모든 시작이 결국 같은 접촉 목적 아래 정제된다(식 4). 마지막 국소 접촉 정제는 물체 포즈를 고정하고 손목 포즈와 MANO 관절을 함께 정제한다. 시간 필터링된 HACO 접촉 정점에서 물체로 광선을 쏘아 깊이가 손 정점에 가깝고 법선이 가장 강하게 반대인 교차점을 고르고, C2Dex를 따라 정준 물체 공간에서 안정화한다. 안정된 패치가 반대 방향 지지를 충분히 주지 못하면 GRASP 분류의 패드·손바닥·측면 반대 유형에 따라 영역 인지 접촉을 보충한다. 접촉 항은 HACO 신뢰도와 시간 지지로 가중된 제곱 거리(식 5)이며, 양방향 관통 벌점과 정규화 항을 더해 최종 목적함수를 만든다.

전제와 한계

전이는 의도적으로 화려한 방법 대신 경량 키포인트 기반 리타게팅을 쓴다. MANO 관절·손끝과 로봇 손 링크 사이에 고정된 의미 대응을 정의하고, 로봇 손목 위치·방향·손가락 형상을 최적화해 대응 키포인트를 맞춘다(식 6). 관절 한계 제약 아래 손목 방향, 시간 평활, 테이블 클리어런스를 정규화한다. 양손은 독립적으로 리타게팅되고, 그 결과가 물리 기반 정책 학습의 초기값이 된다. RL은 ManipTrans 프레임워크를 쓰되 사전학습된 imitator를 생략하고 Isaac Lab에서 양손 정책을 PPO로 직접 학습한다. 리타게팅된 궤적은 참조 상태 초기화에, 복원된 MANO·물체 궤적은 추적 참조에 쓰이며, 보상은 손·물체 추적, 접촉, 전력으로 구성된다. 성공한 롤아웃 뒤에는 시뮬레이터 상태를 재생해 원본 영상의 카메라 내부 파라미터와 프레임 정렬 포즈로 로봇 손과 물체를 함께 렌더링한다. 손과 물체가 같은 물리 롤아웃에서 나오므로 상대 기하가 실제 실행된 상호작용을 그대로 반영한다. SVOR와 SAM 3.1 마스크로 사람 손·팔·조작 물체를 원본에서 지우고, 로봇·물체 전경이 있는/없는 시뮬레이터 렌더 쌍으로 탁자 그림자 감쇠를 추정해 배경에 적용한 뒤 합성한다(식 7). 배경 전이는 지지 평면과 초기 물체 배치로 정의한 과제 프레임 사이의 단일 SE(3) 변환을 상호작용 전체에 적용하는 방식이라, 재스케일이나 프레임별 재정렬 없이 양손과 모든 물체의 상대 포즈가 보존된다. 같은 궤적·제어 기록을 두고 카메라 시점과 배경만 바꿔 다시 렌더링할 수 있다.

실험은 TACO 4개 과제 37개 시연, OakInk2 2개 과제 14개 시연, 자체 수집 11개 과제(각 1개 시연)에서 수행했다. TACO와 OakInk2는 복원 평가에, 세 데이터셋 모두 end-to-end 전이 평가에 쓴다. end-to-end 비교 대상은 DexImit과 Do As I Do, 복원 비교 대상은 G-HOP·GHOST·MagicHOI·ForeHOI, 시각 합성은 EgoEngine과 정성 비교한다. 전체 전이 성공률은 54.84%(34/62)로, Do As I Do의 14.52%(9/62)와 DexImit의 12.90%(8/62)를 크게 앞선다. screw, screwdriver, box and smear, glue gun, box처럼 베이스라인이 거의 또는 전혀 성공하지 못한 과제에서도 성공했다. 복원은 TACO에서 10개 지표 중 8개, OakInk2에서 10개 중 6개가 최고였고, 두 데이터셋 모두 CD·F@5·ATE·RTE에서 최고, TACO에서는 CD_h와 SD도 최고였다. 저자들은 상호작용 지표를 함께 봐야 한다고 강조한다. DexImit은 두 데이터셋 모두 최대 관통 깊이가 가장 낮지만 CD_h와 SD가 훨씬 나빠서, 낮은 관통만으로 상호작용이 정확하다고 볼 수 없다는 것이다. 시각 충실도에서는 원본 배경 기준으로 Kiwi-Edit이 장면과 물체 배치는 유지하나 사람 손·팔을 일관된 로봇 기하로 바꾸지 못하고, GPT-6 Astra는 이미지 왜곡과 어긋난 로봇 손·팔을 만들며, EgoEngine은 로봇 외형은 잘 보존하지만 국소 접촉 오류가 나타났다. 타깃 배경에서는 한 조작 시퀀스의 52프레임에 대해 ResNet18·VGG16·DINOv2·DreamSim 특징의 Fréchet 거리를 실제 로봇 자아시점 관측 분포와 비교했는데, EgoMatrix가 ResNet18·VGG16·DreamSim에서 최저였고 DINOv2에서는 GPT-6 Astra가 근소하게 앞섰다. 절제 실험에서는 손 앵커 초기화만으로도 TACO에서 MPJPE_RA 21.97mm를 기록해 비교 대상 베이스라인을 모두 앞섰고, 이후 두 정제 단계가 손 포즈 지표는 약간 나쁘게 만들지만 상호작용 품질과 end-to-end 성공률을 크게 끌어올려 TACO 성공률이 5.41%에서 27.03%, 다시 48.65%로 올라갔다. 실물에서는 UR5e 두 대와 XHand 다지 손으로 대표 과제 궤적을 재생해 조작을 완료했다.

개발자 관점에서 이 논문의 쓸모는 사전학습 정책을 특정 워크스테이션에 적응시킬 때 로봇 데이터를 추가로 모으지 않고 공개 1인칭 영상 데이터셋을 그 워크스테이션용 짝 데이터로 바꾸는 경로를 제시한다는 점이다. 다만 파이프라인이 SAM 3.1·SAM 3D·MoGe-3·HaWoR·FoundationPose·HACO·Isaac Lab·PPO로 이어지는 다단계라 각 단계 의존성과 실패 전파를 따로 점검해야 하고, 성공률 54.84%는 두 번 중 한 번은 실패한다는 뜻이므로 결과를 그대로 학습 데이터로 쓰기보다 검증·필터링을 붙이는 편이 안전하다. 합성 관측의 시각적 충실도는 측정했지만 그것으로 정책을 학습했을 때의 효과는 검증되지 않았으니, 합성 이미지를 학습에 넣을 계획이라면 별도 실험이 필요하다. 실물 재생 검증은 UR5e와 XHand 조합에서만 이뤄졌다.

저자들이 밝힌 한계는 세 가지다. 첫째, 다단계 파이프라인이라 시연 하나마다 계산 오버헤드가 든다. 자원이 충분하면 병렬 처리할 수 있지만 대규모 데이터 생성에는 처리 효율 개선이 필요하다. 둘째, 단안 관측은 깊이와 가림 모호성을 본질적으로 안고 있다. 접촉 인지 복원이 이를 완화하지만, 일부 프레임의 정답 깊이나 다시점 관측 같은 추가 정보를 넣으면 복원 품질과 조작 전이를 더 높일 수 있다. 셋째, 합성한 로봇 관측의 시각적 충실도는 평가했으나 다운스트림 조작 정책 학습에서의 실효성은 아직 탐구되지 않았다.