H2RB가 인간 시연을 로봇 VLA 적응의 확장 가능한 감독으로 만든다

무엇인가

사전학습된 Vision-Language-Action(VLA) 정책은 배포 환경 적응의 좋은 출발점이지만, 타깃 로봇에서의 데모 수집이 여전히 병목이다. 물리 로봇 데이터는 플랫폼 접근, 텔레오퍼레이션 파이프라인, 반복적인 환경 리셋을 요구해 비싸고 확장이 어렵다. 반면 인간 시연은 경량 카메라만으로 빠르게 모을 수 있다. 문제는 VLA가 주로 로봇 데이터로 사전학습된 경우 인간과 로봇의 embodiment 갭이 커서 직접 활용이 어렵다는 점이다. 기존 연구들은 프레임 전이에서 추론한 latent action이나 재구성된 world-space 손 모션으로 두 도메인을 하나의 action space에 놓았지만, 저자들은 이것이 action-space 불일치만 줄일 뿐 지각(perception) 갭을 남긴다고 지적한다. 인간과 로봇의 관측이 서로 다르면 공통 action space에 매핑하는 것만으로는 신뢰할 만한 로봇 action 예측이 되지 않는다는 것이다.

어떻게 동작하나

H2RB는 갭을 두 인터페이스에서 동시에 다룬다. 하나는 관측 표현을 손 기하(geometry)라는 공통 물리 기준에 묶는 geometry-anchored alignment이고, 다른 하나는 action latent는 공유하되 embodiment별 디코더를 분리하는 decoupled-decoder latent tokenizer다. 짝지어진 인간-로봇 궤적은 전제하지 않는다.

무엇과 다른가

Geometry-anchored alignment는 현재 wrist pose와 손목 기준 다섯 손끝 좌표로 구성된 기하 벡터를 목표로 VLM 특징을 정렬한다. 공유 residual adapter가 VLM conditioning 토큰에 더해지고, 학습 시에만 쓰이는 readout이 토큰 시퀀스의 평균 풀링 위에서 기하 좌표를 예측한다. 손실은 유효 좌표에 대한 masked Smooth-L1이다. 각 관측이 자기 자신의 기하 타깃을 제공하므로 짝 데이터도, 시간적 대응도, 인간-로봇 이미지 합성도 필요 없다.

어떻게 쓰나

Action 쪽은 먼저 human 영상을 HaWoR 기반 파이프라인으로 재구성해 wrist motion과 hand articulation을 복원하고, 로봇 좌표 규약으로 변환한 뒤 로봇 손으로 retargeting한다. 인간과 로봇 action은 wrist position(3차원), 6D rotation, 손 관절 각도로 이루어진 공통 wrist-hand 표현으로 통일된다. 그 위에서 shared encoder와 embodiment별 decoder를 가진 variational action autoencoder를 학습시키는데, 두 잠재 분포는 position-wise centroid matching과 분산·공분산 정규화로 묶어 호환 가능한 공간에 놓이면서도 각 디코더가 자기 도메인의 궤적 구조를 보존하게 한다. 토크나이저를 얼린 뒤 encoder의 posterior mean을 VLA의 예측 타깃으로 삼고 flow matching으로 학습한다. 배포 시에는 학습된 velocity field를 수치 적분해 latent action을 생성하고, 인간 도메인 디코더로 복원한 wrist-hand 표현을 역기구학으로 로봇 팔 명령으로 변환한다. 최종 손실은 예측 손실에 기하 손실을 가중 합한 형태다.

전제와 한계

실험은 Inspire 손을 단 OpenArm 휴머노이드에서, 로봇 데이터로 사전학습된 RLDX-1-IMG를 초기값으로 수행했다. 객체 전이 과제에서 로봇 전용 정책은 in-domain Doll PnP에서 55.0을 냈지만 미학습 물체에서는 12.0으로 떨어졌고, 일반 인간-로봇 공동학습은 오히려 8.0으로 악화시켰다. H2RB는 in-domain 성능 49.0을 유지하면서 전이 성능을 51.8까지 끌어올렸다(+43.8). 물체 배치가 바뀐 조건에서도 Ego-Pi shared-action 대비 ID에서 30.2→55.0, OOD에서 21.3→45.3으로 앞섰다. 로봇 시연에 없던 열기·닫기 상호작용을 인간 시연으로만 제공한 기술 전이에서는 HaWoR shared action이 in-domain을 19.5로 떨어뜨리며 전이에 실패했고, Ego-Pi는 in-domain을 70.5까지 회복했으나 두 목표 기술 모두 0.0이었다. H2RB는 두 기술을 모두 전이하면서 in-domain 성능을 0.0에서 81.0으로 올렸고 기술 전이 점수 62.7을 기록했다.

구성 요소별 기여도 분리되어 있다. 토크나이저만 도입해도 객체 전이 34.7→43.3, 기술 전이 0.0→49.7로 개선됐고, cross-domain 정규화를 더하면 정규화된 인간-로봇 잠재 갭이 3.81에서 1.53으로 59.8% 줄면서 전이 점수가 51.8과 62.7이 됐다. 여러 embodiment에 걸친 대규모 이종 인간-로봇 학습을 앞단에 두면 OpenArm 객체 전이 51.8→57.2, 기술 전이 62.7→81.7로 추가 상승했다. 다른 로봇인 RB-Y1의 소포 라벨 노출 과제에서는 로봇 전용 학습 64%가 인간-로봇 이종 학습으로 72%, 기하 정렬을 넣은 경우 78%가 됐다(50회 시행, 이진 성공). 언어 지시를 명시적 스킬 신호로 expert 레이어 전반에 재주입하면 기술 전이가 62.7→83.3으로 올랐다. 인간 시연의 빠른 동작이 보존되는지도 확인했는데, 동일 Open/Close 과제에 대해 텔레오퍼레이션 100 에피소드로 학습한 로봇 전용 정책이 2.52 cm/s인 데 비해 전이 정책은 7.36 cm/s를 냈고 과제 성능은 62.7 대 65.3으로 비슷했다.

실무적으로 이 논문이 주는 신호는 명확하다. 로봇 텔레오퍼레이션 데이터가 부족한 상황에서, 손목-손끝 기하만 라벨처럼 쓸 수 있으면 짝 없는 인간 영상으로도 사전학습 VLA의 행동 감독을 확보할 수 있다는 구성이다. 다만 도입 전 확인할 것은 세 가지다. 첫째, 인간 손 모션 재구성(HaWoR 계열)과 로봇 손 retargeting 품질이 전체 파이프라인의 상한을 결정한다. 둘째, 공유 잠재 공간을 쓰더라도 디코더를 도메인별로 분리하지 않으면 기술 전이가 0에 가깝게 무너진다는 결과가 있으므로, 하나의 action 매핑으로 통합하는 설계는 피해야 한다. 셋째, 논문이 제시한 실패 사례처럼 로봇 조건화 예측이 인간이 보여준 새 기술 대신 로봇이 익힌 pick-and-place로 되돌아가는 현상이 실제로 나타나는지 배포 전에 확인해야 한다.

한계와 전제는 원문에 별도 절로 정리되어 있지 않다. 본문에서 확인되는 전제는 인간 시연이 wrist-hand 표현으로 재구성·retargeting 가능해야 한다는 것, 평가가 OpenArm과 RB-Y1 두 플랫폼의 pick-and-place, 열기·닫기, 소포 정렬 과제에 한정된다는 것, 그리고 사전학습 백본이 특정 로봇 데이터(RLDX-1-IMG)로 초기화되었다는 점이다. 저자들도 결론에서 동일한 action dynamics를 강제하지 않고 재사용 가능한 action-relevant 구조를 학습하는 데 초점을 두었다고 밝히는 정도이며, 명시적인 실패 조건이나 확장성 한계 수치는 원문에 제시되지 않았다.