Spark-0가 촉각 사전학습으로 로봇 손 조작 성공률을 끌어올린다

무엇인가

로봇용 범용 정책(generalist policy)은 대규모 시각 사전학습 덕을 크게 본다. 하지만 접촉이 많은 정교한 손 조작에서는 사정이 다르다. 힘, 컴플라이언스, 그리고 미끄러지기 시작하는 순간(incipient slip)은 이미지로 관측하기 어렵다. Spark-0는 이 지점을 문제로 잡는다. 카메라만으로는 알 수 없는 접촉 정보를 어떻게 학습에 끌어들일 것인가, 그리고 그 정보를 배포 시점의 필수 조건으로 만들지 않으려면 어떻게 설계해야 하는가가 논문의 핵심 질문이다.

어떻게 동작하나

제안 모델은 시각·촉각·언어·행동을 함께 다루는 VTLA(vision-tactile-language-action) 구조다. 특징은 촉각을 두 가지 서로 다른 방식으로 쓴다는 점이다. 첫째, 사전학습 단계에서 촉각 글러브로부터 유도한 이미지 공간 접촉 맵(image-space contact map)과, 고정된(frozen) 3D 기하 교사 모델의 특징이 시각 토큰을 감독한다. 이 감독 목적함수는 추론 시점에 제거된다. 둘째, 이와 병렬로 별도의 촉각 경로가 부위별 힘 이력(regional force history)과 3D 택셀 상태(taxel state)를 인코딩해 행동 전문가(action expert)를 조건화한다. 결과적으로 하나의 체크포인트가 시각 전용 배포와 촉각 조건부 배포를 모두 지원한다.

무엇과 다른가

이 감독 신호를 규모 있게 만들기 위해 저자들은 HumanTouch를 구축했다. 전손(full-hand) 촉각을 포함한 인간 조작 데이터 1,000시간 분량이다. Spark-0는 이 데이터를 자기중심 시점(egocentric) 영상, 로봇 데이터, 시뮬레이션과 함께 사전학습한다. 평가를 위해서는 SparkArena를 공개했는데, 하나의 정교한 손(d Dexterous embodiment) 위에서 시각 전용 시뮬레이션 태스크와 촉각 조건부 실로봇 태스크를 짝지어 놓은 벤치마크다.

어떻게 쓰나

결과는 두 축에서 보고된다. Spark-0는 SparkArena의 두 트랙 모두에서 최고 평균 성공률을 기록했고, Ego Humanoid Manipulation Benchmark의 8개 집계 지표 전부에서 1위를 차지했다. 더 눈에 띄는 것은 통제 실험이다. 동일한 데이터와 연산을 쓰되 촉각을 버리고 시각 전용으로 사전학습한 경우와 비교했을 때, 1,000시간 HumanTouch의 촉각을 유지하면 Ego Humanoid의 시각 전용 성공률이 52.5%에서 71.7%로 올라갔다. 배포 시점에도 촉각을 쓰는 SparkArena-Real에서는 44.0%에서 52.0%로 상승했다. 저자들이 이 수치에서 끌어내는 결론은 명확하다. 촉각은 정책의 입력일 뿐 아니라, 정교한 시각-운동 사전학습을 위한 확장 가능한 감독 신호로도 기능한다.

전제와 한계

개발자 관점에서 실무적 의미는 두 가지다. 우선 사전학습 감독으로서의 촉각은 데이터 수집 단계의 투자로 이해할 수 있다. 촉각 글러브로 사람의 조작을 기록해 두면, 추론 시 촉각 센서가 없는 로봇에서도 그 이득의 상당 부분을 시각 전용 정책으로 회수할 수 있다는 주장이기 때문이다. 다음으로 단일 체크포인트가 시각 전용과 촉각 조건부 배포를 모두 지원한다는 점은, 촉각 하드웨어 유무가 다른 로봇 플릿을 하나의 모델로 운영하려는 팀에 직접적인 설계 시사점을 준다. 도입을 검토한다면 태스크별 성공률 분포, 비교 대상 베이스라인의 정체, 촉각 센서·택셀 구성, 추론 시 추가되는 촉각 경로의 비용을 함께 확인해야 한다.

한계와 전제는 논문이 스스로 밝힌 범위 안에서 읽어야 한다. 3D 기하 교사는 고정된 상태로 쓰이며, 접촉 맵과 기하 특징을 이용한 감독 목적함수는 추론 시 제거된다는 전제가 깔려 있다. 평가는 하나의 정교한 손 엠바디먼트를 중심으로 구성된 SparkArena와 Ego Humanoid 벤치마크에 집중되어 있다. 제공된 원문에는 태스크별 성공률 표, 베이스라인 이름, 손실 함수의 구체적 수식, 촉각 센서 하드웨어 사양이 제시되지 않았으므로, 이 항목들은 원문 전체를 확인해야 한다.