GPT-6 Astra가 촉각 이미지를 시각 인터페이스로 읽어 접촉 조작을 푼다

무엇인가

접촉이 많은 조작은 정밀 삽입, 안정적 파지, 재질 판별처럼 장면 이미지에 드러나지 않는 국소 기하와 미끄러짐, 물리적 성질에 의존한다. 자유공간에서 통하던 동작이 접촉 후 실패하고, 더 강한 파지가 취약한 물체를 망가뜨린다. 그래서 촉각 사전학습과 시각-촉각 통합(FTP-1, OpenVTLA, SimpleTouch 등)이 전용 정책의 영역으로 여겨져 왔다. 이 논문은 범용 멀티모달 모델 GPT-6 Astra가 전용 학습 없이 촉각 관측을 직접 해석해 조작에 쓸 수 있는지를 묻는다.

어떻게 동작하나

방법의 핵심은 촉각을 새로운 모달리티로 넣지 않는 것이다. GelSight 계열 센서가 국소 변형을 이미지로 인코딩하므로, 좌우 손가락의 촉각 RGB 이미지를 모델이 이미 쓰는 시각 인터페이스에 그대로 통과시킨다. 의사결정 시점 t에서 모델은 과제 지시 g, 로봇 상태 x_t, 장면 이미지 I_t, 그리고 시각-촉각 설정에서는 두 손가락 접촉 이미지 T_t를 받아 A_t ~ π(·|g, D, M_t, x_t, I_t, T_t), a = (Δp, Δr, u) 형태로 말단장치 이동·회전 증분과 그리퍼 목표를 담은 명령 시퀀스를 낸다. 시연 문맥 D는 성공 궤적에서 잘라낸 블록으로, 초기 관측과 상태, 기록된 행동 시퀀스, 실행 영수증, 결과 관측과 상태를 묶은 단위다. 온라인 메모리 M_t는 같은 상호작용 구조를 쓰되 이전 단계를 붙잡는 분산 앵커와 생략 구간을 표시하는 갭 마커로 구성되며, 이는 RoboICL을 따른다. 비전 전용 조건은 시연과 온라인 관측 양쪽에서 T_t를 제거할 뿐 나머지는 동일하다. 벤치마크 어댑터가 명령을 로봇 제어 인터페이스로 변환하고 실행을 기록하며, 영수증과 다음 관측이 다음 결정의 상호작용을 완성한다.

무엇과 다른가

실험은 UniVTAC 8개 과제와 OpenViTac 11개 과제, 총 19개에서 이뤄졌다. 시드 42로 10% 층화 표본을 뽑아 입력 설정마다 UniVTAC 80개, OpenViTac 130개 장면 시드를 썼고, Insert Block v2만 세 가지 형상별로 10개씩 배분했다. 모델은 xhigh 추론 노력도의 GPT-6 Astra이며, UniVTAC 공개 학습 기록과 OpenViTac 공식 스크립트 전문가로 수집한 성공 시연을 문맥으로 쓴다. 12개 과제는 시연 1개에 12개 세그먼트, 6개 분류·선택 과제는 시연 2개에 각 5개 세그먼트, Insert Block v2는 형상별 시연 3개에 각 5개 세그먼트를 쓴다. Grasp Chip은 원래 성공 조건이 객체 전달과 무관한 실행 세부를 과도하게 요구해, 칩의 온전한 파지·전달·안정 지지를 기준으로 완화했다.

어떻게 쓰나

결과는 시각-촉각 입력에서 UniVTAC 평균 93.8%, OpenViTac 평균 81.8%다. 표에 보고된 가장 강한 베이스라인 평균이 SimpleTouch 70.9%, OpenVTLA 68.7%이므로 각각 22.9%p, 13.1%p 차이다. 촉각을 뺀 비전 전용도 76.3%와 80.6%로 두 베이스라인 평균을 넘고, FTP-1 대비로는 UniVTAC에서 30.9%p, OpenViTac에서 20.6%p 앞선다. 촉각 추가로 개선된 과제는 Pull-out Key 30%→90%, Lift Can 80%→100%, Insert Hole 60%→100%, Insert HDMI 50%→80%, Hardness Classify 70%→90%, Insert Block v1 40%→70%다. 반대로 Weight Classify, Empty-Can Selection, Insert Tube, Insert Block v2는 촉각을 넣었을 때 표본 결과가 오히려 떨어졌다.

전제와 한계

궤적 분석은 접촉 상태 추론, 능동 탐침, 미세 조정, 조작 복구라는 네 가지 행동을 드러낸다. Pull-out Key에서는 계속된 저항이 같은 방향 재시도가 아니라 하중 해제와 각도 보정으로 이어졌고, Insert Hole에서는 촉각 패턴과 축 편향을 국소 기준으로 접근 방향을 바꿨다. Grasp Chip은 첫 접촉, 중심 맞춤, 양측 지지, 유지 시험을 분리해 취약 물체에서 파지력을 무작정 높이지 않는다. Insert Block v2에서는 해제 명령이 끝났는데도 물체가 테두리에 남아 있으면 과제를 미완으로 보고 파지-정렬 시퀀스를 다시 시작한다. 흥미로운 것은 촉각의 이득이 벤치마크별로 크게 갈린다는 점이다. UniVTAC에서 17.5%p, OpenViTac에서 1.2%p로, 저자들은 UniVTAC 8개 과제 중 6개가 고정 카메라만 쓰는 반면 OpenViTac은 전 과제에 손목 카메라를 제공한다는 카메라 구성 차이를 유력한 설명으로 든다. 실제로 비전 전용 정책은 행동 노트에서 원통 표면의 질감이나 융기, 윤곽을 읽어 분류를 해냈고, Weight Classify에서는 파지를 풀어 눈에 보이는 미끄러짐으로 정답 범주에 도달하기도 했다. 촉각 입력은 19개 중 13개 과제에서 90% 이상, 9개에서 표본 기준 100%에 도달해 벤치마크 포화 조짐도 함께 보인다.

비용과 지연도 정량화했다. 두 평가 단계 합계 3억 3597만 토큰, 기록된 제공자 비용 7,505.05 위안이며, 시각-촉각 단계는 비전 전용보다 토큰 59%, 비용 42%를 더 쓴다. 캐시된 입력이 양쪽 모두 입력 토큰의 80% 이상이다. 완전 응답 지연 중앙값은 비전 전용 15.4초, 시각-촉각 14.0초이고 90백분위는 46.3초와 44.0초, 120초 초과가 각각 0.76%와 0.47%다. 응답 하나가 여러 제어 행동을 내지만 다음 관측 기반 보정은 또 다른 응답을 기다려야 하므로, 이 꼬리 지연이 폐루프 배포의 핵심 변수가 된다.

개발자 입장에서 이 논문의 실무적 함의는 촉각을 별도 인코더와 별도 정책으로 붙이지 않고, 센서가 이미지로 변환되는 순간 기존 비전 경로에 태울 수 있다는 점을 실제 수치로 보여준다는 데 있다. 다만 촉각이 만능 추가물이 아니라는 증거도 같이 제시된다. 접선 방향 하중과 힘 해석, 접촉 진단을 실제 교정 동작으로 바꾸는 일, 탐침을 언제 멈출지 정하는 규칙이 여전히 병목이다. Insert HDMI 실패 궤적은 600개 행동과 120번의 모델 결정 동안 깊이·피치·요를 번갈아 수정해도 소켓 입구에서 벗어나지 못했고, Empty-Can Selection은 400개 행동 중 370번째에야 올바른 선택을 기록해 남은 파지·운반·배치 시간이 30개 행동밖에 없었다. 파이프라인을 설계할 때는 촉각 입력의 존재 여부보다, 탐침 비용과 잔여 행동 예산을 함께 관리하는 정지 규칙과 단계 전이 설계를 먼저 확인해야 한다.

저자가 명시한 한계는 분명하다. 모든 실험이 시뮬레이션이며 실제 로봇에서의 센서 노이즈, 드리프트, 캘리브레이션 오차, 실제 접촉 동역학, 실행 지연은 검증되지 않았다. 비용 제약으로 대부분 과제가 전체 100 에피소드가 아니라 입력 설정당 10 에피소드로 평가되어, 결과 하나가 과제 성공률을 10%p씩 바꾼다. 벤치마크도 두 개뿐이고 과제별 성공 시연에 의존하며, 새로운 물체·과제·촉각 센서·로봇 구성과 긴 다단계 조작으로의 일반화는 별도 평가가 필요하다고 밝힌다.