X Square Robot이 로봇 없이 모은 데이터로 24단계 화학 실험을 시연했다

중국 로보틱스 스타트업 X Square Robot(自变量机器人)이 로봇프리 데이터만으로 학습한 조작 정책 데모와 함께 데이터 수집·실행 시스템 TwinDEX를 공개했다. 공개된 영상에서 로봇은 병뚜껑을 열어 시료를 채취하고, 스포이트와 시험관을 다루고, 유리막대를 따라 액체를 붓고, 흔들어 섞는 과정을 24개 하위 동작으로 끊김 없이 수행했다. 회사 측에 따르면 이 정책 학습에 쓰인 데이터는 수백 건 규모이며, 전부 로봇 실기 텔레오퍼레이션이 아니라 사람이 착용형 장비로 수집한 데이터다.

TwinDEX는 착용형 데이터 수집 장치와 그에 맞춰 설계된 로봇 엔드이펙터, 그리고 데이터 처리·정책 학습 파이프라인으로 구성된다. 손은 3지 9자유도 구성이며 이 가운데 7개가 능동 자유도다. 회사는 다중 과제 평가에서 로봇프리 데이터만으로 학습한 정책이 실기 데이터로 학습한 정책과 거의 같은 수준까지 올라왔고, 데이터 생산 효율은 실기 텔레오퍼레이션 대비 5.3배라고 밝혔다. 이전 자체 실험에서는 로봇프리 데이터와 실기 데이터를 10대 1로 섞는 것만으로 전량 실기 학습에 필적했다고 한다.

핵심 설계 원칙은 수집 장치와 실행 장치를 같은 구조로 맞추는 동형성이다. 운동학적으로는 자유도와 관절축, 링크 비율을 일치시키고, 접촉 역학적으로는 접촉 재질과 형상, 표면 특성을 맞추고 대응 촉각 센서를 붙였으며, 시각적으로도 외형을 같게 했다. 또 양손 협업 시 절대 좌표 대신 두 손 사이의 거리·방향·자세를 학습하도록 해 책상이나 작업자가 바뀌어도 협업 관계가 유지되게 했다. 수집된 데이터는 별도 변환 없이 학습과 배포에 쓸 수 있고, WALL-OSS 같은 자사 오픈소스 모델은 물론 π0.5 등 다른 기반 모델에도 붙일 수 있다고 회사는 설명했다.

업계에서 로봇 데이터는 흔히 피라미드로 그려진다. 아래층은 인터넷 영상과 시뮬레이션이고, 중간층은 1인칭 영상이나 UMI 같은 능동 수집형 로봇프리 데이터, 꼭대기는 실기 데이터다. 실기 데이터는 물리적 상호작용 정보가 풍부해 가치가 높지만 로봇과 공간, 조작자를 함께 묶어야 해서 규모를 키우기 어렵다. 그래서 최근에는 로봇프리 데이터를 대량으로 쓰고 실기 데이터는 소량만 기준점으로 쓰는 90대 10 구성이 거론된다. 다만 기존 수집 방식은 운동학 구조 차이, 접촉·힘 정보 누락, 수집 화면과 배포 화면의 불일치, 모달리티 간 시점 어긋남이라는 네 가지 간극을 안고 있었고, 이를 사후에 보정하는 접근이 주를 이뤘다.

개발자 입장에서 눈에 띄는 부분은 데이터 계층과 모델 계층의 분리다. 수집 장치와 실행 장치 사이의 정합이 시스템 하위 계층에서 처리되면, 모델을 교체할 때마다 데이터 인터페이스와 학습 절차를 다시 손볼 필요가 줄어든다. 이미 모아 둔 수만 건의 데이터 자산을 새 모델 학습에 그대로 재사용할 수 있다는 뜻이기도 하다. 수집 단위도 로봇 본체에서 사람과 책상 한 쌍으로 옮겨가, 여러 사람이 여러 장소에서 병렬로 데이터를 모을 수 있다.

다만 지금 공개된 수치는 회사가 자체적으로 수행한 평가와 데모 영상에 근거한 것이다. 로봇프리 데이터가 실기 데이터를 거의 100% 대체한다는 표현도 특정 다중 과제 테스트에서 나온 결과로, 제3자 재현이나 실제 배포 환경에서의 일반화는 아직 확인되지 않았다. 데모에 등장한 작업이 정밀도 요구가 높은 과제인 것은 분명하지만, 이것이 곧 다양한 환경과 도구로 확장된다는 보장은 아니다.