로봇 조작 추론을 원자 동작 단어로 구조화하는 PhysWord

무엇인가

로봇 조작용 VLA(시각-언어-행동) 모델은 행동하기 전에 환경이 어떻게 변할지 예측하는 추론을 필요로 한다. 기존 접근은 두 갈래로 갈렸다. 언어 기반 추론은 과제 의미는 잘 잡지만 "rotate" 같은 동사가 미세한 물리 동역학을 담지 못한다. 반면 월드 액션 모델이나 잠재 추론은 미래 상태 변화를 풍부하게 표현하지만, 그 잠재 표현이 공유된 행동 의미를 중심으로 조직되어 있지 않다. 같은 조작 기술이 다른 물체와 장면에 반복 적용된다는 점을 생각하면, 재사용 가능한 추론 프리미티브가 필요하다는 것이 이 논문의 출발점이다.

어떻게 동작하나

PhysWord의 핵심 단위는 'Physical Word'다. 원자적 동작 동사 레이블과, 그 레이블을 예측하는 문맥 히든 스테이트를 묶은 것이다. 어휘는 Approach, Move, Pick, Place, Flip, Rotate, Toggle, Open, Close, Push, Pull, Insert, Press, Click, Strike, Handover의 16개 동작 레이블로 구성되고, 각 레이블마다 시각 변형(_v)과 촉각 변형(_t)을 따로 둔다(예: pick_v, pick_t). 두 변형은 같은 사전학습 임베딩에서 초기화하되 학습 가능한 항목은 분리한다. 시각과 촉각 목표가 서로 다른 잠재 공간에 있어 하나의 히든 스테이트에 상충하는 감독을 걸 수 있기 때문이다. 학습은 이중이다. 같은 히든 스테이트 z에 대해 단어 예측 헤드가 교차엔트로피로 레이블을 맞추고, 동시에 z를 미래 관측에서 뽑은 잠재 목표 g와 코사인 거리(1 - 코사인 유사도)로 정렬한다. 즉 의미 감독과 잠재 감독이 하나의 표현에 동시에 걸린다.

무엇과 다른가

구조는 시간축으로 확장된다. 행동 청크 지평 H 안에서 s 스텝마다 Physical Word를 예측해 K=H/s개의 미래 시점을 만든다. 각 블록은 미래 시점 순으로, 같은 시점 안에서는 왼팔이 오른팔보다 먼저 오고, 블록마다 시각·촉각 변형을 함께 담는다. 추론 시에는 블록 단위로 자기회귀 생성하며, 블록 내부는 완전 어텐션, 같은 말단효과기의 블록 사이는 인과적, 서로 다른 팔 사이는 차단한다. 아키텍처는 mixture-of-transformers로, Cosmos-Predict2.5-2B에서 초기화한 시간 지각 브랜치가 t-4부터 t까지 헤드뷰 5장(256×256)을 받아 다음 H 프레임을 예측하고, Qwen3-VL-2B에서 초기화한 추론·행동 브랜치가 Physical Word와 행동 토큰을 생성한다. 두 브랜치는 QKV 투영과 FFN, 위치 인코딩은 각자 유지하되 투영된 Q/K/V를 토큰 차원으로 이어 붙여 어텐션을 공유한다. 촉각은 T3 인코더로 512차원 특징을 뽑아, 두 손가락 그리퍼는 두 센서를 이어 1024차원으로 만든 뒤 t와 t-1을 붙여 2048차원 토큰을, 다지 손은 다섯 손끝 특징을 이어 2560차원에서 채널 풀링해 2048차원 토큰을 만든다. LLM 단어 임베딩 차원과 맞춰 그리퍼와 다지 손을 한 학습 틀에 담기 위한 설계다. 학습 목표는 영상 플로우매칭 손실, 단어 교차엔트로피, 잠재 정렬 손실, 행동 플로우매칭 손실 네 가지의 합이며, 약 7,000시간의 실제 로봇·인간 손 시연으로 1단계 사전학습 후 과제별로 2단계 미세조정한다. 원자 동작 구간 라벨링은 VLM으로 궤적을 자동 분할해 붙였다.

어떻게 쓰나

실험 결과는 다음과 같다. 촉각을 쓰는 UniVTAC에서 평균 성공률 90.3%(과제별 표준편차 평균 1.5%p)로, 가장 강한 촉각 베이스라인 N0-VTLA를 7.2%p, 가장 강한 시각 기반 VLA인 InternVLA-A1을 23.2%p 앞섰다. 측정 촉각 입력을 예측 촉각 잠재로 대체한 PhysWord-feedback도 89%로 완전 모델 대비 1.3%p 하락에 그쳤다. 시각 전용 LIBERO-Long에서는 평균 99.6%(표준편차 평균 0.3%p)로 π0.5(92.4%)를 7.2%p, LaST0(95.6%)를 4.0%p, Cosmos 3(97.4%)를 2.2%p 상회했다. 추론 속도는 BF16, 행동 디노이징 5스텝, 예측 간격 s=4에서 H100 기준 4.9Hz, 커널 퓨전과 캐싱을 적용한 최적화 런타임에서 10.6Hz다.

전제와 한계

절제 실험은 설계의 근거를 보여준다. 시각 잠재만, 촉각 잠재만, 단어 예측만 쓴 변형은 모두 의미+잠재 결합에 못 미쳤다. 히든 스테이트를 MLP로 변환한 뒤 잠재 목표와 정렬하면 Put Bottle 82%·Lift Can 78%(시각), 80%·70%(촉각)로 직접 감독보다 나빠졌다. 단어 임베딩을 무작위 초기화하면 성공률이 90/90%에서 84/86%, 93/95%에서 89/90%로 떨어져 VLM 사전학습 임베딩을 물려받는 것의 가치가 확인된다. 표현 분석에서는 동일 동작 클래스 내 평균 코사인 거리가 시각 5.13×10⁻³에서 3.03×10⁻³로, 촉각 2.50×10⁻⁴에서 1.25×10⁻⁴로 줄어 각각 약 41%, 50% 감소했고, 어텐션 맵도 조작 대상과 과제 관련 영역에 더 집중됐다. 예측 간격은 2·4·8·16을 비교했을 때 짧을수록 좋았고, 성능과 추론 비용의 균형으로 4를 택했다.

실제 로봇 실험은 두 플랫폼에서 이뤄졌다. 다지 손은 Tianji 암에 Sharpa Wave 손(모든 손가락 촉각)을 달아 Pick Paper와 장기 과제 Shuttlecock Insertion을, 그리퍼는 i7 로봇에 Xense 촉각 센서를 붙여 Express Packing과 Powered Screw Driving을 평가했다. 과제당 시연 100개, 3회 실행×30시도 기준으로 PhysWord 평균 71.7%로 π0.5(45.8%)와 FTP-1(55.0%)을 크게 앞섰다. 학습에 없던 배경·물체·위치에서는 평균 63.3%로 두 베이스라인을 각각 34.4%p, 28.3%p 상회했고, 2,000프레임에 대한 Physical Word 예측을 GPT 주석과 비교해 90.5% 프레임 단위 정확도를 얻었다. 학습에 없던 순서로 확장한 장기 과제에서도 Pick A4 Paper는 두 베이스라인 대비 70.0%p, Express Packing은 π0.5 대비 40.0%p·FTP-1 대비 36.7%p 높았다. 새 종이가 투입될 때 예측 단어가 place에서 approach로 다시 전환되며 다음 사이클의 문맥을 제공한다는 관찰도 보고된다.

개발자 관점에서 이 논문의 실무적 함의는 세 가지다. 첫째, 잠재 표현에 원자 동작 레이블이라는 이산적 앵커를 붙이는 것만으로 같은 기술의 재사용성과 장면 변화에 대한 견고성이 올라간다는 점은, 별도 대규모 재학습 없이 추론 구조를 손보는 선택지가 된다. 둘째, 촉각 센서가 없는 배포 환경에서도 예측 촉각 잠재로 상당 부분 성능을 유지할 수 있다는 결과(1.3%p 하락)는 하드웨어 구성 결정에 직접 참고할 만하다. 셋째, 4.9Hz에서 10.6Hz로의 런타임 최적화 수치는 조작 정책의 실시간성 요구를 가늠하는 기준이 된다. 다만 16개 동작 어휘와 두 종류 말단효과기(14-DOF 그리퍼, 56-DOF 다지 손)에 맞춰진 구성이므로, 다른 embodiment나 어휘 밖 동작에는 그대로 옮겨지지 않는다는 전제를 확인해야 한다.

저자들이 명시한 한계는 명확하다. 현재의 동작 어휘가 계단 오르기 같은 전신 제어를 포괄하지 못하며, 이를 향후 과제로 남긴다. 또한 촉각 변형은 촉각이 있는 과제에만 선택적으로 적용되고, 시각 전용 과제에서는 시각 Physical Word만 생성한다.