CW-WAM은 접촉 힘을 예측해 삽입 성공률을 높인다

무엇인가

이 논문은 힘에 민감한 로봇 조작에서 비전만으로는 알 수 없는 접촉과 하중 정보를 어떻게 월드 액션 모델에 넣을지 다룬다. 사각 페그가 끼어 멈춰도 시각적으로는 완전히 삽입된 것처럼 보일 수 있고, 겉모습이 같은 상자도 무게가 다를 수 있다. 기존 WAM은 미래 영상과 행동을 함께 예측하지만 렌치를 명시적으로 모델링하지 않아 이런 상황에 약하다. 저자들은 손목 F/T 센서의 렌치를 예측과 제어에 연결하는 CW-WAM을 제안한다.

어떻게 동작하나

CW-WAM은 미래 영상 잠재변수, 동작 목표, 접촉 렌치를 함께 예측한다. DreamZero 계열의 비디오-행동 백본에 Wan2.2-TI2V-5B DiT를 사용하고, VAE로 세 개의 RGB 시점을 160×320 합성 영상으로 인코딩하며 MLP로 로봇 상태를 넣는다. 영상, 상태, 이력, 미래 동작-렌치 토큰은 자기주의를 공유하고 OpenCLIP 이미지 특징과 UMT5 언어 특징을 교차주의로 조건화한다. 핵심은 하이브리드 운동-힘 제어에서 착안한 상호작용 모듈이다. 과거 동작 명령과 같은 시간 구간의 측정 렌치를 짝지어 최근 24개 구간을 15Hz로 저장하고, 각 구간에 최대 16개의 고속 렌치 샘플을 연결한다. 시간적 렌치 인코더는 6차원 렌치 값, 상대 샘플링 시각, 샘플 간 간격을 처리하고 유효성 마스크로 패딩을 제외한다. 별도의 장기 렌치 메모리는 150개 구간, 약 10초의 렌치 전용 이력을 유지해 이전 접촉 상태를 보존한다. 미래 동작과 렌치는 별도 인코더, 예측 헤드, 손실을 쓰며, pair-causal attention은 미래 렌치가 같은 시점의 동작에는 주의하지만 그 반대는 허용하지 않고 둘 다 이전 쌍에는 주의하게 한다. 학습은 정규화된 동작과 렌치 목표에 flow matching을 적용하고, 유효 채널 정규화로 동작 10채널과 렌치 6채널 손실을 평균한다. 50k 스텝 동안 VAE, OpenCLIP, UMT5는 고정하고 8대의 H20 GPU에서 AdamW, 전역 배치 8, 최대 학습률 1e-5로 학습한다.

무엇과 다른가

실행은 느린 모델 추론과 빠른 힘 제어를 분리한 slow-fast 구조다. 예측된 렌치 청크는 20Hz 어드미턴스 제어기의 힘 기준으로 쓰인다. 예측 동작이 만든 공칭 TCP 자세에서 선택된 예측 렌치와 측정 렌치의 차이를 오차로 두고, 가상 질량·감쇠·강성, 작업별 피드백 가중 행렬 S, 적분항을 포함한 어드미턴스 식으로 위치와 회전 보정량을 계산한다. 보정된 자세는 역기구학으로 관절 명령이 된다. 피드백 가중치는 작업마다 다르게 수동 설정한다. 페그 삽입은 Fz와 τz 가중치를 작게 두어 측면과 기울기 보정을 선호하고, 어댑터 삽입은 축방향 힘과 토크 가중치를 크게 두며, 와이핑은 Fz 피드백만 허용한다. RTX 5090에서 네 스텝 모델 질의는 관측 처리, 추론, 후처리를 포함해 보통 0.5~0.6초 걸린다. 다음 예측을 기다리는 동안 로봇은 마지막 공칭 자세를 유지하면서 접촉 시 어드미턴스를 계속 활성화하고, 새 청크는 속도와 가속도를 맞추는 C2 브리지로 연결한다. 20Hz에서 공칭 자세는 C2 연속으로, 예측 렌치는 선형으로 보간하며, 50ms마다 0.5초 구간의 조각별 5차 관절 궤적을 다시 계획해 1kHz 관절 임피던스 제어기로 추종한다.

어떻게 쓰나

실험은 네 가지 실제 로봇 작업으로 구성된다. 38mm 사각 페그를 40mm 구멍에 넣는 1mm 공차 삽입, 전원 어댑터 삽입, 지속 접촉이 필요한 화이트보드 와이핑, 겉모습이 같고 무게가 30g과 830g인 상자를 스프링저울로 들어 옮기는 작업이다. 총 450개 시연을 사용했고, 두 대의 7자유도 Franka 양팔 원격조작으로 데이터를 모았다. 손목의 LinkTouch 6축 F/T 센서가 150Hz로 렌치를 기록하고, 바이어스와 도구 중력을 제거한 뒤 TCP 기준으로 변환하고 10Hz 차단의 인과적 2차 버터워스 저역통과 필터를 적용한다. 세 개의 RGB 시점은 RealSense D405 두 대와 D455 한 대로 수집하며 동작 명령, 로봇 상태, 영상은 15Hz로 렌치 스트림과 타임스탬프 정렬한다. 비교 대상은 렌치 입력이 없는 WAM, 렌치 이력을 풀링해 16차원 동작-렌치를 예측하는 WAM+Wrench, 상호작용 모듈만 넣은 CW-WAM w/o LTM, 장기 렌치 메모리를 더한 전체 CW-WAM이다.

전제와 한계

개루프 평가는 22개 테스트 에피소드에서 뽑은 373개의 24스텝 윈도로 수행했다. 접촉은 힘 크기 5N 이상, 동적 윈도는 힘 차이가 2N 이상인 경우로 정의했다. 유효 채널 정규화만으로 WAM+Wrench의 접촉 위치 오차가 26.32mm에서 25.50mm로, 동적 힘 벡터 RMSE가 3.15N에서 3.03N으로 줄었다. 같은 정규화 아래 CW-WAM w/o LTM은 19.92mm와 2.84N을 기록해 각각 5.58mm, 0.19N의 추가 개선을 보였고, 자세 오차는 2.80도에서 2.02도로, 동적 토크 RMSE는 0.0908N·m에서 0.0837N·m로 낮아졌다. pair-causal attention은 LTM 없는 조건에서 접촉 위치와 자세 오차를 각각 2.96mm, 0.23도 줄였다. 전체 CW-WAM은 동적 힘 벡터 RMSE 2.79N과 힘 크기 적분 오차 2.01N·s로 가장 낮았고, LTM 없는 변형은 위치와 자세 오차에서 약간 더 우수했다.

실제 로봇에서는 렌치 입력이 없는 WAM 대비 페그 삽입 성공률이 25%에서 70%로, 어댑터 삽입이 40%에서 95%로 올랐다. WAM+Wrench 대비로는 CW-WAM w/o LTM이 어댑터 삽입을 20회 중 9회에서 16회로, 릴리스를 0회에서 13회로 높였고, 페그 릴리스는 1회에서 6회로 늘었다. 장기 렌치 메모리를 더하면 페그 삽입이 7회에서 14회, 릴리스가 6회에서 11회로, 어댑터 삽입이 16회에서 19회, 릴리스가 13회에서 16회로 개선됐다. 성공한 페그 시행에서 전체 CW-WAM은 WAM+Wrench 대비 위치 추종 RMSE를 12.5mm에서 2.8mm로, 힘 기준 RMSE를 15.2N에서 4.8N으로 줄였다. 어댑터 삽입의 위치 추종 RMSE도 25.3mm에서 8.8mm로 낮아졌다. 다만 어댑터에서는 WAM+Wrench보다 힘 기준 RMSE와 접촉력 변동이 높았는데, 저자들은 WAM+Wrench의 성공이 정밀한 한 번의 정렬에 의존하는 반면 CW-WAM은 학습된 탐색과 단단한 삽입으로 성공률을 높이면서 접촉력이 커진 결과로 해석한다. 와이핑은 단순 패턴에서 모든 방법이 20회 중 20회 잉크를 제거했고, 원·글자 등 복잡한 패턴 6종에서는 평균 제거율 85.9%를 기록했다. 하중 적응에서는 CW-WAM의 중앙값 최고 높이가 가벼운 상자 423.6mm, 무거운 상자 481.8mm로 시연 중앙값 420.9mm와 492.7mm에 가까웠다. WAM은 464.4mm와 447.3mm로 무거운 상자를 더 높이 들지 못했고, WAM+Wrench는 431.3mm와 467.9mm로 시연 중앙값과 각각 10.4mm, 24.8mm 차이를 보인 반면 CW-WAM은 2.7mm, 10.9mm 차이였다. 예측 렌치를 어드미턴스 기준으로 쓰면 페그 삽입의 힘 기준 RMSE가 4.8N에서 2.7N으로, 와이핑은 2.0N에서 1.3N으로 줄었고 성공률은 유지됐다. 접촉력 변동 중앙값도 페그 삽입에서 1.86N, 1.39N, 0.94N으로, 와이핑에서 1.11N, 0.92N, 0.85N으로 낮아졌다.

개발자 관점에서 이 논문은 비전 기반 월드 모델에 힘 센서를 느슨하게 붙이는 대신, 과거 명령과 렌치를 시간적으로 짝지어 미래 렌치를 예측하고 그 예측을 빠른 제어 루프의 기준으로 쓰는 패턴을 보여준다. 모델 질의가 0.5~0.6초 걸리는 상황에서도 20Hz 어드미턴스와 1kHz 임피던스 제어를 분리해 접촉 중 힘 피드백을 유지하는 구조는 실제 로봇 스택에 참고할 만하다. 다만 센서 바이어스와 도구 중력 보정, TCP 좌표계 정렬, 150Hz 렌치와 15Hz 영상의 타임스탬프 정합이 전제이며, 작업별 피드백 가중 행렬과 허용 보정 방향을 수동으로 정해야 한다. 예측 렌치를 그대로 힘 명령으로 쓰는 것이 아니라 어드미턴스 기준으로 사용하고, 포화·한계·안전 정지 조건을 별도로 두어야 한다.

저자들이 밝힌 한계는 평가 범위가 시연 분포 안의 네 작업에 한정된다는 점이다. 피드백 이득과 컴플라이언스 방향은 수동으로 조정했고, 컨트롤러 설정이 성능에 미치는 영향은 향후 과제로 남겼다. 또한 피드백 가중 행렬과 접촉 좌표계 같은 추가 접촉 파라미터를 동작·렌치 예측과 함께 학습해 종단 간 폐루프 제어로 확장하는 것, 새 물체와 새 작업으로의 일반화를 평가하는 것도 future work로 제시한다.