로봇 정책 성공률을 폐루프 실행 없이 예측하는 감각-운동 정렬 지표

무엇인가

로봇 파운데이션 모델을 고르고 평가하는 일은 여전히 비싸다. 가장 신뢰할 만한 검증은 시뮬레이션이나 실제 환경에서의 폐루프 롤아웃인데, 느리고 노이즈가 크며 벤치마크에 의존한다. 그래서 흔히 쓰는 대체 지표는 VLM의 VQA 점수나 월드 모델의 픽셀 수준 비디오 품질(FID, SSIM, PSNR)인데, 논문은 이들이 수동적 지각이나 생성 품질을 잴 뿐 표현이 행동을 위해 조직되었는지는 재지 못한다고 지적한다. 시각적으로 비슷한 두 장면이 전혀 다른 궤적을 요구할 수 있고, 반대로 달라 보이는 장면이 같은 동작을 요구할 수 있기 때문이다.

어떻게 동작하나

저자들은 플라토닉 표현 가설(PRH)을 로봇으로 확장한다. 이미지와 텍스트가 하나의 실제 세계를 각자 투영한 것처럼, 물리적 운동 궤적도 세계의 또 다른 투영으로 볼 수 있다는 것이다. 그렇다면 더 유능한 구현 모델일수록 감각 표현(이미지·텍스트 특징)이 운동 표현(엔드이펙터 궤적)의 구조와 더 가까워져야 한다. 감각 공간에서 가까운 에피소드는 운동 공간에서도 가까워야 한다는 예측이다.

무엇과 다른가

이를 측정하는 지표가 S²(Sensorimotor Alignment)다. DROID(Franka Panda)와 BridgeDataV2(WidowX) 같은 참조 데이터셋에서 N개의 에피소드를 뽑아, 각 에피소드마다 이미지 한 프레임과 과제 지시문을 짝지어 감각 입력으로 삼는다. 모델의 비전·텍스트 인코더로 이를 부호화하고 토큰 특징을 평균 풀링해 d차원 벡터 z_i를 만든다. 운동 표현은 그 프레임 이후 h 스텝 동안의 엔드이펙터 위치·자세·그리퍼 상태로 구성한 τ_i ∈ R^(h×7)이다. 위치는 R³ 벡터로, 자세는 SO(3) 회전으로 부호화해 거리가 실제 병진·회전 기하를 반영하게 한다. 감각 공간에서는 코사인 거리, 운동 공간에서는 속도가 다른 궤적을 비교하는 DTW(Dynamic Time Warping)를 쓴다. 각 에피소드에 대해 감각 k-최근접 이웃 집합과 운동 k-최근접 이웃 집합을 구하고, 두 집합의 교집합 크기를 k로 나눠 N개 에피소드에 대해 평균한 것이 m_NN이다. 보고되는 S²는 k=10을 쓰는 중심화·정규화된 CKNNA 변형이다. 학습은 전혀 필요 없다.

어떻게 쓰나

실험은 세 모델 계열과 실제 로봇 정책에서 이뤄졌다. 12개 VLA와 SimplerEnv 성공률의 피어슨 상관은 r=+0.717(모델 부트스트랩 95% 신뢰구간 +0.436~+0.912)이었다. 로봇 파인튜닝 전의 순수 VLM 백본 8개에 대해 계산한 S²도, 그 백본으로 VLM4VLA가 파인튜닝한 VLA의 SimplerEnv 성공률과 r=+0.681(단측 p=0.031)로 상관했다. 비디오 생성기 위에 올린 WAM 6개는 ALOHA 데이터셋에서 계산한 S²와 RoboTwin 2.0 성공률이 r=+0.718(단측 p=0.054)이었다. 실제 로봇에서는 MolmoB0T가 40개 과제에 대해 보고한 5개 정책의 물리 로봇 결과와, 같은 DROID 참조 데이터셋에서 계산한 S²가 r=+0.831(단측 p=0.041)로 상관했다.

전제와 한계

대체 지표와의 비교는 더 흥미롭다. 같은 8개 VLM 백본에서 집계 VQA 점수는 VLA 성공률과 사실상 상관이 없었다(r=-0.154). 비디오 품질 지표도 약했는데, SSIM은 r=+0.558, PSNR은 r=+0.468이었고 FID는 r=+0.680으로 방향이 거꾸로여서 비디오 품질이 낮을수록 성공률이 높았다. 반면 같은 3개 WAM에 대한 S²는 r=+0.999였다. 설계 선택에 대한 견고성도 확인했다. 참조 데이터셋, 궤적 지평선, 구현 선택 5가지, DTW 워핑 등 8가지 설정을 바꿔도 상관은 양수로 유지됐고, DROID와 BridgeDataV2 모두 r≈+0.7이었으며, DROID는 h=220까지, BridgeDataV2는 h=3~40 구간에서 r>0.5를 유지했다. 반대로 양팔 WAM 3개를 단팔 참조 데이터셋(DROID)에서 평가하는 구현 불일치 음성 대조군에서는 상관이 r=+0.999에서 r=+0.246으로 떨어졌다. 지표가 아무 정렬이나 indiscriminately 보고하는 것이 아니라 팔 구성 차이에 반응한다는 뜻이다.

논문의 또 다른 절반은 S²를 진단 도구로 쓰는 부분이다. 기존에 폐루프 결과로만 관찰되던 현상들에 표현 수준의 설명을 붙인다. 첫째, 파인튜닝된 VLA 12개에서 성공률과 상관하는 것은 비전 특징의 S²(r=+0.694, 결합 특징은 +0.699)이고 텍스트 특징의 S²는 유의하지 않았다(r=+0.237). 반면 파인튜닝 전 VLM은 텍스트가 r=+0.501로 비전(+0.425)보다 강했다. 지시문 무시 경향을 표현 수준에서 설명하는 셈이다. 둘째, 비전 인코더를 동결하면 S²가 41%, 성공률이 40% 떨어졌다. 셋째, WAM의 S²는 디노이징 초기 스텝에서 이미 높고 이후 거의 평평하며(3개 모델 모두 초기값 대비 최대 약 6% 변동), 이는 반복 디노이징을 건너뛰어도 성공률 손실이 작은 이유를 설명한다. 넷째, 30블록 비디오 백본에서 블록 0·7·14·21·29를 비교했을 때 세 모델 모두 블록 14에서 S²가 최고였고, 이는 의미론적 추론에 중요하다고 알려진 중간 깊이 구간과 겹친다.

개발자 입장에서 S²의 용도는 명확하다. 비싼 폐루프 평가나 VLA 파인튜닝 전에 후보 모델과 VLM 백본의 순위를 매기는 사전 필터다. 참조 데이터셋이 평가 대상 구현과 맞아야 한다는 점은 실무적으로 중요하다. 단팔 모델을 양팔 데이터로 재면 상관이 무너진다는 음성 대조군이 이를 보여준다. 또 VQA 점수나 비디오 품질 같은 기존 오프라인 지표를 프록시로 쓰고 있었다면, 그것이 행동과 무관한 것을 재고 있을 가능성을 염두에 둘 만하다.

저자들이 밝힌 한계는 분명하다. 첫째, S²와 과제 성공률의 관계는 테스트한 모델들에 걸친 상관일 뿐이며, 학습 중에 센서리모터 정렬을 직접 최적화하면 성공률이 오른다는 것은 아직 보이지 않았다. 둘째, S² 값이 비슷한 모델도 성공률은 다를 수 있어서, S²는 후보를 좁히는 저비용 오프라인 프록시로 쓰고 최종 선택은 여전히 폐루프 테스트로 해야 한다. 셋째, 평가가 제한된 모델 계열·벤치마크·학습 레시피에 걸쳐 있고 비교당 모델 수가 적으며 실제 로봇 설정도 하나뿐이라 일반화는 더 검증되어야 한다.