PAIR가 VLA의 지각과 행동 사이 격차를 중간 표현으로 잇는다

무엇인가

연속 행동을 출력하는 VLA 정책은 시각 관측과 언어 지시를 로봇의 연속 제어로 매핑한다. 문제는 이 두 공간의 의미론이 근본적으로 다르다는 점이다. 시각-언어 지각 공간은 장면 내용, 객체 관계, 지시 수준의 의도를 기술하고, 행동 공간은 시간 순서로 실행 가능한 제어를 규정한다. 논문은 이 불일치를 지각-행동 표현 격차(perception-action representation gap)라고 부른다. 기존 연속 행동 VLA는 이 전환을 암묵적으로 남겨두고 최종 행동 예측 손실로만 감독한다. 그 결과 행동 토큰은 정책 내부에서 무엇이 제어에 관련되는지, 그것을 어떻게 행동 준비된 표현으로 재조직할지를 스스로 발견해야 한다.

어떻게 동작하나

PAIR는 이 빠진 중간 표현을 로봇 시연 데이터에서 직접 학습하겠다고 주장한다. 논문의 표현을 빌리면, 지각 쪽에서 과제 의미론을, 전문가 행동 쪽에서 실행 가능한 구조를 가져와 하나의 다리(bridge)로 통합한다. 구성은 세 부분이다. 행동 쪽의 Masked Action Autoencoder, 지각 쪽의 Bridge Module, 그리고 둘을 잇는 정렬과 주입이다.

무엇과 다른가

Masked Action Autoencoder는 전문가 행동 청크를 손상시켜 넣는다. 손상 연산은 행동 스텝을 무작위로 마스킹하고 가우시안 노이즈를 더한다. 마스킹은 개별 행동값을 그대로 베끼는 것을 막고 시간적 의존성으로 빠진 스텝을 복원하게 만들며, 노이즈는 잠재 표현을 견고하게 만든다. 인코더는 행동 스텝 간 self-attention으로 청크 내부의 시간 의존성을 모델링하고, 디코더는 깨끗한 궤적을 복원한다. 학습 목표는 L1 재구성 손실이다. 이때 잠재 시퀀스 Z_A는 행동 지평 H의 각 스텝마다 토큰 하나씩, 즉 지평에 정렬된 Action Latent Token이 된다. 1단계 학습이 끝나면 오토인코더를 동결하고, 깨끗한 전문가 행동 청크를 인코더에 통과시켜 참조 토큰 Z_A를 만든다.

어떻게 쓰나

Bridge Module은 H개의 학습 가능한 쿼리로 시작한다. cross-attention으로 쿼리가 시각-언어 표현 H_VL에서 과제 관련 정보를 모으고, self-attention으로 그 결과 슬롯들을 행동 지평에 걸쳐 조정해 B를 만든다. 이 시점의 B는 현재 관측과 지시에서 뽑아낸 과제 정보만 담고 있다. 여기에 Alignment Projector를 붙여 대응하는 시간 슬롯끼리 코사인 유사도로 정렬하는 L_align을 건다. 정렬 대상은 사영 전 시퀀스 B이고, 이것이 Bridge Token이다. 즉 내용은 시각-언어 맥락에서 선택되지만, 그 내용이 어떤 구조로 조직될지는 전문가 행동이 결정한다. 주입은 Action Expert의 입구에서 일어난다. X̃_A^0 = X_A^0 + tanh(G_g(B)) ⊙ P(B) 형태로, 사영기 P가 Bridge Token을 행동 토큰 공간으로 옮기고 게이트 G_g가 시간 슬롯별 주입 가중치를 입력 의존적으로 예측한다. 학습은 2단계다. 1단계에서 L_AE로 오토인코더를 학습하고, 2단계에서 오토인코더를 동결한 채 L_PAIR = L_act + λ_align · L_align으로 정책과 브리지 모듈을 함께 최적화한다. 추론 시에는 오토인코더를 제거하고 Bridge Module이 현재 관측과 지시만으로 Bridge Token을 생성한다.

전제와 한계

실험은 LIBERO, LIBERO-Plus, CALVIN ABC→D, 그리고 실로봇 7개 과제에서 이뤄졌다. LIBERO에서 VLA-Adapter의 평균 성공률은 97.3%에서 98.4±0.3%로 올랐고, Spatial과 Goal에서 각 1.4점, Long에서 1.2점, Object는 99.2%에서 99.6%로 개선됐다. 분포 이동을 보는 LIBERO-Plus에서는 59.1%에서 64.2±0.4%로 7개 OOD 범주 전부가 좋아졌다. 카메라 시점 +8.1점, 로봇 초기 상태 +7.8점, 노이즈 +6.7점, 조명 +5.2점, 배경 +4.2점, 객체 배치 +2.9점, 언어 교란 +0.5점 순이다. 같은 LIBERO 학습 체크포인트 기준으로 LIBERO에서는 1.1점, 분포 이동 하에서는 5.1점을 얻었고, LIBERO에서 LIBERO-Plus로 갈 때의 성공률 하락폭이 38.2점에서 34.2점으로 줄었다. CALVIN에서는 평균 완료 시퀀스 길이가 OpenVLA-OFT 4.28→4.40±0.04, VLA-Adapter 4.42→4.53±0.03으로 늘었고, 5개 과제 연속 성공은 각각 3.9점, 3.7점 올랐다. 반면 단일 과제 성공률 이득은 0.7점과 0.1점에 그쳤다. 즉 연속 과제가 늘어날수록 베이스라인과의 격차가 커진다. 실로봇은 UFACTORY UF850에 3인칭과 손목 장착 RealSense RGB, 로봇 프로프리오셉션을 붙여 7개 과제를 평가했다. Quest VR 원격조작으로 과제당 30~51개, 총 293개 시연을 모았고 과제당 20회, 총 140회 시행했다. OpenVLA-OFT의 평균 성공률은 51.4%에서 65.0%로 올랐으며, 물체 배치 +15점, 순차 버튼 누르기 +5점, 서랍 적재 +15점, 물 따르기 +20점이었다.

표현 분석은 LIBERO-Spatial에서 과제 균형을 맞춘 500 프레임의 동결 표현으로 이뤄졌다. Bridge Token은 과제 정체성 분류에서 87.8%±4.5%를 기록해 행동 전용 오토인코더 잠재의 35.2%±4.0%를 크게 앞섰고, 행동 클러스터 정확도는 91.5%±2.2%로 행동 전용 표현의 94.1%±2.3%에 근접했다. 즉 과제 정보는 훨씬 풍부하면서 행동 구조도 강하게 유지한다. 층별 행동 디코딩에서는 베이스라인 Action Token이 트랜스포머를 거치며 마지막 블록에서야 R²=0.844에 도달하는 반면, Bridge Token은 첫 블록 이전에 이미 R²=0.878을 기록했다. 행동 간 기하 구조도 보존된다. 궤적 간 쌍에 대한 RSA는 0.878, top-10 이웃 겹침은 80.4%로, 셔플링 후의 0.014와 21.6%와 대비된다. 절제 실험에서는 입구 주입이 98.4%로 끝(97.4%), 중간(97.9%), 전층(97.6%) 주입보다 좋았고, 정렬 없이는 97.2%, λ_align 0.01에서 97.8%, 0.1에서 98.4%였다.

개발자 관점에서 이 논문의 실용적 함의는 두 가지다. 첫째, PAIR는 기존 연속 행동 VLA 백본에 얹는 모듈 형태이며, 논문은 OpenVLA-OFT와 VLA-Adapter 두 백본에서 일관된 이득을 보고했다. 정책 구조를 갈아엎지 않고 중간 표현과 주입 지점만 추가하는 방식이다. 둘째, 이득이 표준 조작보다 분포 이동에서 크다는 점이다. 카메라 시점, 초기 상태, 센서 노이즈처럼 실제 배포에서 흔히 흔들리는 축에서 6~8점이 올랐다는 것은, 시뮬레이터에서 잘 되던 정책이 현장에서 무너지는 문제를 다루는 팀에 직접적인 시사점이 된다. 다만 1단계 학습에 전문가 행동 청크가 필요하고, 오토인코더를 별도로 학습한 뒤 동결하는 2단계 파이프라인이라 데이터 수집과 학습 절차가 한 단계 늘어난다. 추론 시 오토인코더는 빠지므로 지연 시간 부담은 Bridge Module과 주입 연산에 국한된다.

원문에 별도의 한계 절은 없다. 다만 본문에서 확인되는 전제는 분명하다. 방법 자체가 전문가 시연의 행동 청크를 학습 재료로 요구하며, 1단계 오토인코더와 2단계 정책 학습이 분리된 파이프라인이다. 평가는 VLA-Adapter와 OpenVLA-OFT 두 백본에 한정됐고, 실로봇 실험은 과제별로 별도 정책을 학습하는 방식으로 7개 과제, 총 140회 시행 규모다. 또한 Bridge Token의 내용은 특정 물리적 의미(모션, 기하, 어포던스)를 미리 정하지 않고 두 공간에서 학습되므로, 어떤 정보가 실제로 브리지에 남는지는 정렬 목표와 주입 위치 같은 설계 선택에 의존한다. 절제 실험에서 정렬 가중치 λ_align이 0.01과 0.1 사이에서 결과가 갈린 것도 이 민감도를 보여준다.