VLA 내부 활성값의 선형 프로브로 실행 실패를 가볍게 감시한다

무엇인가

이 논문은 로봇 조작을 위해 시각 관측과 자연어 지시로부터 행동을 내는 VLA 정책이 배포 중 예측하기 어려운 실패를 일으키는 문제를 다룬다. 사람이 계속 지켜보지 않는 배포를 위해서는 정책이 정상 경로에서 벗어났는지 런타임에 감지하는 모니터가 필요한데, 기존 접근은 외부 VLM 판정에 의존해 복잡하고 비싸거나 실패 데이터를 학습에 요구한다. 저자들은 외부 기반 모델 없이 VLA 자체의 내부 활성값이 모니터링에 필요한 정보를 담고 있는지 묻고, 성공 시연만으로 학습하는 경량 진행도 프로브 P2를 제안한다.

어떻게 동작하나

방법의 핵심은 VLA 내부 활성값에서 작업 진행도를 선형으로 읽어내는 것이다. 성공 궤적의 길이를 T라 할 때 각 시점의 진행도 라벨을 1 - t/T로 두어 시작 1에서 끝 0으로 단조 감소하게 만들고, VLA에 관측을 넣어 각 층의 활성값을 추출해 토큰 평균을 낸 뒤 선형 회귀 프로브 w^T z + b를 학습한다. 배포 시에는 성공 궤적 평균 길이 μ_T로 계산한 기대 진행도 1 - t/μ_T와 프로브 예측 진행도의 차이를 모니터 점수로 쓴다. 점수가 양수이면 정책의 추정 진행도가 정상 궤적보다 뒤처진 것이고, 이 값이 임계값 δ를 넘으면 실패로 플래그한다. 빠른 실행은 벌하지 않으며, 프로브는 추론 중 이미 계산되는 활성값 위에서 돌아 추가 계산이 작다. 모니터 설계는 오탐률과 실패 탐지 시간의 가중 합을 줄이는 문제로 정식화된다.

무엇과 다른가

시뮬레이션은 VLABench에서 π0.5를 10개 과제당 500개씩 총 5,000개 궤적으로 파인튜닝한 뒤, 성공률이 무시할 수 없는 6개 과제에서 평가했다. 프로브는 6개 과제당 50개씩 총 300개 성공 궤적으로 80/20 분할 학습하고 검증 분할로 임계값을 보정했으며, 평가는 과제당 100개씩 총 600개 롤아웃을 성공과 실패로 절반씩 구성했다. P2는 실패 라벨 없이 Episode AUROC 0.909, State AUROC 0.788을 기록해 실패 데이터로 학습한 SAFE 계열과 경쟁했고, 보지 못한 과제에서도 Episode 0.900, State 0.794를 냈다. 탐지 시점은 에피소드의 평균 0.60이 지난 뒤였고 75% 시점 TPR 0.54, 100% 시점 TPR 0.64였으며, 추론 지연은 2.6×10^-2로 SAFE-MLP 1.2×10^-1, SAFE-LSTM 1.8×10^-1, FAIL-Detect(logpZ0) 1.7×10^-1보다 낮았다. Robometer-FT와 비슷한 성공/실패 판별력을 보이면서도 P2는 2K 파라미터만 조정하고 4B 파라미터 Robometer-FT보다 10,000배 이상 빠르다고 보고한다.

어떻게 쓰나

저자들은 VLA 활성값에 대한 프로브가 일반 VLM 활성값에 대한 프로브보다 진행도와 실패를 더 잘 읽는지도 비교했다. π0.5의 백본인 3B PaliGemma, Robometer 제로샷, Robometer 파인튜닝 활성값에 같은 방식으로 프로브를 붙였을 때, π0.5 프로브의 성공 롤아웃 진행도 예측 R^2는 0.83으로 PaliGemma 0.69, Robometer 제로샷 0.63, Robometer 파인튜닝 0.76보다 높았다. 모니터링 AUROC도 0.93으로 PaliGemma 0.88, Robometer 파인튜닝 0.81, Robometer 제로샷 0.61보다 높았는데, 저자들은 행동 예측을 학습한 VLA의 내부 표현이 정책이 실패로 들어서는지를 더 잘 담는다고 해석한다. 즉 로봇 영상만 본 VLM보다 행동 데이터로 학습된 VLA의 활성값이 진행도 모니터링에 더 유용하다는 주장이다.

전제와 한계

실제 로봇 실험은 Franka Research 3와 DROID 카메라 구성에서 π0.5-DROID를 6개 과제당 60개씩 총 360개 궤적으로 파인튜닝해 수행했다. 과제는 캔디 봉지, 커피 봉지, 커피콩 붓기, 칼 넣기, 블록 쌓기, 겹친 수저 집기였고, 프로브는 360개 궤적을 80/20으로 나눠 학습했다. 평가는 과제당 20개씩 총 120개 롤아웃을 성공과 실패 절반씩으로 구성했으며, P2는 실패 데이터를 추가로 쓰는 Robometer-FT와 SAFE를 포함한 모든 베이스라인보다 높은 Episode 및 State AUROC를 보였다. 과제별로는 Block Stack 0.87, Stacked Utensil 0.81로 가장 높았고, 실패가 확률적으로 생기고 시각적으로 작은 영역에 나타나는 Coffee Bean에서는 약했다. 3개 과제를 보지 못한 과제로 두는 20개 분할에서도 P2는 평균 State AUROC 0.81로 가장 높은 일반화를 보였다.

개발자 관점에서 이 방법은 VLA를 배포할 때 외부 VLM 호출 없이 이미 계산된 활성값만으로 저비용 실패 감시를 붙일 수 있는지 판단하는 근거가 된다. 성공 시연만으로 진행도 라벨을 만들 수 있어 실패 데이터 수집 부담을 줄이고, 모니터 점수가 정상 진행도와의 차이라는 해석 가능한 스칼라를 준다. 다만 배포 환경의 성공 궤적 분포와 평균 길이에 기대 진행도가 의존하므로, 실제 정책과 환경에서 성공 시연을 모아 프로브와 임계값을 보정해야 한다. 또한 논문의 평가는 실패 시점을 사람이 라벨링해 프레임 단위 성능을 측정했으므로, 운영에서는 실패 라벨 없는 탐지 성능과 오탐률을 별도로 확인해야 한다.

저자들이 밝힌 한계는 분명하다. 실험은 π0.5 한 모델에 집중되어 있어 GR00T나 MolmoAct 같은 다른 VLA 계열로의 전이 성능은 원문에 수치가 제시되지 않았다. 프로브는 주로 VLA의 VLM 백본 활성값을 읽으며, 확산 모델이나 플로 매칭 기반 연속 행동 전문가의 내부 활성값이 보완 신호를 주는지는 향후 과제로 남겼다. Coffee Bean처럼 실패가 확률적이고 시각적으로 미묘한 과제에서는 VLA 활성값이 충분히 달라지지 않아 신호가 약할 수 있고, 과제별 편차가 커 내부 특징과 시각적 진행도 단서가 상호 보완적일 수 있다는 점도 전제로 깔려 있다.