VLA가 실패를 예측하면 팔 동작을 되감아 재시도하게 만든다

무엇인가

VLA(시각-언어-행동) 모델은 로봇 조작에서 좋은 성능을 내지만, 자기 행동이 학습 데이터가 거의 다루지 않는 상태로 로봇을 몰고 가는 순간 쉽게 무너진다. 문제는 그런 실패 상태를 VLA가 스스로 만든다는 점이다. 모방 학습 데이터셋은 대부분 성공 시연으로 구성돼 있어, 물체를 떨어뜨리거나 넘어뜨린 뒤 어떻게 수습하는지에 대한 데이터가 거의 없다. 저자들은 LIBERO-Long에서 에피소드 스텝 예산을 두 배로 늘려도 세 정책의 성공률이 2.3~3.7%p밖에 오르지 않는다는 것을 먼저 확인한다. 실패와 복구 시연을 모아 재학습하는 방법은 비싸고, 새로운 로봇 몸체와 과제마다 그 비용을 다시 치러야 한다. 저자들의 관찰은 이렇다. 실패 후 장면은 되돌리기 어렵지만 팔의 자세는 우리가 통제할 수 있으니, 실패로 이어진 경로를 따라 팔을 되감아 이전 자세 근처로 돌아간 뒤 변경되지 않은 정책에 다시 맡기자는 것이다.

어떻게 동작하나

첫 구성 요소는 실패 예측 헤드(FPH)다. 동결된 정책의 토큰 특징 위에 멀티헤드 어텐션 풀링(MAP) 한 층을 얹고 3층 피드포워드 네트워크로 스칼라 하나를 뽑는데, 그 값이 '이번 에피소드가 실패로 끝날 확률'이다. 정책이 액션을 생성하면서 이미 계산한 활성값을 그대로 읽으므로 백본을 추가로 통과시키지 않는다. 저자들은 세 가지 특징 탭을 비교한다. VLM이 입력으로 받는 프리픽스 임베딩(pre), 같은 프리픽스에 대한 VLM 출력 표현(post), 여기에 액션 전문가의 은닉 상태까지 붙인 것(post_expert)이다. 별도 액션 전문가가 없고 VLM이 직접 액션 토큰을 내는 π0-FAST는 pre와 post만 쓴다. 별도 표기가 없는 모든 결과는 post 탭이다. 헤드는 액션 청크마다 한 번 평가되고, 파라미터 증가분은 450M SmolVLA에서 0.88%, 3.6B π0.5에서 0.48%에 그친다. 학습 감독은 오직 동결 정책의 자율 롤아웃이 성공했는지 실패했는지뿐이다. 실패 프레임이 LIBERO-Long에 56%, LIBERO-Object에 7%로 몰려 있는(π0-FAST 기준) 불균형 때문에, 여덟 개 (스위트, 라벨) 셀에 균등 가중치를 주는 샘플러를 쓴다. 그렇게 하지 않으면 정책마다 자기 실패가 많은 스위트에 특화된 헤드가 나온다. 학습은 Adam, 배치 32, 학습률 1e-4, 웨이트 디케이 1e-5로 20,000 스텝이다.

무엇과 다른가

두 번째 구성 요소는 되감기 컨트롤러다. 예측 실패 확률이 임계값을 넘으면 정책을 멈추고, 팔이 최근에 실제로 지나온 동작을 역순으로 재생한 뒤 변경되지 않은 정책에 제어를 돌려준다. 중요한 디테일은 '명령한 액션'이 아니라 '달성한 델타'를 버퍼에 기록한다는 점이다. 팔이 물체나 작업면에 막혀 명령대로 움직이지 못했다면, 명령을 기록할 경우 실제로 일어나지 않은 동작을 되돌리게 되기 때문이다. 그리퍼도 함께 재생한다. LIBERO처럼 그리퍼 명령이 절대값인 환경에서는 기록된 명령을 역순으로 재발행해 파지 지점을 되돌아갈 때 그리퍼가 다시 열리고, MetaWorld처럼 증분값인 환경에서는 부호를 뒤집는다. 컨트롤러 파라미터는 일곱 개다. 트리거 임계값 t, 고정 되감기 스텝 수 s, 적응형 되감기의 재시작 임계값 a와 최소·최대 되감기 길이, 되감기 직후 트리거를 억제하는 쿨다운 cd, 에피소드당 되감기 횟수 상한 K다. 본 실험 설정은 SmolVLA가 적응형(t=0.97, a=0.2, 50~150스텝), π0.5가 고정(t=0.99, s=50), π0-FAST가 적응형(t=0.90, a=0.3, 25~100스텝)이고 셋 다 cd=50, K=3을 쓴다. 저자들도 인정하듯 복귀는 근사적이다. 달성 델타를 뒤집어 실행해도 몸체의 추종 동역학 때문에 팔은 이전 상태 그 자체가 아니라 그 근방으로 돌아간다.

어떻게 쓰나

LIBERO의 네 스위트(각 10개 과제)에서 5개 시드, 과제당 50 에피소드로 평가했다. 컨트롤러 설정은 LIBERO-Long에서 고르고 나머지 세 스위트에 그대로 옮긴다. 스텝 예산은 LeRobot 기본 한도의 두 배로, LIBERO-Spatial/Object 560, LIBERO-Goal 600, LIBERO-Long 1040스텝이며 되감기 스텝도 이 예산에서 차감한다. 결과는 LIBERO-Long에서 실패율 감소 19.0%(SmolVLA), 30.3%(π0.5), 48.2%(π0-FAST)였고 모든 95% 신뢰구간이 0을 배제했다. 네 스위트를 합치면 20.3%, 26.2%, 19.6%로 정책 간 격차가 훨씬 좁아진다. 성공률 상승은 최대 7.4%p다. 설정 선택에 쓰지 않은 시드 4000~5000에서는 SmolVLA +7.20%p, π0.5 +0.70%p, π0-FAST +7.40%p였다. 짧은 세 스위트는 대조군 성공률이 이미 84.6~99.2%라 개선 여지가 작다. 저자들은 회계 항등식 cF − bS로 이를 설명한다. 실패의 c만큼을 복구하면서 성공의 b만큼을 방해하면 성공률 변화는 cF − bS이고, b/c < F/S일 때만 양수가 된다. π0.5의 LIBERO-Object는 S/F가 124라 성공 1%를 방해하는 것만으로 모든 실패를 복구한 이득이 상쇄된다. SmolVLA의 LIBERO-Long은 S/F가 1.6에 불과하다.

전제와 한계

검출 통계도 제시된다. 정책당 10,000 에피소드, 총 30,000 에피소드에서 트리거가 없었을 때의 성공률은 SmolVLA 99.71%, π0.5 99.99%, π0-FAST 99.94%였고, 트리거 없이 실패한 에피소드는 29건이었다. 트리거된 에피소드의 평균 최초 트리거 시점은 예산의 11.0~22.2%로, LIBERO-Long에서는 약 810~870스텝을 남긴다. π0.5에 대해서는 동결 정책의 홀드아웃 롤아웃 2,772개(실패 135개)로 오프라인 평가도 했다. 에피소드 수준 AUROC 0.977(프레임 수준 0.908)이고, 배포 임계값 t=0.99에서 실패 에피소드의 80%를 2.0% 오경보율로 잡아낸다. t=0.9로 낮추면 검출률 96%지만 오경보율이 6.1%로 세 배가 된다. 두 번째 벤치마크인 MetaWorld에서 SmolVLA의 대조군 성공률은 72.32%였고, 테스트한 12개 컨트롤러 설정이 모두 대조군을 앞섰다(+2.44~+5.20%p, 12개 중 11개는 95% 신뢰구간이 0을 배제). 최고는 t=0.9에서 고정 150스텝 되감기와 100스텝 쿨다운으로 77.52%, 복구율 18.8%였다. 소거 실험에서는 액션 전문가 은닉 상태를 더해도 해석 가능한 이득이 없었다. π0.5에서 post 96.32% 대 post_expert 96.60%, 차이 −0.28%p에 95% 구간 [−0.97, +0.41]이다. 되감기 규칙에 따라 결과가 갈리기도 했다. π0.5에서 낮은 임계값에서는 고정 되감기가 확실히 낫고(t=0.90에서 적응형−고정 −2.76%p), t=0.90의 적응형은 스윕에서 유일하게 대조군보다 유의하게 나빴다(−1.92%p). 되감기 상한 K를 1에서 5로 바꿔도 평균 성공률 차이는 0.60%p에 그쳐 어느 값도 확실히 낫지 않았다.

개발자 관점에서 이 방법의 매력은 침습성이 낮다는 것이다. 정책 체크포인트를 건드리지 않고, 복구 시연을 모으지 않고, 추론 시 별도 모델을 띄우지 않는다. 필요한 것은 동결 정책의 롤아웃과 그 에피소드의 성공/실패 라벨뿐이므로, 이미 돌려본 평가 로그가 곧 헤드 학습 데이터가 된다. 다만 도입 전에 확인할 것은 분명하다. 첫째, 이득은 기저 정책이 자주 실패하는 곳에 몰린다. 성공률이 85~99%인 짧은 과제에서는 되감기가 성공을 방해할 위험이 복구 이득을 쉽게 상쇄한다. 둘째, 되감기 스텝이 에피소드 예산에서 차감되므로 예산을 넉넉히 잡아야 한다. 셋째, 임계값과 되감기 규칙(고정/적응형)은 정책마다 다르게 골라야 한다. 논문에서도 단일 규칙이 모든 정책과 임계값에서 최선이 아니었다. 넷째, 되감기는 장면을 복원하지 않는다. 옮겨진 물체는 그대로 남고, 되감는 동안의 접촉이 물체를 더 밀 수도 있다.

저자들이 밝힌 한계는 다음과 같다. 모든 결과가 시뮬레이션이며 실제 로봇에서 검증하지 않았다. MetaWorld는 두 번째 벤치마크이긴 하지만 역시 시뮬레이션이고 SmolVLA로만 돌렸다. 되감기는 물체 자세나 환경 전체 상태를 복원하지 못하고, 복귀 궤적 실행 자체가 장면을 바꿀 수 있다. 과제가 물리적으로 불가능해진 실패는 복구할 수 없고, 새로운 조작 전략이 필요한 경우에는 도움이 안 될 수 있다. 또한 실험이 복귀의 근사성, 장면 변화, 정책의 액션 샘플링 차이 중 무엇이 재시도의 성패를 갈랐는지 분리하지 못한다고 명시한다. 남은 실패는 정책의 전략 자체를 바꾸는 더 적극적인 복구 기법의 여지로 남는다.