VLA 추론에서 버려지던 액션 꼬리를 재활용해 디노이징 스텝을 줄인다
VLA-Rolling: Fewer Denoising Steps, Better Control via Adaptive Action Reuse
무엇인가
플로우 매칭 기반 VLA(vision-language-action) 모델은 가우시안 노이즈를 반복적으로 디노이징해 미래 액션 시퀀스, 즉 액션 청크를 만든다. 문제는 실행 방식이다. 리시딩 호라이즌(receding-horizon) 실행에서는 청크 전체를 다 쓰지 않고 앞의 K개만 실행한 뒤 새 관측으로 다시 계획한다. 이때 남은 L=H−K개의 액션, 논문이 부르는 '액션 꼬리(action tail)'는 그대로 버려지고 다음 청크는 다시 순수 가우시안 노이즈에서 출발한다. 저자들은 이 과정이 이미 완료된 디노이징 계산을 매 라운드 폐기하는 것이라고 지적한다. 실제로 부록 D.5의 통계에 따르면 일반적인 실행 호라이즌에서는 인접 환경 스텝의 약 98%에서 관측과 고유수용 감각이 높은 유사도를 보인다.
어떻게 동작하나
저자들은 π0.5와 SmolVLA로 이 직관을 먼저 검증한다. 시점 t−K에서 만든 청크의 꼬리를 시점 t의 초기값으로 쓰고 N스텝만 디노이징한 뒤, 새 노이즈에서 10스텝을 돌린 베이스라인과 액션 오차를 비교했다. 결과는 π0.5 4스텝, SmolVLA 6스텝으로 10스텝 가우시안 베이스라인과 대등하거나 더 좋았다. 그러나 샘플별 최적 스텝 N*은 1부터 10까지 전 구간에 흩어져 있었고 표준편차가 각각 2.28, 2.88이었다. 중앙값 8스텝과 9스텝을 넘어서도 π0.5는 33.2%, SmolVLA는 42.6%의 샘플이 추가 정제를 필요로 했다. 더 많은 스텝이 항상 이롭지도 않다. π0.5의 LIBERO 실험에서 오차 비율이 6스텝 1.073, 8스텝 1.037로 보고되며 저자들은 추가 정제가 오히려 오차를 키울 수 있다고 말한다. 결론은 '꼬리를 쓸 것인가'가 아니라 '이 관측 아래에서 꼬리를 얼마나 신뢰할 것인가'다.
무엇과 다른가
제안 방법 VLA-Rolling은 세 단계다. 첫째, 액션 꼬리 상속 단계에서 이전 라운드의 청크 A_{t−K}=π_θ(o_{t−K}, q_{t−K}, ℓ) 중 뒤쪽 L개를 잘라 A_tail∈R^{L×d_a}로 만들고, 현재 관측과의 차이 Δo_t=o_t−o_{t−K}, Δq_t=q_t−q_{t−K}를 함께 계산해 다음 단계의 입력으로 넘긴다.
어떻게 쓰나
둘째, 액션 신뢰도 추정기 f_φ가 현재 관측·상태 변화와 상속된 꼬리를 입력받아 액션 위치마다 신뢰도 c_φ∈R^{L×1}을 출력한다. 학습은 시간적으로 인접한 시연 데이터로 오프라인에서 이뤄진다. 상속된 액션과 정렬된 시연 액션의 제곱 오차 E_t를 구하고 r_t=log(E_t)로 로그 변환해 작은 오차 구간의 분해능을 살린 뒤, 10%·90% 분위수로 정규화해 목표 신뢰도 c*를 만든다. 손실은 L1 기반인데, 과대추정에 더 큰 패널티(w+ > w−)를 주는 비대칭 가중치를 쓴다. 신뢰할 수 없는 액션을 신뢰한다고 잘못 판단하는 쪽이 더 위험하다는 설계다.
전제와 한계
셋째, 신뢰도 기반 정제 단계다. 상속된 위치 i<L의 초기값은 c_{φ,i}·A_tail + (1−c_{φ,i})·ε로, 신뢰도가 높으면 시간적 정보를 많이 남기고 낮으면 노이즈를 강하게 주입해 사실상 원래 VLA 초기화에 가깝게 되돌린다. 상속분이 없는 뒤쪽 구간은 순수 가우시안으로 채운다. 디노이징 예산은 청크 내 최소 신뢰도 c_min으로 정해지며 N_adapt = clip(⌈(1−c_min)·N_full⌉, N_min, N_full)로 계산된다. 즉 신뢰도가 낮은 액션이 하나라도 있으면 전체 청크에 더 많은 스텝을 배정한다. 기반 VLA 가중치는 전부 동결된 상태로 동작한다.
실험은 π0.5를 주 백본으로 SmolVLA, X-VLA, MolmoAct2를 교차 비교에 쓰고 LIBERO, MetaWorld, LIBERO-Plus, RoboTwin 2.0에서 수행했다. 16개 모델-벤치마크 조합 전부에서 액션 청크 추론 비용이 줄었고 감소폭은 5.00%~32.52%, 최대 1.48배 처리량 향상이다. 성공률은 14개 조합에서 개선됐으며 최대 15.08%포인트 올랐다. 소거 실험의 결과가 특히 중요하다. 꼬리를 그냥 상속하기만 하면 성공률이 4.89% 하락했고, 디노이징 스텝 수만 조정해도 4.29% 떨어졌다. 성공률 개선은 모두 리노이징이 포함된 변형에서 나왔다. 상속된 꼬리가 가우시안 노이즈보다 목표 분포에 가깝더라도, 학습 분포를 벗어난 액션을 VLA만으로 정제하는 것은 위험하다는 설명이다.
분석 실험도 방법의 전제를 뒷받침한다. 실행 시점 K를 바꿔 환경 변화를 인위적으로 키우면 환경 변화의 격렬함과 신뢰도 사이에 음의 상관이 나타났고, 이 상관은 변화가 기본 설정(K=10)이 감당하는 범위를 크게 넘어설 때까지는 크게 무너지지 않았다. MetaWorld에서는 성공한 태스크가 실패한 태스크보다 일관되게 더 많은 디노이징 스텝을 요구했으며 그 차이는 최대 2.33스텝이었다. 실물 실험은 AgileX PiPER 6-DoF 팔에 π0.5를 올려 감자를 접시에 담는 태스크로 진행했는데, 접시 색이 파란색에서 갈색으로 갑자기 바뀌자 신뢰도가 급락하며 일시적으로 원래 추론 패러다임으로 되돌아가 새 목표에 적응하는 모습을 보였다.
개발자 관점에서 이 논문의 실용적 가치는 추론 래퍼 하나로 지연과 정확도를 동시에 개선하는 파레토 개선을 노린다는 점이다. 다만 그대로 베껴 쓰면 안 되는 지점도 분명하다. 꼬리 상속만 하거나 스텝만 줄이는 순진한 구현은 성공률을 4%대 떨어뜨린다. 리노이징과 비대칭 신뢰도 학습이 한 세트로 들어가야 한다. 또 신뢰도 추정기는 모델·환경별로 인접 시연 데이터를 모아 오프라인 학습해야 하고 분위 정규화로 스케일을 맞춰야 하므로, 새 로봇이나 새 태스크마다 소량의 데이터 확보가 필요하다. 저자들도 신뢰도 추정기의 강건성에 한계가 있음을 인정한다. 환경 변화가 학습 시 기본 설정이 감당하는 범위를 훨씬 넘어서면 신뢰도와 환경 변화의 상관이 약해진다. 또한 추정기 자체의 순수 지연시간이나 메모리 오버헤드에 대한 정량 수치는 원문에 제시되지 않았다.