추론 VLA는 같은 설명문을 내도 행동이 달라질 수 있다
Say the Same, Act Differently: Diagnosing and Steering Text-Action Divergence in Reasoning VLAs
무엇인가
이 논문은 추론형 VLA가 내놓는 자연어 설명문을 안전 감독에 쓰는 상황을 문제 삼는다. 기존 공격은 추론 텍스트를 바꿔 감독자가 이상 징후를 볼 수 있었지만, 저자들은 시각 입력 교란만으로 설명문을 단어 하나까지 동일하게 유지하면서 물리 행동만 바꿀 수 있는지를 묻는다. 두 모델의 텍스트와 행동이 같은 은닉 상태를 공유하고 텍스트는 그 상태의 이산적 다대일 판독이라는 점이 원인이다. 설명문이 같다는 사실만으로 행동의 안전을 인증할 수 없다는 것이 핵심 주장이다.
어떻게 동작하나
방법의 핵심은 텍스트 중립 행동 부분공간 진단이다. Alpamayo는 32~35층의 reasoning 토큰, InstructVLA는 14~17층의 response 토큰에서 공유 상태를 잡고, 행동 출력의 야코비안으로 국소적으로 가장 행동에 민감한 방향 d_act를 구한다. 텍스트 쪽은 clean point에서도 기울기가 0이 아닌 target NLL과 signed target-margin drop 두 손실의 기울기로 텍스트 손실 span을 만들고, d_act에서 이 span을 직교 투영으로 제거해 d_TNAS를 만든다. 이 방향은 일차 근사에서 텍스트 NLL과 마진을 거의 건드리지 않으면서 행동을 움직이는 잔차 방향이다.
무엇과 다른가
진단 결과는 rationale 모니터의 한계를 수치로 보여준다. 1,181개 클립에서 Qwen3-14B가 설명문만 보고 정지 여부를 예측한 정확도는 84.3%였지만, 36.9%의 클립은 반대 정지 결과와 같은 설명문을 공유했고 가장 흔한 설명문 하나가 245개 클립, 전방 변위 10.1m에서 208m까지 덮었다. d_act가 텍스트 손실 span에 겹치는 비율은 Alpamayo 1.87%, InstructVLA 5.28%에 불과해 텍스트 span을 제거해도 행동 방향 노름의 99.8% 이상이 남았다. 고정 텍스트 KL 예산에서는 d_TNAS가 Alpamayo 궤적을 0.227m(B=10^-4), 0.504m(B=5×10^-4) 움직여 통제보다 63.3~212배 컸고, 동일 은닉 상태 교란 노름에서는 행동을 텍스트 기울기 통제보다 4.64~47.8배 더 움직이는 반면 텍스트 기울기 통제는 21.2~277배 더 큰 teacher-forced KL을 냈다.
어떻게 쓰나
이어 시각 입력만으로 이 방향을 자극하는 TNAS 유도 PGD 공격을 만든다. 목표는 행동 변위 손실과 텍스트 보존 페널티에 Δh와 d_TNAS의 코사인 정렬 항을 더하는 것이다. 기존 action-only PGD는 Alpamayo에서 70.1m ADE를 만들었지만 90.5% 클립의 설명문을 바꿔 침묵 충돌은 4.55%뿐이었고, 출력 수준 텍스트 보존을 더한 baseline은 설명문을 83.0% 보존하고 침묵 충돌 48.7%를 냈지만 두 목표가 서로 충돌해 teacher-forced KL이 3.26×10^-1로 올라갔다. TNAS 유도(λcos=30)는 설명문 완전 보존을 89.5%로 올리고 teacher-forced KL을 68.4% 줄이면서 154개 장애물 주석 장면의 52.6%에서 단어까지 같은 설명문 아래 새로운 충돌을 만들었다. InstructVLA에서는 λcos=0.20에서 텍스트 드리프트를 40.5% 줄이고 85.0% 예제에서 응답을 그대로 보존하면서 1.73단위 행동 청크 이동을 유지했다.
전제와 한계
국소 패치에서도 효과가 남는다. Alpamayo에서는 전방 카메라 두 개와 네 시점에 묶인 도로 위 패치가 시각 토큰의 13.1%만 덮는데, λcos를 5에서 30으로 올리며 teacher-forced KL을 59.0% 줄이고 설명문 완전 보존을 70.5%에서 80.5%로 올렸으며 침묵 충돌은 31.8~35.1%였다. InstructVLA에서는 이미지 하단 중앙 0.4×0.4 영역(16%)만 바꿔 teacher-forced KL을 full-image text-preserving baseline보다 19.1% 낮추고 77.5% 응답 완전 보존, 1.32단위 행동 이동을 얻었다.
개발자 관점에서 이 논문은 VLA의 자연어 설명을 안전 인증서처럼 쓰면 안 된다는 경고다. 설명문이 동일한지 확인하는 모니터만으로는 부족하고, 행동 헤드가 예측한 궤적이나 액션 청크를 직접 검증하는 실행 채널 모니터를 함께 둬야 한다. 또한 배포 전에 시각 교란에 대해 설명문 불변-행동 변화가 얼마나 생기는지 TNAS 같은 진단으로 측정하고, 텍스트-행동 일관성 지표가 실제 행동 안전을 대변한다고 가정하지 말아야 한다.
논문의 전제와 한계도 분명하다. 공격은 정규화된 시각 입력 텐서에 가하는 화이트박스 디지털 교란으로, 비전 인코더와 행동 헤드까지 역전파가 가능해야 하고 full-image 공격은 모델 소프트웨어 파이프라인 접근을 가정한다. 국소 패치도 실제 인쇄물 검증이 아니라 제한된 공간 마스크 안의 디지털 최적화이며, 충돌은 154개 장면에서 기록된 교통 액터와의 오픈루프 충돌 판정이다. Alpamayo와 InstructVLA 두 모델, 제한된 200개 클립·예제와 특정 층 블록에서 보인 결과이므로 모든 VLA로 일반화된다고 주장하지 않는다.