NEO-VLA는 비전 인코더 없이 백본 깊이별 시각 표현으로 행동을 예측한다

무엇인가

기존 VLA는 CLIP·SigLIP·DINOv2 같은 사전학습 비전 인코더로 이미지를 압축한 뒤 언어 백본과 행동 모델에 넘기는 구조가 일반적이다. 이 인터페이스는 인코더 출력만 노출하고 그 출력을 만든 시각적 계층을 숨긴다. 그러나 조작은 국소 기하, 경계, 깊이, 미세한 상태 변화처럼 압축에 취약한 신호에 자주 의존한다. 논문은 행동 정책이 고정된 최종 시각 표현을 물려받아야 하는지, 아니면 백본 안에서 진화하는 시각 계산에 직접 접근해야 하는지를 문제로 삼는다.

어떻게 동작하나

NEO-VLA는 구조적으로 비전 인코더가 없는 VLA다. 원시 픽셀을 두 단계 합성곱 패치 임베더에 넣어 전체 스트라이드 32로 토큰화하고, 32×32 이미지 영역마다 시각 토큰 하나를 만든다. 이 토큰은 40층·2B 파라미터 백본에서 언어 토큰과 함께 처리된다. 시간·높이·너비로 분해한 Native RoPE를 쓰고, 텍스트는 인과적, 시각 토큰은 각 시각 블록 안에서 양방향으로 어텐션한다. 입력은 이전·현재 다중 시점 이미지 최대 3대, 카메라 식별자와 기하 MLP, 패치 토큰, 제어 주파수·로봇 형태·그리퍼·행동 기준 좌표계·지시문, 그리고 고유수용감각 6개 토큰으로 구성된 멀티모달 프리픽스다. 없는 구성요소는 마스킹한다. 행동 전문가는 백본의 선택된 층에서 캐시된 키·값을 읽고, 플로우 매칭으로 양팔과 몸체의 연속 행동 청크를 예측한다. 층 매핑은 초기 28층만 읽는 first-28, 40층 전체에서 28층을 고르는 skip-28, 12~39층을 읽는 end-28, 40층 전부를 읽는 full-40으로 비교된다.

무엇과 다른가

훈련은 세 단계다. 1단계에서는 사전학습된 비전-언어 백본을 고정하고 행동 전문가와 조건 모듈을 113,400 스텝, 전역 배치 8192, 최대 학습률 2×10^-4로 학습한다. 2단계에서는 전체 모델을 풀고 같은 로봇 사전학습 코퍼스로 75,000 스텝 더 학습하며, 격 스텝마다 멀티모달 이해 데이터를 섞어 다음 토큰 예측 보조 손실을 0.1 가중치로 준다. 3단계에서는 2단계 체크포인트에서 사내 행동 데이터로 75,000 스텝 전 파라미터 미세조정한다. 사전학습 데이터는 AgiBot-World, Bimanual YAM, RoboCOIN, Open X-Embodiment, Galaxea Open-World, RH20T, RoboMIND, InternData-A1, DROID를 포함한다. 추론은 10회 오일러 스텝으로 플로우를 풀고 프리픽스 KV 캐시를 재사용한다.

어떻게 쓰나

통제 비교에서 네이티브 백본의 효과가 크게 나타난다. 같은 행동 전문가와 Open X-Embodiment 75k 사전학습을 쓰고 LIBERO에서 500 에피소드씩 평가했을 때, 백본을 고정하고 행동 전문가만 학습한 NEO-VLA는 평균 90.9%로 Qwen3-VL-2B의 79.5%, Gemma-3-4B의 84.5%를 앞섰다. 이 고정 점수는 인코더 기반 모델의 전체 미세조정 점수와 비슷한 수준이고, LIBERO-Long에서는 85.4%로 그들의 전체 미세조정 결과를 넘었다. 전체 미세조정을 하면 NEO-VLA는 95.3%까지 오른다. 반면 Qwen3-VL에서 13개 전문가 층을 중간 비전 타워 특징에 연결하면 고정 백본 성능이 79.5%에서 64.9%로 떨어졌고, 전체 미세조정에서는 90.9% 대 90.8%로 비슷해졌다. 저자들은 이 차이가 단순히 이른 특징에 접근해서가 아니라, 인코더 없는 사전학습이 표현을 제어에 쓸 수 있게 형성한 데서 온다고 해석한다.

전제와 한계

행동 전문가가 어느 깊이를 읽는지도 성능을 가른다. 40층 백본을 유지한 채 28층 전문가로 비교하면, 고정 백본에서 skip-28이 90.9%로 end-28의 86.7%를 앞섰고 전체 미세조정에서도 95.3% 대 92.5%였다. 개입 실험에서 한 전문가 층이 읽는 캐시 키·값을 다른 관측·과제의 것으로 바꾸면 0~10층 교체에서 병진 오차가 가장 크게 늘었고, 같은 크기의 잡음은 0.004cm 이내로 거의 영향이 없었다. 입력 마스킹에서는 손목 이미지 민감도가 6~10층에서 가장 컸고, 지시문 민감도는 0층에서 최고였다. 손목 카메라 좌표계로 행동을 예측하는 모델에서는 자세 마스킹이 0층에서 강하게 반응했다. 즉 시각, 언어, 기하 정보가 서로 다른 깊이 프로파일을 갖고, 초기층은 고정 전이에 특히 중요하며 미세조정 후에는 여러 깊이를 분산해 읽는 편이 낫다.

벤치마크에서는 LIBERO 평균 97.4%를 기록했다. 다만 EO-1 98.4%, MMaDA-VLA 98.0%, Qwen-RobotManip 집계 99.1%처럼 차이가 작아 저자들도 LIBERO를 정책 간 우열보다 분포 내 성능 확인용으로 본다. LIBERO-Plus에서는 전체 89.7%로, 코드와 가중치가 모두 공개된 표 안 모델 중 가장 높았고 카메라 94.5%, 언어 91.7%의 견고성을 보였다. 로봇 형태나 배치 변화에서는 개선이 덜했다. LIBERO-Pro에서는 의미 변형에서 98.0%로 표 안 최고였지만 물체 위치나 작업 목표가 바뀌면 크게 떨어졌다. RoboTwin 2.0 공식 2.5K 에피소드 설정에서는 clean 75.78%, Clean2Rand 69.40%로, 공개 코드와 가중치를 가진 방법 중 가장 강한 Clean2Rand 결과를 냈다. 실제 로봇에서는 세 과제를 각 50개 시연으로 미세조정해 20회씩 평가했고 12/20, 17/20, 13/20의 성공률로 StarVLA를 크게 앞서고 π0.5와 동등하거나 앞섰다. RTX 3090 bf16에서 10 오일러 스텝 기준 컴파일된 전방 패스는 282.5ms이고, 행동 전문가 163.4ms, 백본 프리픽스 84.8ms, 패치 임베더 3.1ms다. 2스텝으로 줄이면 178.5ms까지 줄지만 샘플링된 행동이 달라진다.

개발자 관점에서 이 논문은 VLA의 비전 인터페이스를 ‘고정된 인코더 출력’으로 두는 설계를 재검토하게 한다. 특히 백본을 고정한 채 행동 전문가만 학습하는 상황이라면 중간층 접근이 큰 차이를 낼 수 있고, 전체 미세조정에서도 초기·후기 층을 함께 읽는 구성이 유리하다. 또한 행동 데이터만으로 미세조정하면 언어·멀티모달 이해가 무너져 분포 변화에서 정책 성능이 급락할 수 있다는 점을 확인해야 한다. 원문에서는 공동 학습을 한 경우 RoboTwin 2.0 C2R 69.4%였지만 행동만 미세조정한 경우 10.7%로 떨어졌다. 로봇 배포 전에는 대상 하드웨어에서 10스텝 오일러 추론 지연과 2스텝으로 줄였을 때의 행동 변화, 그리고 로봇 형태별 마스킹·정규화 처리를 함께 검증해야 한다.

저자들이 밝힌 전제와 한계도 분명하다. LIBERO 계열 표는 시뮬레이터 버전, 카메라, 학습 데이터, 평가 프로토콜이 연구마다 달라 통제 비교가 아니라 벤치마크 맥락으로 봐야 한다. NEO-VLA는 장면의 외관이나 관측 방식이 바뀌는 변화에는 강하지만, 물체 위치·장면 배치·작업 목표 자체가 바뀌는 공간적·과제 수준 적응에는 여전히 취약하다. 실제 로봇 평가도 세 과제, 과제당 50개 시연, 20회 시행의 소규모 벤치마크다. 또한 Qwen3-VL과 Gemma-3 비교는 사전학습과 모델 용량 차이가 있어 이득을 전적으로 인코더 제거에 돌릴 수 없다고 저자들도 인정한다. full-40은 더 깊은 전문가를 쓰는 고용량 설정으로 따로 다뤄지고, first-28 비교는 깊이와 연산량도 함께 바뀐다.