VLA에서 VLM 동결은 행동 토큰 감독과 훈련 순서에 따라 달라진다
Should the Action Expert Train the VLM? Action-Token Supervision and Gradient Routing in Mixture-of-Transformer VLAs
무엇인가
이 논문은 사전학습된 VLM과 흐름 매칭 action expert를 결합한 VLA에서, 연속 행동 손실을 VLM까지 역전파할지(결합) 아니면 차단할지(절연)를 행동 토큰 감독과 분리해 검증한다. VLM은 원래 action expert의 흐름 매칭 목적함수로 학습된 적이 없으므로, expert가 조건으로 쓰는 K/V 표현이 제어에 유용한 정보를 담으려면 별도 신호가 필요하다. 기존 레시피는 expert 그래디언트 차단과 이산 행동 토큰 감독을 함께 쓰는 경우가 많아, 절연 자체의 효과인지 보조 감독의 효과인지 구분되지 않았다. 저자들은 이 둘을 독립적으로 바꾸며 자율주행과 로봇 조작에서 비교한다.
어떻게 동작하나
자율주행 모델은 Qwen3-VL-2B-Instruct 백본과 같은 폭의 비인과 흐름 매칭 action expert로 구성된다. 각 트랜스포머 층에서 expert는 VLM 층의 K/V를 attention하고, VLM은 expert의 연속 행동 입력을 attention하지 않는다. expert는 가속도와 곡률로 이루어진 미래 제어 쌍 K개를 예측하고, 이를 이산화 유니사이클 모델로 적분해 위치·방향 웨이포인트를 만든다. 학습 목적은 VLM의 cross-entropy와 expert의 rectified flow matching 손실을 더한 형태다. 결합 조건에서는 흐름 손실이 K/V 인터페이스를 통해 VLM까지 역전파되고, 절연 조건에서는 stop-gradient로 VLM 앞에서 차단된다. 행동 토큰 감독은 같은 미래 궤적을 이산 토큰으로 예측하는 CE 항이며, 토큰을 끄면 미래 행동 값에 대한 CE만 마스킹하고 구분자와 과거 궤적 문맥은 유지한다. 평가 때 VLM은 근거를 생성하고 시작 토큰에서 멈추며, 행동 토큰은 디코딩되지 않고 연속 expert만 제어를 예측한다. 훈련 순서는 동시 훈련, expert를 10만 스텝 먼저 동결 VLM에 맞추는 expert-first, VLM을 10만 스텝 먼저 적응시키는 VLM-first로 나누고 총 30만 스텝에서 비교한다.
무엇과 다른가
자율주행 개루프 평가는 Physical AI Autonomous Vehicles 데이터셋의 Public Golden 1,434개 장면과 OOD 273개 장면에서 ADE로 측정했다. 동시 훈련에서 행동 토큰 감독이 있으면 절연이 Public Golden ADE를 약간 낮췄고 OOD 라우팅 차이는 작았다. 반대로 토큰 감독이 없으면 절연 모델의 ADE가 크게 높아져, 결합이 Public Golden에서 약 26%, OOD에서 약 24% ADE를 줄였다. 생성 주행 근거 품질에서는 절연의 일관된 우위가 없었다. 토큰이 있을 때 Lingo-Judge 첫 샘플 통과율은 Public Golden에서 절연 64.7%, 결합 64.9%였고, 토큰이 없을 때는 결합 63.5%, 절연 56.6%였지만 OOD 차이는 작고 반대 방향이었다. 폐루프 AlpaSim 827개 장면, 장면당 5회 롤아웃에서는 결합이 경로 진행률을 토큰 있을 때 0.600에서 0.703으로, 없을 때 0.425에서 0.601로 올렸다. 후자는 17.6%포인트, 약 41% 상대 증가이며, 토큰 없는 결합이 토큰 있는 절연과 비슷한 진행률에 도달했다.
어떻게 쓰나
훈련 순서를 바꿔도 토큰 감독과 라우팅의 상호작용은 사라지지 않았다. 토큰이 없으면 expert-first와 VLM-first 모두에서 결합이 개루프 ADE를 개선했고, 토큰이 있으면 라우팅 효과가 작아지며 순서에 따라 달라졌다. 폐루프에서는 토큰이 없을 때 결합이 두 단계별 이력 모두에서 진행률을 높였다. 토큰이 있으면 expert-first에서는 결합이 진행률을 올렸지만 VLM-first에서는 차이가 작았다. 토큰 없는 결합은 expert-first에서 토큰 있는 절연과 대략 비슷했으나 VLM-first에서는 그보다 낮았다. 모든 이력 중 가장 높은 관측 진행률은 동시 훈련의 토큰 있는 결합에서 나온 0.703이었고, 저자들은 이것이 기존 VLM-first 레시피와 대비되는 결과라고 강조한다. 또한 단계별 훈련에서는 토큰이 없을 때 절연이 Public Golden 근거 통과율에서 더 높았지만, 이는 결합의 더 낮은 ADE와 일치하지 않았다.
전제와 한계
로봇 조작에서는 두 모델 계열로 동시 훈련을 반복했다. π0.5 재구현은 PaliGemma-3B VLM과 흐름 매칭 expert를 OpenPi와 FAST로 학습했고, VQA와 로봇 데이터를 반씩 섞어 40만 스텝 훈련했다. PolaRiS의 BlockStackKitchen, FoodBussing, PanClean에서 50회 롤아웃의 정규화 과제 진행률을 평균했다. FAST 감독이 없을 때 결합은 진행률을 10.3%에서 32.9%로 올렸고, FAST가 있을 때는 19.5%에서 30.7%로 올렸다. FAST 없이 결합한 조건이 네 조건 중 가장 높았고, FAST를 쓰고 절연한 조건의 약 1.7배였다. MolmoAct2도 같은 방향으로, FAST가 있을 때 22.0%에서 24.3%, 없을 때 14.5%에서 36.5%로 결합이 진행률을 높였으며 FAST 없이 결합한 조건이 가장 높았다. 공개 MolmoAct2 체크포인트는 이들의 적응·평가 프로토콜에서 32.9%에 도달했는데, 저자들은 공개 체크포인트가 FAST를 먼저 학습하는 VLM-first 절차를 따르고 데이터 혼합도 달라 이 차이가 생길 수 있다고 본다.
개발자 관점에서 핵심은 VLM 절연을 기본값으로 두지 말라는 것이다. 행동 토큰 보조 감독이 이미 있으면 개루프 주행에서는 절연과 결합의 차이가 작을 수 있지만, 폐루프 주행과 로봇 조작에서는 결합이 여전히 성능을 높였다. 반대로 행동 토큰 감독이 없으면 expert 그래디언트를 막는 순간 VLM에 미래 행동을 직접 가르치는 신호가 사라져, 개루프·폐루프 모두에서 손실이 커질 수 있다. 따라서 라우팅은 행동 토큰 감독, 훈련 스케줄, 실제 평가 환경과 함께 결정해야 한다. 또한 ADE 개선이 생성 근거 품질이나 안전 지표 개선으로 이어지지 않았고, 토큰 감독이 있는 단계별 결합 훈련에서는 경로 진행률이 높거나 비슷해도 관측된 자차 과실 충돌률이 더 높았다는 점도 별도 확인이 필요하다.
저자들이 밝힌 한계는 분명하다. 자율주행 모델 한 계열과 조작 모델 두 계열만 다뤄 아키텍처 다양성이 제한적이고, 폐루프 평가도 시뮬레이션 주행과 시뮬레이션 조작에 그쳐 실제 로봇 실험은 없다. 부트스트랩 구간은 고정 체크포인트의 평가 클립 변동만 반영하며, 연산 제약 때문에 조건당 한 번의 훈련만 수행해 훈련 시드 변동은 측정하지 못했다. 또한 이 연구는 경험적 비교로, 행동 토큰 감독과 expert 그래디언트가 VLM 표현과 학습 역학을 어떻게 바꾸는지 메커니즘까지 규명하지는 않는다. VLM의 광범위한 능력 보존을 입증한 것도 아니므로, 절연의 일반적 우위나 열위로 확대 해석하면 안 된다.