VITAL이 시각 운동 토큰과 잔차 코드로 한 스텝 주행 계획을 세운다

무엇인가

자율주행에서 world-action 모델은 미래 장면을 예측하는 비디오 전문가와 궤적을 뽑는 액션 전문가를 attention으로 연결한다. 그런데 attention이 특징을 이어줄 뿐 두 전문가가 같은 예측 목표를 공유하는 것은 아니다. 비디오 전문가는 장면 변화를, 액션 전문가는 궤적 좌표로만 정의된 코드를 각각 학습한다. 저자들은 이 불일치를 문제로 잡고, 행동 목표 자체를 관측된 시각 운동에서 직접 유도할 수 있는지 묻는다.

어떻게 동작하나

먼저 미래 예측을 문제에서 아예 제거한 단순 설정을 검증한다. 기록된 현재·미래 이미지를 주고 대응하는 ego 궤적을 복원하게 하면, 미래를 이미 보고도 NAVSIM 검증 씬 전체에서 평균 변위 오차 123.6mm, 최종 변위 오차 221.6mm가 남는다. 복원된 운동의 고주파 에너지 비중(HF fraction)은 x·y 평균 0.1%에 불과하다. 즉 시각 운동은 조작(maneuver)은 잡지만 도로 경계 근처에서 규정 위반을 만드는 센티미터급 세부는 놓치는 매끄러운 '운동 골격'만 준다.

무엇과 다른가

VITAL(Vision-Induced Tokens for Action Learning)은 이 관찰에서 출발해 목표를 두 갈래로 나눈다. 시각 인코더 E_v가 기록된 이미지 시퀀스에서 운동을 뽑아 코드 z_v*를 만들고, 디코더 D_v가 이를 궤적 좌표 τ_v*로 푼다. 이 골격과 실제 시연 궤적 τ의 차이 e*=vec(τ−τ_v*)를 별도 잔차 코드로 인코딩한다. 학습 잔차에 평균 μ, 정규직교 PCA 기저 U, 양의 대각 스케일 S를 적합해 z_r*=S⁻¹Uᵀ(e*−μ), M=US를 정의하고, 최종 디코딩은 D(z_v,z_r)=D_v(z_v)+unvec(μ+Mz_r)로 두 성분을 합친다. 스케일 S가 작은 물리적 보정에 별도의 정규화된 학습 스케일을 부여하는 구조다. 주행 구현에서는 사전학습 시각 백본을 5개 프레임에 적응시켜 4개의 64차원 운동 토큰을 만들고, 1초 구간마다 12개의 잔차 계수를 붙여 4×76 액션 인터페이스를 구성한다.

어떻게 쓰나

액션 전문가는 flow matching으로 두 토큰 그룹을 현재 이미지·ego 상태·내비게이션 명령에서 동시에 예측한다. 시각 대 잔차 좌표 가중치는 1:2이고, 현재 프레임 key/value 어댑터만 학습 가능하며 나머지 비디오 파운데이션은 고정된다. 격리된 attention으로 액션 쿼리가 미래 비디오 토큰에 접근하지 못하게 해, 학습 시 미래 비디오 지도가 있어도 추론 시에는 미래 이미지를 생성하지 않는다. 손실은 flow matching 항에 미래 비디오 지도 항과 디코딩된 궤적 오차 항을 더한 L_IL=L_FM^a+λ_v L_FM^v+λ_d ℓ_τ(D(ẑ_v, sg[ẑ_r]), D(z_v*, z_r*))이며, stop-gradient는 디코딩 손실의 기울기가 잔차 추정으로만 흐르게 막는다. 추론은 오일러 1회 업데이트 ẑ⁽¹⁾=ε+v_θ(ε,0,h(c))로 끝나고, 잔차 산술과 디코딩은 FP32로 처리해 미터 단위 정밀도를 지킨다.

전제와 한계

잔차 좌표는 정책 개선에도 쓰인다. 모방학습 후 액션 생성기·시각 조건·코덱을 모두 얼려두고, 잔차 액터가 은닉 상태와 문맥, 기본 예측을 읽어 보정 좌표 q_φ를 낸다. 6개의 종·횡 방향 교란 템플릿을 잔차 디코더의 span에 투영하고 whitening해 고정 기저 B를 만들며, 리미터가 위치 1m·헤딩 0.2rad 및 잔차 토큰 크기 상한을 강제한다. 학습은 컨텍스트 밴딧으로 다뤄 어려운 문맥 풀 H에는 보상 탐색을, 고득점 앵커 A에는 영(0) 보정으로의 정규화를 건다. 액터의 출력층은 0으로 초기화되어 초기 결정론적 동작이 기본 정책과 동일하고, 10스텝 기본 예측 주변에서 학습한 뒤 추론 예산이 달라져도 그대로 재사용된다. 배포 시에는 결정론적 보정 1회만 적용하며 보상 평가나 후보 탐색, 추가 디노이징이 필요 없다.

실험은 NAVSIM에서 이뤄졌다. 기록 이미지와 정답 잔차를 주면 복원 ADE/FDE가 0.3mm/0.5mm로 줄고 PDMS가 92.1에서 94.7로 오르며, 잔차의 HF 비중은 61.4%에 이른다. 동일한 액션 학습 예산에서 궤적만으로 학습한 오토인코더 대비 1스텝에서 5.1 PDMS를 더 얻는다. 최종 정책은 NAVSIM v1 navtest에서 단일 액션 디노이징 스텝으로 90.8 PDMS를 기록해 10스텝 점수와 0.13점 차이에 그치면서 end-to-end 추론 속도는 3.29배다. 재학습 없이 NAVSIM v2 navtest에서 91.1 EPDMS, 반응형 navhard에서 38.6 EPDMS를 낸다. 학습은 NVIDIA H200 8장 서버에서 했고, 지연시간 측정은 RTX 4090 배치 크기 1 기준으로 이미지 인코딩과 잔차 보정을 포함한다. 이론적으로는 궤적 오차를 표현 용량 ε_codec, 시각 예측 오차 L_v‖ẑ_v−z_v*‖_F, 잔차 예측 오차 ‖M‖_{2→Q}‖ẑ_r−z_r*‖_2 세 항의 합으로 상계해, 복원 충실도와 조건부 예측 가능성을 분리해 진단한다.

개발자 관점에서 이 논문의 핵심은 '행동 표현을 어떻게 쪼개느냐'가 추론 비용과 정책 개선 경로를 동시에 바꾼다는 점이다. 잔차를 정규화된 별도 좌표로 떼어내면 작은 미터급 보정이 지배적인 운동 신호에 묻히지 않고, 그 좌표 위에서만 제한된 강화학습을 돌릴 수 있다. 다만 잔차 RL은 보상 기반 후보 탐색이나 월드모델 크리틱 없이 단일 결정론적 보정만 쓰므로, 배포 파이프라인에 넣을 때는 보정 상한(1m, 0.2rad)이 실제 안전 요구와 맞는지 확인해야 한다.

저자들이 명시한 한계도 분명하다. 잔차 RL의 고정·유계 보정 공간은 국소 개선 범위를 제한할 뿐, 모든 보정이 보상을 개선하거나 과제 수준 안전을 만족한다고 보장하지 않는다. 또한 복원 충실도가 좋아졌다고 해서 계획 성능이 자동으로 좋아지는 것은 아니며, 토큰 정규화와 디코더 민감도가 다르면 복원·조건부 예측·수치 적분 샘플링 지표가 각각 따로 움직일 수 있다고 밝힌다.