AUGUstus가 확산 생성과 CoT 이해를 한 트랜스포머로 묶어 자율주행 VLA 지연을 줄인다

무엇인가

자율주행은 인지·예측·계획을 나눈 모듈식 스택에서 오차 누적을 줄이려는 엔드투엔드 모델로 옮겨왔지만, ST-P3·UniAD·VAD 같은 초기 모델은 모델 용량과 학습 데이터 한계로 롱테일 장면과 의미적으로 복잡한 상호작용을 안정적으로 다루지 못했다. 최근에는 대규모 사전학습으로 얻은 시각 개념·언어 사전지식·추론 능력을 활용하려고 VLM을 자율주행 정책의 기반으로 쓰는 VLA 연구가 늘었다. 그런데 이 논문은 기존 VLA 설계를 세 갈래로 나눠 문제를 지적한다. 회귀 헤드는 지연은 낮지만 행동 분포가 없어 RL 후학습이 어렵고 VLM 지식을 충분히 쓰지 못하며, 확산·플로매칭 전문가(expert)를 붙인 방식은 행동 분포는 얻지만 생성기가 VLM 바깥에 있어 공간 이해가 약해 안전하지 않고 설명 불가능한 행동을 낳는다. 자기회귀 방식은 CoT와 행동 토큰을 순차 생성해 VLM 이해를 최대로 쓰지만 지연이 커 실시간 배포가 어렵다.

어떻게 동작하나

저자들의 진단은 "이해와 행동 생성이 분리되어 있다"는 것이다. 그래서 CoT를 독립 추론 단계나 행동 앞에 붙는 직렬 접두사로 보지 않고, 행동 생성을 핵심에 두고 CoT가 그것을 돕도록 하나의 아키텍처 안에서 공동 최적화한다. AUGUstus는 확산 기반 행동 생성과 자기회귀 CoT 이해를 단일 트랜스포머에 통합한다. 학습 시 모델은 카메라 영상 S, ego 상태 E, 경로 명령 C, 과거 궤적 H로 이루어진 문맥 c와 노이즈가 섞인 궤적 x_t, teacher-forcing된 CoT 접두사 y_<k를 받아 깨끗한 궤적 추정값 x̂_0와 다음 CoT 토큰 확률을 동시에 예측한다. 궤적은 x_t=(1-t)x_0+tε로 정의되는 플로우 경로 위에서 속도가 아니라 깨끗한 궤적 x_0를 직접 예측하는 방식으로 매개화했는데, t=1에서 오일러 스텝 한 번이면 x̂_0가 정확히 나오므로 few-step 샘플링과 진짜 1스텝 정책을 모두 지원한다. SFT 손실은 궤적 재구성의 L1 플로우매칭 항과 같은 문맥·같은 노이즈 행동 x_t 조건에서의 CoT 로그우도 항을 결합한 형태다.

무엇과 다른가

배포 지연을 낮추는 장치가 AUGUstus-mode다. 이는 행동을 먼저, CoT를 나중에 배치하는 순서다. 어텐션 설계를 보면 문맥 토큰은 인과적이고, 행동 토큰은 전체 문맥과 서로를 참조하는 양방향 블록을 이루며, CoT 토큰은 인과적이면서 완성된 행동 블록까지 추가로 참조하지만 행동 토큰은 CoT 토큰을 참조할 수 없다. 즉 학습에서는 CoT가 신뢰할 수 있는 행동을 감독하도록 강제되고, 추론에서는 행동 출력만 필요하므로 CoT 디코딩을 생략할 수 있다. 저자들은 CoT 설계도 여러 가지 실험했는데, 장면 속 주요 객체의 바운딩 박스와 미래 위치를 서술하는 예측형 CoT가 인지형이나 계획 추론형 CoT보다 안전하고 효율적인 행동에 더 이롭다고 보고한다.

어떻게 쓰나

AUGUstus-GRPO는 연속 행동과 자기회귀 CoT를 함께 최적화하는 통합 RL 알고리즘이다. 각 롤아웃이 행동과 CoT 쌍을 만들고 두 스트림이 정규화된 그룹 상대 어드밴티지를 공유한다. 행동 쪽(JaT-GRPO)은 x_0 매개화 아래에서 플로우 역전이를 따라가면 정책 의존 항이 x̂_0뿐이고 공분산이 고정된다는 점을 이용해, 중요도 샘플링 비율과 KL을 닫힌 형태로 유도한다. CoT 쪽(CoT-GRPO)은 토큰 수준 우도로 최적화하며, 두 분기 모두 동일한 클리핑된 GRPO 목적함수를 쓴다. 학습은 2단계로 진행된다. 1단계는 SFT 정책에서 출발해 계획 보상을 PDMS로 두어 과감한 진행을 유도하고, 2단계는 1단계 체크포인트에서 계획 보상을 종점 보상과 안전 보상의 합으로 바꿔 정확한 종점과 안전한 거동을 다듬는다.

전제와 한계

실험은 폐루프 NAVSIM과 오픈루프 nuScenes에서 이뤄졌다. 베이스 모델은 Qwen3.5-2B이고, 입력은 전방·전좌·전우 카메라의 2초 4프레임 클립(2048×512)이다. NAVSIM에서는 4초 지평 8개 웨이포인트, nuScenes에서는 3초 지평 6개 웨이포인트를 예측한다. 결과는 NAVSIMv1에서 1스텝/3스텝 디노이징으로 94.0/94.6 PDMS로, 인간 성능 94.8에 0.2 차이까지 붙었고 스코어러 모듈 없이 단일 궤적만 생성한 값이다. NAVSIMv2에서는 1스텝 디노이징만으로 90.7 EPDMS(human-penalty 필터 사용, 미사용 시 87.1)로 SOTA를 기록했다. nuScenes에서는 평균 L2 오차 0.27m, 평균 충돌률 0.05%로 비교 방법 중 최고였다. 절제 실험에서 AUGUstus-mode로 CoT를 학습에 넣으면 더 안전해지고 성능이 오르며, CoT-first와 성능은 비슷하지만 실시간 추론을 유지하는 쪽은 AUGUstus-mode라는 점이 확인됐다. GRPO는 1단계에서 PDMS +4, 2단계에서 +0.6을 더해 94.6을 만들었다.

실무 관점에서 이 논문의 핵심은 "추론 경로에서 CoT를 제거해도 학습 신호로는 CoT를 쓴다"는 분리다. 자율주행이나 로보틱스처럼 VLM 추론 능력은 원하지만 토큰 단위 자기회귀 지연은 감당하기 어려운 서빙 환경에서, 연속 궤적을 확산으로 생성하면서 RL 후학습까지 붙이려는 팀이 참고할 만하다. 특히 연속 행동에 GRPO를 적용할 때 중요도 비율과 KL을 닫힌 형태로 계산해 1스텝 디노이징에서도 최적화가 가능하다는 유도는, 확산 정책을 실서비스 지연 예산 안에 넣으려는 개발자에게 직접적으로 쓸모가 있다. 다만 실제 적용 전에는 CoT 감독이 어떤 표현에 남아 행동에 영향을 주는지, 그리고 자체 데이터 분포에서 CoT 종류(예측형/인지형/계획형) 선택이 성능에 얼마나 민감한지를 확인해야 한다.

저자들이 밝힌 전제와 한계도 분명하다. 실차 검증은 광저우에서의 예비 주행 시험 수준이며, 향후 더 광범위한 실차 테스트로 아키텍처를 검증하고 로봇 VLA에 적용하는 것을 향후 과제로 남겼다. 자체 1,000km 주행 데이터셋 평가에서는 안전·컴포트·효율에서 가장 좋았지만 컴플라이언스 항목에서는 플로매칭 베이스라인이 근소하게 앞섰다. 또한 공개 데이터셋 비교에서 스코어러 모듈을 쓰지 않았다는 점, 그리고 본문 추론이 별도 언급이 없는 한 CoT 생성 없는 1스텝 디노이징을 뜻한다는 점이 결과 해석의 전제다.