NavGPT-3가 LLM 추론과 로봇 제어를 런타임으로 묶는다

무엇인가

이 논문이 푸는 문제는 추론과 실행이 서로 다른 시계 위에서 돈다는 것이다. 장기 호라이즌 에이전트 강화학습으로 훈련된 언어모델은 상식 grounding, 공간 서술, 진행 추정, 장기 도구 사용을 흡수해 왔지만 실행만은 예외다. 실행은 모델의 시계가 아니라 세계의 시계를 따르고, 제어는 단계별 추론이 감당할 수 없는 속도로 진행되어야 한다. 게다가 세계는 모델이 생각하는 동안 멈춰주지 않는다. 관측은 추론 중에 도착하고, 이미 시작된 동작은 결정이 끝날 때까지 계속되며, 위험은 추론이 끝나기 전에 정지를 요구할 수 있다. 행동 정책(action policy)은 추론 모델보다 훨씬 작고 지시 따르기도 약해서 긴 롤아웃에서 드리프트하며, 추론기가 검증할 수 있는 증거를 되돌려줘야 한다. 기존 계층 시스템은 planner가 subgoal을 학습된 컨트롤러에 넘기는 방식으로 일부를 해결했지만, 저자들은 결정을 위한 grounded 컨텍스트, 행동을 위한 공간 도구, 기억을 위한 지속 상태, 경로 수정을 위한 실행 증거까지 포함하는 완전한 상호작용 루프가 필요하다고 본다.

어떻게 동작하나

NavGPT-3는 이 루프를 harness와 OS 같은 런타임, 그리고 그 아래의 VLA로 나눠 구성한다. harness는 Planner, VLA, 환경(시뮬레이터 또는 로봇)을 잇는 컨텍스트·상태·도구 인터페이스로, 모델이 보는 관측과 히스토리를 만들고 공간 참조와 주석을 유지하며 도구 요청을 검사하고 허용된 호출을 실행한 뒤 다음 결정을 위한 증거를 반환한다. Planner는 매 센서모터 업데이트마다 호출하기 비현실적이므로, harness는 고주파 지각-행동 루프를 담당할 VLA를 선택적으로 노출한다. Planner는 도구만으로 직접 모든 내비게이션 결정을 내릴 수도 있고 VLA에 위임할 수도 있다. 도구는 관측, 지시 위임, 공간 수정, 의미적 완료의 네 묶음으로 나뉜다. 위임은 경로 키프레임과 실행 상태를 반환하고, 수정은 방문 지점 참조나 국소 보정을 실제 모션으로 해석하며, 주석과 종료 도구는 완료를 명시적으로 만든다. 반환된 경로 이미지, 실행 피드백, 관측 지도, 번호가 붙은 방문 지점 덕분에 롤아웃을 검사하고 수정할 수 있다. Planner는 방문했던 지점으로 돌아가 경로를 국소 수리하고 다시 위임한 뒤 작업 완료를 스스로 선언한다. VLA의 정지는 하나의 오퍼레이션을 끝낼 뿐이고 최종 task-stop 권한은 Planner에 남는다.

무엇과 다른가

런타임 계층은 추론, 실행, 모니터링을 각자의 컨텍스트·도구·권한을 가진 스레드로 돌리고, 어느 스레드가 로봇의 모션 권한(motion authority)을 쥘지 스케줄링한다. 논문은 전경 스레드를 f_ℓ로 두고 제어 이전을 f_{ℓ+1} = σ(S_ℓ, f_ℓ, e_ℓ)로 형식화한다. S_ℓ은 환경을 포함한 공유 시스템 상태, e_ℓ은 인터럽트 같은 유입 이벤트, σ는 미리 지정된 이벤트 우선순위로 권한을 유지·이전·회수하는 규칙이다. 보호 이벤트가 최우선이고, 에피소드 제한이 일상적 리뷰보다 앞서며, 오래된 이벤트는 이미 무효가 된 오퍼레이션을 되살릴 수 없다. 어떤 스레드 j가 제안한 모션 오퍼레이션 a의 전경 자격은 j가 현재 전경 스레드이고 a가 그 스레드의 허용 오퍼레이션 집합에 속할 때만 참이며, 이는 필요조건일 뿐 실행 시점에 상태와 권한을 다시 검사한다. 모션 권한은 배타적 연산이나 센싱을 뜻하지 않는다. 경로 수정 시나리오에서는 VLA가 권한을 쥔 채 백그라운드 스레드가 진행 상황을 검토하고, 검토가 이벤트를 올리면 VLA가 승인한 뒤 도구 수리가 권한을 넘겨받아 메인 스레드를 잠시 멈추고, 이후 VLA가 재개한다. 안전 시나리오에서는 모니터의 가드가 LLM 추론이나 일상적 승인을 기다리지 않고 권한을 회수해 f=⊥로 만들고, 메인 스레드는 새 상태와 새 권한을 받은 뒤에만 재개한다.

어떻게 쓰나

그 아래의 NavGPT VLA는 Qwen3-VL-Instruct에서 시작해 MLP 액션 헤드를 붙인 4B·8B 모델로, 지시와 최대 16개의 보존 관측(각각 전·우·후·좌 4뷰)을 받아 에이전트 좌표계의 누적 웨이포인트 8개 (x, y, θ)를 예측한다. x는 전방, y는 좌측(미터), θ는 상대 헤딩(라디안)이고, 실행은 다음 예측 전에 첫 웨이포인트만 커밋한다. 시각 토큰 배분이 핵심 설계다. 기존 Qwen-RobotNav식 위치 기반 배분은 최신성과 뷰 방향만 반영해 "언제 어디서 찍혔는지"는 알지만 "새로운 내용이 있는지"는 모른다. NavGPT VLA는 비디오 코덱의 I/P 프레임 발상에서 온 codec allocation을 쓴다. 같은 뷰의 연속 이미지를 64×64 썸네일로 비교해 첫 이미지는 I-frame으로 점수 1, 이후 P-frame은 평균 절대 픽셀 차이 δ에 대해 clip(5δ, 0.05, 1)로 점수를 매기고, 위치 가중치에 이 변화 점수를 곱해 최종 가중치를 만든다. 토큰 총량과 할당기는 그대로 두며, 변화 점수가 상수면 기존 위치 규칙으로 되돌아간다. 이 규칙이 실제로 작동하려면 시각 예산 대비 용량 비율 ρ_vis = B_vis / (N_hist · N_view · b_max)가 1보다 작아야 한다. 1 이상이면 모든 이미지가 상한에 도달해 두 규칙이 같아진다. 훈련은 B_vis를 1024~4096 사이에서 무작위화해 비자명한 히스토리가 이 활성 구간에 들어오게 한다. 논문은 t16 시점에 전·우·후·좌가 각각 80, 48, 24, 35 토큰을 받는 예를 든다.

전제와 한계

훈련 데이터는 벤치마크 하나의 물량이 아니라 커버리지 분류체계를 중심으로 구성된다. 축은 네 가지다. 요구되는 능력, 수행되는 embodiment와 관측 인터페이스, 발생 조건, 전제되는 시각-언어 이해다. 능력 축은 지시 따르기, 능동 탐색(object-goal), 동적 상호작용(타깃 추적), cross-embodiment 내비게이션(OpenScene·nuScenes 야외 주행)으로 확장된다. embodiment 축은 새 데이터를 모으는 대신 기존 에피소드를 다시 렌더링해 채운다. R2R-CE와 RxR-CE 훈련 에피소드를 4뷰 파노라마와 전방 카메라 시퀀스 양쪽으로 만들어 같은 웨이포인트 타깃을 공유시킨다. 조건 축에서는 Gemini 3.1 Pro로 지시문을 재작성하고, Qwen-Image-Edit으로 렌더링 관측을 실제 카메라 이미지에 가깝게 다듬고, HM3D 기반 SRDF 데이터를 재구축한다. 특히 DAgger 롤아웃의 각 방문 상태를 롤아웃 자체의 다음 스텝이 아니라 그 위치에서 목표까지의 최단 경로 방향으로 재라벨링해, 최단 경로 시연이 결코 방문하지 않는 off-path 상태와 그로부터의 복구를 지도한다. 기하 인식 리샘플링으로 전진 편향을 줄이고 회전·정지 비중을 높이며, 저속 에피소드(스텝당 약 0.1m 대 표준 0.25m)도 포함한다. 언어 지도 축에서는 LocateAnything-Data(1,200만 이미지, 7억 8,500만 박스, 1억 3,800만 쿼리)에서 뽑은 19개 서브셋 231만 건을 쓴다. 전체 혼합물은 83개 소스, 11개 패밀리, 에폭당 약 1,928만 유효 레코드이며 65.6%가 행동 회귀, 34.4%가 다음 토큰 예측만 지도한다. 공간 추론과 grounding이 약 18%, 일반 시각-언어 데이터가 8.5%다. 학습은 Qwen3-VL-Instruct에서 1 에폭, 모델 학습률 5×10⁻⁶, 액션 헤드 10⁻³, 좌표 정규화 상수 (1.0, 0.433, 2.094)를 쓴다.

결과는 다음과 같다. 8B NavGPT VLA 단독으로 R2R-CE 76.94 SR, RxR-CE 82.39 SR를 기록해 RxR-CE에서 공개 방법 중 선두에 선다. 완전한 harness와 런타임을 붙인 NavGPT-3는 R2R-CE에서 81.51 SR로 state of the art를 세우고, RxR-CE에서는 성공률 90.43 SR(인간 추종자 90.4)과 경로 충실도 78.47 nDTW(인간 77.7)로 자율 에이전트를 처음 인간 수준에 올린다. 에피소드당 1분 22초로, 인간의 약 3분보다 빠르다. 반응 시간도 정량화된다. 도구를 잘 주면 강한 언어모델이 스스로 잘 내비게이션하지만 결정 주기가 3~19초인 반면, VLA가 경로를 실행하면 시스템 최소 반응 시간이 스텝당 0.5~1초(1~2Hz)로 떨어진다. codec allocation 소거 실험에서는 8B가 세 훈련 범위에서 R2R-CE SR을 각각 1.7, 5.7, 2.1점, RxR-CE SR을 1.6, 2.6, 2.6점 올렸고, 4B는 RxR-CE에서 3.7, 0.5, 1.4점 올린 반면 R2R-CE에서는 cross-embodiment 데이터를 넣기 전까지 −0.1, −0.8로 이득이 없었다. 데이터 스케일링에서는 170만 VLN 레코드에서 1,928만으로 늘릴 때 R2R-CE SR이 4B에서 62.6→74.33, 8B에서 65.3→76.94, RxR-CE SR이 68.7→81.41, 70.5→82.39로 올랐다. 8B가 4B보다 R2R-CE에서 2.4~4.3점 앞서지만, 데이터 효과가 파라미터 2배보다 크다. cross-embodiment 데이터를 넣은 4B(69.2 SR)가 VLN만 학습한 8B(65.3)를 앞선다.

실제 로봇 배포도 보고된다. Unitree Go2에 RGB 입력, 원격 또는 온보드 VLA 추론(NVIDIA Jetson Thor에서 4B를 FP8 양자화 + TensorRT), 런타임 LiDAR 위험 모니터를 붙였다. 2×2 통제 비교(순차 vs 중첩 Planner–VLA 실행 × 큐잉 vs 우선순위 모니터 처리)에서 중첩과 우선순위가 각각 기여한다. 중첩은 큐잉 조건에서 수리 시간을 12.8초→9.6초, 우선순위 조건에서 11.5초→7.9초로 줄였다. 우선순위 처리는 놓친 정지를 순차 런타임에서 7/30→2/30, 중첩 시 5/30→0/30으로 낮추고 p95 정지 지연을 1840→420ms, 1310→180ms로 떨어뜨린다. 둘을 합치면 수정 SR 83.3(순차 큐잉 73.3), 수용된 stale 명령 1/30, 재개 SR 80.0을 얻는다. 평가는 5개 경로, 3개 이벤트 타이밍, 조건·시나리오당 2회 반복으로 총 30 트라이얼이며, 로봇이 소프트웨어 인터페이스에서 정지 명령을 받아들인 것만으로는 정지로 세지 않고 독립 측정 속도가 사전에 고정한 임계값 아래로 일정 구간 유지될 때만 정지로 인정한다. 운영자 개입은 실패 트라이얼로 계산된다.

개발자 관점에서 이 논문의 값은 모델이 아니라 인터페이스에 있다. 추론 모델과 제어 정책을 하나의 컨텍스트로 합치려 하지 않고, 도구 호출·실행 증거 반환·경로 수리·명시적 종료라는 계약을 정의한 뒤 그 위에 스레드와 권한 이전을 얹는다. 실시간 에이전트를 만든다면 그대로 참고할 만한 패턴은 세 가지다. 첫째, 모션 권한을 별도 개념으로 두고 이벤트 우선순위로 회수·이전하며, 회수는 추론 완료를 기다리지 않는다. 둘째, 저수준 정책의 실행 결과를 검사 가능한 증거(키프레임, 방문 지점 번호, 관측 지도)로 되돌려 상위 추론이 국소 수리와 재위임을 할 수 있게 한다. 셋째, 시각 토큰 같은 유한 예산은 시간·뷰 같은 위치 정보만이 아니라 프레임 간 변화량에 비례해 배분하고, 예산 대비 용량 비율이 1 미만인 구간에서만 그 규칙이 의미를 갖는다는 점을 설계 조건으로 삼는다. 다만 도입 전에 확인할 것은, Planner가 외부 호스티드 LLM 서비스(GPT-6 Astra, Claude Opus 5)에 의존하고 평가 일부가 LLM 판정으로 이뤄진다는 점, 온보드 구성이 4B FP8 양자화라는 점, 실세계 평가가 30 트라이얼 규모라는 점이다.

한계와 전제는 논문에 별도 절로 정리되어 있지 않지만 본문 곳곳에 흩어져 있다. 저자들은 데이터 스케일링 곡선이 각 단계에서 데이터 양과 소스 구성이 동시에 바뀌기 때문에 개별 소스의 가치가 아니라 누적 레시피를 측정한 것이라고 명시한다. codec allocation의 이득은 이미지들이 한정된 예산을 두고 경쟁하는 ρ_vis < 1 구간에서 가장 크고, 훈련 데이터의 시각적 다양성이 커질수록 커진다. VLN 데이터처럼 시뮬레이터 하나에 고정된 4개 카메라, 단일 모션 스케일이면 위치 규칙만으로 충분하다. 4B 모델은 cross-embodiment 데이터가 제공되기 전까지 R2R-CE에서 이득을 보지 못했고, 이는 변화 인식 규칙이 다양한 해상도로 제시되는 이미지를 읽는 능력을 요구하기 때문이다. 또한 행동 정책은 계획 모델보다 작고 지시 따르기가 약해 긴 롤아웃에서 드리프트하므로 증거 보고가 필수라는 전제가 깔려 있다. 모델·코드·평가 기록은 공개하겠다고 밝혔을 뿐 이 원문 시점에서는 아직 공개된 상태가 아니다.