ScaleNav가 인터넷 1인칭 영상으로 언어 조건 로컬 내비게이션을 학습한다

무엇인가

이 논문은 언어 조건 로컬 내비게이션을 다룬다. 로봇은 초기 관측에서 보이는 텍스트 지정 목표로 이동해 설명된 위치에서 멈춰야 한다. LLM 기반 상위 플래너가 긴 작업을 눈에 보이는 객체나 영역 단위의 짧은 목표로 나누는 경우에도 같은 능력이 필요하다. 기존 모듈형 접근은 목표 그라운딩과 공간 목표 변환 오류에 취약하고, 엔드투엔드 정책은 다양한 장면으로 일반화하려면 많은 데이터가 필요하다. 실제 로봇 행동 데이터는 수집 비용이 크고, 시뮬레이션 데이터는 sim-to-real 격차가 남는다. 인터넷 1인칭 영상은 다양한 실제 장면과 인간 내비게이션 행동을 담은 확장 가능한 시각 경험이지만 로봇 행동 레이블이 없다. 기존 방법처럼 궤적·기하 목표·잠재 행동을 중간 감독으로 추출하면 그 오류가 정책 학습으로 전파될 수 있다. ScaleNav는 이런 대리 목표를 만들지 않고, 인터넷 영상에서 목표 지향 시각 동역학을 학습해 행동 생성에 활용하려 한다.

어떻게 동작하나

방법의 중심은 공유 Diffusion Transformer 백엔드를 쓰는 통합 월드-액션 모델이다. 미래 관측과 행동 청크를 함께 예측하며, 행동은 평면 이동량과 요aw 변화로 정의된다. 각 시점의 행동은 (Δx, Δy, Δψ)이고, T개 행동이 하나의 행동 청크를 이룬다. 모델은 내비게이션 지시문, 현재 관측, 히스토리를 조건으로 미래 영상 잠재변수와 정규화된 행동 청크에 노이즈를 주고, 비디오 헤드와 액션 헤드가 각각 flow velocity를 예측해 공동 디노이징한다. 디노이징된 행동 표현은 역정규화되어 실행 가능한 행동 청크가 되고, 영상 잠재변수는 선택적으로 VAE로 디코딩된다. 초기 프레임 앵커는 내비게이션 내내 초기 프레임의 비디오 토큰을 유지해, 시점이 바뀌어도 “왼쪽 두 번째 문” 같은 지시문 해석이 흔들리지 않게 한다. 최근 여러 청크를 담은 슬라이딩 윈도와 함께 히스토리 조건을 만들고, 청크 단위 인과적 어텐션으로 현재 청크 토큰이 과거 토큰을 참조하게 한다.

무엇과 다른가

훈련은 세 단계다. 1단계는 인터넷 1인칭 영상에 내비게이션 지시문을 붙여 instruction-conditioned 비디오 사전학습을 한다. Wan2.2-TI2V-5B를 이어서 학습하되, 먼저 원래의 양방향 text-image-to-video 방식으로 학습하고, 이후 초기 프레임 앵커와 최근 비디오 청크를 노이즈 없는 히스토리로 쓰는 청크 단위 예측으로 넘어간다. 이 단계에서는 행동 토큰 없이 비디오 flow-matching 손실만 사용하고 VAE와 텍스트 인코더는 고정한다. 2단계는 행동 레이블이 있는 시뮬레이션 데이터로 행동 정렬을 한다. 무작위 초기화된 행동 임베딩 MLP와 액션 헤드, 그리고 공유 self-attention 층만 학습하고, 비디오 손실과 행동 손실을 정지 기울기로 계산한 λ로 가중해 결합한다. 인터넷 영상은 비디오 손실만으로 리플레이해 사전학습된 시각 사전지식을 유지한다. 도착 후 정지 행동은 마지막 비디오 프레임을 반복하고 (0,0,0) 행동을 붙여 불완전한 마지막 청크를 고정 길이로 패딩하는 방식으로 암묵적으로 학습한다. 패딩된 영상 위치는 비디오 손실에서 마스킹하지만, 패딩된 정지 행동은 행동 손실에 포함한다. 3단계는 남은 DiT 모듈과 비디오 헤드를 풀어 2단계와 같은 공동 목적함수로 전체를 미세조정한다.

어떻게 쓰나

데이터는 두 종류다. 인터넷 1인칭 영상은 SpatialVID-HQ의 장면 주석을 활용해 YouTube에서 약 6만 개의 실내 클립을 고르고, VLM으로 키프레임을 보며 카메라가 도착한 설명 가능한 객체·영역 후보를 찾는다. 각 후보에 대해 목표가 처음 보이는 키프레임까지 역추적해 시작·끝 구간을 자르고, VLM이 범주·속성·공간 관계로 내비게이션 지시문을 생성한다. 검토와 필터링을 거쳐 1만 8,200개의 내비게이션 세그먼트가 남는다. 행동 레이블 시뮬레이션 데이터는 InteriorGS의 실내 장면을 Habitat-GS에서 실행해 만든다. 초기 관측에서 목표를 고르고 장면 의미 주석과 VLM으로 모호하지 않은 지시문을 생성하며, 정답 내비메시 위에서 SCAN-Planner의 오프라인 2D 변형으로 충돌 없는 부드러운 궤적을 계획해 관측과 행동 레이블을 정렬한다. 이렇게 650개 장면에서 약 2,600개의 행동 레이블 에피소드를 얻는다. 두 데이터셋 모두 VLM이 지시문을 바꿔 말해 언어 다양성을 높인다.

전제와 한계

실험은 단일 시점으로 적응한 Short-Horizon OVON과 새로 만든 HabitatGS-LN에서 닫힌 루프로 평가한다. Short-Horizon OVON 적응판은 36개 HM3D 장면의 524개 에피소드이고, HabitatGS-LN은 45개 홀드아웃 InteriorGS 장면의 157개 에피소드다. 성공은 200 실행 스텝 안에 정지하고 유효 목표의 1.25m 이내에 드는 것으로 판정하며, 정답 목표 근접으로 정지를 트리거하지 않는다. 비교 대상은 NavDP, ApexNav, StreamVLN, Uni-NaVid다. ScaleNav는 Short-Horizon OVON에서 86.5%, HabitatGS-LN에서 94.9% 성공률을 기록해 평가된 베이스라인보다 성공률과 경로 효율(SPL) 모두 우수했다. RTX 4090에서 실행 행동당 분할 상환 추론 지연은 76ms였다. 동일한 행동 레이블 시뮬레이션 데이터를 쓰고도 인터넷 1인칭 영상을 추가한 덕분에 두 벤치마크에서 각각 5.3%p, 4.5%p 성공률이 올랐다.

절제 실험은 설계 선택의 근거를 보여준다. Depth Anything 3로 카메라 포즈를 추정해 의사 행동 레이블을 만들고 시뮬레이션 데이터와 섞어 2·3단계만 학습하면 73.9% 성공률, 67.1% SPL로 인터넷 영상 없는 변형보다도 낮았다. 포즈 추정 오류가 행동 감독에 노이즈를 넣을 수 있기 때문으로 해석된다. 별도 비디오 사전학습 없이 2·3단계에서 인터넷 영상과 시뮬레이션 데이터를 공동 학습하면 90.4% 성공률, 83.1% SPL로 전체 모델의 94.9%, 86.1%에 못 미쳤다. 초기 프레임 앵커를 빼면 성공률이 94.9%에서 89.8%로 떨어졌고, 2단계를 생략하면 93.6%, 2·3단계에서 인터넷 영상 리플레이를 빼면 94.3%였다. 실제 로봇 실험은 Unitree Go2로 전시홀, 개방형 라운지, 사무실에서 수행했다. 환경당 4개 과제, 과제당 5회 시도로 총 60회를 평가했고, ScaleNav는 전체 83.3% 성공률로 세 환경 모두에서 평가된 방법 중 가장 높았다.

개발자 관점에서 이 논문은 행동 레이블이 부족한 로봇 내비게이션에서 인터넷 1인칭 영상을 사전학습 자산으로 쓰는 구체적 절차를 제시한다. 단일 시점 RGB, 평면 이동과 요aw 변화라는 행동 공간, 정지 행동을 포함한 행동 청크 예측, 76ms 수준의 추론 지연은 실무 적용 가능성을 가늠할 지표가 된다. 다만 저자들이 밝힌 한계처럼 정량 평가는 실내에서 초기 관측에 보이는 객체 목표로의 내비게이션에 집중되어 있다. 야외 환경과 영역 수준 목표로의 일반화는 아직 평가되지 않았다. 또한 인터넷 영상의 VLM 기반 주석과 시뮬레이션 행동 데이터로 정렬한다는 전제, 포즈 추정 기반 의사 행동 레이블이 성능을 떨어뜨릴 수 있다는 절제 결과도 함께 확인해야 한다.