목표 가시성과 거리 명시로 물체 목표 내비게이션 정지 실패를 줄인다

무엇인가

이 논문은 물체 목표 내비게이션(object-goal navigation)에서 VLM을 미세조정한 정책이 왜 낮은 성공률을 보이는지 진단한다. 에이전트는 낯선 장면에 투입되어 이름으로 주어진 목표 범주(예: 수건)의 인스턴스를 찾고, 단계 예산 안에서 그 근처에 멈춰야 한다. 오픈보캐뷸러리 설정에서는 테스트 목표 범주가 학습 중에 목표로 쓰이지 않았을 수 있다. 저자들은 정책이 탐색은 잘하지만 목표가 이미 시야에 있는지, 얼마나 떨어져 있는지를 판단하는 목표 그라운딩에서 주로 실패한다고 본다. 근거로 end-to-end 정책이 76% 에피소드에서 목표 0.25m 이내까지 가지만 성공은 52%에 그쳤고, 정답 그라운딩을 주면 같은 정책의 성공률이 89%로 오르며 도달 후 실패가 24%에서 5%로 줄었다는 분석을 제시한다.

어떻게 동작하나

해법은 목표 그라운딩을 명시적 텍스트로 만드는 것이다. 그라운딩 텍스트는 두 필드로 구성된다. 하나는 현재 시야에 있는 물체 범주 목록이고, 다른 하나는 목표까지의 거리다. 이 텍스트는 학습 장면의 의미·기하 주석에서 컴파일되므로 모든 시연 프레임이 추가 라벨링 비용 없이 정답 그라운딩을 갖는다. 테스트 시에는 주석이 없으므로 두 모델 파이프라인을 쓴다. 지각 모델은 최근 RGB 관측과 목표 단어로 그라운딩 텍스트를 예측하고, 정책 모델은 프레임과 그라운딩 텍스트가 교차된 이력을 읽고 다음 행동을 출력한다. 두 모델은 분리 학습되며 정책은 정답 그라운딩으로, 지각 모델은 같은 주석으로 학습된다. 저자들은 한 모델이 그라운딩을 쓰고 바로 행동하는 방식이 더 나쁘다고 보고, 지각 Qwen3-VL-4B와 정책 Qwen3-VL-2B를 사용했다. 학습에는 145개 HM3D-OVON, 61개 MP3D, 123개 HSSD 학습 장면에서 만든 310만 개 시연(2억 5천만 프레임)이 필터링 전 기준으로 쓰였고 평가 장면은 쓰지 않았다.

무엇과 다른가

저자들은 기존 벤치마크 평가도 신뢰할 수 없다고 지적한다. HM3D, MP3D, HSSD의 물체 이름은 자유 형식 문자열이라 같은 물체가 couch와 sofa, picture와 painting처럼 다른 이름으로 등장하고, 목표 물체가 주석되지 않은 거짓 음성과 잘못된 이름이 붙은 거짓 양성도 있다. 이들은 2,408개 원시 라벨을 540개 물체 클래스로 병합하고, 목표 클래스의 어느 인스턴스에서 멈춰도 인정하도록 고쳤다. 또한 수동 감사로 HM3D val_unseen 에피소드의 약 4분의 1을 두 오류 때문에 제외했다. 보정된 기준은 목표 인스턴스가 이미지의 5% 이상을 차지하는 시점에서 0.25m 이내에 멈추는 것을 성공으로 본다. 이 clean 프로토콜에서 강한 에이전트일수록 공식 기준이 거부하던 유효한 정지를 더 많이 하므로 점수가 더 크게 오른다.

어떻게 쓰나

실험은 HM3D, MP3D, HSSD의 6개 벤치마크에서 진행됐다. 오픈보캐뷸러리 과제는 HM3D-OVON, MP3D-OV, HSSD-OV이고, 폐쇄보캐뷸러리 과제는 6·21·6개 범주의 ObjectNav다. 비교 대상은 Uni-NaVid, LightNav-0, Nav-R 2, DAgRL, VLFM이며 지표는 성공률이다. 저자들은 모든 벤치마크에서 모든 보고 프로토콜상 1위라고 주장한다. HM3D-OVON val_unseen의 clean 평가에서 가장 강한 베이스라인 LightNav-0보다 8.8포인트 앞섰고, clean 기준은 격차를 6.4포인트에서 8.8포인트로 넓혔다. 새 오픈보캐뷸러리 벤치마크에서는 HSSD-OV 56.4%, MP3D-OV 49.9% 성공률을 보고한다. clean 평가는 LightNav-0를 13포인트, 이 시스템을 16포인트, 같은 정책에 정답 그라운딩을 준 경우를 19포인트 올렸다. 목표 0.25m 이내에 도달한 뒤에는 clean val_unseen에서 이 시스템이 90%, LightNav-0가 80% 성공했다.

전제와 한계

절제 실험의 핵심은 그라운딩을 분리한 지각 모델이 쓴다는 점이다. 한 모델이 그라운딩 텍스트를 쓰고 행동까지 하면 val_unseen 성공률이 50.7%로, 그라운딩이 전혀 없는 정책보다도 낮았다. 별도 지각 모델이 같은 텍스트를 쓰면 69.6%로 올랐고, 의미 필드만으로도 68.7%를 회복했으며 거리 필드를 더하면 성공률이 더 개선됐다. 정답 그라운딩을 주면 같은 정책의 clean HM3D-OVON val_unseen 성공률이 22.0포인트 상승한다. 예측 그라운딩에서 목표가 양쪽 인벤토리에 있을 때 거리만 정답으로 바꾸면 9.0포인트 올라 78.6%가 되고, 범주 목록까지 정답으로 바꾸면 13.0포인트 더 올라 91.6%가 된다. 전문가와의 남은 격차는 4.5포인트다. 지각 오류 분석에서는 목표 가시성 오류가 실패의 43%, 거리 오류가 26%를 차지했고, 세 오류 유형이 전체 실패의 69%를 설명했다. 목표가 보일 때 지각 모델이 목표를 보고하는 비율이 높은 범주일수록 성공률도 높았고, 옷걸이·병·책처럼 작거나 얇은 물체는 침대·소파 같은 큰 가구보다 덜 보고됐다.

개발자 관점에서 이 논문은 VLM/VLA 기반 로봇 내비게이션을 행동 복제만으로 끝내지 말고, 목표 가시성과 거리 같은 중간 표현을 명시적으로 감독하라는 신호를 준다. 특히 정지 결정을 탐색 성능과 분리해 평가해야 하며, 목표 물체를 찾았는지와 목표까지의 거리를 별도 지각 문제로 다루면 정책을 다시 학습하지 않고도 지각 개선을 시스템 성능으로 연결할 수 있다. 실무에서는 벤치마크의 물체 이름·주석 일관성과 정지 성공 기준을 먼저 확인해야 한다. 저자들은 오픈보캐뷸러리 검출기를 그대로 쓰는 경우 라벨 집합이 주석과 달라 부정확한 예측이 정책을 혼란시켰다고도 밝힌다.

한계는 분명하다. 그라운딩 감독이 3D 장면의 의미·기하 주석에서 나오므로 학습 데이터가 주석이 있는 장면 컬렉션으로 제한된다. 주석 없는 실제 비디오에서 그라운딩을 학습하는 것은 더 큰 데이터원을 열 수 있지만 이 논문에서는 다루지 않는다. 또한 평가는 정적 실내 장면의 시뮬레이션에서만 이뤄졌고 실제 로봇 실험은 없다. 저자들은 VLM 정책이 같은 시뮬레이션 장면으로 학습된 경우 실제 로봇에 적응 없이도 동작한 사례가 있어 이득이 이어질 것으로 기대하지만, 이는 검증된 주장이 아니라 기대다. 마지막으로 이 논문의 결론은 목표 그라운딩이 물체 목표 내비게이션의 빠진 조각이며, 명시적 그라운딩이 단순하고 효과적인 해법이라는 것이다.