GroundingPI가 정밀 그라운딩을 물리지능의 지각 기반으로 내세운다

무엇인가

이 논문은 로봇 조작과 자율주행 같은 물리적 상호작용에서 "무엇을 어디서 다룰지"를 지정하는 정밀 그라운딩이 병목이라고 진단한다. 현재 VLA(비전-언어-행동) 모델과 WAM(월드-액션) 모델은 범용 비전-언어 백본이나 비디오 생성 백본에서 지각 능력을 가져오는데, 저자들은 이 백본들이 밀집 장면과 작은 물체에서 실패하고 폐루프 제어에 필요한 속도도 보장하지 못한다고 본다. π0에서 π0.5로 가면서 바운딩박스 예측을 정책 레시피에 넣는 흐름이 있지만, 이는 과제별 보조 목표나 중간 표현에 그쳐 다양한 장면으로 확장하기 어렵다는 것이다. 그래서 저자들은 그라운딩을 파운데이션 모델의 네이티브 능력으로 학습시키는 쪽을 택하고, 지각 능력을 어디까지 밀어붙일 수 있는지, 강한 그라운딩이 물리지능에 무엇을 기여하는지, 어떤 지각 능력이 가장 중요한지를 세 가지 질문으로 세운다.

어떻게 동작하나

제안 모델 GroundingPI는 4B 파라미터의 자기회귀 그라운딩 파운데이션 모델이다. Kimi K3의 MoonViT-V2 시각 인코더와 Qwen3-4B 언어 디코더를 결합하고, 학습 가능한 프로젝터가 인접한 2×2 시각 특징을 모아 GELU와 출력 정규화를 쓰는 2층 MLP로 언어 임베딩 공간에 사상한다. 핵심 설계는 점과 박스를 1,000개의 양자화 좌표 토큰(<0>~<999>)으로 표현하고, 의미 라벨·프로토콜 마커·좌표 토큰을 하나의 출력 어휘에서 공유하는 것이다. 응답은 가변 길이이며 질의한 범주가 없으면 None을 낸다. 이 공유 인터페이스로 그라운딩, 참조, 포인팅, OCR, GUI·레이아웃 그라운딩, 시각 프롬프팅을 모두 언어 조건부 구조 생성으로 통일한다. 데이터는 공개 데이터셋과 자체 데이터 엔진을 함께 쓰는데, 엔진은 여러 교사 모델의 주석을 필드 단위로 융합하고 과제별 검증을 거친 뒤, 통과한 라벨로 통합 그라운딩 전문가를 학습시켜 반복 주석에 재투입한다. 학습은 세 단계다. 먼저 프로젝터 정렬 후 전체 모듈을 푸는 멀티모달·공간 사전학습, 다음으로 좌표와 시각 위치를 정렬하는 지도 미세조정(어시스턴트 응답 라벨만 손실에 포함하고, 이후 시각 인코더와 프로젝터를 고정한 채 언어 쪽을 다듬음), 마지막으로 GRPO 강화학습이다. GRPO는 이미지-질의 쌍마다 8개 응답을 샘플링하고, 참조별 최대 IoU 매칭으로 커버리지를 재는 R_set과 다중 임계 F1·위치·형식·개수·순서를 합치고 중복·과대 박스에 벌점을 주는 R_strict를 각각 표준화해 0.7 대 0.3으로 결합한다. OCR은 헝가리안 일대일 매칭으로 텍스트와 기하를 평가한다.

무엇과 다른가

실험 규모는 44개 베이스라인, 34개 그라운딩 벤치마크, 11개 지각 능력이다. GroundingPI는 평균 73.68%로, 더 큰 GPT-6 Astra(71.54%)를 앞서며 새 최고 성능을 세웠다. 밀집·소형 물체 검출에서 차이가 두드러진다. Dense200에서 74.53으로 Astra의 65.04, Qwen3-VL-4B의 14.02를 크게 웃돌지만 VisDrone은 여전히 어렵다고 밝힌다. OCR·문서 레이아웃에서는 SROIE 72.47(Astra 53.57), M6Doc 74.82(Astra 60.59)를 기록했으나 TotalText에서는 Astra가 더 강하고 DocLayNet에서는 SenseNova-Vision이 근소하게 앞선다. 객체 포인팅은 7개 항목 중 6개에서 1위지만 Dense200 포인팅은 Astra가 앞서, 점 선택과 경계 정밀도가 별개 문제임을 보여준다. 평가는 5개 시드에 시드당 2회씩 총 10회 평균을 쓰고, 로컬 평가 베이스라인은 3회 평균, GPT-6 Astra는 thinking effort를 High로 두고 평가했다.

어떻게 쓰나

다운스트림 검증은 두 갈래다. nuScenes 자율주행은 전방 카메라 이미지와 과거 ego 상태로 3초 horizon의 0.5초 간격 6개 웨이포인트를 생성하는 언어 조건부 궤적 예측으로 구성하고, 평균 open-loop L2 오차 0.296m를 얻어 Qwen3-VL-4B(0.301m)와 RynnBrain(0.308m)을 앞섰다. 로봇 조작은 π 스타일 flow-matching 정책에 StarVLA의 층별 연결을 붙여, 백본 중간 특징을 투영·리샘플링해 Action DiT의 크로스 어텐션에 주입한다. 벤치마크 안에서는 Action DiT, 행동 데이터, 최적화 예산, 추론 절차를 고정하고 사전학습 백본만 바꾼다. RoboTwin 2.0에서는 6개 평가 중 5개에서 1위, Full 설정 66.20%를 기록하고 OOD 4개 설정 모두에서 평가한 모든 주류 백본을 이기며 최강 백본 대비 최대 24.8% 상대 개선을 냈다. RoboCasa-GR1 Full에서는 37.75%로 RynnBrain의 39.00%에 근소히 뒤지지만, 데모 50%만으로 학습한 GroundingPI가 75%로 학습한 베이스라인들을 능가해 행동 데이터 효율을 보였다.

전제와 한계

분석 파트에서 저자들은 사전학습 규모와 데이터 구성을 분해한다. 규모를 키우면 그라운딩 품질과 다운스트림 행동 학습이 함께 좋아지고, 일반화가 지각 향상을 가장 밀접하게 따라간다. 데이터 구성 leave-one-out에서는 dense grounding을 빼는 것이 referring이나 robo pointing을 빼는 것보다 조작 두 split과 nuScenes 성능을 더 크게 떨어뜨려, 밀집 다중 객체 감독이 전이되는 공간 지각의 핵심이라고 주장한다. 반대로 OCR을 포함한 그룹을 빼면 조작에서 가장 큰 손실(5.33/3.63 pp)이 나지만 그 그룹만으로는 전이가 잘 되지 않아, OCR이 국소 정밀도와 시각-언어 정렬을 통해 지각 학습을 촉매한다는 가설을 제시한다. 다만 이 메커니즘은 가설로 남는다고 명시한다. 절제 실험에서는 양자화 좌표가 평균을 71.21에서 73.68로 올리고 텍스트 좌표는 0.25배 속도에 그쳤으며, MoonViT-V2가 73.68로 MoonViT(73.17), Qwen3-ViT(71.65)를 앞섰고 3단계를 빼면 72.86으로 떨어진다. 직렬화 효율도 COCO/Dense200에서 박스당 7.6/5.1 토큰으로 SEED1.5-VL의 148.8/74.5와 큰 차이를 보인다.

개발자 관점에서 이 논문의 실용적 주장은 명확하다. 행동 데이터가 비싼 로봇 학습에서 지각을 정책이 떠안게 하지 말고, 그라운딩 전용 사전학습으로 먼저 떼어내라는 것이다. 실제로 백본만 교체하는 통제 실험에서 조작 성공률과 OOD 일반화, 데이터 효율이 함께 움직였고, 좌표를 양자화 토큰으로 공유 어휘에 넣는 방식은 별도 검출 헤드 없이 기존 언어 디코더를 그대로 쓸 수 있게 한다. 다만 도입 전에 확인할 점도 분명하다. 저자들은 밀집·소형 물체와 OCR에서 강점이 균일하지 않다고 밝히고(VisDrone, TotalText, DocLayNet), 포인팅과 박스 정밀도가 다른 능력임을 지적한다. 또한 백본 선택이 학습 역학에 영향을 준다는 정황(RynnBrain1.1이 주행은 개선됐지만 조작 6개 설정 모두에서 RynnBrain에 뒤짐, Qwen3.5의 Gated DeltaNet과 gated attention, DeepStack의 다중 특징 정렬 부담)을 제시하면서도 아키텍처적 인과는 확립하지 못했다고 선을 긋는다.

한계는 저자들이 직접 밝힌다. 자율주행은 nuScenes로 오프라인 평가했고 로봇 조작은 시뮬레이션에서만 수행했으며, 실제 차량이나 로봇은 배치하지 않았다. 주행 결과는 폐루프 성능이나 대형 모델의 배치 한계를 입증하지 않으며, 표지판 읽기 같은 OCR 기여나 지연 시간도 이번 평가에서 분리해 측정하지 않았다. OCR 촉매 가설과, 절대 metric depth 대신 상대 깊이·시각적 그라운딩 목표를 우선하는 것이 더 낫다는 공간 감독 가설은 모두 검증되지 않은 채 남아 있다. 논문은 이 연구가 Xpeng 인턴십 중 수행된 탐색적 학술 연구로 상업적 배치나 제품 개발과 무관하며, 저자들의 견해가 회사의 공식 입장이 아니라고 명시한다.