GroundAnything가 확산 모델로 병렬 시각 그라운딩을 가속한다

무엇인가

시각 그라운딩은 이미지와 질의를 받아 객체·위치·공간 관계를 박스, 포인트, 순서 있는 포인트 열로 뽑아내는 작업이다. Pix2Seq, Florence-2, Rex-Omni 같은 자기회귀(AR) 모델은 이를 구조화된 토큰 시퀀스로 직렬화하는데, 이 방식은 라벨과 좌표를 하나씩 순서대로 생성하므로 순차 지연이 생기고 출력 상호작용이 이미 생성된 접두사에만 제한된다. 논문은 이 비용이 밀집 장면과 복잡한 레이아웃에서 특히 크다고 지적한다. 저자들의 출발점은 관찰 하나다. 사람은 물체를 알아보거나 간판을 읽을 때 순서가 달라도 같은 판단에 도달한다. 즉 공간 변수들은 이미지와 질의에 의해 공동으로 제약될 뿐, 왼쪽에서 오른쪽으로 생성해야 할 내재적 순서가 없다는 것이다. 그래서 그라운딩을 '구조화된 시각 증거 추출'로 재정의하고, 양방향 마스크 확산을 자연스러운 생성 방식으로 택한다.

어떻게 동작하나

모델 구조는 MoonViT-V2(Kimi K3) 비전 인코더, 2×2 공간 집계와 2층 MLP로 구성된 프로젝터, Qwen3-4B 언어 디코더를 결합한 4B 파라미터 모델이다. 출력 인터페이스는 의미 라벨, 프로토콜 마커, 1,000개의 양자화 좌표 토큰(<0>–<999>)을 하나의 공유 어휘로 묶고, 질의한 범주가 없으면 None 페이로드를 내보낸다. 생성은 블록 단위 마스크 확산으로 이뤄진다. 전체 응답을 K개의 연속 블록으로 나누고 p(Y|I,Q)를 블록별 조건부 확률의 곱으로 모델링하는데, 각 블록 안에서는 양방향 어텐션이 병렬 토큰 복원을 허용하고 완료된 블록들은 인과적 접두사를 이룬다. 이 덕분에 KV 캐시 재사용이 가능하다. AR 모델에서 확산 모델로의 직접 변환은 마스크 토큰을 추가하고 B=32 블록에 대해 인과 예측과 블록 단위 디노이징을 함께 학습하는 방식이며, 손실은 마스크 확산 손실과 AR 손실을 0.5 대 0.5로 결합한 L = 0.5·L_MDM + 0.5·L_AR다. 두 모드가 같은 디코더와 어휘 헤드를 공유하기 때문에 자기추측 디코딩도 같은 가중치로 돌아간다.

무엇과 다른가

학습 파이프라인은 여러 단계로 쌓인다. 먼저 커넥터 정렬, 공동 멀티모달 사전학습, 일반 시각·비디오 이해의 3단계로 베이스 VLM을 만든다. 그라운딩 사전학습은 공개 데이터셋과 자체 데이터 엔진을 함께 쓴다. 데이터 엔진은 여러 교사 모델의 주석을 필드 수준에서 융합하고 과제별 검증을 거친 뒤, 채택된 라벨로 통합 그라운딩 전문가를 학습시켜 반복 주석을 수행한다. 필드 유효성과 질의 수준 커버리지를 따로 검사하기 때문에 빈 결과만으로 부재를 단정하지 않는다. 이후 AR에서 확산으로 변환하고, 지도 미세조정과 GRPO 기반 강화 후학습을 적용한다. GRPO는 인과 롤아웃과 정확한 인과 토큰 우도로 수행하며, 박스 그라운딩은 집합 완전성과 엄격 위치 정확도 보상을 0.7 대 0.3으로 결합하고 OCR은 주석 인지 텍스트-기하 일치도, 포인팅은 위치·개수·라벨·형식을 채점한다. 비전 인코더는 동결하고 참조 정책 KL 항 없이 롤아웃당 한 번 업데이트한다.

어떻게 쓰나

실험은 11개 지각 능력에 걸친 30개 벤치마크에서 44개 베이스라인과 비교한다. AR 변형인 GroundAnything-VLM은 동급 규모 모델 중 72.42%로 새 전체 최고 기록을 세웠고 GPT-6 Astra(71.35%)와 경쟁력 있는 수준이다. 순수 확산 디코딩을 쓰는 GroundAnything은 엔트로피 유도 디코딩으로 평균 61.75%를 기록해, MTP 기반 LocateAnything의 53.32%를 앞선다. 세부적으로 Dense200에서 70.04 F1mIoU, RefCOCOg val/test에서 91.61/91.10을 냈고, RefSpatial Unseen은 AR 대응 모델과 같은 62.34%, ScreenSpot-Pro는 65.34%에서 75.96%로 올랐다. DocLayNet 85.78, M6Doc 74.76(VLM 기준), Dense200 비주얼 프롬프팅 63.52를 기록했고 객체 포인팅에서는 6개 비교 중 5개에서 VLM이 앞섰다. 다만 작은 물체 위치 추정은 여전히 어렵고, OCR과 레이아웃은 참조·GUI 그라운딩보다 확산-AR 격차가 크다. 좌표 표현을 텍스트 대신 양자화 토큰으로 쓰면 절제 실험 평균이 VLM 1.43%p, GroundAnything 5.68%p 개선됐고, 3단계 학습을 빼면 확산 모델 성능이 16.62%p 떨어져 가장 큰 손실이었다. 출력 효율도 눈에 띄는데 COCO에서 박스당 7.6토큰, Dense200에서 5.1토큰으로, SEED1.5-VL 기준 148.8/74.5토큰과 큰 차이를 보인다.

전제와 한계

속도 분석은 디코딩 전략별 트레이드오프를 정면으로 다룬다. 기본 엔트로피 유도 디코딩은 엔트로피 H_j가 임계값 τ 이하인 마스크 위치를 확정하고, 아무것도 조건을 만족하지 못하면 가장 낮은 엔트로피 위치를 확정해 진행을 보장한다. B=32에서 τ=0.8일 때 COCO F1mIoU 60.72로 이 스윕의 최고값을 내면서 127.0 TPS, 즉 GroundAnything-VLM 대비 2.56배 처리량을 달성했다. 블록 크기도 균일하게 클수록 좋지 않아, 엔트로피 유도 품질은 B=16에서, 선형 자기추측은 B=32에서 정점을 찍었다. 자기추측 모드는 확산 드래프팅과 인과 검증을 결합해 AR 대비 4.51배 속도를 내면서 COCO F1mIoU 손실은 0.74%p에 그쳤다. MTP와의 비교에서는 K=16일 때 1스텝 확산이 라운드당 3.48개 드래프트 토큰을 수용해 인과 MTP의 2.69개보다 많았고, 수용된 드래프트 토큰당 비용도 7.71ms에서 5.38ms로 줄었으며 두 번째 정제 단계를 넣으면 4.70ms가 됐다. 양방향 어텐션은 Dense200의 미매칭 유효 제안 비율을 인과 MTP 24.89%에서 14.79%로 낮췄다(재학습한 인과 대응 모델은 21.74%). SGLang, CUDA Graph, FP8을 단계적으로 적용한 인프라 스택은 각 디코딩 모드의 네이티브 PyTorch 구현 대비 3.45–4.06배 속도를 냈고 자기추측 모드는 토큰당 3.73ms까지 내려갔다.

개발자 입장에서 이 논문의 실용적 함의는 좌표를 대량으로 뱉는 지연 민감 파이프라인에 있다. 밀집 검출, GUI 요소 위치 찾기, 문서 OCR, 로봇 지각처럼 출력이 길어질수록 AR 직렬 생성 비용이 커지는 워크로드에서, 블록 단위 병렬 채우기와 엔트로피 임계값이라는 '디코딩 노력' 손잡이가 정확도-속도 곡선을 조절하는 수단이 된다는 점을 수치로 보여준다. 다만 도입 전에 확인할 것은 세 가지다. 첫째, 자기추측 모드는 확산 드래프팅에 AR 검증·교정을 섞기 때문에 순수 확산 디코딩이 아니며, 논문도 메인 벤치마크 표에서는 엔트로피 유도 확산만 쓴다고 명시한다. 둘째, OCR과 레이아웃 과제에서 확산-AR 격차가 상대적으로 크므로 과제별로 어느 쪽을 쓸지 따로 측정해야 한다. 셋째, 블록 크기와 엔트로피 임계값의 최적점이 디코딩 모드마다 다르므로(엔트로피 유도 B=16, 선형 자기추측 B=32) 배포 환경에서 재튜닝이 필요하다.

저자들이 밝힌 한계와 전제도 분명하다. 작은 물체 위치 추정은 여전히 도전 과제로 남고, GPT-6 Astra가 RefSpatial과 GUI 과제에서는 더 강하다. GroundAnything은 연구용 범용 시각 그라운딩 모델로 개발된 것이지 안전 필수(safety-critical) 실세계 배포용이 아니며, 실험은 실제 로봇 제어나 자율주행, 사람과의 상호작용을 포함하지 않는다. 향후 임베디드나 자율 시스템에 통합할 경우 별도의 안전 평가와 인간 감독이 필요하다고 못박는다. 또한 이 연구는 저자 중 한 명이 Xpeng Inc. 인턴십 중 수행한 탐색적 학술 연구로, 상업적 응용이나 제품 개발과 무관하며 데이터는 상업 모델 학습·평가와 엄격히 분리해 관리됐다고 밝힌다.