SL-Ground가 문장 단위 점수화로 미세 객체 탐지의 토큰 병목을 푼다

무엇인가

개방 어휘 객체 탐지(OVOD)는 고정 분류기를 자연어 설명으로 대체하는데, GLIP과 Grounding DINO로 대표되는 grounding 기반 검출기는 객체 쿼리를 개별 텍스트 토큰에 정렬하고 토큰→클래스 집계로 클래스 점수를 복원한다. 이 논문은 그 토큰 수준 점수화가 미세한 개방 어휘 탐지에서 병목이 된다고 지적한다. Stanford Cars의 "BMW X3 SUV" 같은 범주명은 브랜드, 모델명, 차종이 합성된 완전한 설명인데, X3나 S4 같은 모델명 조각은 단독으로 보면 시각적으로 충분히 규정되지 않고, BMW X3 SUV와 BMW X5 SUV처럼 후보 범주들이 같은 토큰을 공유한다. 집계 연산은 원래 설명의 완전한 의미를 보존하지 못하고, 연산 비용은 처리하는 총 토큰 길이에 비례한다.

어떻게 동작하나

SL-Ground의 변경은 검출 파이프라인이 아니라 텍스트 쪽 인터페이스에 있다. 모든 범주 설명을 하나의 토큰 시퀀스로 직렬화하는 대신, 각 후보 범주를 별도의 CLIP 텍스트 입력으로 넣고 end-of-text 위치의 풀링 특징을 텍스트 투영층으로 검출기 은닉 차원에 사상해 클래스 특징 행렬 P̄를 만든다. 텍스트 축이 L개 토큰 임베딩에서 K개 클래스 임베딩으로 바뀌므로, 쿼리-클래스 점수는 토큰 로짓의 집계가 아니라 [B, Q, K] 크기의 직접 비교로 계산된다. CLIP이 문장 단위 표현을 내놓기 때문에 서브문장 텍스트 특징을 뽑던 self-attention·마스킹 서브레이어는 제거하고, 양방향 이미지-텍스트 융합 레이어는 유지한다. 특징 인핸서가 시각 토큰 V와 P̄를 융합해 V′와 P′를 만들고, 인코더 제안 로짓 V′P′ᵀ/√D에서 각 시각 위치마다 클래스 축 최댓값을 제안 점수로 삼아 상위 Q개를 객체 쿼리로 선택한다. 디코더는 쿼리 self-attention, P′에 대한 쿼리-텍스트 cross-attention, V′에 대한 deformable attention, FFN으로 쿼리를 정제하고, 예측 헤드는 내적에 학습 가능한 스칼라 편향을 더해 쿼리-클래스 로짓을 직접 낸다. 학습 목적함수는 분류·L1·GIoU로 구성된 표준 set prediction 손실이며, 분류 손실이 집계 과정 없이 문장 수준 특징에서 나온 로짓에 바로 걸린다는 점이 토큰 수준 방식과 다르다.

무엇과 다른가

Stanford Cars 실험에서 원문은 196개 클래스명에서 모델 연도를 제거하고 이름이 같아진 클래스를 병합해 189개 차모델 범주를 만들고, 차종·브랜드·차모델 세 가지 라벨 세분도를 평가한다. 동일한 Swin-T 검출 파이프라인에서 BERT 토큰 수준(GD-BERT), CLIP 토큰 수준(GD-CLIP), CLIP 문장 수준(SL-Ground)을 비교했을 때, 텍스트 인코더만 BERT에서 CLIP으로 바꾸면 차종 AP가 70.3에서 80.5로, 브랜드 AP가 40.1에서 73.3으로 올랐지만 차모델 AP는 10.3에서 14.5로 소폭 개선되는 데 그쳤다. CLIP 인코더를 고정한 채 융합·쿼리 선택·예측 전 단계를 문장 수준으로 바꾸면 차모델 AP가 14.5에서 86.0으로 뛴다. 다만 저자들은 이 비교가 검출기 쪽 각 변경의 기여를 개별적으로 분리하지는 않는다고 명시한다. GD-CLIP이 75토큰 프롬프트 한도 안에서 후보를 샘플링해 학습하는 것과 달리 SL-Ground는 189개 전체 어휘로 학습하는데, 동일한 후보 샘플링 정책을 적용해도 SL-Ground는 70.6 AP로 GD-CLIP의 14.5 AP를 크게 앞선다. 고정 후보 수를 12, 32, 64, 189로 늘리면 AP가 65.5, 76.7, 83.0, 86.0으로 올라 이득이 점차 줄어든다.

어떻게 쓰나

세분도 간 전이 행렬에서는 학습과 평가 세분도가 일치할 때 SL-Ground가 가장 효과적이어서 차종 88.0, 브랜드 92.8, 차모델 86.0 AP를 기록했지만, 비대각 전이는 제한적이어서 차종 라벨로 학습한 모델은 브랜드·차모델 평가에서 거의 0에 가깝고 브랜드 학습에서 차모델로의 최고 전이 AP도 13.7에 머문다. COCO와 miniLVIS에서는 비교 방법 중 최고 전체 AP 25.27과 rare 범주 AP 18.52를 기록했고, miniLVIS에서 GD-CLIP 대비 1.10 AP를 내주는 대신 47.2배 FPS를 얻고 GD-BERT 대비로는 9.49 AP와 21.2배 FPS를 개선하며 피크 메모리는 토큰 수준 변형 대비 최대 0.15GB만 늘었다. FG-OVD에서는 평균 AP가 18.0에서 61.6으로 올라 Transparency를 제외한 모든 서브셋에서 DSAA(33.5→34.0)를 웃돈다. 위치 정확도 통제 진단에서는 정답 박스와 IoU 0.75 이상인 검출만 남겼을 때 이미지 수준 정확도가 Dog-120 86.54%, CUB-200 84.74%, Car-196 85.09%였고, 정답 객체에 매칭된 쿼리 중 오답 클래스 텍스트에 더 가까운 비율은 GD-BERT 95%, GD-CLIP 97%, SL-Ground 44%로 나타났다. 단일 프롬프트 청크를 쓰는 Stanford Cars 차종 라벨에서 총 지연은 GD-BERT 62.3ms, GD-CLIP 60.2ms, SL-Ground 51.2ms였다.

전제와 한계

개발자 관점에서 이 논문의 실질적인 메시지는 어휘 확장 시의 비용 구조다. 토큰 수준 grounding은 직렬화된 어휘의 총 토큰 길이에 의존해서 텍스트 인코더 한도를 넘으면 프롬프트를 여러 청크로 쪼개고 청크마다 검출기를 따로 통과시켜야 한다. 원문에 따르면 miniLVIS는 31개 청크가 필요하고, 청크별 상위 300개 예측을 전역 top-k나 청크 간 NMS 없이 이어붙여 시각화 전 최대 9,300개 예측이 생긴다. SL-Ground는 범주마다 독립적인 클래스 특징을 갖고 한 번의 패스로 전 클래스를 점수화하므로, 브랜드·모델명·차종이 합쳐진 긴 라벨 집합을 다루는 차량 인식이나 상품 인식에서 어휘를 늘려도 지연이 거의 평평하게 유지된다. 도입을 검토한다면 텍스트 인코더를 CLIP 계열 문장 인코더로 바꾸고 클래스별 임베딩을 캐싱하는 구조가 필요하며, 검출기 본체는 Grounding DINO 계열을 그대로 쓸 수 있다는 점이 실무적 이점이다.

저자들이 밝힌 전제와 한계는 분명하다. GD-CLIP에서 SL-Ground로의 비교는 검출기 쪽 변경 각각의 기여를 분리하지 못하고, 세분도 간 전이는 제한적이어서 거친 라벨 학습으로 정체성 수준 라벨을 복원할 수 없다. FG-OVD 비교는 공개 베이스라인의 사전학습과 구현이 다를 수 있어 외부 성능 비교 수준으로만 제시되며, 이미지 수준 인식 진단은 정답 박스를 이용해 검출을 고르므로 동일한 예측 파이프라인에서의 비교가 아니다. 정성적 그림에서 SL-Ground의 박스가 적게 보이는 것은 청크 출력을 이어붙이는 처리 방식 차이를 일부 반영하므로 그것만으로 인식이나 위치 추정의 우위를 주장하지 않는다. 향후 과제로는 문장 수준 grounding이 가장 유리한 지점을 더 규명하고, referring expression이나 속성 위치화처럼 단어 수준 대응이 필요한 작업에는 토큰 수준 또는 하이브리드 설계가 필요하다는 점을 남긴다.