스케치 한 장으로 사진 속 특정 인스턴스를 지목하는 인식 MLLM

무엇인가

프롬프트 기반 인식은 GroundingDINO가 텍스트로 탐지기의 어휘를 열고, T-Rex2가 박스와 예시 이미지를 프롬프트로 추가하고, Rex-Omni가 탐지·포인팅·참조 해석·시각적 프롬프팅을 좌표 토큰 하나로 통합하는 흐름으로 발전해 왔다. 그러나 이 계열의 모든 모델은 사진을 전제로 만들어졌고 스케치를 입력받은 적이 없다. 이 논문이 지적하는 핵심은 스케치가 또 하나의 이미지 종류가 아니라, 카메라 앞에 있던 것을 기록한 사진과 달리 사람이 머릿속에 가진 것을 기록한 표현이라는 점이다. 스케치는 특정 사물 하나의 형태를 담기 때문에, 카테고리 이름이나 사진 예시로는 던질 수 없는 질문, 즉 같은 카테고리 인스턴스가 여러 개 있는 사진에서 '바로 이것'을 지목하는 질의를 가능하게 한다. 저자들은 이를 인스턴스 수준 스케치 기반 시각적 프롬프팅(instance VP)이라 부르고, 스케치를 이미지로 두고 텍스트 프롬프트로 탐지·포인팅·객체 참조·공간 참조·어포던스 그라운딩을 수행하는 다섯 가지 '스케치 네이티브' 과제와, 스케치를 프롬프트로 두어 사진 속 인스턴스를 찾는 방향을 함께 다룬다.

어떻게 동작하나

방법의 뼈대는 Rex-Omni(Qwen2.5-VL-3B 백본)를 그대로 두고 LoRA rank-64 어댑터만 붙이는 것이다. 언어모델 모든 블록의 선형 계층과 비전 인코더의 query·key·value·output 투영에 어댑터를 달고 원본 가중치는 동결한다. 좌표는 1000개 빈으로 이산화해 전용 좌표 토큰으로 예측하는 next-token prediction 구조를 유지하므로, 인터페이스 자체는 바뀌지 않는다. 문제는 두 가지다. 사진으로 학습된 모델의 어텐션은 색과 질감에 맞춰져 있어 대부분이 여백이고 모든 단서가 선인 스케치에서는 주의가 빈 공간으로 흩어진다. 그리고 손으로 그린 그림과 그것이 가리키는 특정 인스턴스를 짝지은 데이터셋이 없다.

무엇과 다른가

첫 번째 단계(Stage A)는 데이터를 모으는 대신 만들고, 특징이 아니라 관계를 정렬한다. 라벨이 붙은 사진을 HED 엣지 검출기로 선화로 바꾸면 박스·구문·어포던스 라벨이 그대로 따라오므로, Objects365(탐지·포인팅), RefCOCOg(객체·공간 참조), AGD20K(어포던스)를 라벨링 비용 없이 스케치 학습에 쓸 수 있다. 스케치에는 색과 질감이 없으니 어휘 필터로 구문에서 외형 표현을 걷어내고, 필터가 실제로 손댄 구문만 베이스 모델로 사진 위에서 다시 그라운딩해 라벨로 삼는다. 정렬 손실은 두 가지다. 구문이 자기 영역을 선택하는 능력에 해당하는 cross-modal query-to-key 관계를 사진 경로와 스케치 경로 사이에서 맞추는 L_cross, 한 객체의 패치들이 서로 묶이는 intra-modal query-to-query 관계를 맞추는 L_intra다. 두 손실 모두 RoPE가 적용된 뒤의 코사인 유사도를 모든 디코더 레이어와 헤드에서 비교하고, L_cross는 모든 시각 위치를 키로 두어 빈 영역에 걸린 유사도를 벌점으로 삼고 L_intra는 정답 박스와 겹치는 전경 패치로 질의를 제한한다. 가중치는 λ_cross=0.5, λ_intra=0.25이며 사진 경로는 그래디언트 없이 한 번 더 순전파된다. 특징 자체는 서로 달라도 된다는 것이 설계 의도로, 스케치 경로가 사진처럼 보이도록 요구하지 않고 관계만 같아지도록 한다.

어떻게 쓰나

두 번째 단계(Stage B)는 사진 한 장과 질의 스케치 한 장을 컨텍스트에 넣고 스케치를 질의로 명시하는 프롬프트를 붙인다. 필요한 감독 데이터, 즉 자유곡선 그림과 그것이 묘사하는 장면 속 단일 인스턴스의 연결은 존재하지 않으므로 두 가지 방식으로 합성한다. 하나는 스케치-사진 쌍 데이터셋(Sketchy)에서 짝 사진과 같은 카테고리의 방해 사진들을 저잡음 배경 위에 타일로 붙여, 그림이 그중 정확히 하나만 지목하도록 만드는 구성이다. 다른 하나는 실제 장면의 혼잡함과 가림을 살리기 위해, Objects365의 라벨된 객체 영역을 그 사진의 엣지 스케치에서 잘라 질의로 쓰고 원본 사진에서 그 인스턴스를 찾게 한다. 전자는 그리기 스타일 변화에 대한 관용을, 후자는 실제 장면에서의 정밀한 형태 매칭을 학습시킨다. 두 단계는 50 옵티마이저 스텝마다 2:3 비율로 교차하고, 마지막에 지역화 보상을 주는 GRPO 패스가 모든 설정에 공통으로 적용된다.

전제와 한계

결과는 인스턴스 VP에서 91.4 F1(IoU 0.5)으로, 같은 두 이미지를 받은 범용 MLLM 최강자인 Qwen3-VL-8B의 81.8을 앞선다. 베이스인 Rex-Omni는 시각 프롬프트가 대상 사진 내부의 박스를 요구하는 구조라 이 과제에서 4.0에 그친다. 카테고리 인스턴스가 하나뿐일 때 격차가 8.4 F1, 여러 개일 때 17.2 F1로 벌어져 이점이 정확히 '이름이 통하지 않는 지점'에 집중된다. FS-COCO의 Hard 분할(IoU 0.5)에서는 80.3 대 63.1, 탐지기와 스케치 검색기(GroundingDINO+ZSE-SBIR)를 조합한 파이프라인 대비로는 SketchyCOCO 7.7, FS-COCO 40.3 F1 앞선다. 자유곡선 탐지에서 Qwen3-VL-8B가 IoU 0.5에서 75.3이던 성능이 0.9에서 23.0으로 무너지는 동안 Sketch-Omni는 65.7을 유지했고, IoU 0.9 기준 F1에서 베이스 Rex-Omni를 9.6, 최고 범용 MLLM을 42.7 앞선다. 참조 해석은 IoU 0.9에서 객체 F1 43.1/42.7 대 베이스라인 25.4/25.9, AGD20K 어포던스는 포인팅 전문 모델들을 3B 모델로 제치고 Rex-Omni 대비 14.9와 13.3을 개선했다. 여섯 과제 40개 셀 중 39개에서 최고이며, 정렬 손실은 14개 절제 셀 전부를 최대 4.3 F1 끌어올린다.

개발자 관점에서 이 논문의 실용적 요지는 두 가지다. 첫째, 새 모달리티를 붙일 때 라벨을 모으는 대신 기존 라벨을 보존하는 변환(엣지 검출)으로 감독을 합성하고, 표현 특징이 아니라 어텐션 관계를 교사 경로에 맞추는 방식이 3B급 모델에서도 통한다는 점이다. 둘째, 스케치는 사진 예시나 카테고리 이름으로는 표현 불가능한 인스턴스 지정 프롬프트로 쓸 수 있어, 아직 촬영되지 않은 제품이나 사진이 없는 대상을 검색·지목하는 UI에 응용 여지가 있다. 다만 도입 전에 확인할 것은 평가가 대부분 엣지 스케치(HED) 또는 FS-COCO 자유곡선에 한정되어 있다는 점, 좌표 토큰 회귀 방식이라 IoU 0.9 같은 타이트한 박스에서 성능이 크게 떨어진다는 점, 그리고 공개 예정이라고 밝힌 코드·모델·벤치마크가 아직 실제로 배포되었는지다.

저자들이 명시한 전제와 한계도 분명하다. 학습 라벨은 단 하나도 손으로 그린 것이 아니며, 스케치 감독은 전부 엣지 검출기가 만든 선화에서 나온다. 즉 실제 사람이 그린 자유곡선의 분포와는 간극이 있고, Stage B의 두 합성 구성이 그 간극을 메우는 장치다. 평가용으로 손으로 주석한 2754개의 스케치-사진 인스턴스 링크(FS-COCO)와 1340개의 SketchyCOCO 질의를 새로 만들었다는 것 자체가 기존 벤치마크의 부재를 인정하는 대목이다. 또한 SketchyCOCO는 질의와 인스턴스가 검색 모델로 연결되어 그 정확도가 검색기 성능에 묶이고, 질의 풀이 작아 같은 그림이 여러 사진에 재등장하며, 질의 대상이 사진의 지배적 객체(중앙값 17.1%, FS-COCO는 8.8%)라 질의를 보지 않고도 맞힐 수 있다는 한계를 저자들이 직접 지적한다. 정렬 손실은 특징을 자유롭게 두고 관계만 맞추므로 스케치 경로가 사진 경로의 외형을 흉내 내지는 않지만, 그 대가로 성능 상한은 사진 경로의 관계 구조에 의존한다.