Xiaomi-Lens-0가 자체 시각 표현으로 영역 마스크를 예측한다

무엇인가

이 논문은 멀티모달 대형 언어모델이 전체 이미지 질의에는 강하지만 작은 영역의 속성, 개수, 공간 관계를 다루는 미세 영역 이해에는 약하다는 문제를 다룬다. 저자들은 그 원인을 텍스트 전용 감독이 답을 뒷받침하는 이미지 영역과 그 범위를 명시하지 않는다는 점에서 찾는다. 기존 분할형 MLLM은 별도 계층적 분할 인코더를 쓰거나 동결된 비전 인코더에서 마스크를 디코딩해, 마스크 손실이 언어 생성과 공유되는 시각 특징까지 도달하지 못하는 경우가 많다. 이에 이 논문은 MLLM이 자신의 시각 표현에서 직접 마스크를 예측하게 하면 조밀한 마스크 감독이 미세 지각과 시각 추론까지 개선할 수 있는지 묻는다.

어떻게 동작하나

제안 모델 Xiaomi-Lens-0은 Qwen3.5를 기반으로 한 4B MLLM이다. 공유 비전 인코더가 언어모델에는 병합된 토큰을 주고, 경량 마스크 디코더에는 공간 병합 이전의 패치 격자를 준다. 언어모델은 응답 중 특수 마스크 토큰을 생성하고, 그 문맥 상태를 시각 잠재벡터로 사용한다. 마스크 디코더는 패치 격자와 이 시각 잠재벡터를 결합한다. 구체적으로 한 개의 Transformer 정제 층과 선형 투영으로 패치 특징을 마스크 특징 공간에 사상하고, 마스크 토큰 상태를 질의로 투영해 패치별 내적 점수를 만든 뒤 원래 패치 배치로 재조립하고 두 개의 전치 합성곱 층으로 업샘플링해 마스크 로짓을 낸다. 손실은 픽셀별 BCE와 Dice를 결합하며, 언어 다음 토큰 예측 손실과 함께 최적화된다. 이때 마스크 손실은 공유 비전 인코더와 언어모델의 마스크 토큰 상태 양쪽으로 전파된다.

무엇과 다른가

이 구조에서 마스크 디코더는 시각 잠재벡터 디코더 역할도 한다. 모델은 추론 중간에 영역 참조마다 마스크 토큰을 끼워 넣고, 각 토큰의 문맥 상태를 마스크로 디코딩한다. 이를 논문은 시각 잠재벡터로 사고하기라고 부른다. 이를 학습하기 위해 중간 영역 참조와 마스크를 짝지은 그라운디드 추론 추적을 구성하고, 추론 텍스트와 최종 답, 중간 영역 마스크를 함께 감독한다. 훈련은 두 단계다. 1단계에서는 백본을 동결하고 Objects365, LVIS, PACO, PhraseCut, RefCOCO, RefCOCO+, RefCOCOg 등으로 마스크 디코더를 사전학습한다. 2단계에서는 백본과 디코더를 함께 미세조정하며, 사내 referring 표현 및 그라운디드 추론 데이터와 COCO 2017, RefCOCO 계열, RoboRefIt, ReasonSeg를 사용한다. 데이터 파이프라인은 영역 주석을 먼저 고정하거나 검증한 뒤 언어를 붙이는 방식이며, 객체 발견과 크롭-텍스트 검증, 마스크 생성, 지시문 합성, 재그라운딩과 의미 검증을 거친다. 그라운디드 추론 데이터는 VQA 합성과 독립 검증 후 추론 추적을 만들고, 참조 박스에 기존 인스턴스 마스크나 SAM 3 마스크를 붙인다.

어떻게 쓰나

주요 결과로 Xiaomi-Lens-0은 RefCOCO, RefCOCO+, RefCOCOg의 8개 분할 모두에서 Qwen3.5 백본보다 referring comprehension이 평균 5.6점 향상됐고, 비교 모델 중 모든 RES 분할에서 가장 높은 cIoU를 기록했다고 보고한다. ReasonSeg 테스트 분할에서는 68.0 gIoU와 62.5 cIoU로 InstructSAM보다 각각 6.9점, 1.5점 높았고, 검증 분할 cIoU는 68.5로 LISA++ LLaVA-7B의 68.1을 앞섰다. RoboRefIt에서는 TestA 87.0 gIoU와 88.4 cIoU, TestB 81.5 gIoU와 81.2 cIoU를 기록해 InstructSAM보다 gIoU 기준 각각 4.5점, 7.1점 높았다. COCO 2017 다중 인스턴스 그라운딩에서는 IoU 0.50부터 0.95까지 평균한 F1이 비교 모델 중 가장 높다고 보고하지만, 원문에 제시된 범위에서는 해당 F1 수치가 확인되지 않는다.

전제와 한계

지각 벤치마크에서도 개선이 이어진다. CountQA 정확도는 43.8에서 50.6으로 6.8점 올랐고, ColorB는 1.7점 오른 84.4를 기록했다. MME-RW-en은 3.2점, MME-RW-cn은 7.2점, CV-B는 2.7점 백본 대비 향상됐다. 고해상도 벤치마크에서는 HR-4K 1.0점, V* 5.2점, HR-8K 5.0점 향상됐고, 세 고해상도 세트 모두에서 Qwen3-VL 8B를 앞선다. LensBench는 일반, 항공, 주행, 파노라마 네 도메인에서 도메인당 300개 단위, 총 1,200개 단위와 4,800개 지시 수준 샘플로 구성되며, 단일·다중 대상과 명시·암시 지시를 교차한다. Xiaomi-Lens-0은 항공 57.1, 주행 68.6, 파노라마 62.3 cIoU로 해당 세 도메인에서 비교 모델 중 최고 cIoU를 냈고, 각 도메인 최강 베이스라인 대비 7.0점, 0.2점, 1.5점 앞섰다. 반면 일반 이미지에서는 Qwen3.8-Max가 74.2 cIoU와 79.7 box [email protected]로 앞서고 Xiaomi-Lens-0은 63.9와 79.1을 기록했다. 명시 지시에서는 71.4 cIoU와 85.0 box [email protected]로 앞서지만, 암시 지시에서는 cIoU가 54.7로 떨어져 5위였고 box [email protected]는 70.0으로 2위 공동이었다. 파노라마의 다중 대상 암시 지시에서는 box [email protected]가 명시 81.3에서 48.7로, cIoU가 71.8에서 48.9로 크게 하락한다.

절제 실험은 마스크 감독과 그라운디드 추론 추적의 기여를 분리한다. 박스만으로 학습한 BBox-only 변형은 RefCOCO, RefCOCO+, RefCOCOg 검증 REC에서 각각 3.1점, 4.9점, 2.2점을 얻고, MME-RW-en 68.8, MME-RW-cn 66.1, CV-B 87.9로 각각 2.3점, 5.8점, 2.5점 향상됐다. 여기에 마스크 감독을 더한 전체 모델은 BBox-only보다 REC에서 1.1점에서 2.4점, 지각에서 0.2점에서 1.4점 더 높다. REC 이득은 RefCOCO+에서 2.4점으로 가장 크고 RefCOCO에서 1.1점으로 가장 작은데, 저자들은 절대 위치 표현이 없는 RefCOCO+에서 외형과 모양으로 이웃과 대상을 분리할 때 마스크 감독이 특히 유효하다고 해석한다. 그라운딩만 학습한 변형도 검증 REC 94.5, 91.5, 92.0으로 백본보다 4.1점, 6.7점, 4.0점 높고 RES는 전체 모델과 0.8 cIoU 이내다. 전체 모델은 여기에 그라운디드 추론 추적을 더해 REC 0.1점에서 0.6점, RES 0.5점에서 0.8점을 추가로 올린다.

개발자 관점에서 이 논문은 Qwen3.5 계열 백본에 마스크 토큰과 경량 디코더를 붙여 별도 세그멘테이션 인코더 없이 영역 감독을 넣는 패턴을 보여준다. 고해상도 이미지의 작은 영역을 다루는 카운팅, 속성 인식, 공간 관계 질의와 구현형 에이전트의 referring segmentation에 참고할 만하다. 다만 마스크 주석과 중간 영역이 표시된 그라운디드 추론 추적 데이터가 필요하고, 암시적 지시·다중 대상·파노라마 같은 조건에서의 성능 저하를 별도로 측정해야 한다. 추론 시 마스크 디코딩은 자기회귀 생성과 나란한 출력 분기이며, 디코딩된 마스크나 영역 특징을 언어모델에 다시 입력하지 않는다는 점도 설계상 확인할 부분이다. 저자들이 밝힌 남은 과제는 암시적 지시, 특히 파노라마 장면에서 여러 대상을 고르는 경우이며, 일반 이미지에서는 Qwen3.8-Max가 cIoU와 box Prec에서 앞선다는 점도 한계로 남는다.