WeVisOne-VL이 객체와 픽셀 인식을 하나의 토큰 인터페이스로 묶는다

무엇인가

이 논문은 기존 비전-언어 모델이 세밀한 시각 인식에서 여전히 신뢰하기 어렵다는 문제를 다룬다. 논문은 이런 모델이 존재하지 않는 객체를 환각하거나, 낯선 객체 설명에서 사용자 의도를 잘못 해석하거나, 눈에 덜 띄는 인스턴스를 놓쳐 재현율이 불완전해진다고 지적한다. WeVisOne-VL은 객체 수준 인식과 픽셀 수준 인식을 하나의 자연어 인터페이스로 통합하려는 모델로, 객체 검출, 지시 기반 위치 찾기, 계수, OCR, 분할, 매팅을 함께 처리하는 것을 목표로 한다. Qwen3-VL을 기반으로 2B와 4B 두 규모로 만들었고, 약 1억 장의 이미지와 36억 개 수준의 박스 주석을 활용했다.

어떻게 동작하나

핵심 설계는 모든 시각 과제를 구조화된 다음 토큰 예측으로 바꾸는 것이다. 정규화 좌표를 표현하기 위해 <0>부터 <1000>까지의 전용 토큰을 두고, 박스는 [x0,y0,x1,y1], 포인트는 [x0,y0] 형태로 생성한다. 대상이 이미지에 없으면 좌표 필드를 None으로 채운다. 분할과 매팅 같은 픽셀 과제에서는 각 박스 좌표 뒤에 <OBJ> 토큰을 추가로 생성하고, 이 토큰의 은닉 상태를 해당 인스턴스의 잠재 표현으로 사용한다.

무엇과 다른가

모델 구조는 VLM 백본과 약 9.6M 파라미터의 경량 픽셀 디코더로 이루어진다. 디코더의 시각 특징 어댑터는 ViT 중간층의 병합 전 특징을 여러 레벨로 모아 투영하고, 2D 위치 인코딩과 레벨 임베딩을 더한 뒤 컨볼루션 블록으로 공유 시각 메모리를 만든다. 박스 유도 쿼리 디코더는 6개의 디포머블 블록을 사용하며, 인스턴스 쿼리를 학습된 정적 임베딩이 아니라 <OBJ> 토큰의 은닉 상태에서 초기화하고 박스의 푸리에 인코딩으로 위치 쿼리를 만든다. 이후 인스턴스 간 자기주의와 박스 기준 다중 스케일 디포머블 교차주의로 특징을 모으고, 인스턴스 조건부 밀집 예측 단계에서 다중 레벨 특징을 융합해 초기 마스크를 만든 뒤 여러 스케일에서 정제한다. 매팅은 여기에 경계와 반투명도를 위한 경량 정제 모듈을 더한다. 별도의 대형 분할 모델을 붙이지 않고 VLM 내부에서 픽셀 출력까지 생성하는 것이 이 구조의 요점이다.

어떻게 쓰나

데이터 엔진은 의미 발견과 인스턴스 정렬 감독을 연결한다. 검출 주석은 SAM3와 DINO 계열 오픈보캐뷰 검출기의 제안을 병합한 뒤 Qwen3-VL로 카테고리 일치 여부를 검증하는 방식이고, 지시 기반 주석은 SAM3 Agent와 Rex-Omni의 제안을 Qwen3-VL이 속성·상태·행동·관계까지 확인해 통합한다. 마스크는 SAM2로 생성하며 같은 쿼리 아래 박스와 마스크가 같은 인스턴스를 가리키도록 유지한다. 어려운 예제는 별도로 구성하는데, 부정 예제는 이미지 전체를 검토해 어떤 객체도 쿼리 조건을 만족하지 않을 때만 인정하고, 검토된 부정 예제에서 모델이 그래도 박스를 예측하면 거부 학습용 하드 네거티브로 쓴다. 매팅은 BiRefNet과 MatAnyone2 후보를 공간 일관성 기준으로 걸러 채택하고, 동결된 SAM2.1-Base+에 경량 알파 정제 헤드를 붙여 학습한 전용 주석기로 말뭉치를 다시 주석한다. 학습은 과제 정렬, 고해상도 밀집 지각, 픽셀 수준 예측의 3단계 SFT 뒤에 혼합 과제 RL을 수행하며, SFT 모델이 가장 불확실해하는 샘플에 GRPO를 적용해 위치 정확도를 높이고 반복·환각 예측을 억제한다고 설명한다.

전제와 한계

실험은 30개가 넘는 벤치마크에서 객체 수준과 픽셀 수준 과제를 함께 평가한다. 매팅에서는 박스 프롬프트로 P3M-500-NP, AM-2K, PPM-100을, 텍스트 프롬프트로 자체 벤치마크 WeRefMat을 사용한다. 비교 대상은 SAM2.1과 SAM3 기반 SAM2-Matting 변형들이고, WeRefMat에서는 SAM3의 네이티브 텍스트 그라운딩과 Qwen3-VL-8B-Instruct 또는 Qwen3.5-9B로 위치를 찾은 뒤 SAM2-Matting을 적용하는 조합도 비교한다. 지표는 MAD, MSE, Grad, Conn, SAD이며 모두 낮을수록 좋고 MAD와 MSE는 10^3을 곱해 보고한다. 논문은 박스 프롬프트에서 과제 특화 매팅 모델과 경쟁력이 있고 SAM2-Matting 베이스라인을 일관되게 개선한다고 주장하며, WeRefMat에서도 카테고리와 지시 프롬프트 모두 강한 결과를 보인다고 쓴다. 정성 비교에서는 조밀한 장면에서 멀리 있는 코끼리와 인접 인스턴스를 더 잘 살리고, 조건을 만족하는 대상이 없을 때 박스를 거부하며, 곡선 글자와 작은 문서 텍스트를 더 많이 읽고, 토끼 수염·낙타 털·머리카락·로고 같은 경계를 보존하는 사례를 제시한다. 결론에서는 동급 규모 VLM 대비 평균 검출 F1과 계수 정확도를 높이고, 텍스트 그라운딩과 지시 위치 찾기, 지시 분할과 이미지 매팅에서 평가한 베이스라인을 앞선다고 주장한다. 다만 제공된 원문에는 벤치마크별 표의 구체적 수치가 실려 있지 않아 개선 폭을 숫자로 인용할 수는 없다.

개발자 입장에서는 검출·OCR·분할·매팅을 각각 다른 모델로 연결하던 파이프라인을 하나의 VLM 호출로 줄일 수 있는지 검토할 만하다. 특히 대상이 없을 때 빈 출력으로 거부하는 동작은 UI 자동화나 문서 처리에서 오탐을 줄이는 데 중요하고, <OBJ> 토큰과 경량 디코더로 마스크와 알파 매트를 함께 얻는 설계는 이미지 편집 도구나 배경 제거 기능에 바로 연결될 수 있다. 공개된 코드와 가중치가 있으므로 자체 데이터에서 지시문 모호성, 조밀 장면 재현율, 고해상도 문서 OCR, 매팅 경계 품질을 먼저 확인해야 한다. 2B·4B 모델이라는 점은 작은 규모에서의 배포 가능성을 보여주지만, 실제 지연시간과 처리량은 별도 측정이 필요하다.

저자들이 밝힌 한계는 분명하다. 범용 학습 데이터가 제한적이어서 기반 모델에 비해 일반 능력이 떨어질 수 있고, 추론 효율을 위해 사고 연쇄 없이 구조화 출력을 바로 생성하도록 학습했기 때문에 복잡한 추론 과제에서는 한계가 있을 수 있다. 현재 접근은 단일 턴 예측에 제한되며, 향후 에이전트 프레임워크와 다중 턴 도구 상호작용으로 시각 이해를 점진적으로 정제하는 방향이 유망하다고 본다. 또한 벤치마크의 객체 프롬프트는 대체로 명확하고 모호하지 않지만, 실제 사용자 지시는 애매하고 망설이는 표현이 많아 의도 추론 능력이 더 필요하다고 인정한다.