VLM은 3D 속성을 복구해도 일관되게 쓰지 못한다

무엇인가

이 논문은 Vision-Language 모델이 3D 물체에 대한 개별 판단은 맞히면서도, 색상별 개수 같은 정확한 복합 답을 내고 이를 일관되게 사용하는 데서 실패하는 지점을 겨냥한다. 기존 벤치마크의 정답률은 언어 사전지식, 선택지 배치, 이미지 없이도 가능한 상수 답변 때문에 부풀 수 있어, 저자들은 정확 일치와 관련 질문 간 일관성, 이미지 의존성을 함께 봐야 한다고 주장한다.

어떻게 동작하나

방법의 중심은 BedBench다. 절차적으로 생성한 13개 과제를 집계 수량·지지 관계, 구성 분해, 관계 구조, 교차 시점 기하, 다중 물체 장면 추론으로 묶고, 10~15개 연결 단위 블록으로 만든 복셀 물체를 서로 반대되는 두 시점에서 렌더링한다. 생성 단계에서 두 실루엣이 다른 직교 투영과 구별되지 않거나 블록 하나를 제거해도 실루엣이 거의 변하지 않는 샘플은 모호성 검사로 제거해 정확한 정답을 확보한다. 과제 답은 서로 함의되도록 설계됐다. 색상별 개수 T5가 맞으면 색상 종류 수 T4와 가장 흔한 색 T7도 결정된다. 평가는 구조화 출력의 정확 일치를 기본으로 하고, 같은 물체에서 관련 답이 일치하는지, 이미지를 제거해도 점수가 유지되는지, 동결된 비전 특징에서 목표를 복구할 수 있는지까지 진단한다. 12개 오픈웨이트 모델(Qwen3.5, Gemma4, GLM-4.6V-Flash, Kimi-VL-A3B 계열)과 4개 프런티어 모델(GPT-5, Grok-4.20, Gemini-3-Flash/3.1-Pro), 30명의 인간 기준을 비교한다. 과제당 100개, T11과 T13은 300개 질문을 쓰고 Thinking과 Non-Thinking, 기본 1024토큰, 5회 반복 설정을 사용한다.

무엇과 다른가

가장 선명한 결과는 T5 색상 분포다. 모든 색상 개수가 맞아야 하는 이 과제에서 인간은 93.3%인데 최고 모델은 7.2%였다. 과제 평균은 인간 70.0%, 최강 Gemini-3-Flash 51.5%, 최빈 상수 답변 36.7%였다. 모델은 T2 패키징이나 T6 국소 구조처럼 일부 기하 판단에서는 인간 신뢰구간 상한을 넘기도 했지만, T5에서는 바닥이었다. 12개 오픈웨이트 모델의 Non-Thinking 색상별 평균절대오차는 0.80블록으로, 각 색의 평균 개수를 항상 예측하는 0.69보다 나빴다. 12개 단일 색상 질문으로 쪼개 병합해도 존재하는 색의 정확 일치율은 32.5%에서 33.2%로 거의 변하지 않았고, 12색 전체 분포 정확 일치는 0.0%였다. 같은 블록을 2D 타일로 보여주면 Qwen3.5-27B의 T5 정확 일치가 3.0%에서 52.4%로 오르고 색상별 MAE는 0.50에서 0.11로 떨어졌다. 금색과 노란색을 병합하면 2D 89.8%, 3D 6.0%였다. 800개 분포 내 예제로 언어모델만 LoRA 미세조정하면 3.0%에서 68.6%까지 오르지만, 가장 흔한 색을 묻는 T7은 이미지에서 35.0%에 그쳤고 자신의 T5 개수를 텍스트로 주면 74.2%로 올랐다. 개수가 정확할 때 텍스트 조건 정확도는 99.4%였고 같은 물체를 직접 보여줄 때는 40.8%였다. 12개 오픈웨이트 모델의 T7 직접 답이 자기 T5 개수와 맞는 비율도 21.6%로 우연 2.4%보다는 높지만 일관 사용과는 거리가 멀다.

어떻게 쓰나

추론·스케일·시각 보조는 각각 일부 개별 판단을 개선하지만 정확 답을 안정화하지 못했다. 기본 1024토큰 Thinking은 T4를 평균 13.9%p, T2를 13.8%p 올렸지만 T5는 0.7~1.0%에 머물렀다. 예산을 늘리면 Qwen3.5-27B와 Gemma4-31B의 T1 평균은 37.4%에서 4096토큰에서 19.8%로 떨어졌고 T11도 51.5%에서 45.8%로 낮아졌다. 모델 규모를 0.8B에서 27B로 키우면 6개 과제는 18~42%p 올랐지만 7개 과제는 6.4%p 이내 변화였고 T3와 T5는 바닥이었다. 색상 오버레이는 T12를 6.8%p 올리고 T3를 0.2%에서 3.7%로 올렸을 뿐이며, T5에 좌표축을 추가하면 0.7%에서 0.5%로 오히려 낮아졌다. 진단의 핵심은 프로브다. 평균 패치 특징에 붙인 프로브는 부피·색상 종류 수 같은 집계량은 복구했지만, 100개 벤치마크 물체로 학습한 프로브의 색상별 전체 개수 정확 일치는 최대 3.5%였다. 800개 생성 물체로 학습한 어텐션 프로브는 Qwen3.5-27B와 Gemma4-31B의 동결 인코더 토큰에서 각각 61.7%, 44.7%를 복구했고, Qwen3.5-27B의 언어모델 입력 커넥터 출력에서는 65.0%를 복구했다. 같은 모델의 VLM 정답률은 3.0%였다. 저자들은 정보가 언어모델 입력까지 도달하지만 이를 사용하는 단계에서 병목이 생긴다고 해석한다.

전제와 한계

정확도만으로는 시각 추론을 입증할 수 없다는 통제 실험도 있다. 이미지를 제거해도 세 모델이 T10에서 모두 0, T9에서 모두 3이라고 답해 각각 51%, 43% 정확도를 유지했다. T1을 정답이 항상 세 번째인 고정 배치 5지선다로 바꾸면 오픈웨이트 모델 평균 정확도가 개방형 예측보다 39.0%p 올랐고 모델별 최대 상승은 57.8%p였다. 이미지 없이도 Gemma4-31B는 항상 세 번째를 골라 100%를 기록했다. 따라서 높은 점수가 물체 속성 복구나 구조 이해에서 나왔다고 해석하려면 이미지 의존성과 상수 답변, 선택지 배치를 먼저 확인해야 한다.

개발자 관점에서 이 논문은 3D·공간 추론을 붙인 서비스의 평가 설계를 바꾸라는 경고다. 색상별 개수, 부품 관계, 교차 시점 일치처럼 구조화된 정답이 필요한 기능에서 단일 질문 정확도나 다지선다 점수만 보면 실제 실패를 놓친다. 평가셋에는 정확 일치와 오차 크기, 서로 함의되는 질문 간 일관성, 이미지 제거·상수 답변·선택지 셔플 통제를 넣는 것이 좋다. 모델이 개수를 텍스트로 받으면 판단이 좋아진다는 결과는 중간 표현을 명시적으로 주는 파이프라인이 유효할 수 있음을 보여주지만, 그 중간 표현 자체가 틀리면 일관성도 무너진다는 점을 함께 말한다. 미세조정은 T5를 68.6%까지 올렸지만 T7 일관성은 자동으로 해결되지 않았으므로, 과제별 정확도와 일관성 지표를 분리해 추적해야 한다.

저자들이 밝힌 한계는 분명하다. BedBench는 통제된 렌더링의 복셀 물체와 기하 프리미티브만 사용하므로 실제 장면의 텍스처, 조명, 복잡한 형상으로 일반화되는지는 검증하지 않았다. 인간 기준은 저자 네트워크에서 모집한 30명, 16~35세 참가자로 모집단 추정이 아니라 과제 난이도 참조용이다. 프로브와 개입 실험도 계산·평가 제약 때문에 Qwen3.5-27B 같은 대표 모델군과 일부 과제에 집중됐고, 토큰 수준 프로빙이나 언어모델 은닉 상태 프로빙은 수행하지 않았다. 이 벤치마크는 3D 추론 행동을 진단하는 도구이지 배포 적합성을 인증하는 용도가 아니라고 저자들은 못박는다.