비전언어모델은 커져도 특정 하위 과제에서는 성능이 역전된다

무엇인가

이 논문은 스케일링 법칙이 말하는 '모델·데이터·연산을 키우면 성능이 단조롭게 좋아진다'는 가정이 비전언어모델(VLM)의 하위 과제 수준에서도 성립하는지 묻는다. 집계 벤치마크 점수는 대체로 커질수록 좋아지지만, 저자들은 같은 모델 패밀리 안에서 큰 모델이 작은 모델보다 특정 질문 유형에서 더 자주 틀리는 역스케일링을 표준 멀티모달 벤치마크에서 체계적으로 찾는다. 인위적으로 방해 이미지를 넣은 실험이 아니라 공개된 VLM 체크포인트와 기존 벤치마크를 그대로 쓴다는 점이 핵심이다. 이는 집계 점수가 배포에 중요한 하위 능력의 퇴행을 가릴 수 있기 때문에 중요하다. 논문은 제공자 보고서에서도 Qwen3-VL 8B가 BLINK에서 32B와 30B-A3B보다 높고, 32B가 VLMs-Are-Blind에서 235B-A22B보다 높으며, CountBench 정확도가 2B에서 4B, 8B로 갈수록 88.4, 84.9, 80.5로 떨어지는 사례를 지적한다.

어떻게 동작하나

방법의 중심은 같은 패밀리 내 모델 쌍을 같은 질문에 대해 문항 단위로 비교하는 것이다. Qwen3-VL, InternVL3.5, Gemma 3, Molmo 2 네 패밀리의 19개 모델을 약 1B에서 235B 파라미터까지, dense와 MoE 변형을 포함해 평가한다. 각 벤치마크가 제공하는 범주 라벨을 하위 과제로 보고, 작은 모델 fi와 큰 모델 fj(i<j)에 대해 FlipInv는 작은 모델만 맞고 큰 모델은 틀린 질문 수, FlipNorm은 그 반대 질문 수, Net은 FlipInv에서 FlipNorm을 뺀 값으로 정의한다. Net이 양수면 불일치 문항 중 작은 모델이 더 자주 맞는다는 뜻이다. 하위 과제에 공유 질문이 20개 이상이고 Net이 5 이상인 경우를 역스케일링 사례로 보고하며, 집계 정확도도 함께 제시한다.

무엇과 다른가

실험은 8개 멀티모달 벤치마크의 9개 평가 분할에서 수행됐다. MME, AI2D, ScienceQA, BLINK, MMT-Bench, MMBench, MMMU, MathVista가 포함되며, 19개 모델×9개 분할로 171회 추론을 돌려 모델당 29,386개 질문, 총 558,334개 모델-질문 평가를 만든다. 추론은 zero-shot 직접 프롬프팅과 greedy decoding, thinking mode 비활성화로 수행하고, MCQ는 보기 문자, 개방형은 간결한 답을 요구한다. 답 검증은 VLMEvalKit 방식의 결정적 문자 추출과 정확/수치 매칭을 쓰고, 불확실한 0.4%만 GPT-5.4 멀티모달 판정자로 보완한다. 그 결과 375개 하위 과제-모델 쌍 사례, 4,342개 고유 질문에서 작은 모델은 맞고 큰 모델은 틀리는 역전이 나타났으며, 이는 네 패밀리와 모든 벤치마크에 걸쳐 있다. 115개 하위 과제-데이터셋 쌍과 171개 패밀리-하위 과제 조합에 분포하고, 13개 하위 과제-데이터셋 쌍은 여러 패밀리에서 반복된다. 인접 크기 비교만으로도 197개 사례가 나오고, 171개 패밀리-하위 과제 조합 중 87%는 일관된 하락이 아니라 비단조 곡선을 보인다. MoE를 제외한 dense 쌍만으로도 193개 사례와 8개 교차 패밀리 하위 과제가 남고, 큰 모델이 총 파라미터 기준 두 배 이상인 쌍으로 제한해도 375개 중 326개, 활성 파라미터 기준으로는 239개가 남는다. McNemar 단측 검정은 탐색적으로 제시되며 375개 중 133개가 보정 전 p<0.05다.

어떻게 쓰나

가장 강한 효과는 다중 이미지 공간 추론, 시각 지각, 대학 수준 STEM 지식에서 나왔고, 도해 이해(AI2D)는 상대적으로 저항적이었다. BLINK가 두드러져 Qwen 4B는 Jigsaw에서 84.0%로 30B-A3B의 60.0%보다 24.0포인트 높았고 Net=36이었다. 집계에서도 Qwen 30B-A3B는 BLINK 62.4%로 4B의 66.4%보다 낮았고, Molmo 4B는 BLINK에서 63.5%로 8B의 59.3%보다, MMBench에서 88.3%로 8B의 87.9%보다 높았다. InternVL의 BLINK Forensic Detection에서는 2B부터 14B까지의 dense 모델 네 개가 30B-A3B를 앞서며 FlipNorm=0, 즉 MoE가 맞고 작은 모델이 틀린 문항이 하나도 없었다. Gemma 3는 ScienceQA의 Particle motion and energy에서 12B가 95.1%로 27B의 51.2%보다 43.9포인트 높았고 Net=18이었으며, Basic Economic Principles에서는 4B가 27B보다 39.4포인트 높았다. MMMU Mechanics of Materials에서 InternVL은 1B 27.6%, 2B 48.3%, 4B 44.8%, 8B 31.0%, 14B 51.7%, 30B-A3B 58.6%, 38B 62.1%, 241B-A28B 27.6%로 여러 번 오르내렸고, Qwen 2B는 MMMU test AI Content Detection에서 65.0%로 235B의 45.0%보다 높았다. 교차 패밀리로는 BLINK Multi-view Reasoning이 네 패밀리 모두에서, MMBench coarse perception이 세 패밀리에서, MMMU Organic Chemistry·Investment·Thermodynamics와 MMT-Bench Autonomous Driving, MME Scene이 여러 패밀리에서 반복됐다.

전제와 한계

저자들은 역전이 단순한 주석 오류가 아님을 확인하려고 실패 유형을 분석한다. 각 사례에서 최대 10개 역전 질문을 계층화해 뽑아 패밀리당 600개 상한으로 1,300개 질문을 만들고, 모델 정체를 가린 채 GPT-5.4로 세 가지 실패 범주에 주석했다. GPT-5.4는 97.4%를 진짜 오류로 봤고, 인간 저자 세 명의 다수결은 84.3%를 진짜 오류, 15.7%를 나쁜 주석이나 모호함으로 분류했다. 인간 간 일치도는 Fleiss κ=0.65, 쌍별 일치 87~92%였고, GPT와 Claude Opus 4.6 판정자는 90.8%에서 일치했지만 κ=0.30이었다. 사고의 연쇄(CoT) 프롬프팅으로 다시 평가한 66,698개 일치 질문 인스턴스에서는 중앙 Net이 +8에서 0으로 줄었지만 375개 중 96개(25.6%)는 Net≥5를 유지했고 101개는 부호가 반전됐다. 큰 모델은 직접 프롬프팅에서 잃었던 질문의 43.5%를 회복했지만, 251개 사례에서는 작은 모델도 CoT에서 정확도가 떨어져 Net 감소의 일부가 작은 모델 손실에서 나왔다.

개발자에게 이 논문의 실무적 결론은 '가장 큰 모델을 고르는 것이 항상 최선은 아니다'라는 것이다. 특히 여러 이미지를 비교하는 공간 추론, 세밀한 시각 지각, 특정 STEM 하위 과목에서는 작은 모델이 더 나을 수 있으므로, 후보 모델을 실제 서비스의 질문 유형과 데이터로 평가해야 한다. 집계 벤치마크 점수만 보고 선택하면 특정 기능의 퇴행을 놓칠 수 있고, MoE 모델은 총 파라미터와 활성 파라미터가 달라 같은 패밀리 안에서도 비교가 필요하다. CoT는 일부 오류를 줄이지만 4분의 1가량의 사례는 남고 작은 모델도 손해를 볼 수 있어 만능 해법이 아니다. 저자들은 역스케일링의 원인을 인과적으로 규명하지는 않았고, 국소적 능력 퇴행, 방해 선택지 민감성, MoE 특성, 훈련 데이터 구성 같은 가설을 제시한다.

한계도 분명하다. 공개 가중치 모델만 평가해 폐쇄형 모델의 파라미터 수와 구조를 검증할 수 없고, 문항별 분석은 난이도를 고려하지 않고 모든 질문을 동일하게 센다. 교차 패밀리 반복은 경험적 증거일 뿐 인과 메커니즘을 확립하지 않으며, 같은 패밀리 이름의 모델도 비전 인코더, 훈련 데이터, 정렬 절차, 활성 파라미터가 달라 파라미터 수만의 효과를 분리할 수 없다. 큰 체크포인트가 벤치마크 데이터를 더 많이 봤을 가능성, 즉 크기 의존 오염도 배제하지 못한다. 결과는 보기 순서에 의존할 수 있는데, 가장 강한 BLINK 사례들은 보기 재배열에도 Net이 양수로 유지됐지만 패러프레이즈는 검증하지 않았다. 또한 많은 중첩 비교와 같은 데이터로 사례를 고른 뒤 계산한 McNemar p값은 확인적이 아니라 탐색적으로 해석해야 한다.