멀티모달 추론의 병목은 시각 인식이 아니라 참조 유지다

무엇인가

이 논문이 다루는 문제는 멀티모달 대형언어모델(MLLM)이 물체를 "보면서도" 그 위에서 여러 단계 추론을 안정적으로 못 한다는 점이다. 예컨대 장면의 모든 도형을 인식하고도 몇 개를 셌는지 놓쳐 같은 타원을 두 번 세는 식이다. 저자들은 이런 실패를 흔히 지각(perception) 문제로 돌리는 관행에 반박하며, 지각과 추론 사이에 끼어 있는 별도의 병목을 "참조 격차(reference gap)", 즉 언어 기반 추론과 해당 시각적 개체·영역·위치 사이의 안정적 결속을 유지하지 못하는 실패로 정의한다. 고해상도 인코더나 더 세밀한 특징으로는 메워지지 않는 층이라는 것이 핵심 주장이다.

어떻게 동작하나

방법의 뼈대는 Ullman의 시각 루틴(visual routines) 이론이다. 복잡한 시각 추론을 처리 초점 이동, 경계 활성화, 경계 추적, 인덱싱, 마킹 같은 원초적 연산의 연쇄로 보고, 모델 내부에 그 연산을 뒷받침할 참조 프레임이 없다면 외부 참조를 이미지에 얹어주면 된다고 가정한다. 그래서 세 가지 스캐폴드를 제안한다. 번호 매기기(numbering)는 대상을 "7번 도형"처럼 주소 가능한 개체로 바꿔 마킹·인덱싱을 돕고, 음영(shading)은 각도나 도형 내부를 칠해 경계 있는 영역을 명시적으로 만들어 주며, 격자선(grid lines)은 위치·너비·높이·변위·정렬의 공통 기준을 제공해 초점 이동과 경계 추적을 돕는다.

무엇과 다른가

검증 도구가 ReGap-Bench다. 다섯 과제(도형 세기, 각도 크기 순위, 크기 순위, 시계 시각 순위, 변환 예측)마다 200개 장면을 만들고, 동일한 장면을 참조 없는 조건과 참조를 얹은 조건으로 짝지어 렌더링한다. 세 가지 불변 조건을 강제한다. 내용 보존(요소의 모양·크기·위치는 그대로, 숫자·채우기 색·배경 구조만 추가), 정답 불변(정답은 장면과 질문에만 의존), 정답 누출 없음(번호와 색은 클래스와 무관하게 배정). 효과는 Δ(c) = Acc(c) − Acc(c₀), 즉 같은 문제에서 참조를 추가했을 때의 정확도 차이로 측정한다. 양수면 참조 격차가 존재한다는 신호다.

어떻게 쓰나

실험은 Claude-Opus-4.7, Gemini-3.1-Flash-Lite, GPT-5.4-mini, Qwen3-VL-30B-A3B-Thinking, InternVL3.5-38B 다섯 모델과, 규모 효과를 보기 위한 Qwen3-VL Thinking 2B~235B 여섯 모델에서 이뤄졌다. 과제에 맞는 참조는 전 과제에서 일관되게 이겼다. 번호는 도형 세기에서 6.0~17.5%, 시계 순위에서 8.5~25.0% 정확도를 올렸다. 음영은 크기 순위에서 4.0~11.0%를 올렸고, 각도 순위는 exact match 기준으로 이득이 작았지만(베이스라인 정확도 자체가 16% 미만) 쌍별 정확도는 Gemini 76.4%→85.2%, Qwen3-VL 59.7%→68.0%로 다섯 중 네 모델에서 개선됐다. 격자는 크기 순위 2.0~8.0%, 변환 예측 2.0~5.5%를 올렸다.

전제와 한계

흥미로운 건 실패 양상 분석이다. 시계 과제에서 분침·시침을 읽어낸 비율(오차 5분 이내)은 Claude 10.6%→28.6%, Gemini 58.2%→82.5%, InternVL 2.9%→17.4%로 뛰었다. GPT는 시각을 말할 때의 정확도는 90.3%→90.8%로 거의 그대로였지만, 시각을 아예 말하지 않은 시계가 34%에서 12%로 줄었다. 즉 번호는 GPT에게 "읽기 정확도"가 아니라 "중간 단계의 완결성"을 개선한 것이다. 각도에서는 360°−θ라는 켤레각을 잘못 읽는 오류율이 음영으로 Claude 3.3%→1.7%, Gemini 18.4%→8.5%, InternVL 23.9%→13.1%로 거의 절반이 됐고, GPT만 13.3%→13.8%로 변화가 없었다.

가장 중요한 통제 실험은 "참조를 붙이면 무조건 좋아지는가"에 대한 답이다. 도형 세기에 번호·음영·격자를 각각 적용하면 평균 이득이 번호 11.3%, 음영 1.7%, 격자는 오히려 −4.1%였다. 즉 시각적 표시를 더하는 것 자체가 아니라 과제가 요구하는 시각 루틴과 일치하는 참조여야 효과가 난다. 참조의 완결성도 중요해서, 시계판 숫자를 0개·2개·4개·12개로 늘리면 평균 정확도가 23.9%→25.3%→31.8%→38.0%로 단조 증가했다. 모델 규모도 해법이 아니다. 2B에서 235B까지 키워도 번호의 이득은 9.0~23.5% 범위에서 사라지지 않았다.

마지막으로 저자들은 이 발견을 훈련 없는 시각 스킬로 포장한다. 세 구성 요소는 (1) 시각 연산 유형별로 어떤 참조를 쓸지 정한 서면 규칙(세기·목록화·매칭·경로상 교차점 추적에는 번호, 거리 측정·위치 비교에는 축척 막대로 보정한 격자, 영역 분리에는 음영, 단일 라벨로 답이 나오면 오버레이 없음), (2) 참조를 그리는 전후 예시 이미지 쌍, (3) 원본은 두고 사본에 참조를 그리는 스크립트다. CartoMapQA의 8개 하위 과제에서 층화 표집한 100개 문제를 Codex GPT-5.5 에이전트에 BenchFlow로 돌린 결과, 에이전트가 100개 중 57개에 오버레이를 그렸고 모든 참조가 평균 점수를 개선했다(Table 2의 구체적 수치는 본문에 제시되지 않았다).

개발자 관점의 시사점은 명확하다. 멀티모달 파이프라인에서 세기·순위·추적 과제의 오류가 나면 모델을 키우거나 인코더를 바꾸기 전에, 과제에 맞는 참조를 이미지에 얹는 것부터 시도할 가치가 있다. 단, 아무 표시나 찍으면 역효과다. 격자가 세기 과제에서 −4.1%를 낸 사례처럼 참조와 루틴이 어긋나면 해롭고, Gemini가 변환 예측 응답의 51%에서 격자 좌표를 직접 쓴 반면 GPT는 격자가 있어도 "P의 왼쪽" 같은 정성적 표현에 머문 것처럼 모델이 스캐폴드를 추론에 실제로 통합하는지도 확인해야 한다. 참조를 부분만 넣으면 이득도 부분적이라는 점, 그리고 저자들이 명시한 전제는 인위적으로 렌더링한 합성 장면과 정답 누출 없는 참조라는 조건이라는 점도 함께 봐야 한다.원문 발췌에는 별도의 한계 절이 없지만, 본문이 스스로 인정하는 제약은 분명하다. 격자는 셀 단위 측정값을 유지해야 해서 그 자체로 안정적 참조에 의존하고(그래서 크기 순위에서 음영보다 이득이 작다), 각도 순위의 exact match 이득은 미미해 지표 선택에 따라 결론이 달라 보일 수 있으며, CartoMapQA 실험은 100개 표본에 단일 에이전트 구성이라 일반화 근거로는 얇다.