VLM은 공간 관계를 내부 표현에서 어휘 정보보다 크게 잃는다

무엇인가

VLM이 "컵이 테이블 위에 있는가?"라는 질문에 정답을 맞혀도, 그것이 컵과 테이블 사이의 공간 관계를 표현한 결과인지 아니면 입력 단어들 사이의 통계적 연관에 기댄 결과인지는 알 수 없다. 기존 연구들은 합성적(compositional) 과제와 순서 민감 과제에서 VLM이 실패하는 사례를 보여줬지만, 그보다 근본적인 질문은 남아 있었다. 모델이 그런 과제에 필요한 개념을 내부에 실제로 표현하고 있는가. 행동적 성공이 충실한 내부 표현을 함의하지는 않으며, 반대로 최종 예측이 틀려도 내부에는 정보가 인코딩되어 있을 수 있다. 이 논문은 개념 안정성(concept stability), 즉 정확히 하나의 개념만 바뀌고 나머지가 고정됐을 때 내부 표현이 예측 가능하고 해독 가능한 방향으로 변하는지를 측정한다.

어떻게 동작하나

이를 위해 두 가지를 제안한다. 첫째는 CASP-VL로, Visual Genome(108,077개 이미지, 조밀한 scene graph 주석)의 scene graph 자체를 편집해 만든 통제된 공간 교란 벤치마크다. 캡션이 아니라 scene graph를 고쳐서 각 삼중항(triplet)이 정확히 한 개념만 다르도록 만든다. 편집 유형은 두 가지다. 속성 뒤집기는 같은 타입의 다른 속성으로 바꾸고(예: red → blue), 관계 뒤집기는 고정된 대안 목록에서 다른 공간 술어로 바꾼다(예: on → beneath). 캡션은 이미지 scene graph의 처음 다섯 개 관계를 "A [attr] [subj] is [pred] a [attr] [obj]." 템플릿으로 한 문장씩 렌더링한다. 관계 뒤집기는 문장 하나를 바꾸고, 색상 뒤집기는 한 객체 인스턴스의 색을 바꾸므로 그 인스턴스를 언급하는 모든 문장이 바뀐다. 규모는 색상 삼중항 2,400개(12개 클래스당 200개), 공간 삼중항 1,491개(16개 클래스당 최대 100개)이고, 별도로 교차 범주 분석용 삼중항 4,200개를 만든다. 중요한 점은 이미지 자체는 절대 수정되지 않는다는 것이다. 교란된 캡션은 같은 이미지에 대한 반사실적(counterfactual) 기술이다.

무엇과 다른가

둘째는 EICS(Evaluation-Invariant Concept Stability) 지표다. 원본 캡션에만 학습한 로지스틱 회귀 프로브가 대응하는 교란 캡션에 대해 바뀐 라벨을 예측하는 확률에서 클래스 수의 역수(1/|C|)를 뺀 값이다. 프로브는 원본 캡션의 [EOS] 풀링 은닉 상태에 원래 라벨만 붙여 학습하고, 교란 캡션은 한 번도 보지 못한다. EICS는 무작위 수준에서 0이고, 표현이 개입된 개념을 더 안정적으로 추적할수록 커진다. 비교 기준으로 정규화된 단어 개수 벡터에 같은 절차를 적용한 BoW 어휘 기준선을 둔다. 이 기준선은 문맥 인코딩 없이 단어 정체성만으로 얻을 수 있는 정보량, 즉 모델이 입력에 이미 갖고 있는 어휘 정보를 얼마나 보존하는지를 나타낸다. 실험은 CLIP ViT-B/32를 주 모델로, SigLIP-B/16과 LLaVA-1.5-7B로 교차 검증하며, 이미지 단위로 그룹화한 80/20 분할을 시드 5개로 반복한다.

어떻게 쓰나

첫 번째 실험은 표현이 공간 변화에 반응하기는 하는지 본다. 원본과 교란 캡션의 CLIP 텍스트 표현 사이 코사인 유사도를 재면, L12에서 [EOS] 상태의 평균 유사도가 관계 뒤집기에서 0.992, 색상 뒤집기에서 0.943이었다. 공간 관계를 바꿔도 표현이 거의 움직이지 않는다는 뜻이다. 다만 유사도만으로는 그 작은 변화에 해독 가능한 정보가 있는지 알 수 없어 EICS로 넘어간다.

전제와 한계

EICS 결과는 격차가 뚜렷하다. 색상은 L10까지 거의 해독되지 않다가 L12에서 +0.312±0.019로 급등해 BoW 기준선(+0.332±0.016)의 94%에 도달한다. 반면 공간 EICS는 모든 층에서 작고, L04에서 +0.097로 정점을 찍은 뒤 L12에서 +0.070±0.012로 끝나 BoW(+0.372±0.022)의 19%에 그친다. 이 순위는 모든 분할에서 유지되며, CLIP은 색상 신호의 81~102%를, 공간 관계는 16~22%만 보존한다. 아키텍처를 바꿔도 마찬가지다. BoW 공간 기준선 +0.359에 대해 CLIP ViT-B/32 +0.066, CLIP ViT-L/14 +0.053, SigLIP +0.038, LLaVA +0.115로, 어떤 모델도 BoW를 넘지 못한다. 세 대조 학습 모델에서는 색상과 공간 EICS의 95% 신뢰구간이 겹치지 않아 격차가 통계적으로 분명하다. LLaVA는 색상(+0.143)과 공간(+0.115)의 신뢰구간이 겹쳐 색상-공간 격차를 주장하지 않지만, 공간 EICS가 같은 분할의 BoW 기준선([0.305, 0.417])보다 여전히 낮다.

그렇다면 공간 정보는 어디서 사라지는가. 술어 토큰 자체를 프로빙하면 EICS가 +0.930으로 천장(0.938)에 근접하지만, [EOS]에서는 +0.070이다. 관계는 자기 위치에서는 식별 가능하지만 다운스트림에 쓰이는 풀링 표현으로는 거의 넘어오지 않는다. 전체 토큰 평균 풀링도 공간 EICS를 +0.070에서 +0.093으로밖에 올리지 못한다(색상은 두 풀링 모두 +0.312, +0.309로 BoW에 근접). 주어와 목적어를 바꿔 토큰 집합을 고정한 테스트(예: "cat on mat" → "mat on cat")에서 BoW는 구조상 0.500이지만, CLIP [EOS] 프로브는 L12에서 0.574([0.535, 0.610]), L05에서 0.602까지 올라간다. 누가 어디에 있는지에 대한 약한 흔적만 남는다는 뜻이다. 시각 그라운딩도 해결책이 아니다. 공간 뒤집기 후 이미지가 원본 캡션을 선호한 비율은 34%에 불과했다.

출력 기반 평가와의 괴리가 이 논문의 핵심이다. CLIP ViT-B/32는 SugarCrepe 관계 분할에서 69.3%를 기록해 텍스트 전용 기준선(49.4%, 50.0%)을 크게 웃돌지만, 공간 EICS는 +0.070으로 BoW의 5분의 1에 못 미친다. SigLIP은 세 대조 모델 중 SugarCrepe 관계 정확도가 가장 높은(70.6%) 동시에 공간 EICS가 가장 낮고(+0.038, 신뢰구간이 0까지 내려감), 같은 모델이 ARO에서는 46.3%로 무작위 이하다. 두 벤치마크가 서로 일치하지도 않는다. 저자들은 공간 인코딩을 고치려면 표현 민감도를 높이거나 대조 학습 목적함수를 바꾸는 것으로는 부족하고, 주어-술어-목적어 구조를 명시적으로 벌점화하는 구조적 지도학습이나 술어와 논항에 가중치를 주는 학습된 어텐션 기반 풀링이 필요하다고 본다.

실무 관점에서 이 결과는 공간 관계가 중요한 파이프라인, 예컨대 문서 레이아웃 이해, 로봇 조작, 이미지-텍스트 검색에서 임베딩 유사도를 그대로 신뢰하기 어렵다는 경고다. 색상이나 사물 정체성은 [EOS] 표현에서 잘 복원되지만 "위/아래/옆" 같은 관계는 그 표현에 남아 있지 않을 수 있다. 반대로 술어 토큰 위치에는 정보가 살아 있으므로, 풀링 단계를 손보는 것이 개입 지점이 될 수 있다. 한계도 저자들이 명시한다. 주 분석은 CLIP ViT-B/32에 집중돼 있고 SigLIP-B/16과 LLaVA-1.5-7B만 교차 비교했으며, 더 크거나 최신 모델, SpatialVLM처럼 공간 지도를 명시적으로 받은 모델은 프로빙하지 않았다. EICS는 텍스트 인코더에만 적용됐고 이미지 인코더나 조인트 비전-언어 표현은 탐침하지 않았으며, 이미지는 바뀌지 않으므로 장면 변화에 대한 반응이 아니라 바뀐 기술(description)에 대한 반응을 측정한다. CASP-VL 캡션이 최대 다섯 개 관계를 렌더링하기 때문에 문장 수준 표현이 세부를 압축하는 몫도 있는데, 편집된 문장만 쓰면 공간은 BoW의 52%까지 올라가고 색상은 98%로 유지된다. 격차 자체는 다문장 입력에 의존하지 않지만 크기는 달라진다. 템플릿 캡션 대신 사람이 쓴 Visual Genome 설명이나 LLM 패러프레이즈를 쓰면 색상은 97%, 87%를 유지하는 반면 공간은 31%, 15%로 떨어진다. 마지막으로 선형 프로브라는 해독 기제의 한계가 있는데, 2층 MLP로 바꿔도 L12 공간 EICS가 +0.066에서 +0.086으로 오르는 데 그쳐 어떤 층에서도 선형 BoW 기준선에 닿지 않는다.