비전 모델의 개념 방향은 시각 영역을 넘을 때 자주 끊어진다

무엇인가

이 논문은 비전 인코더가 시각적으로 거의 겹치지 않는 영역에서 같은 추상 개념 전이, 예를 들어 숫자 2에서 3으로의 변화나 깨끗함에서 더러움으로의 변화를 동일한 임베딩 방향으로 인코딩하는지 묻는다. 언어 모델에서는 선형 표현 가설이 개념 변화를 임베딩 공간의 방향으로 설명하지만, 비전에서는 같은 개념이 손글씨 숫자, 손가락, 렌더링된 구처럼 픽셀 공간에서 전혀 다른 모습으로 나타난다. 이 논문은 멀티모달 시스템의 지각 백본으로 쓰이는 비전 인코더가 영역별 선형 구조를 넘어 영역 불변의 개념 방향을 갖는지 확인하는 것이 해석과 개념 조작에 중요하다고 본다.

어떻게 동작하나

방법의 핵심은 개념 공간을 데이터 부분집합인 regime으로 나누는 것이다. 예를 들어 숫자 개념에서는 MNIST 손글씨, 손가락, CLEVR 구, 합성 점 세기가 각각 regime이 된다. 이미지에서는 같은 regime 안에서도 스타일과 획 굵기 등 다른 요인이 달라 완전한 반사실 쌍을 만들기 어렵기 때문에, a 값을 가진 임베딩들과 b 값을 가진 임베딩들을 선형 합 할당 문제로 최소 L2 거리로 짝지어 근사 반사실 쌍을 만든다.

무엇과 다른가

측정은 방향 일관성(DC)으로 한다. 각 반사실 쌍의 차이 Δ=φ(z′)−φ(z)가 그 쌍을 제외한 나머지 차이들의 평균 방향과 얼마나 코사인 정렬되는지를 leave-one-out으로 평균한 것이 regime 내 DC다. regime 내 DC를 평균한 값이 지역 선형성(LL), 한 source regime에서 추정한 방향을 다른 regime의 차이들에 적용한 코사인 평균이 교차 regime DC이며, 서로 다른 regime 쌍에 대한 평균이 전역 선형성(GL)이다. 랜덤 베이스라인은 반사실 매칭 없이 해당 개념의 풀 데이터셋에서 무작위 쌍을 뽑아 같은 DC를 계산하고, 단측 Welch t-test와 Bonferroni 보정(p<0.05/m^2)으로 유의성을 판정한다. 단절 점수는 교차 regime 쌍 중 DC가 랜덤 베이스라인과 구분되지 않는 비율이다.

어떻게 쓰나

실험은 아키텍처, 학습 목적, 규모가 다른 46개 비전 인코더를 대상으로 했다. image-text contrastive 모델, DINO, masked image modeling, 여러 지도학습 모델을 포함하고 CNN과 ViT를 모두 다루며, CNN은 average-pooled feature, ViT는 class token을 쓴다. 데이터는 10개 개념군으로 numerosity의 MNIST·Fingers·CLEVR·합성 점 세기(regime-class pair당 100장, 4 regimes), age의 UTKFace·11k-Hands(74장, 2 regimes), object identity의 PACS(약 151장, 4 regimes), MIT-States의 7개 이진 속성(regime-class pair당 30장, 속성별 4-10 regimes)을 사용했다.

전제와 한계

결과는 지역 선형성이 거의 보편적이지만 전역 선형성은 그렇지 않다는 것이다. 2,530개 (모델, 개념, regime) 테스트 중 99.1%가 랜덤 베이스라인보다 유의하게 높은 지역 DC를 보였고, 가장 낮은 경우도 dry→wet의 97.8%였다. 반면 13,984개 (모델, 개념, regime 쌍) 테스트에서는 교차 regime DC가 베이스라인보다 높은 경우가 52.2%에 그쳤다. 지도학습 ViT는 numerosity 2→3에서 MNIST DC=0.45, clean→dirty room DC=0.52를 보였지만 12개 regime 쌍 중 8개가 랜덤과 구분되지 않아 단절 점수 0.67이었고, 같은 전이에서 CLIP은 단절 점수 0이었다. cleanliness에서는 지도학습 ViT가 0.92(11/12 쌍이 거의 베이스라인), CLIP이 0.08(유의하지 않은 쌍 하나)이었다. object identity와 age는 각각 99.3%, 94.6%의 유의성 테스트를 통과해 전역 선형성이 상대적으로 잘 나타났다.

저자들은 지역 선형성이 강한 모델일수록 전역 선형성도 커지는 경향을 보고한다. 모든 개념에서 지역 선형성과 전역 선형성의 Kendall τ가 양수였고 τ∈[0.38,0.89], 모두 p<10^-3이었다. 대표 전이 2→3, clean→dirty, foggy→sunny에서 τ는 각각 0.68, 0.59, 0.77이었다. 또한 전역 선형성이 높은 모델에서는 source regime에서 추정한 개념 방향이 target regime의 선형 프로브로 전이됐다. target regime 평균 임베딩을 클래스당 무작위 5개 샘플로 추정하고, (φ(z)−μ)·v>0이면 b 클래스로 분류하는 방식에서 프로브 정확도와 전역 선형성의 τ는 세 전이에서 0.77, 0.66, 0.53이었다.

개발자에게 이 결과는 비전 임베딩을 검색, 분류, 개념 편집, 선형 프로브에 쓸 때 영역 간 방향이 같다고 가정하면 안 된다는 실무적 경고다. 특히 숫자 세기나 청결도처럼 시각적 대상 자체가 달라지는 추상 개념은 도메인별로 방향을 추정하거나 단절 여부를 먼저 확인해야 한다. 객체 정체성이나 나이처럼 시각 단서가 유지되는 개념은 교차 영역 전이가 더 잘 되지만, 그래도 CLIP류처럼 지역 선형성이 강한 모델에서 전역 선형성과 프로브 전이를 함께 검증하는 편이 안전하다.

한계로 저자들은 조사한 개념 유형에 결론이 한정된다고 밝힌다. 근사 반사실 쌍은 임베딩 공간 거리로 매칭한 것이며, 지역 선형성과 전역 선형성의 상관은 인과 효과가 아니라 현재 모델에서 나타나는 경향이다. 그럼에도 통계적 검정과 프로브 결과가 주요 주장을 뒷받침한다고 본다. 또한 임베딩의 선형 방향은 유해한 출력으로 표현을 조작하는 데 악용될 수 있으나, 이 논문은 기존 모델에 이미 존재하는 공격 표면을 새로 만들지는 않는다고 설명한다.