HnS가 모델 내부 접근 없이 개념 기여도를 측정한다

무엇인가

개념 기반 해석(concept attribution)은 픽셀 같은 저수준 특징 대신 '웃는 얼굴', '긴 머리'처럼 사람이 이해하는 개념이 모델 예측에 얼마나 기여했는지 재는 방법이다. 문제는 기존 기법의 전제가 너무 무겁다는 점이다. TCAV 계열은 모델 내부 표현(가중치)에 접근해야 하고, PCBM은 블랙박스에서도 동작하지만 라벨링된 개념 데이터셋을 요구하며 전역 기여도만 주고 분류·회귀 모델에만 적용된다. 이 논문은 이 네 가지 조건(블랙박스 지원, 전역·국소 기여도 동시 제공, 개념 데이터셋 불필요, 다양한 비전 태스크 지원)을 모두 만족하는 방법이 없었다는 진단에서 출발해 Hide and Seek(HnS)를 제안한다.

어떻게 동작하나

HnS의 절차는 '찾고, 숨기고, 차이를 재는' 세 단계다. 먼저 SigLIP 같은 비전-언어 모델(VLM)로 개념 c의 텍스트 벡터를 얻는데, 텍스트와 이미지 벡터가 벡터 공간의 다른 영역에 놓이는 모달리티 갭을 보정하기 위해 큰 단어 집합의 평균 텍스트 임베딩을 빼고(식 6), 개념 간 얽힘을 풀기 위해 Löwdin 직교화 V* = V S^(-1/2)를 적용한다(식 7). 이렇게 만든 개념 벡터 v_c*와 이미지 데이터베이스의 각 이미지 임베딩 사이 코사인 유사도를 계산해 상위 K개(실험에서 K=50) 이미지 집합 R_c를 뽑는다. 다음으로 이미지를 SigLIP 인코더로 L개의 정사각 패치로 나누고, 각 패치 임베딩과 v_c*의 코사인 유사도가 임계값 τ_c = μ_c + α·σ_c (α=1.5)를 넘는 패치를 개념이 존재하는 영역으로 판정한다. α=1.5일 때 전체 패치의 약 7%가 선택된다.

무엇과 다른가

선택된 패치를 가리는 채우기 전략은 blur, zero-fill, white-fill, mean-fill, hue-shift, zero-fill-noise, noise-then-blur 7가지이며, 원본 이미지 임베딩에서 마스킹 이미지 임베딩을 뺀 정규화 차이 벡터가 v_c*와 가장 잘 정렬되는 전략을 고른다(식 2). 즉 '그 개념 정보만 제거했는가'를 기준으로 마스크를 선택한다. 기여도는 원본과 마스킹 이미지를 블랙박스 모델 M에 순전파해 얻은 클래스 y의 예측 확률 차이, Local Attr(c) = M(x) − M(x̃)로 정의한다(식 3). 전역 기여도는 R_c의 K개 이미지에 대한 국소 기여도 평균인데(식 4), 마스크가 망가진 이미지는 제외하고, 국소 기여도의 표준편차 s_c로 나누는 Cohen's d 정규화를 적용해 잡음이 큰 개념의 점수를 낮춘다(식 5). 저자들은 기존 방법이 Δy/Δc를 쓰는 것과 달리 HnS는 Δy만 쓴다고 강조한다. 개념 벡터의 양·음 집합을 바꾸면 Δc가 흔들려 기여도가 불안정해지는데, 모델 출력의 실제 변화인 Δy만으로 충분히 안정적인 순위를 얻는다는 논리다.

어떻게 쓰나

실험은 CelebA(얼굴)와 COCO-Stuff(객체·장면) 두 데이터셋에서 진행됐다. CelebA는 40개 이진 속성 중 Attractive와 Male을 클래스로, 나머지 38개 중 26개를 개념으로 사용했고, COCO-Stuff는 20개 클래스로 파인튜닝하고 Broden의 103개 개념을 썼다. 모델은 ImageNet 사전학습 후 파인튜닝한 ViT-B-16, ConvNeXt-Tiny, ResNet-18 세 가지다. 정답 기여도는 CelebA-HQ의 분할 주석과 COCO-Stuff에 Grounded-SAM으로 생성한 분할을 이용해 개념 영역을 zero-fill로 가린 뒤 확률 차이를 재는 방식으로 만들었고, CelebA 52개(26 개념 × 2 클래스), COCO-Stuff 2060개(103 × 20) 클래스-개념 쌍에 대해 스피어만 순위 상관을 계산했다. 결과적으로 HnS가 세 모델 모두, 두 데이터셋 모두에서 TCAV·PCBM보다 정답 기여도와 가장 높은 상관을 보였다. 다만 구체적인 상관계수 수치는 본문에 옮겨져 있지 않고 Table 2에 담겨 있다. 정답 생성 방식이 HnS와 유사해 HnS에 유리하게 작용할 수 있다는 지적에 대해서는 부록 G의 추가 실험으로 대응했다고 밝힌다. 국소 기여도는 이미지 검색으로 검증했는데, TCAV와 비교해 COCO-Stuff의 {apple, black}, {skateboard, blurry} 같은 쌍에서 HnS만 상위 3장에 해당 개념(검은 요소, 모션 블러)을 담은 이미지를 찾아냈고, TCAV는 그렇지 못했다.

전제와 한계

실무 적용 사례로 두 가지가 제시된다. 이미지 캡셔닝에서는 ViT-GPT2, BLIP, Florence-2, LLaVA, BakLLaVA, GPT-4o, FC, Att2In, Transformer, UpDown 10개 모델을 COCO Captions의 사람-객체 동시 등장 이미지 10,780장에서 평가했고, 79개 객체명을 개념으로 삼아 남성 지시어 확률 합에서 여성 지시어 확률 합을 뺀 젠더 점수의 변화를 측정했다. 넥타이 개념은 10개 모델 중 9개에서 높은 양의 기여도를 보여 넥타이가 있으면 남성 중심 캡션이 생성되는 경향이 확인됐고, 케이크는 7개 모델에서 높은 음의 기여도를 보여 여성 중심 캡션이 유도됐다. 이는 젠더·객체 주석 없이 얻은 결과다. 위성 영상 분할에서는 PRUE가 파종기(window A)와 수확기(window B) 두 이미지를 입력받는 구조를 활용해 개념을 A만 가리기, B만 가리기, 둘 다 가리기 세 방식으로 숨기고, BigEarthNet의 19개 클래스를 개념 목록으로 사용했다. 경작지(arable), 영구 작물 같은 개념은 높은 양의 기여도를, 내륙 수역·도시 같은 무관한 개념은 높은 음의 기여도를 보였다. 특히 복합 경작 패턴은 한쪽 창만 가리면 기여도가 거의 0이지만 둘 다 가리면 크게 나타나, PRUE가 이 개념을 시즌에 따라 변하는 동적 개념으로 학습했음을 보여준다.

개발자 입장에서 HnS의 실용적 가치는 '모델 가중치도, 개념 라벨 데이터셋도 없이' 순전파만으로 개념 단위 설명을 얻는다는 점이다. 서드파티 API로 제공되는 비전 모델이나 사내에서 가중치를 공개하지 않는 모델의 편향·스퓨리어스 상관을 점검할 때, 그리고 분할이나 캡셔닝처럼 기존 개념 기여도 기법이 아예 적용되지 않던 태스크를 조사할 때 쓸 수 있다. 저자들은 부록 A에서 HnS가 기여도 측정 방법 중 가장 빠르다고 주장한다. 다만 결과 해석 시 절대적인 기여도 값이 아니라 개념 간 상대 순위를 비교하라고 명시하고 있다. 또 VLM 선택(SigLIP이 가장 좋은 상관을 보였다고 부록 B.2에서 보고), K=50, α=1.5 같은 하이퍼파라미터가 결과에 영향을 주므로 부록의 절제 실험을 확인하는 편이 좋다.

저자가 밝힌 한계는 두 가지다. 첫째, 개념 격리(concept isolation)를 항상 보장하지 못한다. Löwdin 직교화가 대부분의 얽힘을 완화하지만, SigLIP 같은 VLM이 'baldness'와 'male'처럼 서로 다른 개념에 유사한 벡터를 주는 경우가 있어 직교화로도 분리가 안 될 수 있다. 사용자는 'dog'와 'canine'처럼 의미가 겹치는 개념을 함께 넣지 말아야 한다. 둘째, 공간적 의미를 갖는 개념에만 동작한다. 조명(lighting)이나 행복(happiness)처럼 마스킹할 영역이 없는 추상적 개념은 기여도를 계산할 수 없다. 여기에 더해 정답 기여도 생성 절차가 HnS와 유사하다는 방법론적 자기 유사성 문제가 있으며, 이는 부록 G에서 별도로 다룬다.