객체만 오려도 장면은 남는다는 것을 KAP가 수치로 잰다

무엇인가

객체 중심 검색(object-centric retrieval) 파이프라인은 백본 특징을 풀링하기 전에 배경을 마스킹한다. 장면이 아니라 객체를 반영하는 디스크립터를 얻겠다는 의도다. 문제는 그렇게 만든 디스크립터가 정말 '객체만' 담고 있는지 거의 검증되지 않았다는 점이다. 이 논문은 그 가정을 정면으로 테스트한다. 마스킹은 픽셀을 지울 뿐이고, 풀링 전에 네트워크의 수용 영역이 이미 주변을 삼켰다면 지워진 것은 아무것도 없기 때문이다.

어떻게 동작하나

저자들이 제안하는 것은 Keyhole Aperture Probe(KAP)라는 반사실적 진단이다. 새 데이터를 만들지 않고, 기존 panoptic segmentation 데이터셋(COCO, ADE20K)의 정답 마스크를 검색 평가에 재활용한다. 절차는 단순하다. 풀링되는 객체 영역은 그대로 고정하고, 그 바깥 픽셀만 바꾼다. 중립적인 채움값으로 바꾸거나, 아예 다른 실제 장면으로 갈아 끼운다. 객체는 손대지 않았는데 디스크립터가 흔들린다면, 그 흔들림의 크기가 곧 백본이 문맥에 의존하는 정도다. KAP는 이 의존성을 하나의 숫자로 요약하는, 백본에 종속되지 않는 평가 프로토콜이다.

무엇과 다른가

결과는 가설 쪽으로 기운다. 풀링된 객체 영역은 이미 주변을 통합한 상태였다. 문맥을 중립 채움값으로 바꾸든 다른 실제 장면으로 바꾸든 디스크립터가 달라졌다. 특히 빈 배경으로 채웠을 때 검색이 실패하는 경우, 그 디스크립터는 자기 객체가 아니라 배경이 단순한 이미지들과 매칭됐다. 객체를 오려냈다고 믿었던 표현이 실은 장면 쪽으로 끌려가 있었다는 뜻이다.

어떻게 쓰나

규모도 작지 않다. 현대 백본 열 개를 놓고 보면, 객체만 남긴 디스크립터는 전체 이미지 대비 정확도의 약 4분의 1에서 3분의 2 수준밖에 유지하지 못했다. 이 효과가 Transformer self-attention 고유의 성질도 아니다. 합성곱 백본에서도 같은 현상이 나타났다. 한편 의존성은 줄일 수 있다. 문맥이 제거될 때 디스크립터가 안정적으로 유지되도록 유도하는 경량 어댑터를 붙이면 이 의존도가 낮아지고, INSTRE에서 전체 이미지 인스턴스 검색 성능이 향상되며, ILIAS로 전이해도 정확도가 개선되거나 유지됐다. 같은 조건의 대조 실험인 contrastive fine-tuning은 이 이득을 재현하지 못했다. 단순히 추가 학습을 해서 좋아진 것이 아니라는 신호다.

전제와 한계

실무적으로 이 논문이 요구하는 것은 하나다. 마스킹 기반 디스크립터를 배포하기 전에, 그 디스크립터가 정말 문맥 독립적인지 측정하라는 것. 확인 방법은 어렵지 않다. 객체는 그대로 두고 배경만 빈 값으로 바꿔 검색 순위가 얼마나 무너지는지, 다른 장면으로 바꿨을 때 이웃이 바뀌는지 보면 된다. 배경이 통제된 벤치마크에서 잘 나오는 검색 모델이 실제 서비스에서 배경 분포가 달라지는 순간 무너지는 흔한 실패 모드가 여기에 있다. KAP는 그 확인을 표준 절차로 만들어 주는 도구이므로, 검색·재식별 파이프라인의 회귀 테스트 항목으로 넣을 만하다.

전제와 한계도 분명하다. KAP는 panoptic segmentation 데이터셋의 정답 마스크를 필요로 하므로, 객체 마스크가 없는 데이터에는 그대로 적용하기 어렵다. 의존도를 한 숫자로 요약하는 진단은 백본 간 비교에는 편하지만, 어느 지점에서 왜 그런지까지 설명해 주는 것은 아니다. 완화책인 어댑터의 효과는 INSTRE에서 확인되고 ILIAS로 전이되는 범위까지 보고되며, 같은 조건의 contrastive fine-tuning 대조군으로 대안 설명을 걸러내는 데 그친다. 이 논문이 내놓는 것은 '객체만'이라는 표현이 성립하지 않는다는 진단과, 그 의존도를 재고 줄이는 절차다.