멀티모달 검색 헤드는 모달리티를 넘어 공유되고 최적화 대상이 된다

무엇인가

멀티모달 대형 언어모델은 길고 정보가 많은 입력을 다루며, 질문에 답하는 데 필요한 근거는 전체 문맥의 극히 일부에 불과하다. 기존 연구는 이 근거 찾기 능력을 '검색 헤드(retrieval head)'라 부르는 소수의 어텐션 헤드에 귀속시켰다. 문맥에서 출력으로 정보를 전달하는 헤드로, 이를 제거하면 장문 검색 정확도가 급락한다. 그러나 이런 분석은 텍스트와 이미지, 그리고 그에 해당하는 모델군에 국한돼 있었고, 검색 헤드를 모델 개선에 활용하는 방법은 거의 탐구되지 않았다. 이 논문은 두 가지를 묻는다. 모달리티가 늘어나면 같은 메커니즘이 확장되는가, 그리고 그 이해를 모델 성능 향상으로 연결할 수 있는가.

어떻게 동작하나

저자들은 먼저 음성과 화면이라는 두 경로로 같은 정보를 제시하는 쌍(pair) 입력을 만들었다. MLVU 배경 영상에 6자리 숫자를 삽입하되, 한쪽은 합성 음성으로 읽어주고 다른 쪽은 1초간 화면 중앙 배너로 띄운다. 배경, 정답, 삽입 깊이, 질문("비밀 숫자는 무엇인가")을 모두 고정하고 증거의 모달리티만 바꾼 것이다. 검색 헤드 판별은 각 헤드가 질문 토큰에서 정답 증거 토큰으로 보내는 어텐션을 평균한 값에서, 같은 문맥에 무의미한 질문을 넣었을 때의 값을 빼서 보정하는 방식으로 이뤄진다. 위치나 내용 선호만으로 생기는 어텐션을 걸러내기 위해서다. 이 점수 상위 5%를 검색 헤드로 정의하고, 언어·비전언어·통합·옴니모달에 걸친 18개 체크포인트에 동일한 기준을 적용했다.

무엇과 다른가

첫 번째 결과는 희소성이다. 옴니모달 8개 모델 모두에서 점수가 0 근처에 몰리고, 중간 및 중후반 레이어의 몇몇 좌표에만 높은 점수가 집중됐다. 모든 모델에서 상위 10분의 1 미만의 헤드가 전체 양의 점수 절반을 차지했다. 두 번째는 모달리티 간 공유다. 같은 숫자를 말로 듣든 화면으로 보든, 상위 5% 헤드의 69~83%가 두 조건에서 동시에 선택됐다. 무작위로 뽑은 집합이라면 3개 미만이 겹칠 상황이다. 전체 순위의 상관도는 스피어만 ρ 0.88~0.92로 8개 모델 전부에서 유지됐다. 반면 숫자 대신 자연 이미지를 증거로 쓰면 상관이 떨어졌다. 헤드 동원이 증거의 모달리티보다 '무엇을 찾는가'에 더 좌우된다는 뜻이다.

어떻게 쓰나

세 번째는 보존성이다. SALMONN 계열은 자신의 비전언어 백본과 ρ 0.97 이상으로 거의 동일했고, Qwen2.5-Omni도 적응 원본인 언어모델과 가까웠다. 오디오-비주얼 적응은 새 헤드를 만드는 것이 아니라 백본의 검색 헤드를 재사용해 새 모달리티로 확장하는 쪽에 가깝다. 네 번째는 인과적 역할이다. 상위 5% 헤드를 제거하자 네 모델 모두에서 음성 검색이 사라졌다. Qwen2.5-Omni-7B의 음성 exact match는 98.3%에서 0으로 떨어졌지만, 같은 수의 무작위 헤드를 제거했을 때는 96.9%가 남았다. 상위 20개만 잘라도 음성 검색 대부분이 무너졌다. 특히 음성과 화면 양쪽에서 선택된 약 12개, 전체 헤드의 2% 미만에 해당하는 공유 헤드를 제거하면 문서 이해, 공간 지각, 시각 수학 등 8개 벤치마크 성능이 함께 하락했고, 그 효과는 16개 모델-과제 조합 중 15개에서 이미지 검색 헤드를 제거한 대조군보다 컸다.

전제와 한계

이 관찰을 바탕으로 저자들은 검색 헤드의 어텐션 자체를 최적화 대상으로 삼는다. 질문과 후보 페이지(또는 문단·표·그림 같은 레이아웃 영역) 사이의 어텐션을 선택된 헤드들에 대해 합산해 후보 점수로 쓰고, 예시 내에서 최소·최대값을 그래디언트 정지 상태로 고정해 로짓 범위를 정규화한 뒤, 정답 페이지 하나와 같은 문서에서 뽑은 하드 네거티브 하나로 크로스엔트로피 랭킹 손실을 건다. 손실은 선택된 헤드에서만 정의되지만 그래디언트는 어텐션 프로젝션의 LoRA 어댑터를 갱신한다. 헤드 집합은 k=16개로 고정해 학습·추론 내내 유지한다. MMDocIR에서 Qwen3-VL-8B의 페이지 Recall@1이 학습 전 점수 대비 6.03포인트 올랐고, 10개 문서 도메인 전부에서 개선됐다. 레이아웃 수준 라벨은 학습에 전혀 쓰지 않았는데도 레이아웃 검색이 향상됐다. 같은 학습을 Qwen2.5-VL-7B와 Gemma3-12B에 적용해도 두 그ranularity 모두 개선됐고, 도메인 밖 4개 벤치마크의 변화는 1포인트 미만이었다. 무작위 헤드도 학습으로 좋아지지만 학습 전후 모두 검색 헤드에 크게 못 미쳤다.

개발자 입장에서 이 논문의 실용적 함의는 명확하다. 모델을 새 모달리티로 확장하거나 긴 문서 검색을 붙일 때, 검색 능력이 백본의 특정 헤드에 이미 실려 있고 적응 과정에서 대부분 보존된다는 점을 전제로 삼을 수 있다. 또 전체 파인튜닝 없이 소수의 헤드 어텐션에 랭킹 목적만 걸어도 검색 지표가 오른다는 것은, 문서 QA나 멀티모달 RAG 파이프라인에서 검색기 교체 없이 얻을 수 있는 비교적 값싼 개선 경로다. 다만 어떤 헤드를 고르느냐가 성능을 좌우하므로, 자신의 태스크에서 헤드 탐지와 제거 실험을 먼저 해보는 편이 좋다.

저자들이 밝힌 전제와 한계도 있다. 학습된 모델이 표에 실린 공개 검색기 점수보다 높게 나왔지만 평가 설정이 달라, 저자들은 동일 설정에서 학습 전 검색 헤드 점수와의 차이만 통제된 비교로 취급한다. 학습 데이터는 페이지 수준 관련성 라벨만 제공하고 레이아웃 수준 데이터는 없어서, 레이아웃 개선은 전이 효과로 해석해야 한다. 검색 헤드 정의는 상위 5% 컷오프에 의존하며, 저자들은 컷오프를 바꿔도 결론이 유지됨을 보였지만 헤드 선택 자체는 베이스 모델에서 한 번 탐지해 고정한다. 도메인 밖 성능 변화가 1포인트 미만이라는 점은 개선이 검색 과제에 국한된다는 뜻이기도 하다.