심플렉스 제약이 멀티모달 검색의 모달리티 갭을 97% 줄인다

무엇인가

이 논문은 CLIP·CLAP 같은 멀티모달 대조 모델이 공유 임베딩 공간을 학습하고도 텍스트와 이미지·오디오 임베딩 분포가 체계적으로 어긋나는 모달리티 갭을 다룬다. 저자들은 이 갭이 크로스모달 유사도를 오교정해 검색과 제로샷 결정 경계를 해칠 수 있다는 보고가 있는 한편, 0이 아닌 갭이 모달리티 고유 구조를 담을 수 있어 무조건 붕괴시키면 모달리티 내부 기하가 흔들리고 하위 성능이 나빠질 수 있다는 논쟁을 전제로 한다. 기존 연구가 대조 목적함수 수정, 공유 어텐션 융합, 적대적 정렬, 계층 구조를 반영한 대체 임베딩을 시도한 것과 달리, 이 논문은 출력 기하만 바꿔 사전학습 백본을 건드리지 않고 학습 가능 파라미터 1% 미만으로 갭을 크게 줄일 수 있다고 주장한다.

어떻게 동작하나

방법의 핵심은 고정된 멀티모달 인코더가 만든 풀링 임베딩 h에 선형 또는 2층 MLP인 경량 공유 어댑터를 붙여 로짓 z를 얻은 뒤, 같은 어댑터 구조로 두 가지 출력 영역을 비교하는 것이다. 유클리드 기준은 z를 L2 정규화해 단위 구면 S^{d-1}에 올리고 코사인 유사도로 점수화한다. 제안 방식은 z에 소프트맥스를 적용해 확률 단체 Δ^{d-1}, 즉 모든 좌표가 0 이상이고 합이 1인 벡터로 투영하고, Total Variation 기반 점수인 -1/2 곱하기 L1 거리로 쌍을 점수화한다. 두 영역은 내재 차원이 d-1로 같지만, 단체는 비음수·단위합 제약으로 두 모달리티가 같은 좌표계에서 하나의 확률 예산을 나눠 쓰도록 만든다. 또한 소프트맥스는 로짓 전체에 상수를 더해도 결과가 같아 추가적인 크로스모달 정규화를 제공한다. 반면 구면의 코사인 유사도는 회전·반사·부호 뒤집기에 불변이라, 쌍은 맞추면서도 모달리티별 분포는 어긋난 등가 해가 많이 남는다.

무엇과 다른가

학습은 DPR식 대칭 인배치 InfoNCE로 진행한다. 텍스트와 오디오 또는 이미지 쌍에 대해 텍스트→상대 모달리티와 상대 모달리티→텍스트 두 방향의 NCE 손실을 평균하고, 유클리드 출력에는 코사인, 단체 출력에는 음의 Total Variation을 점수로 쓴다. 실험은 오디오-텍스트의 Clotho, AudioCaps, SoundDescs와 이미지-텍스트의 MS-COCO Captions, Flickr30k 다섯 벤치마크에서 한다. 오디오-텍스트는 LAION-CLAP, 이미지-텍스트는 FLAVA를 고정하고, 어댑터 없는 고정 인코더, 유클리드 선형·MLP, 같은 어댑터 뒤에 소프트맥스를 붙인 단체 선형·MLP, 유클리드 출력의 공유 크로스어텐션 XAttn, 단체 다해상도 출력의 ReTreever를 비교한다. 추가로 유클리드 코스투파인 MRL과 ReTreever를 차원별로 비교한다. 모든 어댑터는 AdamW, 학습률 4×10^-4, 배치 64, 학습 가능 온도로 20만 스텝 학습하며 학습 가능 파라미터는 1% 미만이다. 지표는 모달리티 중심점 L2 거리, 실루엣, 모달리티 내부 산포로 중심점 거리를 정규화한 RelGap, 양방향 NDCG@10이다.

어떻게 쓰나

주요 결과는 갭 감소 폭이 매우 크다는 것이다. 고정 백본의 중심점 L2 갭은 데이터셋에 따라 0.36~0.81이었는데, 동일한 선형·MLP 어댑터에 소프트맥스만 붙이면 0.005~0.020으로 줄어 97~99% 감소한다. 예를 들어 MS-COCO는 0.810에서 MLP+소프트맥스로 0.009, Flickr30k는 0.731에서 0.007이 된다. 출력 영역마다 거리 스케일이 달라서 정규화한 RelGap도 함께 보고하는데, SoundDescs는 0.521에서 MLP+소프트맥스 0.179, ReTreever 0.097로, AudioCaps는 0.380에서 0.180, 0.113으로 낮아진다. 갭 감소가 검색 성능 희생으로 이어지지도 않는다. Clotho에서는 선형+소프트맥스가 텍스트→오디오 NDCG@10을 0.259에서 0.382로 올리고, SoundDescs에서는 ReTreever가 0.535/0.542로 가장 좋은 검색 점수를 내면서도 작은 갭을 유지한다.

전제와 한계

저자들은 갭 감소가 단순히 공유 크로스어텐션 때문인지, 출력 기하 때문인지 분리하려고 한다. 같은 공유 크로스어텐션 계열에서 XAttn은 유클리드 임베딩과 코사인 점수를, ReTreever는 단체 임베딩과 Total Variation 점수를 쓴다. SoundDescs에서 XAttn은 중심점 L2 0.309, RelGap 0.331인데 ReTreever는 0.012, 0.097이고, Flickr30k에서도 XAttn이 0.527, 0.563인 반면 ReTreever는 0.005, 0.129다. 이는 공유 어텐션 자체보다 단체 출력 제약이 갭 폐쇄의 주된 요인임을 시사한다. 코스투파인 비교에서도 MRL의 AudioCaps 중심점 갭은 2차원에서 0.032였다가 256차원에서 0.534로 약 17배 커지지만, ReTreever는 전 구간에서 0.06 미만을 유지한다.

단체 임베딩의 거리 행동도 분석한다. 학습된 단체 임베딩의 디리클레 집중도 알파를 모멘트 매칭으로 추정하면 SoundDescs에서 차원 2일 때 약 18이던 값이 차원 1024에서 약 0.06으로 떨어지고, 차원 16에서 이미 1 아래가 된다. 이는 고차원 ReTreever 임베딩이 희소 영역에 있어 기준 거리가 0으로 수렴하지 않고 어느 정도 평탄해지는 영역에 있음을 뜻한다. 그런데도 모달리티 갭은 작게 유지되고 RelGap도 단체 방식이 가장 낮다. 저자들은 이를 갭 폐쇄가 단순한 거리 스케일 변화가 아니라 실제 크로스모달 정렬 개선을 반영한다는 근거로 해석한다.

개발자 관점에서 이 논문은 이미 고정된 CLIP·CLAP·FLAVA 계열 백본으로 이미지·오디오·텍스트 검색을 붙일 때, 백본 재학습 없이 작은 어댑터와 소프트맥스 단체 출력, Total Variation 점수만으로 모달리티 갭을 크게 줄이는 선택지를 보여준다. 다만 실무에서는 같은 용량의 유클리드 어댑터와 비교해 개선이 기하에서 오는지 확인하고, 중심점 L2뿐 아니라 RelGap과 양방향 NDCG@10을 함께 봐야 한다. 저자들도 모달리티 갭의 실제 영향이 논쟁적이며 0이 아닌 갭이 모달리티 고유 구조를 담을 수 있고, 무분별한 붕괴가 모달리티 내부 기하를 흔들어 하위 성능을 해칠 수 있다고 전제한다. 또한 실험은 고정 백본과 1% 미만 경량 어댑터, 다섯 개 벤치마크에 한정되므로 전체 파인튜닝이나 다른 모달리티 조합으로의 일반화는 이 논문이 직접 검증하지 않았다. 단체 임베딩은 확률 배분으로 해석할 수 있고 JS·Hellinger·KL 같은 정보이론적 유사도도 대안으로 쓸 수 있다는 점은 후속 실무 실험의 여지를 남긴다.