EmbeddingGemma 2가 744M 파라미터로 다중모달 임베딩을 통합한다

무엇인가

이 논문은 텍스트 임베딩 모델이 이미지·오디오·비디오를 다루려면 ASR이나 이미지 캡셔너 같은 별도 도구가 필요하고, 그 과정에서 세밀한 시각 정보나 비언어·환경음 신호가 사라지는 문제를 다룬다. CLIP·ALIGN·SigLIP류는 비전 타워를 붙여 교차모달 품질을 얻지만 혼합모달 입력의 상호작용을 기본 처리하지 못하고, MLLM 기반 임베딩 모델은 수십억 파라미터로 커져 지연 민감·고처리량·온디바이스 환경에 부담이 된다. 저자들은 이 간극을 744M 파라미터의 범용 다중모달 임베딩 모델 EmbeddingGemma 2로 메우려 한다.

어떻게 동작하나

모델은 271M 양방향 트랜스포머 백본(임베더 포함), 167M 비전 인코더, 305M 오디오 인코더를 결합한다. 각 모달 인코더가 미디어를 소프트 토큰 임베딩 시퀀스로 바꾸고 공유 백본에 넣기 때문에 파라미터가 모듈식이어서 텍스트 전용 271M, 비전-언어 439M, 오디오-언어 577M로도 실행할 수 있다. 백본은 24층, 모델 차원 512, 최종 임베딩 768차원이며 평균 풀링 후 랜덤 초기화 선형 투영과 L2 정규화를 거친다. Gemma 3n식 per-layer embedding은 별도 대형 토큰 룩업 테이블을 쓰지 않고 입력 임베딩을 층별로 투영하고 GELU 게이트로 변조해 잔차로 더하는 단순화된 방식으로 바꿨다.

무엇과 다른가

입력은 텍스트·이미지·오디오·비디오 세그먼트의 임의 순서열이다. 비전은 16패치 ViT, 오디오는 2개 다운샘플링 합성곱 뒤 12개 conformer(USM 기반)로 처리한다. 이미지는 학습 시 기본 280 소프트 토큰, 비디오는 프레임당 140 토큰과 32프레임을 쓰고, 추론 시 비전 토큰 예산을 70·140·280·560·1120으로 조절할 수 있다. 오디오는 40ms 청크와 Mel 필터뱅크로 초당 25 소프트 토큰을 만들며, 비디오-오디오 혼합 입력에는 MM:SS 타임스탬프와 구분자 토큰을 넣는다. 학습은 약 2.9T 토큰을 텍스트 사전미세조정 300B, 다중모달 사전미세조정 2T, 다중모달 미세조정 600B로 나눠 진행하고, 텍스트 전용 단계와 다중모달 단계를 커리큘럼처럼 분리한다.

어떻게 쓰나

손실은 대조·분산·증류 세 갈래다. 대조 손실은 배치 내 부정, 하드 부정, same-tower 부정을 쓰고 중복으로 생기는 false negative를 마스킹하며, 순위 목록에는 Plackett-Luce 기반 listwise 손실을 더한다. spread-out 정규화는 GOR의 2차 모멘트 항만 써서 임베딩이 좁은 콘에 몰리지 않고 구면에 퍼지도록 하고, 증류 손실은 Gemini Embedding 2 교사 임베딩을 잘라 학생 임베딩과 직접 맞추며 쿼리·정답·하드 부정 모두에 적용한다. MRL로 768차원 외에 512·256·128차원에서도 손실을 나눠 적용한다. 레시피는 Gemma 4 디코더를 양방향 주의로 바꾸고 비전 인코더는 다중모달 두 단계에서 함께 학습하되 오디오 인코더는 Gemma 4 E2B/E4B와 동일하게 동결한다.

전제와 한계

자원 제약 환경을 위해 백본 int4 per-block(Q4_0)과 int4 per-channel(Q4_C) 양자화 체크포인트, 비전 W8A8, 오디오 8비트 활성화와 층 클러스터별 2·4·8비트 가중치를 제공한다. 백본과 비전 인코더에는 양자화 인식 학습을 적용해 품질 저하를 줄였고, 미세조정 마지막 체크포인트와 같은 궤적의 이전 체크포인트를 비가중 평균하는 모델 병합으로 과적합 작업의 성능 저하를 완화하면서 이미 개선된 작업은 더 끌어올렸다. 절제 실험에서는 PLE 전용 룩업 테이블을 없앤 단순화가 비용을 줄이면서 성능도 개선했고, 비전 인코더를 동결하지 않고 함께 학습하는 것이 다중모달 품질에 크게 중요했으며, 미세조정에서 증류 대신 대조 학습과 spread-out 목적을 쓰는 것이 이미지·비디오 성능을 유의미하게 높였다.

평가는 MTEB(자연어·코드), MMEB-v2와 MIEB-lite(이미지·비디오·시각 문서), MSEB와 MAEB(음성·음악·환경음)로 구성된다. 베이스라인은 MTEB·MAEB·MIEB-lite에서 1B 미만, MMEB-v2에서 2B 미만 모델을 주로 비교하고 단일 벡터 모델로 제한하며 평가 데이터 25% 초과 학습 모델은 오염 때문에 제외했다. 코드에서는 4B 미만 모든 모델을 앞서고 28배 큰 선두와 2점 차이까지 따라붙었으며 256차원 절단에서도 성능 저하가 작았다. 텍스트에서는 다국어가 bitext mining과 분류 개선에 힘입어 전작을 앞섰지만 영어는 완만한 회귀가 있었고, 다국어에서는 더 작은 전문 텍스트 모델 두 개만이, 영어에서는 한 개만이 이 모델을 앞섰다. MMEB-v2에서는 리더보드 최소 모델이면서 전체 점수가 약 2B 모델에만 뒤졌고, MIEB-lite 1B 미만 상위 모델 대비 Task +7.9, Type +12.2, 다국어 시각 STS +22.8, 다국어 검색 +12.5를 기록했으며 128차원으로도 다른 1B 미만 모델의 전체 차원 성능을 앞섰다. 저자들은 이 결과로 모든 모달리티 벤치마크에서 새로운 파레토 프런티어를 세웠다고 주장한다.

오디오에서는 MAEB 30개 과제에서 1B 미만 모델 중 any-to-any 검색과 오디오 분류, 약 3분의 1개 과제에서 SOTA였고, 전체 크기 모델 중에서도 오디오 쌍 분류와 6분의 1 과제에서 SOTA였다. 평균 과제 점수는 1B 미만 최고 모델과 약 0.2점, 전체 최고 모델과 약 3.5점 차이이며 128차원 임베딩도 다른 1B 미만 모델을 앞선다. 평균적으로 오디오-텍스트 전문 모델을 앞서지만 CLAP 같은 전문 모델은 오디오 캡셔닝에서 더 강하고, EmbeddingGemma 2는 차량 소리 클러스터링 같은 비음성 과제에서 그런 전문 모델을 앞선다. MSEB에서는 ASR과 텍스트 임베딩을 조합해도 EmbeddingGemma 1을 크게 앞섰고 네이티브 오디오 입력은 더 큰 개선을 냈으며, 256차원 네이티브 오디오 임베딩이 전체 차원 ASR 임베딩보다 우수했다. 다만 화자 성별 클러스터링 같은 준언어 중심 제로샷 과제는 VoxPopuliGenderClustering 0.40으로 약하고 선형 프로브에서는 IEMOCAPGender 66.40으로 회복되어, 표현이 의미론에 치우쳐 인구통계 편향은 피하지만 준언어 정보는 과제에 따라 별도 추출이 필요함을 보여준다. 저자들은 한계를 별도 절로 두지 않았고 향후 과제로 문맥 길이 확장, 인코더 없는 구조, 종단간 RAG 학습, 새로운 혼합모달 평가 프레임워크를 제시했으며, 본문 실험에서는 비디오 토큰 280→560 구간의 성능 저하와 70토큰 비디오 학습 시 이미지·문서 품질 하락도 확인된다.