Perplexity가 0.6B와 9B 임베딩 모델을 증류해 검색 지연을 줄인다

무엇인가

검색 시스템은 효율과 질의-문서 상호작용의 깊이 사이에서 줄타기를 한다. 밀집 임베딩은 내적 한 번으로 근사 최근접 탐색을 가능하게 하지만 상호작용이 얕고, 크로스 인코더는 질의와 문서를 함께 처리해 풍부한 상호작용을 얻는 대신 후보마다 별도 순전파가 필요하다. 레이트 인터랙션 모델은 그 사이에 있다. 문서를 오프라인에서 임베딩 벡터의 묶음으로 색인해 두고, 질의 벡터와 MaxSim 규칙으로 상호작용한다. 논문은 이 계열이 도메인 외 설정, 장문 검색, 에이전트 검색, 시각 문서 검색(VDR)에서 특히 강하다는 기존 결과를 전제로 삼는다.

어떻게 동작하나

이 보고서가 내놓은 것은 pplx-embed-v2-late라 부르는 0.6B와 9B 한 쌍의 멀티모달·다국어 레이트 인터랙션 모델이다. 모든 모델의 토큰 임베딩 차원은 128차원으로 통일했다. 백본은 Qwen3.5로, 캐주얼 마스크가 걸린 게이트 풀 어텐션 층과 순환 Gated DeltaNet 층이 섞인 하이브리드 구조인데, 저자들은 풀 어텐션 층의 캐주얼 마스크를 꺼서 양방향-인과 하이브리드로 바꿔 쓴다. 18B 교사 모델은 Qwen3.5-27B에서 마지막 20개 층을 잘라 초기화해 증류 비용을 줄이면서도 강한 학습 신호를 유지한다.

무엇과 다른가

교사는 InfoNCE 목적으로 두 단계로 대조 학습한다. 먼저 질의-문서 쌍, 다음으로 질의·정답 문서·하드 네거티브 삼중항이다. 쌍 데이터는 28개 데이터셋을 언어와 도메인으로 다시 쪼개 981개 서브 데이터셋, 총 1억 8,600만 행을 만든다. 그중 88.3%가 텍스트-텍스트, 8.3%가 텍스트-이미지, 3.4%가 텍스트-시각문서 쌍이고, 텍스트-텍스트 중 1,400만 개는 FinePDFs의 PDF 구절에 질의를 합성한 것이다. 학습 시 샘플링 가중치를 조정해 최종 혼합비를 텍스트-텍스트 56.5%, 텍스트-이미지 30.9%, 텍스트-시각문서 12.6%로 맞춘다. 같은 원본의 도메인·언어 슬라이스를 고르게 뽑기 위해 황금비 크로네커 수열을 역 CDF에 통과시키는 준난수 샘플링을 도입한 점이 눈에 띈다. 학습에는 어텐션과 피드포워드 투영 전체에 랭크 128 LoRA를 걸고, 대조 배치 크기 16,384를 쓰기 위해 그래디언트 캐싱과 MaxSim 전용 Triton 커널을 구현했다. 질의는 256토큰, 문서는 1,000토큰으로 자르고 이미지는 종횡비를 유지한 채 최대 917,504픽셀로 조정한다. 삼중항 단계에서는 LoRA를 본체에 병합한 뒤 랭크 32 어댑터를 새로 붙이고 비전 타워를 동결한 채 텍스트 삼중항만 학습한다.

어떻게 쓰나

증류는 대조 학습이 아니라 표현 수준에서 이뤄진다. 학생이 교사의 토큰 단위 표현을 재현하도록, ℓ2 정규화된 질의 임베딩과 문서 임베딩 각각의 유클리드 거리를 마스크되지 않은 위치에 대해 평균 내고 두 평균을 같은 가중치로 더한다. 교사는 동결되어 그래디언트는 학생만 갱신한다. 이 손실이 대조적이지 않기 때문에 배치를 샘플링할 때 서브 데이터셋을 섞어 그래디언트 노이즈를 줄여도 학습 신호가 약해지지 않는다는 것이 저자들의 설명이다. 9B 학생은 Qwen3.5-9B에 양방향 풀 어텐션을 쓰고, 증류에서는 LoRA만으로는 용량이 부족했다고 밝히며 텍스트 타워 마지막 8개 층을 전면 미세조정하고 나머지 투영에는 LoRA를 적용한다. 0.6B 학생은 Qwen3.5-0.8B를 가지치기해 만들되 각 블록의 GDN 층 3개 중 2개를 제거해 게이트 풀 어텐션과 GDN이 번갈아 나오는 구조로 바꾼다. 총 5억 9,400만 파라미터 중 1억은 이미지 인코딩, 2억 5,400만은 토큰 임베딩 테이블이라 텍스트 인코딩에 실제로 활성인 파라미터는 약 2억 4,000만, 이미지 인코딩은 3억 4,000만 수준이다. VDR 과제에서 파라미터 효율적 기법보다 전면 미세조정이 낫다고 판단해 0.6B는 모든 파라미터를 학습한다.

전제와 한계

텍스트 검색 평가는 금융 18, 법률 20, 건강 8, 대화 5, 기술 4, 다국어 17개로 구성한 72개 공개 과제 묶음과 ViDoRe-V3의 텍스트 버전, Q2D-Web에서 이뤄졌다. 도메인 특화 벤치마크에서 9B는 nDCG@10 평균 81.3%로 2위 모델을 1.6포인트 앞서고 건강 도메인만 빼고 모든 도메인에서 최고점을 냈다. 0.6B는 평균 78.0%로 10억 파라미터 미만 모델 중 모든 도메인 1위다. 약 7만 개 에이전트 재작성 질의와 1억 9,000만 웹 문서로 구성된 Q2D-Web의 Combined 판정에서 Recall@1000이 9B 74.8%, 0.6B 73.6%로, 가장 강한 베이스라인 69.3%를 크게 앞선다. ViDoRe-V3 마크다운 버전에서는 두 모델 모두 평가된 모든 베이스라인을 이기고 9B는 최고 경쟁자보다 4포인트 이상 높다.

이미지 버전 ViDoRe-V3에서는 9B가 65.2%로 EVIE-8B(66.4%)와 EVIE-4.5B(65.9%)에 뒤진다. 다만 이 모델들은 토큰당 출력 차원이 각각 4,096과 2,048인 반면 pplx-embed-v2-late는 128차원이라는 점을 저자들이 함께 밝힌다. 0.6B는 62.3%로 topk-embed-v1-2b의 전체 2,048차원 결과보다 0.9포인트 낮지만 128차원으로 줄인 조건에서는 0.4포인트 높고, topk-embed-v1-0.8b의 128차원보다는 3.3포인트 높다. 위키백과 문서 스크린샷 코퍼스인 MIRACL-Vision에서 0.6B는 67.5%, 9B는 75.7%로 최고점인 gemini-embedding-2에 1.8포인트 못 미친다. 프로덕션 이미지 검색 로그로 만든 PPLX-Q2I(질의 1만, 이미지 10만)에서는 0.6B 60.4%, 9B 65.0%로 gemini-embedding-2의 67.0%에 미치지 못하지만 qwen3-vl-embedding-8b의 50.6%는 크게 웃돈다.

이 보고서의 실무적 핵심은 두 학생이 같은 교사를 모방하도록 학습돼 임베딩 공간을 공유한다는 점이다. 9B로 색인을 만들고 0.6B로 질의해도 점수가 성립하며, 도메인 벤치마크에서 0.6B→9B 조합은 0.6B→0.6B보다 모든 도메인에서 높아 평균 1.6포인트 개선되고, 9B→9B가 81.3%로 가장 높다. 질의 인코딩 비용은 0.6B→0.6B와 동일하게 유지하면서 색인 쪽만 무겁게 가져가는 하이브리드 배포가 가능하다는 뜻이다. 에이전트 검색 평가(BrowseComp+, GPT-OSS-120B 에이전트)에서도 두 모델은 평가된 모든 베이스라인보다 적은 검색 횟수로 높은 정확도를 냈고, 9B는 64.0%로 다른 레이트 인터랙션 모델인 Reason-ModernColBERT보다 4.9포인트, 최고 밀집 모델인 voyage-4-large보다 8.7포인트 높다.

한계와 전제도 분명히 적혀 있다. 도메인 특화 벤치마크는 향후 모델이 여기에 맞춰 튜닝되는 것을 막으려고 전체 과제 목록을 공개하지 않았고, 그 결과 이 점수들은 독립적으로 재현할 수 없다. 이미지 검색에서는 vision-only로 이미지 검색에 특화 학습된 EVIE 계열이 더 높은 점수를 낸다는 점도 인정한다. 또한 모든 모델이 토큰당 128차원으로 고정돼 있어, 차원을 늘린 경쟁 모델과의 비교는 조건이 다르다는 것을 감안해야 한다. 실무에서는 128차원·MaxSim 기반 저장 비용, 이미지 해상도 상한 917,504픽셀과 질의 256토큰·문서 1,000토큰 절단이 자신의 워크로드에 맞는지부터 확인하는 편이 좋다.