병렬문 잔차로 언어별 성분을 제거해 다국어 임베딩을 개선한다
Steering beyond Language: Improving Multilingual Training-Free Text Embeddings via Paired-Residual Subspace Removal
무엇인가
이 논문은 동결된 LLM에서 별도 학습 없이 텍스트 임베딩을 뽑는 기존 방법이 사실상 영어에만 검증돼 왔다는 공백을 다룬다. 저자들은 FLORES+ 병렬문 1500개 그룹과 8개 언어를 t-SNE로 분석해 같은 의미의 번역문이 언어별로 뚜렷하게 군집하는 언어 조건적 임베딩 기하를 보인다. 18개 언어 1500개 병렬 그룹에서는 36.2%의 비교에서 같은 언어의 부정 문장이 번역문보다 앵커와 더 유사했고, 앵커-번역 평균 코사인 거리는 앵커-부정 거리의 85.6%에 그쳤다. 즉 언어 정체성이 의미 유사도를 가릴 수 있다는 것이 문제 설정이다.
어떻게 동작하나
제안 방법 PRSR은 병렬문의 잔차로 언어 민감 부분공간을 추정해 추론 시 마지막 토큰 은닉 상태에서 그 성분을 제거한다. 각 층에서 N개 병렬 그룹과 K개 언어의 마지막 토큰 은닉 상태 h에 대해 그룹 평균을 빼 잔차 r=h-평균을 만들고, 이를 모두 쌓은 행렬 R의 상위 q개 오른쪽 특이벡터로 직교 기저 B를 구한다. 이는 잔차 분산을 최대로 설명하는 q차원 부분공간이며, 추론에서는 시작 층부터 출력 층까지 h에서 (hB)B^T를 빼 언어 민감 성분을 억제한다. 수정된 표현이 이후 동결 층을 통과해 최종 임베딩에 반영되므로 모델 파라미터는 바뀌지 않는다.
무엇과 다른가
저자들은 XNLI 검증 분할의 1500개 병렬 그룹과 K=15개 언어로 층별 기저를 추정했고, q=K-1로 두었다. 개입 시작 층은 LLaMA-2-7B 17층, Mistral-7B 14층, Qwen3-8B 33층이며, LLM과 베이스라인별로 별도 기저를 만들어 평가 언어 전체에 공유했다. 실험은 단일 NVIDIA H100 96GB에서 수행됐고, 기존 학습 없는 임베딩 방법인 PromptEOL, Pretended CoT, ECHO, Token Prepending, Contrastive Prompting에 PRSR을 결합해 평가했다.
어떻게 쓰나
단일언어 평가는 MTEB와 MMTEB의 18개 언어 208개 과제-언어 조합으로 구성됐다. PRSR은 PromptEOL, Pretended CoT, ECHO, Token Prepending, Contrastive Prompting에서 각각 평균 7.3, 6.2, 6.0, 6.7, 6.8점을 올렸다. 특히 일본어, 한국어, 벵골어, 인도네시아어, 이탈리아어, 말레이어, 포르투갈어, 텔루구어는 부분공간 추정에 쓰이지 않은 언어였는데도 성능이 개선됐다. 저자들은 이것이 추정된 부분공간이 특정 언어 패턴이 아니라 전이 가능한 언어 민감 구조를 잡는다는 증거라고 해석한다.
전제와 한계
교차언어 평가는 BUCC.v2, Tatoeba, FLORES에서 영어와 200개 이상 언어의 바이텍스트 마이닝으로 이뤄졌다. 개선폭은 FLORES 18.51~23.96점, Tatoeba 25.89~34.90점, BUCC.v2 31.46~55.25점으로 단일언어보다 훨씬 컸고, FLORES에서는 영어→X와 X→영어 양방향 모두 좋아졌다. 절제 실험에서 무작위 부분공간은 기준선보다 약간 나빠졌고, 언어 평균 기반보다 올바른 번역쌍의 잔차를 쓰는 PRSR이 가장 좋았다. 같은 부분공간을 제거하는 대신 증폭하면 성능이 크게 떨어졌는데, 영어 MTEB 점수는 증폭 시 46.82에서 24.16으로 하락했고 제거 시 53.81로 상승했다.
개발자 관점에서 PRSR은 모델을 재학습하거나 임베딩 모델을 새로 파인튜닝하지 않고, 기존 동결 LLM 기반 임베딩 추출 파이프라인에 추론 시 개입으로 붙일 수 있다는 점이 실용적이다. 다국어 검색, 정렬, 클러스터링처럼 언어가 섞이는 작업에서 언어별 군집이 의미 유사도를 방해하는 경우에 특히 관련이 있다. 다만 병렬문으로 층별 기저를 미리 추정해야 하고, 시작 층과 랭크 q를 모델별로 정해야 하므로 실제 서비스에서는 대상 언어쌍과 도메인 데이터로 개입 위치와 성능을 확인해야 한다.
저자들이 밝힌 한계는 실험이 7B~8B 규모의 디코더 전용 LLM 세 계열에 한정돼 더 큰 모델에서의 적용 가능성이 아직 검증되지 않았다는 점이다. 또한 교차언어 평가는 영어와 200개 이상 언어의 쌍만 다루고 비영어 언어 간 의미 매칭은 직접 평가하지 않았다. 윤리 고려에서도 개선된 임베딩이 기반 모델과 데이터의 사회적 편향을 유지할 수 있고, 의미 정렬이 언어나 공동체 간 공정성을 보장하지는 않는다고 명시한다.