MoE 전문가 라우팅으로 LLM 개인화를 해석한다
Explaining the Roles of Experts in Mixture-of-Experts LLMs for Personalization
무엇인가
이 논문이 다루는 문제는 LLM 개인화를 해석하고 제어하는 일이다. 기존 개인화 연구는 대부분 dense LLM을 대상으로 했는데, dense 모델의 뉴런은 서로 무관한 여러 개념을 한 뉴런에 인코딩하는 다의성(polysemanticity)을 보이기 때문에 개인화를 담당하는 구성요소를 국소화하기 어렵다. 저자들은 토큰마다 소수의 특화 전문가에게만 희소하게 라우팅하는 Mixture-of-Experts(MoE) LLM이 다의성을 낮춰 이런 국소화를 가능하게 한다고 보고, MoE 개인화의 메커니즘을 해석하는 세 가지 연구 질문(다의성, 개인화 특성 분리, 라우팅 경로)을 세운다.
어떻게 동작하나
방법은 두 축으로 구성된다. 먼저 개인화 적응은 Bai et al.(2025)을 따라 2단계 파라미터 효율적 파인튜닝으로 진행한다. 1단계에서는 라우터 파라미터만 언어모델링 손실로 업데이트하고 전문가와 나머지 파라미터는 동결한 뒤, 선호 데이터셋에서 각 전문가가 top-k로 선택된 빈도를 측정한다. 2단계에서는 그 빈도 기준으로 레이어마다 가장 많이 선택된 k개 전문가만 파인튜닝하고 라우터와 나머지는 동결한다. 다음으로 해석 단계에서는 개인화 모델과 비개인화 모델의 쌍을 이룬 활성화에 BatchTopK 크로스코더를 학습시켜, 두 모델의 디코더 벡터 노름 차이로 정의한 점수 Δ_j가 0.9 이상인 잠재(latent)를 개인화 잠재로 분류한다. 각 개인화 잠재는 활성화가 일어난 토큰과 그렇지 않은 토큰에서의 전문가 선택 빈도 차이를 비교해 상위 k'개 전문가에 매핑되며, 이때 서로 다른 잠재가 서로 다른 전문가로 가도록 하는 구별성과 부분표본 간 일관성을 나타내는 안정성을 격자 탐색으로 함께 최적화한다.
무엇과 다른가
실험은 OLMoE-1B-7B(0125), Qwen3-30B-A3B(2507), Mixtral-8x7B(v0.1) 세 MoE 모델에서 수행하고, 각각 활성 파라미터 수와 전체 파라미터 수를 맞춘 dense 모델(OLMo-2-1B/7B, Qwen2.5-3B/32B, Llama-2-13B/70B)과 비교한다. 학습은 Multifaceted Collection, 평가는 Multifaceted Bench, LaMP, LongLaMP에서 METEOR와 ROUGE-L로 이뤄진다. 결과적으로 MoE 모델은 유사한 활성 파라미터의 dense 모델을 능가하고, Qwen과 Mixtral 계열에서는 유사한 전체 파라미터의 dense 모델과 대등하거나 앞서며, 토큰당 전체 파라미터의 약 20%만 활성화한다. 라우터 튜닝이 Qwen3에서는 이득의 대부분을 차지하고 Mixtral에서는 전문가 튜닝의 기여가 더 크다. 개인화 이득은 학습 데이터와 같은 형태의 그룹 선호를 쓰는 Multifaceted Bench에서 가장 크고, 상호작용 이력에서 사용자별 선호를 추론해야 하는 LaMP와 LongLaMP에서는 더 작다.
어떻게 쓰나
다의성 검증에서는 20개 개념에 대해 k-sparse 프로빙을 수행했는데, MoE가 유사 활성 파라미터의 dense보다 균형 정확도가 높고 k=1에서도 격차가 유지되어 전문가 수준의 단일 의미성을 뒷받침한다. 개인화 잠재가 비개인화 모델 활성화를 얼마나 설명하는지를 나타내는 비율 ν_j도 같은 모델 패밀리 안에서는 MoE가 dense보다 낮았는데, Mixtral만 유사 활성 파라미터의 Llama-13B보다 높아 이 비교가 같은 패밀리 내로 제한된다는 점을 저자들이 명시한다.
전제와 한계
개인화 특성 분리 결과는 구체적이다. 라우팅 발산과 엔트로피 기준으로 Qwen3는 L25, Mixtral은 L15, OLMoE는 L6가 가장 구별적인 레이어로 뽑혔고, 전체 잠재의 0.25% 미만에 해당하는 소수만이 개인화 잠재로 식별됐다. 수치는 Qwen3 157/65536, Mixtral 132/131072, OLMoE 111/65536이다. LLM 해설자와 채점자(Llama-3.3-70B-Instruct)로 잠재를 해석한 결과, OLMoE 잠재의 85%, Qwen3의 82%는 주로 시스템 메시지에서 발화한 반면 Mixtral은 41%만 응답에서 발화했다. 강조되는 선호 차원도 달라 OLMoE는 스타일 52%와 무해성 21%, Qwen3와 Mixtral은 배경 지식 45%와 40%가 우세했다. 채점자 F1은 OLMoE 0.65, Qwen3 0.63, Mixtral 0.70이었고 최상위 활성화 구간에서는 각각 0.81, 0.83, 0.88로 올라간다.
전문가 정렬과 인과 분석도 정량적으로 제시된다. Qwen3에서 잠재-전문가 매핑은 구별성 0.94, 안정성 0.81을 기록해 서로 다른 잠재가 서로 다른 전문가로 라우팅됨을 보인다. 활성화 패칭으로 비개인화 활성화에 개인화 잠재를 결합하면 개인화 모델과의 KL 발산 감소가 모든 기준선 중 최대였고, 이는 개인화 잠재가 개인화 동작을 복원하기에 충분함을 뜻한다. 반대로 비개인화 모델에서 각 차원에 고유하게 정렬된 상위 k'개 전문가를 부스팅 강도 2로 조정하면 무작위 조정보다 KL 발산이 낮아, 전문가가 개인화 동작에 필요하고 차원별로 고유한 라우팅 경로가 존재함을 인과적으로 뒷받침한다.
개발자 관점에서 이 논문의 실용적 함의는 개인화 어댑터를 MoE에 붙일 때 라우터를 먼저 튜닝해 관련 전문가를 찾고 그 전문가만 튜닝하는 2단계 절차가 연산 효율과 해석 가능성을 동시에 준다는 점이다. 다만 실제 적용 전에 확인할 것은 크로스코더 재구성 품질이다. 원문은 설명된 분산 비율이 OLMoE 0.80, Qwen3 0.74, Mixtral 0.65로 모델마다 차이가 크고 Mixtral은 활성화 크기와 꼬리가 훨씬 크다고 밝힌다. 또한 개인화 잠재 집합이 디코더 노름 임계값에 의존하므로, 임계값과 레이어 선택을 바꿨을 때 결과가 유지되는지 확인해야 한다.
저자들이 밝힌 한계는 분명하다. 모델마다 라우팅 발산으로 고른 한 개 레이어만 분석했기 때문에 다른 레이어에서 나타나는 개인화 특성을 놓칠 수 있고, 공유 전문가나 세분화된 전문가 구조를 쓰는 다른 MoE 설계로 결론이 전이된다고 보장하지 않는다. dense 비교군은 활성 또는 전체 파라미터 수를 맞췄을 뿐 사전학습 데이터와 레시피가 달라 아키텍처 효과와 학습 차이를 완전히 분리할 수 없다. 데이터는 네 차원의 합성 시스템 메시지로 그룹 수준 선호를 표현한 영어 데이터에 한정되며, 실제 사용자 이력의 개인화 신호는 더 노이즈가 많고 얽혀 있을 수 있다. 크로스코더는 활성화를 불완전하게 재구성하고 재구성 오차에 담긴 정보는 잠재 수준 분석에서 보이지 않는다. 프로빙은 개념이 응답 전체의 속성인데 토큰 단위로 라벨을 붙여 라벨 노이즈가 생기고, 후보가 많은 MoE에 유리한 선택 편향이 남을 수 있으며, 프로브는 개념이 디코딩 가능한지를 측정할 뿐 모델이 실제로 그 개념을 사용하는지는 말해주지 않는다. 전문가 귀속은 발화 토큰의 라우팅 빈도에서 도출된 상관적 결과이고 예시 수와 선택 규칙, 배경 라우팅 비율에 의존한다. 생성 평가에 쓰인 ROUGE-L과 METEOR는 개인화의 불완전한 대리 지표이며, 자동 해석은 LLM 해설자와 채점자의 편향에 영향을 받는다.