MoE 전문가 가지치기는 개별 순위가 아니라 출력 구조를 보존해야 한다

무엇인가

이 논문은 Mixture-of-Experts(MoE) 대형 언어모델의 expert pruning, 즉 MoE 층에서 일부 전문가를 영구히 제거해 메모리 사용량을 줄이는 문제를 다룬다. MoE는 토큰마다 top-k 전문가만 활성화해 연산량은 줄이지만, 추론 시 모든 전문가 파라미터를 저장해야 하므로 배포 비용이 크다. 기존 방법은 활성화 빈도, 라우터 점수, 활성화 크기 같은 개별 지표로 전문가를 점수화해 순위를 매기고 하위 전문가를 잘라냈다. 저자들은 이 접근이 전문가들이 서로 독립적으로 기여한다고 가정한다는 점을 문제로 든다. 유지된 전문가 집합의 품질은 각 전문가의 개별 중요도뿐 아니라, 선택된 전문가들이 원래 MoE 층의 구조적 특성을 함께 보존하는지에 달려 있다는 것이다.

어떻게 동작하나

저자들이 캘리브레이션 데이터로 각 전문가 출력의 평균과 표준편차를 추정해 분석한 결과, 전문가 출력에는 구조적 중복이 있었다. 기능 부분공간 관점에서 전문가 출력 표현 행렬의 엔트로피 유효 랭크와 stable rank가 전문가 수보다 일관되게 훨씬 낮았다. 분포 관점에서는 각 전문가 출력을 대각 가우시안으로 근사하고 2-Wasserstein 거리로 유사도 커널을 만든 뒤 참여율(participation ratio)로 유효 모드 수를 셌는데, 이 역시 전문가 수보다 훨씬 작았다. 전문가들이 만들어내는 함수 공간과 분포 기하가 실제 전문가 수보다 훨씬 낮은 차원에 몰려 있다는 관찰이다.

무엇과 다른가

이 관찰을 바탕으로 저자들은 expert pruning을 구조 보존 부분집합 선택 문제로 다시 정의한다. 첫 번째 방법인 PEEP는 전문가 평균 출력을 기저 함수로 보고, 유지된 전문가들이 만드는 부분공간에 원래 모든 전문가 출력을 투영했을 때 가중 투영 에너지를 최대화하는 부분집합을 고른다. 목적 함수는 가중 투영 오차의 최소화와 동치다. 라우터 가중치를 대각 행렬로 넣은 가중 표현 그램 행렬을 미리 계산해 두고, 탐욕적으로 매 단계마다 이미 선택된 부분공간이 설명하지 못한 잔차 방향을 구해 그 방향의 주변 에너지 이득이 가장 큰 전문가를 추가한다. 전문가 조합 전체를 탐색하지 않는다.

어떻게 쓰나

두 번째 방법인 DCEP는 전문가 출력 분포를 대각 가우시안으로 표현하고, 선택된 메도이드 전문가까지의 최근접 거리로 정의되는 가중 커버리지 오차를 최소화한다. 역시 탐욕적으로, 새 전문가를 추가했을 때 줄어드는 커버리지 오차가 가장 큰 전문가를 고른다. 두 방법 모두 라우터 신호에서 뽑은 가중치를 사전 정보로 쓴다. 캘리브레이션 순전파에서 활성화 빈도, 조건부 평균 라우팅 점수, 전체 평균 라우팅 점수를 수집해 (0,1]로 정규화하고 곱으로 결합한다. 이 가중치는 개별 전문가의 국소적 중요도를 담당하고, PEEP와 DCEP의 기하학적 목적 함수는 전문가 간 전역 구조를 담당한다.

전제와 한계

실험은 DeepSeek-V2-Lite와 Qwen3-30B-A3B에서 전문가 유지율 75%와 50%로 진행됐다. 일반 능력은 HellaSwag, ARC-Challenge, MMLU, C-Eval로, 수학 추론은 GSM8K, MATH500, AIME24, AIME25로 평가했다. 캘리브레이션은 일반 과제에 C4 32개 샘플, GSM8K·MATH500에 GSM8K 학습 32개 샘플, AIME24·25에 AIME23 30문제를 썼다. 베이스라인은 랜덤 프루닝, 빈도 기반 프루닝, EASY-EP, REAP이다. 저자들에 따르면 모델·유지율·과제군의 여덟 조합 모두에서 PEEP 또는 DCEP가 최고 평균 성능을 냈다. Qwen3-30B-A3B 수학 추론에서 유지율 75%일 때 PEEP는 평균 78.6%로 SOTA 베이스라인 REAP보다 3.5%포인트 높았고, 프루닝하지 않은 모델보다는 1.3%포인트 낮았다. 유지율 50%에서는 DCEP가 60.9%로 REAP를 3.6%포인트 앞섰다.

절제 실험에서 활성화 빈도와 평균 라우팅 점수가 효과적인 사전 가중치로 확인됐다. 모든 라우터 신호를 곱한 조합이 전체적으로 가장 좋았지만, 저자들은 효과와 단순성을 고려해 활성화 빈도를 기본값으로 채택했다. 캘리브레이션 크기를 32개에서 64개, 128개로 늘려도 일관된 이득은 없었다. 저자들은 제안 방법이 쓰는 구조 통계량이 작은 캘리브레이션 집합에서도 안정적으로 추정된다고 해석한다. 유지율을 낮출수록 성능은 떨어지며, 공격적인 프루닝에서 성능 저하가 두드러진다.

실무에서 이 논문은 MoE 모델을 GPU 메모리에 맞춰 줄여야 할 때 참고할 만하다. 특히 전문가 수가 많고 라우터 통계를 뽑을 캘리브레이션 데이터가 적을 때, 개별 점수 순위 대신 출력 구조를 보존하는 선택이 수학·추론 성능 손실을 줄이는 데 도움이 된다는 주장이다. 다만 유지율 50% 같은 공격적 압축에서는 여전히 성능이 크게 떨어지므로, 배포 전에 대상 도메인 데이터로 캘리브레이션을 하고 벤치마크를 다시 재는 절차가 필요하다. 코드는 supplementary materials로 제공된다고만 밝혀져 있어 저장소 위치는 원문에 URL로 제시되지 않았다.

원문에는 별도의 한계 절이 없다. 확인되는 전제는 세 가지다. 첫째, 방법이 캘리브레이션 데이터 분포에 의존하므로 일반 과제용과 수학용 캘리브레이션을 따로 쓴다는 점이다. 둘째, 전문가를 병합하거나 파라미터를 수정하지 않고 원본 전문가 부분집합만 남기므로 병합 계열 방법과의 직접 비교는 없다. 셋째, 실험은 두 모델과 두 유지율에 한정되며 그보다 낮은 유지율에서의 거동은 별도로 보고되지 않았다.