MoE 전문가 가지치기에서 게이트 스케일과 대체 연산자가 성능을 가른다

무엇인가

이 논문은 MoE 모델의 학습 없는 전문가 가지치기에서 무엇을 지울지뿐 아니라 지운 전문가의 라우팅 슬롯을 무엇으로 대체할지가 별개의 결정임을 분리해 다룬다. MoE는 토큰마다 일부 전문가만 활성화해도 전체 전문가 가중치를 메모리에 올려야 하므로, 재학습 없이 전문가를 제거하는 프루닝은 배포 비용을 줄이는 직접적인 수단이다. 기존 연구는 선택 기준에 집중했고, 대체 연산은 암묵적으로 정해졌으며, 공개 방법들이 선택과 대체를 동시에 바꾸기 때문에 기존 비교는 두 결정이 뒤섞인 비교라는 문제의식이다. 저자는 마스크를 고정하고 제거된 전문가의 슬롯 계산만 바꿔 OLMoE-1B-7B, DeepSeek-V2-Lite, Moonlight-16B-A3B를 비교하고, 라우터 재정규화 규약을 추가로 보기 위해 Granite-3.0-3B-A800M을 네 번째 라우터로 쓴다. 25%, 50%, 75% 비율을 다루며 짝지은 항목 부트스트랩 구간과 111개 대조에 대한 Holm 보정, 분리된 보정 슬라이스 반복을 사용한다.

어떻게 동작하나

대체 연산자는 제거된 전문가 i에 토큰 x가 라우팅될 때 원래 계산 g_i(x)E_i(x)를 무엇으로 바꾸는지로 정의된다. MoNE의 상수는 보정 토큰에서 해당 전문가로 간 토큰들의 평균 출력 μ_i를 넣고 라우터는 그대로 둔다. 이 논문의 tilted novice는 μ_i에 저랭크 입력 맵을 더한 μ_i + U_i clip(V_i(x - x̄_i))로, 같은 토큰들에서 E_i(x)를 x에 대해 순위 32의 축소순위 릿지 회귀로 닫힌 형태로 적합한다. 릿지는 10^-2, 특징은 4σ에서 자르며, 순위 0이면 MoNE 상수가 된다. 전문가마다 2rd+2r개의 파라미터를 추가해 50% 프루닝에서 OLMoE 1.82%, DeepSeek-V2-Lite 1.28%, Moonlight 1.24%를 차지한다. 비교에는 MoRA식 교차 전문가 프록시, ConMoE식 슬롯 재매핑, 생존 전문가에게 슬롯을 넘기는 두 가지 재라우팅, 그리고 같은 파라미터 예산으로 제거된 전문가의 고에너지 뉴런 일부를 복사하는 대체 연산도 포함된다.

무엇과 다른가

가장 큰 효과는 보통 암묵적으로 넘어가는 생존 전문가의 게이트 스케일이었다. 전문가를 지운 뒤 재라우팅할 때 각 생존 전문가에게 원래 라우터가 주었을 게이트를 그대로 주는 유지 스케일과, 지운 전문가가 없었던 것처럼 생존 게이트를 재정규화하는 방식이 다르다. top-k 재정규화 없이 학습된 OLMoE와 DeepSeek-V2-Lite에서는 생존 게이트를 재정규화하는 흔한 구현이 모든 비율에서 0.8~8.5점을 잃게 했고, 재라우팅이 MoNE 상수를 이기는지 자체를 뒤집었다. DeepSeek-V2-Lite에서는 그 비용이 비교한 어떤 연산자나 경쟁력 있는 선택 기준보다 컸다. 반대로 재정규화로 학습된 Moonlight와 Granite에서는 50%에서 학습 때의 스케일이 이겼고, Moonlight는 75%에서도 그랬다. 저자는 네 라우터 모두에서 학습 때의 스케일을 쓰는 쪽이 낫다고 정리해 trained-scale rule이라 부르며, 유지 스케일 재라우팅은 제거된 전문가의 라우터 행을 체크포인트에 남겨야 한다는 제약도 생긴다.

어떻게 쓰나

tilted novice는 50% 프루닝에서 상수보다 OLMoE 3.45점, Moonlight 1.37점을 개선했고 Holm 보정을 통과했으며 세 번의 보정 추출에서 최대 0.20점만 움직였다. 75%에서는 세 모델 모두 상수보다 좋았고 두 모델에서 Holm 유의했으며, Granite에서는 모든 비율에서 상수와 학습 스케일 재라우팅을 앞섰다(다만 Holm 계열 밖). OLMoE에서 순위 8 버전은 6분의 1 파라미터로 층마다 전문가 하나를 더 남기는 것보다 좋았고, 75%에서 WikiText 퍼플렉서티를 1,434에서 172로 낮췄다. 4비트와 3비트 GPTQ 양자화에서 상수 대비 이득은 12개 설정 중 11개에서 감소가 감지되지 않았지만, 재라우팅의 이득은 11개에서 줄었고 5개에서는 유의하게 줄었다. 어떤 연산자도 모든 모델을 지배하지 않는다. 학습 스케일 재라우팅은 DeepSeek-V2-Lite 50%와 75%에서 최고였고, tilt는 Moonlight 두 비율과 OLMoE 50%에서 최고였다. 네 마스크 평균에서 OLMoE와 DeepSeek-V2-Lite 차이는 Holm을 통과했고 각각 +2.39점, -1.22점이었다. 같은 예산의 부분 복사는 OLMoE와 DeepSeek-V2-Lite에서 tilt와 통계적으로 구분되지 않았고(차이 상한 0.81점, 0.73점), Moonlight에서는 뒤졌다. 화이트닝되거나 일반 SVD 복사는 예산을 네 배로 늘려도 상수를 확실히 이기지 못했고, 생존 전문가 기반 대체는 재구현 범위에서 어느 모델에서도 학습 스케일 재라우팅에 미치지 못했다.

전제와 한계

평가 방식이 결론을 바꾼다는 점도 핵심 주장이다. 25% 프루닝에서 MoNE 상수는 다중선택 정확도의 92~97%를 유지했지만 GSM8K는 5~65%, 코드 점수는 0~17%만 유지했다. 보정 도메인을 바꾸면 같은 토큰 예산의 재샘플링보다 프루닝 마스크가 4~9배 더 많이 달라졌고, 일반 텍스트를 GSM8K와 같은 블록 수로 줄여도 50%에서 4.9~5.9배, 25%에서 4.9배, 9.3배, 3.9배 차이가 남았다. GSM8K로 도메인 내 보정을 하면 25% 프루닝이 거의 전체 dense GSM8K를 유지했고(46.3, 37.8, 73.8 대 dense 45.5, 37.5, 73.8), OLMoE 50%에서는 tilt가 +19.4점, 유지 스케일 재라우팅이 +22.7점을 상수 위에 더해 21.6점을 41.0점과 44.3점으로 올렸다(dense 45.5). Moonlight 50%에서는 도메인 내 상수가 dense보다 3.5점 낮았고 tilt가 +2.96점을 회복해 73.3점이 된 반면 재라우팅의 +0.83점은 유의하지 않았다. OLMoE를 절반으로 줄이고 GSM8K 보정 마스크와 유지 스케일 재라우팅을 쓰면 추가 파라미터 없이 GSM8K 44.28점(dense 45.49의 97%)과 다중선택 54.00점(dense 66.76)을 냈다. 마스크와 적합 도메인을 교차하면 적합 연산자는 적합한 도메인을 물려받아, 마스크를 고정해도 GSM8K로 적합하면 두 연산자 모두 9개 과제 정확도가 0.98~2.86점 낮아졌다.

양자화와 같은 저장 예산에서의 비교는 프루닝의 위치를 분명히 한다. 일반 텍스트 보정에서 25% 프루닝과 4비트 가중치를 쓰는 쪽은 3비트 전문가에 4비트 어텐션과 공유 전문가를 쓰는 균일 양자화보다 9개 과제에서 낮았고, 가장 좋은 프루닝 arm인 tilt도 OLMoE와 Moonlight에서 각각 1.33점, 1.72점 뒤졌다. DeepSeek-V2-Lite는 9개 과제 차이가 감지되지 않았지만 big-5와 MMLU는 낮았다. 반대로 약 7GB의 도메인 내 배포에서는 마스크, 적합, 양자화기를 모두 GSM8K로 보정했을 때 25% 프루닝과 4비트 가중치를 쓴 모든 arm이 모든 전문가를 3비트로 양자화한 쪽을 GSM8K 점추정에서 앞섰다. DeepSeek-V2-Lite에서 tilt는 +4.25점(37.15 대 32.90, dense의 99%)이었고 Mixture-Compressor식 2/3/4비트 배분(35.63)도 앞섰다. Moonlight에서는 학습 스케일 재라우팅이 +2.58점 앞섰지만 dense 경쟁자의 드물게 라우팅되는 선형층 99~132개가 GSM8K 토큰 부족으로 round-to-nearest로 후퇴해 불리했을 수 있다. 가장 낮은 예산에서는 모든 선형층을 균일 2비트 GPTQ로 양자화한 것이 39.2~45.7점(추측 수준 약 40.5점)으로 떨어졌고, 50% 프루닝과 4비트 가중치가 최대 5% 더 큰 크기로 48.7~61.2점을 유지했다. 저자는 프루닝이 알려진 배포 도메인이나 아주 작은 메모리 예산에서 가장 매력적이라고 정리한다.

개발자 관점에서 가장 바로 쓸 규칙은 재라우팅할 때 라우터가 학습된 게이트 스케일을 유지하라는 것이다. 특히 top-k 재정규화 없이 학습된 체크포인트에서 생존 게이트를 습관적으로 재정규화하면 다중선택 점수만 보고는 놓치기 쉬운 0.8~8.5점 손실이 생길 수 있고, 이 선택이 재라우팅과 상수 대체의 우열까지 뒤집는다. 유지 스케일 재라우팅을 쓰려면 프루닝 체크포인트가 제거된 전문가의 라우터 행을 보관해야 하므로 vLLM 계열 압축 포맷을 쓸 때 스키마와 라우팅 의미를 확인해야 한다. 가벼운 프루닝에서는 DeepSeek-V2-Lite와 Moonlight에서 평균 출력 상수가 경쟁력이 있고, 공격적인 프루닝에서는 tilt나 같은 예산의 부분 복사가 손실을 일부 회복한다. tilt는 배치 32에서 프루닝의 프리필 이득을 3분의 2에서 4분의 3까지 유지하고 양자화에도 강하지만, OLMoE 0.13GB, DeepSeek-V2-Lite 0.22GB를 추가하며 배치 1의 미융합 구현에서는 토큰당 6~8% 느리게 디코딩한다. 학습 스케일 재라우팅은 파라미터가 필요 없는 가장 강한 대체지만 프리필 이득은 거의 포기한다. 저자는 다섯 가지 보고 항목으로 라우터 학습 규약과 프루닝 후 게이트 의미, 고정 마스크에서 선택과 분리한 대체 연산 비교, 다중선택 옆의 생성 과제, 마스크와 적합 연산자의 보정 도메인 및 토큰 예산, 같은 저장 예산의 양자화 베이스라인을 제시한다.

한계는 범위가 좁다는 점이다. 실험은 64개 라우팅 전문가를 가진 7~16B 기반 모델 세 개와 40개 전문가의 Granite 하나에 한정되며 128개 이상 전문가나 명령 튜닝 체크포인트는 다루지 않는다. trained-scale rule의 반대 방향은 Granite와 Moonlight 두 라우터, 한 번의 보정 추출에 기대고 있고, 유지 스케일 arm의 마스크 그리드와 생성 평가도 빠져 있으며 두 끝점 스케일만 비교한다. 모든 결과는 학습 없는 일회성 프루닝이고, 짧은 회복 미세조정이나 라우터 전용 증류가 연산자 차이를 지우는지는 열린 문제다. 마스크는 슬라이스 A에서만 나오므로 B와 C 재적합은 연산자가 적합하는 것만 바꾸고, 일부 연산자와 모든 Granite 결과는 보정 잡음에 노출된다. 보정 도메인 결과는 GSM8K 한 번의 추출을 쓰고 마스크 그리드는 두 모델의 50%만 덮는다. MoRA, ConMoE, COMPEL은 공개 코드가 없어 논문 수식대로 재구현해 검증했지만 전체 파이프라인 재현이 아니며 MoRA 재구현은 출판 수치보다 1.2~4.4점 낮다. 병합 방법은 직접 실행하지 않았고, 생성 평가는 GSM8K, HumanEval, MBPP의 25%만 포함해 MATH와 장문 과제는 빠졌다. 연산자 비교는 저장 파라미터 기준으로 맞췄지 계산량 기준으로 맞추지 않았고, 통계는 111개 사전 지정 대조에 Holm 보정을 적용했으며 나머지는 탐색적이다.