층마다 따로 두던 MoE 전문가를 전 층이 공유해 파라미터 중복을 줄인다
Meta Expert: Cross-Layer Expert Sharing for Storage- and Retrieval-Efficient MoE
무엇인가
이 논문이 다루는 문제는 MoE의 파라미터 효율을 '너비'가 아니라 '깊이' 방향에서 개선하는 것이다. 현재 주류 MoE는 층마다 독립적인 라우터와 전문가 집합을 두는 계층적 구조를 쓴다. 그런데 해석 가능성 연구들은 FFN이 비교적 정적인 지식을 저장하며 서로 다른 층이 유사한 지식을 담는다고 보고해 왔고, 저자들은 이 층간 중복을 실제로 측정해 문제로 삼는다. Looped Transformer처럼 층 파라미터를 재사용하는 대안은 반복 횟수가 늘어 지연과 연산 비용이 커진다는 것이 저자들의 지적이다.
어떻게 동작하나
제안 방법은 Cross-Layer Expert Sharing, 즉 Meta Expert다. 기존 MoE 층은 층 전용 라우터 R_l과 N개의 Local Expert로 토큰을 top-k 라우팅해 y_l을 계산하지만, Meta Expert 구조에서는 층마다 따로 있던 MoE 블록을 하나의 공유 블록으로 바꾼다. 라우터 R 하나와 M개 전문가 풀 하나를 모든 층이 함께 쓰고, 각 층은 자신의 은닉 상태로 같은 풀을 호출한다. 반복 횟수는 그대로 두고 각 층이 고를 수 있는 후보 전문가 수를 늘리되, MoE의 희소 활성화 덕분에 층당 활성 파라미터와 연산량은 유지된다. 실험에서는 Meta Expert의 총 개수 비율(0/25/50/75/100%)과 층당 활성화 비율(25/50/75%), 그리고 위상 구조(모든 층에 Meta Expert를 둘지, Meta Expert 자체를 여러 서브풀로 나눠 순환할지)를 변수로 삼는다.
무엇과 다른가
실험은 2B-A0.5B 모델에서 변수를 훑은 뒤 스케일링 래더로 검증하고, 최종적으로 6B-A1.6B 모델을 200B 토큰으로 학습해 다운스트림 성능을 비교하는 순서로 진행된다. 모든 비교에서 전체 전문가 수와 층당 활성화 수를 고정해 FLOPs를 비슷하게 맞췄고, 베이스라인은 Vanilla MoE다. 평가는 MMLU, C-Eval, CMMLU, BBH(chain-of-thought), OpenBookQA, TriviaQA로 구성된다. 핵심 결과는 두 가지다. 첫째, 어떤 활성화 비율에서도 Meta Expert의 총량 비율이 높을수록 손실과 전문가 중복도가 함께 낮아졌다. 둘째, 최적 구성을 조합한 뒤 Meta Expert 수를 줄여가며 비교했을 때 Vanilla MoE와 동등한 성능을 전문가 예산의 70~80%만으로 달성했고, 이는 파라미터 기준 15~25% 절감에 해당하며 모델이 커질수록 격차가 벌어졌다. 위상 실험에서는 처음 두 층과 마지막 두 층만 Local Expert로 남기고 Meta Expert를 2개 서브풀로 나눠 교차 순환시키는 구성이 모든 FLOPs 구간에서 가장 좋았고, 모델이 깊어질수록 Local 전용 층과 계층화 수준을 더 늘리는 편이 유리했다. 저자들은 이 현상을 두 방향 잔차 경로로 설명한다. 층별 MoE에서는 깊은 층의 신호가 얕은 층에 파라미터 업데이트로만 도달하고 그마저 중간 층 신호에 희석되지만, 공유 블록에서는 쓰기와 읽기가 같은 연산자라 얕은 층 내용을 같은 코드 공간에서 재해석해 읽을 수 있고, 깊은 층 내용도 m-l에 무관한 O(1) 길이 경로로 활성화 수준에서 얕은 층에 전달된다.
어떻게 쓰나
개발자 관점에서 이 논문의 실용적 함의는 전문가 풀을 층별로 복제하는 것이 필수가 아니라는 점이다. 같은 활성화 예산을 유지하면서 저장 파라미터를 15~25% 줄일 수 있다면 서빙 메모리와 체크포인트 크기가 직접 줄어든다. 다만 그대로 옮기려면 두 가지를 확인해야 한다. 하나는 저자들이 채택한 75% Meta 비율과 처음·마지막 두 층만 Local로 두는 규칙이 모델 깊이에 따라 달라진다는 점이고, 다른 하나는 순수 Meta Expert 구성이 학습 불안정을 보여 실제로는 부분 공유를 택했다는 점이다.
전제와 한계
한계는 저자들이 직접 밝힌다. 200B 토큰 학습 예산이 제한적이어서 Meta Expert 변형들이 데이터셋마다 서로 다른 우위를 보였고, 더 큰 규모의 스케일링 실험이 필요하다고 인정한다. 또한 약하게 계층화한 공유 전문가가 성능 저하 없이 중복을 만들어내는 이유는 미해결 질문으로 남겨두었다. 검증 규모도 2B와 6B 수준이며, 표 1의 다운스트림 개별 점수는 본문에 수치로 제시되지 않고 Meta Expert 변형이 일관되게 Vanilla 베이스라인을 앞선다는 정성적 결론만 확인된다.