라우터를 여러 개 두면 전문가 선택과 전문가 입력이 함께 개선된다

무엇인가

희소 MoE는 토큰마다 전체 전문가 중 극히 일부만 활성화해 파라미터 용량을 늘린다. 이때 라우터 점수가 어떤 전문가가 토큰을 처리하고 그 출력이 어떻게 합쳐질지를 결정하므로, 고정된 활성 전문가 예산 아래에서 모델 성능은 사실상 라우팅 품질에 묶인다. 이 논문은 전체 전문가를 전부 평가하는 진단을 통해, 단일 라우터의 순위와 실제 전문가 효용(expert utility) 순위 사이의 일치도가 특히 중간·깊은 층에서 낮다는 것을 먼저 보인다. 선택되지 않은 전문가는 해당 토큰으로부터 과제 손실 그래디언트를 직접 받지 않으므로, 잘못된 선택이 스스로 강화되는 구조다. 더 나은 신호를 얻는 대가도 만만치 않다. 전문가 내부 활성값 기반 라우팅은 모든 전문가를 부분적으로 미리 계산해야 하고, 여러 개의 완전한 표현을 같은 전문가에 각각 통과시키면 전문가 연산이 그만큼 반복된다.

어떻게 동작하나

첫 번째 구성 요소인 Multi-Router는 독립적으로 초기화한 R개의 시그모이드 라우팅 헤드로 하나의 공유 전문가 풀을 점수화한다. 각 헤드 출력에 시그모이드를 적용한 뒤 합산하고( s̄_i = Σ_r σ(w_i^(r)ᵀ h) ), 여기에 백본의 밸런싱 바이어스 b를 더해 단 한 번 top-k를 뽑는다. b는 선택에만 쓰이고 출력 게이트에는 들어가지 않는다. 게이트는 g_i = α_i · s̄_i / Σ_{j∈S} s̄_j 로, 선택된 전문가들의 보정 전 점수 합으로 정규화한다. 저자들이 강조하는 구현상의 핵심은 합산 위치다. 로짓을 시그모이드 전에 더하면 Σ_r w_i^(r)ᵀ h 가 되어 하나의 선형 스코어러로 붕괴하지만, 시그모이드 뒤에 더하면 각 헤드가 서로 다른 비선형 스코어 함수로 남고, 이 상대 기여도가 뒤에서 입력 혼합 비율로 재사용된다. 헤드는 다양성 페널티 없이 시드만 다르게 초기화하는데, 학습이 진행되면 헤드끼리 상당히 다른 선호를 형성한다.

무엇과 다른가

두 번째 구성 요소인 Multi-View는 라우터 수 R과 잠재 뷰 수 K를 1대1로 묶어 R=K로 두고, 라우터의 선호를 전문가 연산 자체에 개입시킨다. 각 뷰는 v^(m) = P_m h 로, 채널 일부가 아니라 전체 은닉 상태를 d차원으로 사영한다. 뷰 1은 백본의 다운프로젝션 P를 그대로 쓰고, 나머지는 v^(m) = Ph + γ(t)ΔP_m h 형태의 점진적 섭동으로 두어 학습 초반 γ를 0에서 1로 올린다. 선택된 전문가 i에 대해서는 그 전문가의 원점수들을 라우터 축으로 정규화해 혼합 비율 a_{m,i} = s_{m,i} / Σ_n s_{n,i} 를 만들고, 볼록 결합 v̂_i = Σ_m a_{m,i} v^(m) 을 전문가 입력으로 넣는다. 이는 토큰과 전문가 모두에 의존하는 유효 사영 P_eff,i(h) = Σ_m a_{m,i}(h) P_m 를 적용하는 것과 같다. 전문가 E_i가 비선형이므로, 뷰별로 따로 평가한 뒤 출력을 섞는 것과는 등가가 아니다. 혼합은 디스패치 이전에 끝나므로 선택된 전문가마다 순전파는 정확히 한 번이고, 활성 전문가 수, 전문가 FLOPs, all-to-all 통신량이 모두 보존된다. 전문가 파라미터는 뷰들 사이에 공유되어 복제되거나 분할되지 않는다.

어떻게 쓰나

실험은 24층 10B-A1B 백본, top-8 라우팅, 항상 활성인 공유 전문가 1개 구성에서 708B 토큰을 학습해 수행했다. 9개 과제 평균은 베이스라인 33.07, Multi-Router 33.69, Multi-View 34.25로, Multi-View가 베이스라인 대비 1.18포인트, Multi-Router 대비 0.56포인트 높다. Multi-Router 대비 과제별 개선은 GPQA +2.74, MMLU-Redux +2.03, CMMLU +1.43, MMLU +1.17포인트다. 학습 수렴도 같은 방향으로, 마지막 1,000스텝 평균 손실이 베이스라인 2.25621, Multi-Router 2.25047, Multi-View 2.24883으로 각각 5.74×10⁻³, 7.38×10⁻³ 감소했다.

전제와 한계

저자들은 라우터 선호가 실제로 전문가 연산을 바꾸는지도 개입 실험으로 확인한다. 두 라우팅 헤드는 top-8 기준 Jaccard 지수가 평균 0.145, top-1 일치율이 11.2%에 그칠 만큼 다른 순위를 보였다. 같은 토큰에 선택된 8개 전문가의 뷰1 혼합 비율 차이 D_r은 층별 중앙값 0.27~0.46, 정규화 입력 거리 D_v는 0.42~0.58로, 전문가들이 서로 다른 입력을 받는다. 마지막 MoE 층에서 선택 집합과 출력 게이트를 고정한 채 혼합 비율만 같은 토큰 내 전문가들 사이에서 뒤섞으면 NLL이 0.01340 nats/token 상승했고(95% 부트스트랩 구간 [0.01256, 0.01435]), 균등 혼합(1/2, 1/2)은 0.00662, 같은 전문가에 대해 토큰 간 비율을 뒤섞으면 0.00223 상승했다. 뷰1만 또는 뷰2만의 비율을 쓰면 각각 0.01881, 0.02042가 올라 두 뷰가 모두 쓰인다는 것도 확인된다. 층별 스캔에서도 24개 층 전부에서 개입 효과의 신뢰구간이 0 위에 있었다.

라우터 점수와 전문가 출력의 정렬도 개선된다. 전체 256개 전문가의 정규화된 출력 노름 순위와 라우터 점수 순위의 스피어만 상관은 0.1245에서 0.1346으로 상대 8.1% 올랐고, 24개 층 중 17개 층에서 개선됐다. 가장 큰 상대 개선은 20층으로 0.0625에서 0.0986(+57.7%), 가장 큰 절대 개선은 7층으로 0.0982에서 0.1388이다. 절제 실험에서 라우팅 헤드는 2개(−4.5×10⁻³)와 3개(−5.1×10⁻³)의 차이가 관측된 실행 간 편차 1.2×10⁻³보다 작아 기본값을 2개로 잡았다. 융합 연산자(최댓값, 곱, 기하평균, 합)는 모두 3.3~4.5×10⁻³ 손실을 줄였고 격차는 실행 편차 이내였다. 혼합 비율을 학습하는 별도 파라미터화도 4.4~5.0×10⁻³을 기록했지만, 본 방법은 추가 혼합 네트워크 없이 라우터 점수에서 비율을 유도한다. 한편 혼합 가중치에서 뷰로 가는 그래디언트를 끊으면 손실 차이가 −0.0024에서 +0.0090으로 뒤집혀, 이 경로가 이득의 핵심임을 보여준다.

비용 측면에서 24층 10B-A1B 백본에 라우팅 헤드 2개를 붙이면 파라미터가 약 0.06%, 뷰 사영 1개씩을 더하면 0.13% 늘어 총 0.19% 수준이다. 입력 혼합은 디스패치 전 소스 디바이스에서 일어나므로 토큰당 k개의 d차원 벡터를 보내는 통신량은 그대로다. 추가 비용은 라우팅·사영·혼합에서 발생하며, K가 고정일 때 추가 스코어링과 사영 비용은 D(d+N)에 비례한다.

실무 관점에서 이 논문은 이미 잠재 공간 MoE(공유 다운프로젝션을 쓰는 LatentMoE 계열) 백본을 전제로 한 구조 변경이다. 활성 전문가 수와 통신량을 건드리지 않으면서 라우팅 품질을 올리고 싶을 때 후보가 되지만, 처음부터 사전학습하거나 기존 체크포인트에서 뷰를 점진적으로 초기화하는 업사이클 경로가 필요하다. 도입 전에 확인할 것은 세 가지다. 첫째, 라우팅 헤드들이 실제로 분화하는지(top-8 Jaccard, top-1 일치율). 둘째, 혼합 비율이 의미 있게 쓰이는지(전문가 간·토큰 간 순열 개입으로 NLL 상승 확인). 셋째, 이득이 자기 규모에서도 유지되는지다.

저자들이 밝힌 한계는 명확하다. 실험은 24층 10B-A1B 백본 하나, 공유된 학습 시드 하나, 708B 토큰 체크포인트의 9개 과제 평가로 제한된다. 개입 실험 역시 해당 체크포인트에서 학습된 모델이 뷰 혼합을 얼마나 활용하는지를 측정한 것이지, 더 큰 규모나 더 긴 학습, 다른 라우팅 구성에서의 거동을 보인 것은 아니다.