MoE 채널 선택은 캘리브레이션 없이 top-k로 충분하다

무엇인가

이 논문이 다루는 문제는 인터랙티브 디코딩처럼 배치가 작을 때의 MoE 추론 지연이다. 이 구간에서 병목은 연산이 아니라 라우팅된 전문가의 가중치를 GPU 메모리(DRAM)에서 온칩 SRAM으로 읽어오는 것이다. 그런데 라우팅된 전문가의 gated MLP 안에서 중간 채널 대부분은 특정 토큰 하나에 거의 기여하지 않으므로, 채널 선택기(channel selector)가 어떤 채널이 중요한지 예측해 그 가중치 행만 읽는 방식이 쓰여 왔다. 선택기는 항상 두 부품의 결합이다. 채널별 기여도를 추정하는 채널 점수와, 어떤 채널을 계산할지 정하는 유지 규칙(keep rule)이다. 유지 규칙은 크게 오프라인 데이터로 보정한 임계값(calibrated threshold)과, 각 토큰의 점수 상위 k개를 남기는 top-k로 나뉘는데, 선행 연구들은 어느 쪽이 낫다는 결론에서 서로 갈렸다. 이 논문의 주장은 제목 그대로, 동결된 MoE 디코딩에서 채널 선택에 보정 데이터가 필요 없다는 것이다.

어떻게 동작하나

첫 번째 근거는 임계값 보정이 약속하는 '알려진 읽기 예산'이 실제로 지켜지지 않는다는 점이다. 채널 점수는 토큰·태스크·답변 길이에 따라 달라지므로 고정 컷오프를 넘는 채널 수가 매번 바뀐다. 저자들이 만든 72개 벤치마크 런 전부에서 임계값 선택기는 보정 예산보다 적게 읽었다. 18% 예산으로 보정한 Prox는 평균 12.9%, 최저 9.9%만 읽는다. 생성이 길어질수록 유지 채널 수는 더 줄어 약 6,000토큰 지점에서 Qwen3-Thinking은 보정치의 71%, Gemma 4는 92%, Qwen3.5는 88%만 유지한다. 원인도 진단한다. 256토큰 윈도우를 답변 6,000 위치에서 떼어 질문 바로 뒤에 붙이면, Prox 13% 임계값에서 같은 토큰들이 57% 더 많은 채널을 유지한다. 즉 유지량은 토큰의 필요가 아니라 앞서 쓴 답변 텍스트를 따라가며, 유지 채널 수와 전체 모델의 다음 토큰 손실 간 상관은 스피어만 기준 −0.29에서 +0.14에 그친다.

무엇과 다른가

두 번째 근거는 보정이 정확도 이득도 주지 않는다는 것이다. 저자들은 동일한 채널 점수에 대해 임계값 버전과 top-k 버전을 각각 돌려, 임계값이 보정된 예산에서 비교하는 실험을 43쌍 만들었다. 13%·18% 예산에서 top-k 버전은 30쌍에서 동률(paired 표준오차 2배 이내), 10쌍에서 우세, 3쌍에서만 열세였고 열세 폭도 최대 2.8점이다. 43쌍 중 40쌍이 동률 이상이며, 생성 과제 23쌍은 전부 top-k가 지거나 비기지 않았다. 임계값 버전이 실제로 사용한 읽기량에 top-k를 맞춘 불리한 조건에서도 41쌍 중 37쌍이 동률 이상이었다. 더 눈에 띄는 것은 붕괴 사례다. Gemma 4에서 13% 예산의 임계값 버전은 반복 루프에 빠져 32,768토큰 한도까지 문구를 되풀이하고, Prox는 18%로 보정하고도 13.3%만 읽으며 11.7점에 그친다. 거의 같은 13.5%를 읽는 top-k 버전은 56.3점이고, 792개 답변 중 한도 도달이 674개에서 145개로 줄어든다. Prox의 채널 임계값만 top-k로 바꿔도 붕괴는 사라지지만 입력 임계값만 바꿔서는 사라지지 않는다.

어떻게 쓰나

저자들이 실제로 제안하는 것은 top-k를 유지 규칙으로 고정한 뒤, 모델 가중치만으로 동작하는 리더(reader)를 구성하는 방법이다. 세 부분이다. 먼저 삼진 스케치(ternary sketch)로 후보 채널 전체의 gate·up 활성값을 근사한다. 가중치와 은닉 상태의 이상치가 저비트 부호화를 망치므로, gate 행과 up 행을 128좌표 블록 단위의 무작위 Hadamard 회전 R로 돌려 큰 값을 블록 전체에 분산시킨다. R이 직교이므로 gⱼᵀx = (Rgⱼ)ᵀ(Rx)로 활성값은 그대로다. 각 블록은 {−1,0,1} 삼진 코드와 FP16 스케일 하나, 블록 양자화 오차만 저장해 BF16 기준 256바이트를 약 30바이트로 줄이며, 상주 메모리의 약 7%를 차지한다. 12.8%·17.8% 같은 낮은 예산에서는 스케치 전체를 읽으면 읽기량의 44~61%를 잡아먹기 때문에, 블록마다 |Rx|가 큰 80개 좌표의 삼진 코드만 읽는 부분 스크린(partial screen)을 쓴다. 다음으로 점수를 출력 단위로 매긴다. 채널 j가 MoE 출력에 더하는 양은 wⱼ‖dⱼ‖|aⱼ|이고, 활성값을 스케치 추정치로 바꾸면 sⱼ = wⱼ‖dⱼ‖|φ(ĝⱼ)v̂ⱼ|가 된다. 점수가 출력 단위이므로 서로 다른 전문가의 채널을 직접 비교할 수 있어, 토큰이 라우팅된 모든 전문가를 통틀어 정확히 상위 k개를 고른다. 한 전문가가 많은 채널을 받고 다른 전문가가 하나도 못 받을 수 있다는 뜻이다. 마지막으로 건너뛴 채널을 가중치만으로 복원한다. 스크린이 이미 각 스킵 채널의 활성 추정치 pⱼ를 갖고 있으므로, down projection 열 dⱼ만 저랭크 사상으로 대체한다. 한 층의 모든 전문가 down 열을 모아 상위 32개 좌특이벡터 U를 구하고 계수 bⱼ = Uᵀdⱼ를 저장해, 출력을 정확 항과 U∑wⱼbⱼpⱼ 항의 합으로 계산한다. 이 사상은 상주 메모리 0.5%, 읽기 0.5~0.8%포인트를 추가한다. 또한 로드 시 down projection을 전치해 유지 채널의 down 가중치가 연속되도록 배치한다.

전제와 한계

실험은 vLLM 위에서 Qwen3-30B-A3B-Thinking-2507, Gemma-4-26B-A4B-it, Qwen3.5-35B-A3B 세 모델과 GPQA-Diamond, IFEval, MMLU-Pro 세 벤치마크로 수행했고, 모든 가중치·파라미터 읽기를 32바이트 하드웨어 섹터 단위로 계산해 GPU 프로파일러로 검증했다(배치1 Qwen3-Thinking에서 실측 18.3% vs 계산 17.8%). 17.8% 읽기에서 전체 모델 정확도의 98.1%를 유지하고, 9개 모델-벤치마크 쌍 중 최악의 쌍도 95.0%를 지킨다. 12.8%와 17.8% 두 예산 모두에서 평균 정확도가 가장 높았고, 최악 쌍끼리 비교해도 다른 선택기의 최악 쌍을 앞선다. 18%로 보정한 Prox가 12.9%를 읽으며 평균 68.5%에 그친 것과 비교하면 리더는 94.5%다(Gemma 4의 반복 루프 붕괴가 격차의 큰 부분이며, 두 Qwen 모델에서는 비슷한 읽기량에서 Prox와 비슷하다). top-k를 쓰더라도 점수가 약하면 살아나지 않는다는 것도 보여준다. WINA는 top-k를 쓰고도 20% 읽기에서 28.4%에 머문다. 28% 이상에서는 리더와 Prox 모두 전체 모델의 10% 이내에 든다. OLMoE에서는 테스트된 각 예산에서 9개 선행 선택기보다 전체 모델에 더 가깝게 일치했다. 절제 실험도 있다. 13.5%에서 부분 스크린이 KL을 0.488에서 0.310으로, 18.5%에서 0.245에서 0.187로 낮추고, 18%에서 복원이 IFEval 정확도를 11.6±1.6점 올리며 반복 루프를 줄인다. 13%에서는 부분 스크린이 MMLU-Pro에서 전체 스크린보다 13.7±1.3점 높다.

속도는 Triton 커널로 측정했다. RTX PRO 6000 Blackwell 한 장, 17.8% 읽기 설정에서 MoE 블록은 Qwen3-Thinking·Gemma 4·Qwen3.5 순으로 배치1에서 1.90×, 1.71×, 1.60× 빠르고 배치4에서 2.39×, 2.34×, 2.51×까지 오른다(최대 2.69×). 전체 모델 디코딩은 배치1에서 1.15~1.36×, 배치 8 또는 16에서 최대 1.75×, 1.74×, 1.88×이며, 8k~32k 컨텍스트에서도 1.08~1.54×다. 사용자당 초당 100토큰 조건에서 GPU 한 장이 3.3~4.3배 많은 토큰을 처리한다. 배치1에서 속도 향이 읽기 절감에 비례하지 않는 이유는 커널 런치 같은 고정 비용이 줄지 않기 때문이고, 배치가 커지면 이 비용이 공유되어 블록 이득이 배치 4~8까지 커진다. 다만 배치 128에서는 전체 모델 이득이 1.00~1.24×로 떨어진다.

개발자 입장에서 실무적 의미는 두 가지다. 첫째, 채널 선택의 유지 규칙을 top-k로 두면 읽기 예산이 사전에 확정되고, 캘리브레이션 데이터셋 관리와 그에 따른 데이터 민감성 문제가 사라진다. 둘째, 품질을 좌우하는 것은 유지 규칙이 아니라 채널 점수의 품질이다. 저자들은 같은 4비트 가중치 사본에서도 점수를 출력 단위로 환산하는 것만으로 KL이 1.3~1.5배 줄고, OLMoE 개발 데이터 17.8% 읽기·복원 없음 조건에서 INT4 gate 사본이나 TEAL 입력 크기 점수가 리더 스케치 스크린의 2.8배, 5.1배 KL을 낸다고 보고한다. 또한 KL 감소가 벤치마크 정확도 향상을 보장하지 않는다는 관찰(보정된 층별 예산은 추론 텍스트에서도 KL을 낮추지만 어떤 벤치마크도 표준오차 2배 이상 개선하지 못함)은, MoE 압축 기법을 평가할 때 짧은 likelihood 태스크만 보면 긴 생성에서의 붕괴를 놓친다는 경고로 읽힌다. 실제로 Gemma 4의 반복 루프는 13% 예산의 임계값 버전에서 발생하고 top-k 버전에서는 나타나지 않았다.

저자가 명시한 한계도 분명하다. Triton 커널이 절감한 읽기의 일부만 속도로 전환하며, 커널은 한 GPU 종류에서 한 예산에 맞춰 튜닝되었다. 배치 전체를 한 번에 채널 선택해 더 큰 배치까지 이득을 유지하는 것은 향후 과제다. 부분 스크린이 읽는 좌표 비율은 OLMoE에서 선택해 Gemma 4에서만 확인했다. 리더는 디코딩 단계의 라우팅된 전문가만 바꾸고, 스케치와 복원 맵이 BF16 체크포인트의 약 7%와 0.5%를 추가로 차지하므로 양자화된 체크포인트에서는 그 비중이 더 커진다. 실험은 최대 35B 파라미터 모델까지다.