MoE 멀티모달 모델에서 텍스트와 비전 중요도를 나눠 전문가를 가지치기한다

무엇인가

MoE(Mixture-of-Experts) 구조는 토큰마다 소수 전문가만 활성화해 연산량을 줄이지만, 메모리 문제는 전혀 해결하지 못한다. 논문이 든 예로 InternVL3.5-30B-A3B와 Qwen3-VL-30B-A3B는 BF16 기준 약 58GB 중 54GB, 즉 93~94%가 전문가 파라미터인데, 토큰당 실제로 쓰이는 전문가는 128개 중 8개뿐이다. 기존 전문가 프루닝은 모든 토큰에서 계산한 중요도를 균일하게 합산하기 때문에, 같은 전문가가 비전 처리와 언어 처리에서 서로 다른 역할을 맡을 수 있다는 점을 놓친다. 저자들은 실제로 텍스트 토큰과 비전 토큰에서 매긴 전문가 중요도 순위의 상관이 특정 층에서 -0.11에서 0.05 사이라 거의 일치하지 않고, 전문가를 제거했을 때 LM 헤드 출력 분포가 텍스트 위치보다 비전 위치에서 최대 29배 더 크게 흔들린다는 것을 먼저 보인다.

어떻게 동작하나

제안 방법 MAEP의 핵심 지표는 Delta-H 출력(ΔH)이다. 전문가 j를 제거했을 때 MoE 층 출력이 얼마나 변하는지를 제곱 L2 거리로 재는데, 단순히 출력을 빼는 게 아니라 라우터 재분배까지 반영한다. 전문가 j의 로짓을 마스킹하고 top-k를 다시 고른 뒤 남은 전문가의 가중치를 w_i/(1-w_j+w_(k+1)) 형태로 다시 정규화해서, 실제 프루닝된 모델에서 일어날 변화를 근사한다. 이 계산은 캐시된 top-k 가중치와 전문가 출력만으로 해석적으로 끝나므로, 전체 과정이 샘플당 단일 순전파 한 번으로 완료되고 역전파나 가중치 갱신이 필요 없다. 논문은 KL 발산이 이 ΔH로 상한이 지어진다는 명제(Proposition 1)를 함께 제시하는데, 상한 상수는 층마다 다르지만 전문가에는 무관하므로 층 내부 순위 매기기에는 ΔH만으로 충분하다는 논리다. 다만 이 상한은 층 내 랭킹만 정당화하며, 층 간 비교를 위한 정규화나 모달리티 분해는 별도로 설계하고 검증한다고 저자들은 명시한다.

무엇과 다른가

비전 쪽 신호는 의도적으로 뒤집혀 있다. 비전 토큰 전체나 텍스트-비전 어텐션이 높은 토큰으로 중요도를 재면 보정 데이터셋에 따라 순위가 크게 흔들렸는데, 텍스트→비전 어텐션 하위 q퍼센타일(q=2%)에 해당하는 저어텐션 비전 토큰만 모으면 데이터셋 간 순위 상관이 0.54까지 올라간다(같은 크기의 상위 2% 고어텐션 집합은 0.33, 비전 전체는 거의 0). 저어텐션 토큰은 도메인 특정 객체가 아니라 배경 같은 비핵심 시각 내용을 반영하기 때문이라는 해석이다. 그래서 텍스트 쪽 ΔH는 값이 크면 유지해야 할 전문가(보존 신호), 저어텐션 비전 쪽 ΔH는 값이 크면 오히려 잘라낼 전문가(프루닝 신호)로 비대칭하게 쓴다. 두 신호는 로그 변환 후 층별 z-정규화를 거쳐 s(l,j) = (1-α)·z_text - α·z_la로 합쳐지고, 층별 할당량을 강제하지 않고 전체 층의 전문가를 한 번에 줄 세워 하위 ⌊r·N_total⌋개를 제거한다. α는 보정 통계에서 닫힌 형태 α = a/(a+b)로 모델마다 자동 결정되는데, InternVL3.5·Qwen3-VL·Gemma4에 대해 각각 0.75/0.33/0.08이 나왔고 편의상 0.8/0.3/0.1로 반올림해 쓴다.

어떻게 쓰나

실험은 MoE 기반 MLLM 세 개(InternVL3.5-30B-A3B, Qwen3-VL-30B-A3B-Instruct, Gemma4-26B-A4B-Instruct)에서 진행했고, 비교 대상은 계층적 클러스터링으로 전문가를 병합하는 HC-SMoE와 라우터 가중 활성값으로 프루닝하는 REAP다. 평가는 ChartQA, TextVQA, MMStar, MMBench, RealWorldQA, MME, POPE, CV-Bench(2D·3D 평균) 8개 멀티모달 벤치마크와 MMLU-Redux, IFEval, ARC-Challenge 3개 텍스트 전용 벤치마크로 구성된다. 25% 프루닝에서는 원본 성능에 거의 붙어 있으면서 모든 모델·비율 조합에서 평균 유지율 최고 또는 공동 최고를 기록했고, 50%에서는 MAEP와 REAP의 격차가 약 2점에서 2~6점으로 벌어졌다. HC-SMoE는 25%에서 InternVL3.5와 Qwen3-VL에는 경쟁력이 있었지만 모달리티를 구분하지 않는 클러스터링 탓에 Gemma4에서 급격히 무너졌다. 텍스트 전용 과제에서는 50% 프루닝 시 모든 방법이 크게 하락하는 가운데 MAEP가 Qwen3-VL의 세 과제에서 REAP에 뒤지면서도 전체 집계 유지율은 가장 높았다. 메모리 효과는 BF16 전문가 가중치 약 27GB, 전체 메모리의 약 47%를 줄여 약 58GB 모델이 40GB GPU 한 장에 들어가는 수준이다.

전제와 한계

소거 실험의 숫자도 실무 판단에 직접 쓸 만하다. 모달리티를 나누지 않고 ΔH를 전 토큰에 균일 합산하면 MMStar, ChartQA, TextVQA가 모두 떨어져 분해 자체가 필수임을 보인다. 비전 신호를 고어텐션 토큰으로 바꾸면 보정 분포에 가까운 MME·TextVQA에서는 비슷하지만 ChartQA에서 22.2점 하락한다. 저어텐션 문턱 q를 2%에서 30%로 올리면 비전 쪽 순위가 텍스트 쪽과 수렴하면서(상관이 음수에서 0 근처로) TextVQA 정확도가 떨어지는 경향이 나와, 두 신호가 서로 다른 정보를 담아야 한다는 설계 전제가 확인된다. 보정 데이터 구성도 결과를 좌우한다. 기본 보정셋인 ShareGPT4V 1K(텍스트 길이로 선별)만 쓰면 차트·문서 내용이 거의 없어 Qwen3-VL과 Gemma4가 50% 프루닝에서 ChartQA에 약했는데, ShareGPT4V 700개와 ChartNet 300개를 섞자 Qwen3-VL 50% 프루닝에서 ChartQA가 13.9점 회복되고 MMStar도 4.1점 올랐으며 MME와 TextVQA는 거의 그대로였다. 보정 샘플을 1,000개에서 100개로 줄여도 대부분 성능이 유지됐다.

개발자 입장에서 이 논문의 쓸모는 재학습 없이, 라벨링 없는 소량의 보정 데이터와 순전파 한 번으로 전문가 가중치를 영구히 덜어낼 수 있다는 점이다. 특히 40GB 단일 GPU 같은 메모리 제약 환경에서 30B급 MoE-MLLM을 배포하려는 경우 50% 프루닝까지가 현실적인 선택지로 제시된다. 도입 전 확인할 것은 세 가지다. 첫째, 자신의 배포 도메인과 보정셋 도메인이 맞는지 봐야 한다. ChartQA처럼 보정에 없는 도메인은 프루닝 후 성능이 크게 깨지고, 반대로 해당 도메인 데이터를 조금 섞으면 오히려 회복된다. 둘째, α를 모델별로 한 번은 스윕해 안전 구간을 확인해야 한다. within-vision 중복이 큰 모델일수록 α 허용 범위가 좁고, InternVL3.5는 α=0.9에서 유지율이 붕괴한다. 셋째, 텍스트 전용 성능은 50% 프루닝에서 어떤 방법이든 크게 떨어지므로 언어 능력이 중요한 서비스라면 25% 수준에서 멈추는 편이 안전하다.

저자들이 밝힌 전제와 한계는 분명하다. MAEP는 top-k 라우팅(k≥2)을 쓰는 MoE 구조를 대상으로 하며, DeepSeek-VL2나 Kimi-VL처럼 항상 활성화되는 공유 전문가가 있는 모델에서는 라우팅된 전문가만 계산하고 프루닝한다. 따라서 논문이 보고한 메모리 절감은 라우팅 전문가 파라미터 제거분에 한정된다. α는 모델당 하나의 고정값을 쓰며 층별 모달리티 가중치는 향후 과제로 남겨두었다. 또한 ΔH와 실제 KL 발산의 층별 상관은 얕은 층에서 약하고 깊은 층에서 0.8(비전)~0.89(텍스트) 수준으로 올라가는데, 상한 명제가 깊이에 의존하기 때문이라고 설명한다. 코딩이나 수학 문제 풀이처럼 추론 비중이 큰 생성형 벤치마크로의 확장과 보정 데이터 혼합 전략은 향후 연구로 명시되어 있다.