MiniMax가 428B M3.1 Flash 가중치를 공개하고 추론 효율을 앞세웠다

MiniMax가 자사 모델 M3.1 Flash의 가중치를 공개했다. 규모는 총 428B 파라미터에 토큰 처리 시 활성화되는 파라미터가 23B 수준이다. 전체 파라미터를 모두 쓰지 않고 일부만 활성화하는 구조로, 같은 공개 범위 안에서도 실제 추론 부담은 훨씬 작아진다. 회사 측은 이번 모델이 이전 세대인 M3보다 전반적인 성능이 올라갔다고 설명했지만, 공개 자료에서 눈에 띄게 비중을 둔 대목은 성능 지표가 아니라 추론 효율이다.

가장 먼저 언급된 최적화는 어텐션 구조 변경이다. 모델 앞단의 전체 어텐션(full attention) 층 세 개를 희소 어텐션(sparse attention)으로 교체했다는 설명이다. 전체 어텐션은 모든 토큰 쌍의 관계를 계산하기 때문에 문맥이 길어질수록 비용이 빠르게 늘어난다. 앞단을 희소 방식으로 바꾸면 긴 입력을 다룰 때의 계산 부담을 줄일 수 있다. 공개 자료는 이와 함께 QAT(양자화 인식 학습)를 최적화 항목으로 제시했으나, 원문이 해당 부분에서 끊겨 구체적인 적용 방식과 수치는 확인되지 않는다.

배경에는 규모 확장보다 서빙 비용을 겨냥하는 흐름이 있다. 회사 측은 모델 공개 후 72시간 동안 실제 사용자가 처리한 토큰이 100조 개를 넘었다고 밝혔다. 이 수치는 회사가 제시한 값으로 외부에서 교차 확인된 것은 아니다. 다만 총 파라미터가 수백 B 규모인 모델을 실제 트래픽에 투입하려면 연산량과 메모리 사용량을 낮추는 설계가 필수적이며, 이번 발표가 효율 지표에 무게를 둔 이유도 그 지점과 맞닿아 있다.

개발자 입장에서 실질적으로 달라지는 부분은 긴 문맥을 다루는 작업의 비용 구조다. 문서 전체를 넣는 요약, 대규모 코드베이스 검색, 긴 대화 이력 유지처럼 입력 길이가 커지는 용도에서 어텐션 비용은 곧 서빙 단가로 이어진다. 활성 파라미터가 23B 수준이라는 점도 배포 계획에 영향을 준다. 전체 가중치를 저장해야 하더라도 토큰당 연산은 활성 부분에 집중되므로, 자체 인프라에서 처리량을 산정할 때 기준이 되는 값이 달라진다. QAT가 적용됐다면 양자화된 형태로 배포할 때 정밀도 손실을 줄이는 데도 관여한다.

주의할 점은 남는다. 공개된 성능 향상과 처리량 수치는 회사 발표에 기반한 것으로, 독립적인 벤치마크 결과가 제시된 것은 아니다. 희소 어텐션이 실제로 어떤 조건에서 얼마나 이득을 주는지, QAT가 어느 정밀도까지 적용됐는지는 원문에서 구체적으로 드러나지 않는다. 가중치 사용을 위한 라이선스 조건이나 배포 형태도 이번 자료에는 담겨 있지 않으므로, 도입을 검토한다면 저장소의 라이선스와 모델 카드를 별도로 확인해야 한다.