애플 MLX가 맥 스튜디오 4대로 1조 파라미터급 모델을 돌린다

애플 머신러닝 리서치가 공개한 새 글은 맥 스튜디오에서 거의 1조 개 파라미터에 달하는 모델을 직접 구동하는 방법을 다룬다. 핵심은 오픈소스 배열 프레임워크 MLX의 새 버전과, 여러 대의 맥을 묶는 분산 추론이다. 애플 실리콘의 통합 메모리 구조를 활용해 연구자와 개발자가 자신의 장비에서 최신 모델을 사설 환경으로 실험할 수 있게 하는 것이 목표다.

대상 모델은 세 가지다. 새로 공개된 Muse Spark Open은 총 816B 파라미터 가운데 42B만 활성화하는 전문가 혼합(MoE) 구조로, NVFP4 4비트 정밀도로 평가됐다. Mistral Medium 3.5는 128B 밀집 모델로 FP8, Qwen 3.8은 27B 밀집 모델로 BF16 원본 정밀도를 그대로 썼다. 측정 항목은 첫 토큰까지 걸리는 시간(TTFT), 생성 처리량(초당 토큰), 최대 전력 소모이며, 모두 mlx_lm.benchmark 도구로 8,192와 65,536 두 가지 컨텍스트 크기에서 수집했다.

단일 맥 스튜디오(최대 512GB 통합 메모리)에서는 Qwen 3.8이 65,536 컨텍스트에서 최대 68GB, Mistral Medium 3.5가 158GB를 차지한다. 두 모델 모두 한 대로 충분하다. 세대 비교에서 M5 Ultra는 M3 Ultra 대비 TTFT가 최대 4.6배 빨랐고, 생성 속도는 1.6배 높았다. TTFT는 연산에 묶인 작업이라 GPU 뉴럴 액셀러레이터의 행렬곱 전용 하드웨어가 효과를 내고, 생성 속도는 메모리 대역폭에 묶여 M5 Ultra의 1.2TB/s(전 세대 819GB/s)가 그대로 이득으로 이어진다는 설명이다.

전력도 함께 공개됐다. 65,536 컨텍스트 추론 시 최대 소비 전력은 M3 Ultra 구성이 약 200W, M5 Ultra 구성이 약 300W 수준이다. 애플은 이 정도 전력이면 가정이나 사무실 어디에나 장비를 둘 수 있다는 점을 강조한다.

문제는 Muse Spark Open이다. BF16 원본 정밀도로는 파라미터만 1.6TB가 넘는 메모리가 필요하고, NVFP4로 양자화해도 약 493GB까지 줄어드는 데다 추론 중 중간 연산용 메모리까지 더하면 한 대에 담기지 않는다. 그래서 여러 맥 스튜디오에 나눠 올리는 방식이 필요하다.

MLX가 지원하는 분산 방식은 두 갈래다. 모델을 깊이 방향으로 잘라 앞 절반은 첫 번째 맥이, 뒤 절반은 두 번째 맥이 처리하는 파이프라인 병렬화는 코드 수정이 최소한으로 끝난다. 반대로 너비 방향으로 쪼개는 텐서 병렬화도 있다. 이 통신의 기반은 macOS 26.2에 들어간 썬더볼트 5용 저지연 RDMA 드라이버이고, MLX v0.30.1 이후 버전이 여기에 올라타 jaccl이라는 통신 집합 연산을 제공한다. 실험 구성에서는 썬더볼트 케이블 두 개를 연결해 링크 대역폭을 두 배로 확보했다. 이렇게 4대를 텐서 병렬로 묶었을 때 Muse Spark Open은 초당 36토큰 이상을 생성한다.

배경에는 MLX의 성격이 있다. 애플 실리콘이 통합 메모리를 쓰는 점을 살려, 최신 추론·파인튜닝 기법을 자기 하드웨어에서 돌려보게 하려는 오픈소스 프로젝트다. 앞선 글에서 M5 아키텍처와 GPU 뉴럴 액셀러레이터의 이점을 다뤘고, 이번 글은 그 연장선에서 실제 구동 가능한 모델 범위를 제시한다.

개발자 입장에서 달라지는 지점은 크다. 에이전트 코딩처럼 긴 컨텍스트를 요구하는 작업을 외부 API 없이 사설 환경에서 돌릴 수 있는 선택지가 넓어진다. 특히 파이프라인 병렬화는 구현 부담이 낮아, 한 대로 감당이 안 되는 모델을 두 대로 늘리는 식의 확장이 현실적인 카드가 된다.

다만 전제를 분명히 해야 한다. 공개된 수치는 특정 컨텍스트 크기와 배치 조건에서 mlx_lm.benchmark로 측정한 값이며, Muse Spark Open은 단일 머신에서 구동 불가능하고 NVFP4 양자화를 전제로 한다. 분산 구성은 썬더볼트 5와 macOS 26.2 이상, MLX v0.30.1 이상이라는 조건을 만족해야 한다.