마이크로소프트가 자체 AI 추론 칩 마이아 300으로 엔비디아 의존을 줄인다

마이크로소프트가 자체 설계한 3세대 AI 칩 '마이아 300'을 공개했다. 이 칩은 마이크로소프트의 제품과 서비스에서 AI 추론을 담당하는 주력 시스템 자리를 목표로 한다. 단순한 성능 개선이 아니라, 클라우드에서 AI 워크로드를 돌리는 비용과 전력 효율을 끌어올리는 데 초점이 맞춰져 있다.

마이크로소프트 클라우드 그룹을 이끄는 스콧 거스리는 마이아 300이 GPU 기반 시스템과 비교해 메가와트당 토큰 처리량을 40% 더 낸다고 설명했다. 또 96개 가속기를 꽉 채운 구성에서는 랙 단위 토큰 처리량이 마이아 200의 최대 7배에 이른다고 밝혔다. 이 수치가 현실화되면 같은 전력으로 더 많은 추론 요청을 소화할 수 있다는 뜻이다.

칩 구조도 달라졌다. 컴퓨트와 메모리 컨트롤러, 입출력 기능을 각각 분리한 칩렛 아키텍처를 채택했고, 제조는 TSMC의 N2P 공정 위에서 이뤄진다. 마이크로소프트의 애저 하드웨어·인프라 팀은 이 방식이 연산 성능에 쓸 수 있는 실리콘 면적을 늘리고, 각 기능이 자기 역할에 가장 맞는 공정을 쓸 수 있게 해준다고 설명한다.

마이아 300이 겨냥하는 워크로드도 구체적이다. 긴 문맥을 다루는 추론, 응답 지연에 민감한 대화형 경험, 여러 단계를 연속으로 수행하는 에이전트 작업이 그 대상이다. 최근 추론 모델과 에이전트형 서비스가 요구하는 패턴에 맞춰 설계됐다는 의미다.

배경에는 마이아 200이 있다. 올해 1월에 공개된 2세대 칩은 이미 마이크로소프트 코파일럿, 깃허브 코파일럿, 마이크로소프트 파운드리, 자체 AI 모델 등 실제 서비스 워크로드에서 돌아가고 있다. 거스리는 실제 서비스 지표로 측정했을 때 마이아 200이 자사 인프라 가운데 가장 좋은 성능을 낸다고 평가했다. 마이크로소프트는 2027년부터 마이아 제품군을 수 기가와트 규모로 확장해, 자사 제품과 서비스의 추론을 사실상 마이아가 맡게 한다는 계획이다.

이 흐름은 엔비디아와 AMD GPU에 대한 의존을 줄이려는 하이퍼스케일러들의 공통된 방향과 맞닿아 있다. 아마존과 구글도 자체 AI 칩을 밀고 있다. 마이크로소프트 AI를 이끄는 무스타파 술레이만은 모델부터 실리콘까지 전체 스택을 다뤄야 하며, 자사 모델과 함께 설계한 자체 플랫폼이 필요하다는 점을 강조했다. 자체 모델을 자체 칩 위에서 돌리는 것이 팀의 핵심 과제라는 설명이다.

개발자 입장에서 당장 코드를 바꿔야 하는 일은 없다. 하지만 추론 인프라의 주인이 바뀌면 API 가격, 토큰 처리량, 지연 시간 특성이 함께 움직인다. 특히 긴 문맥 처리나 에이전트 루프처럼 토큰을 많이 태우는 워크로드에서는 하드웨어 효율 개선이 곧 운영 비용 차이로 이어진다. 애저 위에서 모델을 서빙하거나 코파일럿 계열 도구를 쓰는 팀이라면, 향후 몇 년간 성능·가격 곡선이 어느 쪽으로 기울지 지켜볼 이유가 충분하다.

다만 시점은 분명히 짚어둘 필요가 있다. 마이아 300의 프로덕션 투입은 2027년부터다. 공개된 효율 수치도 자사 이전 세대 및 GPU 기반 시스템과의 비교를 전제로 한 값이며, 실제 서비스 환경에서 어느 정도가 재현될지는 아직 확인되지 않았다.