마이크로소프트, 자체 AI 칩 ‘마이아 300’ 공개…클라우드 3사, ‘토큰 경제성’ 경쟁 가속

[테크수다 기자 도안구 eyeball@techsuda.com] 마이크로소프트가 3세대 자체 AI 가속기 ‘마이아 300’을 공개하고 2027년부터 실서비스 배치를 시작한다. 마이아 제품군을 멀티기가와트급으로 확대해 자사 제품·서비스의 주력 추론 시스템으로 삼겠다는 계획이다. 구글·AWS와의 경쟁도 칩의 최고 연산 성능을 넘어, 같은 전력과 비용으로 얼마나 많은 AI 작업을 처리하느냐로 확대되고 있다.

마이크로소프트(Microsoft)가 12일(현지시간) 3세대 자체 AI 가속기 ‘애저 마이아 300(Azure Maia 300)’을 공개했다. 2027년부터 실서비스 인프라에 배치하며, 마이아 제품군을 멀티기가와트급으로 확대해 자사 제품과 서비스의 주력 추론 시스템으로 삼는다는 구상이다.

주요 내용

• 마이아 300, 2027년 실서비스 배치 시작…마이아 제품군을 멀티기가와트급 주력 추론 시스템으로 확대
• N2P 연산 칩렛·HBM4 8스택·96가속기 랙…MS, 메가와트당 토큰 40% 증가·전 세대 대비 랙 처리량 최대 7배 제시
• 구글 TPU 8t·8i와 AWS 트레이니움4까지 차세대 경쟁 확장…성능 비교의 핵심은 동일한 품질·응답 시간 조건에서의 처리량과 비용

마이크로소프트는 마이아 300이 선도적인 GPU 기반 시스템보다 메가와트당 토큰을 40% 더 처리할 것으로 기대한다고 밝혔다. 96개 가속기를 결합한 구성에서는 마이아 200보다 랙 단위 토큰 처리량이 최대 7배에 이를 것이라는 설명이다. 모두 마이크로소프트가 제시한 성능 수치로, 비교 GPU의 구체적인 제품명과 상세 측정 조건은 이번 발표문에 공개하지 않았다.

이번 발표는 구글의 텐서처리장치(TPU), 아마존웹서비스(AWS)의 트레이니움(Trainium)과 경쟁하는 마이크로소프트의 자체 반도체 전략이 다음 단계로 들어섰음을 보여준다. 현재 서비스와 고객 확보 경쟁에 더해 차세대 시스템의 전력 효율과 공급 규모를 둘러싼 경쟁이 겹치고 있다. 관전 포인트는 ‘더 빠른 칩’에서 ‘더 경제적으로 운영하는 AI 시스템’으로 넓어졌다.

2027년부터 실서비스 배치…자체 칩 전략의 무게가 달라졌다

이번 발표의 첫 번째 메시지는 규모다. 마이크로소프트는 2027년부터 애저 마이아 제품군의 배치를 멀티기가와트급으로 확대하겠다고 밝혔다. 자체 칩을 특정 업무에 사용하는 단계를 넘어, 자사 AI 서비스의 중심 인프라로 키우겠다는 계획이다.

스콧 거스리(Scott Guthrie) 클라우드+AI 그룹 수석부사장은 공식 발표 영상에서 마이크로소프트가 운영하는 대규모 AI 서비스의 실제 워크로드로부터 얻은 경험을 기술 스택 전반에 반영하고 있다고 설명했다. 반도체부터 시스템, 에이전트까지 함께 설계하는 역량이 마이아의 기반이라는 것이다.

마이아 300에 앞서 공개된 마이아 200은 이미 실서비스에 투입됐다. 국내 배포 보도자료에 따르면 마이아 200은 오픈AI(OpenAI) 모델과 마이크로소프트 자체 MAI 모델, 주요 오픈소스 모델 제품군을 구동한다. 공식 블로그는 마이크로소프트 코파일럿(Microsoft Copilot)과 자체 모델을 개발하는 MAI팀의 활용을 설명하고, 깃허브 코파일럿(GitHub Copilot)과 마이크로소프트 파운드리(Microsoft Foundry)는 올해 말까지 후속 적용한다고 밝혔다. 마이아 200은 미국·유럽·호주에서 배치가 진행되고 있다.

회사에 따르면 마이아 200은 팀즈(Microsoft Teams), 코파일럿, 코파일럿 코워크(Copilot Cowork)의 내장 AI 기능에서 선도적인 GPU 인프라보다 와트당 최대 1.7배의 토큰을 처리한다. 이 수치는 해당 서비스 워크로드에 대한 회사 측 설명이며, 모든 모델과 사용 조건에서 동일한 개선을 보장하는 것은 아니다.

마이크로소프트는 마이아 200과 300을 통해 다단계 코딩 에이전트, 클라우드 규모 모델 서빙, 자체 모델의 추론·데이터 생성, 드래곤 코파일럿(Dragon Copilot)의 의료 행정 지원 등으로 활용 범위를 확대할 계획이다.

마이아 300의 설계 중심은 ‘데이터 이동’

마이아 300은 긴 컨텍스트를 다루는 추론, 응답 지연에 민감한 대화형 서비스, 여러 단계를 지속적으로 수행하는 에이전트 작업을 겨냥한 추론 우선(inference-first) 아키텍처다. 연산 장치의 속도뿐 아니라 메모리에서 데이터를 가져오고 가속기 사이에서 주고받는 과정까지 함께 최적화하는 접근이다.

라니 보카르(Rani Borkar) 애저 하드웨어 시스템·인프라 사장은 공식 발표에서 AI의 경제성이 최고 연산 성능보다 시스템 전체가 대규모로 토큰을 얼마나 효율적으로 생성하느냐에 점점 더 좌우된다고 설명했다. 마이아는 처음부터 추론을 위해 시스템 전체를 최적화한다는 원칙을 바탕으로 개발됐다는 것이다.

소랍 디게(Saurabh Dighe) 애저 하드웨어 시스템 기획·아키텍처 부사장은 다섯 가지 개선을 제시했다. 멀티칩렛 아키텍처, HBM4를 통한 메모리 용량·대역폭 확대, 연산과 KV 캐시 저장을 위한 새로운 정밀도 형식, 차세대 스케일업 네트워크, 더 크고 전력 효율적인 랙 시스템이다.

별도 공식 발표문은 이 설계를 구체적인 사양으로 설명한다. 연산·메모리 컨트롤러·입출력 기능을 분리하는 멀티칩렛 구조를 채택하고, 연산 칩렛에는 TSMC의 N2P 공정을 사용한다. HBM4 8스택은 가속기 TDP 950W 범위에서 최대 18.0TB/s의 메모리 대역폭을 제공하며, 회사는 이를 업계 최고 수준의 와트당 HBM 대역폭이라고 설명한다.

소프트웨어 정의 데이터플로우와 AI 보조 커널 최적화는 데이터를 연산에 필요한 위치 가까이에 두고 불필요한 이동을 줄이는 데 초점을 맞춘다. 칩 내부 SRAM을 소프트웨어가 관리하는 임시 저장 공간으로 활용해 HBM 접근 부담을 낮추고, 개선된 MXFP4 등 저정밀도 형식으로 연산과 KV 캐시 저장의 메모리·대역폭 요구량을 줄인다는 설명이다.

네트워크도 이 설계의 일부다. 이더넷 기반 인프라와 자체 AI 전송 기술을 결합해 가속기와 랙 사이의 통신을 지원한다. 연산·메모리·네트워크를 하나의 데이터 흐름으로 다뤄 단일 랙에서 데이터센터 규모까지 확장한다는 구상이다.

‘40%’와 ‘7배’…숫자의 단위를 읽어야 한다

마이아 300 랙은 167kW 전력 범위에 가속기 96개를 결합한다. 전체 HBM 용량은 27.6TB, HBM 대역폭 합계는 1.7PB/s다. 여기서 1.7PB/s는 메모리 대역폭을 합산한 값으로, 가속기 간 네트워크 대역폭과는 구분해야 한다.

회사가 제시한 두 성능 지표도 비교 기준이 다르다. 메가와트당 토큰 40% 증가는 GPU 기반 시스템 대비 전력 효율에 관한 설명이다. 최대 7배는 마이아 200과 비교한 랙 전체의 토큰 처리량이다. 이를 칩 하나의 성능이 7배 높아졌다는 뜻으로 읽을 수는 없다.

자료: 마이크로소프트 공식 발표. 회사 측 수치이며 독립적인 동일 조건 비교 결과는 아니다.

구글은 학습·추론 최적화를 분화…AWS는 대형 고객과 용량 확보

구글은 7세대 TPU 아이언우드(Ironwood)를 통해 추론 중심의 설계 방향을 강조했다. 아이언우드는 대규모 학습도 지원한다. 구글 기술 문서 기준 칩당 FP8 피크 성능은 4,614TFLOPS이며, 최대 9,216개 칩으로 구성되는 포드의 FP8 피크 성능은 약 42.5EFLOPS다.

차세대 전략은 더 세분화됐다. 구글은 올해 4월 클라우드 넥스트에서 8세대 TPU 8t와 TPU 8i를 공개했다. 8t는 대규모 사전학습, 8i는 추론·서빙에 최적화했다. 두 제품 모두 다양한 워크로드를 실행할 수 있지만, 각기 다른 병목을 줄이는 데 설계의 무게를 뒀다.

구글 공식 기술 문서에 따르면 8t는 아이언우드 대비 대규모 학습의 가격 대비 성능을 최대 2.7배, 8i는 추론의 가격 대비 성능을 최대 80% 개선한다. 8i는 HBM 288GB와 온칩 SRAM 384MB를 갖춘다. 구글은 발표 당시 두 제품을 2026년 내 일반 제공할 계획이라고 밝혔다.

AWS는 2025년 12월 트레이니움3 기반 EC2 Trn3 울트라서버(UltraServer)의 일반 제공을 발표했다. AWS에 따르면 Trn3 울트라서버는 전 세대 Trn2 울트라서버보다 연산 성능이 최대 4.4배, 전력 효율이 4배, 메모리 대역폭이 약 4배 높다. 칩당 개선율이 아닌 시스템 단위 비교다. 최대 144개 칩 구성에서 FP8 연산 성능은 362PFLOPS다.

고객과의 협력 규모도 커졌다. 앤트로픽(Anthropic)은 올해 4월 AWS와 최대 5GW의 추가 컴퓨팅 용량을 확보하는 계약을 발표하면서, 클로드(Claude)의 학습·서빙에 트레이니움2 칩 100만 개 이상을 사용하고 있다고 밝혔다. 오픈AI(OpenAI)의 AWS 협력에도 트레이니움3와 차세대 트레이니움4를 포함한 약 2GW의 용량 사용 약정이 들어갔다. 계약한 미래 용량과 현재 가동 중인 용량은 구분해야 한다.

트레이니움4에는 엔비디아(NVIDIA)의 NVLink Fusion 기술을 도입하는 협력도 추진된다. 공식 발표의 핵심은 AWS 자체 반도체에 NVLink 인터커넥트와 MGX 랙 아키텍처를 결합하는 것이다. 자체 칩 경쟁이 GPU 업체와의 기술 협력까지 배제하는 것은 아니라는 점을 보여준다.

마이아 300의 2027년 경쟁력을 평가하려면 현재의 아이언우드·트레이니움3뿐 아니라 구글과 AWS의 차세대 계획도 함께 봐야 한다. 서로 다른 출시 시점과 칩·랙·포드 단위의 수치를 나열하는 것만으로 우열을 가릴 수는 없다.

칩과 모델, 제품팀이 함께 만드는 인프라

마이크로소프트 전략의 특징은 자체 모델과 제품에서 얻은 요구를 인프라 설계로 돌려보내는 구조다.

무스타파 술레이만(Mustafa Suleyman) 마이크로소프트 AI CEO는 공식 발표에서 자체 모델과 공동 설계하는 플랫폼의 중요성을 강조하며, MAI 모델을 마이아에서 운영한 경험이 마이아 300 설계에 반영됐다고 설명했다.

짐 클리바인(Jim Kleewein) 마이크로소프트 365 테크니컬 펠로우도 제품팀과 인프라팀의 연결을 강조했다. 코파일럿과 코워크를 이용하는 방식, 성능이 중요한 지점, 응답성과 신뢰성을 개선할 기회를 파악하고 이를 다음 세대 인프라에 반영한다는 설명이다.

이는 추론 인프라의 경쟁력이 하드웨어 사양만으로 결정되지 않는다는 뜻이다. 실제 서비스에서 중요한 응답 시간과 동시 처리량을 파악하고, 모델·소프트웨어·메모리·네트워크를 함께 조정할 수 있어야 한다.

마이크로소프트는 애저 마이아를 '프런티어 트랜스포메이션' 비전의 핵심 기반으로 설명하며, 모델과 실리콘을 선택할 수 있는 유연성을 강조한다. 다음 달 샌프란시스코와 온라인에서 열리는 이그나이트 2026에서 관련 전략과 기술 도입 동향을 추가로 소개할 예정이다. 마이아 300의 실서비스 배치는 2027년부터 시작한다. 멀티기가와트급 확대를 실현하려면 칩 확보와 함께 전력 조달, 냉각, 데이터센터 건설·운영도 뒷받침돼야 한다.

테크수다의 시각…벤치마크의 중심이 넓어졌다

27년째 기술을 취재하면서 벤치마크 경쟁을 여러 번 봤다. 클럭과 코어 수, 연산 성능을 앞세운 경쟁은 지금도 이어진다. 이번 발표에서 주목한 것은 그 숫자 옆에 전력과 비용, 실제 서비스 처리량이 더 큰 자리를 차지하기 시작했다는 점이다.

칩이 빠르더라도 메모리에서 데이터를 기다리거나 가속기 사이 통신이 막히면 서비스 처리량은 기대에 못 미친다. 칩·모델·네트워크를 함께 최적화해야 같은 전력 범위에서 더 많은 요청을 처리할 수 있고, 클라우드 3사가 모두 시스템 전체를 강조하는 이유다.

라니 보카르는 지난 9월 기고에서 반도체 제조의 ‘수율’ 개념을 AI 인프라 전체의 유용한 산출로 확장했다. 웨이퍼에서 정상 칩을 얼마나 얻느냐는 질문을, 투입한 자본·전력·메모리에서 얼마나 유용한 결과를 얻느냐는 질문으로 넓힌 것이다. 이번 발표의 방향과 연결되는 관점이다.

다만 토큰 수가 곧 유용한 지능의 양은 아니다. 같은 문제를 해결하는 데 불필요하게 많은 토큰을 생성한다면 처리량 증가가 고객의 이익으로 이어지지 않을 수 있다. 같은 모델과 출력 품질, 응답 시간 조건에서 처리량과 비용을 비교해야 한다. 에이전트라면 작업 완료율과 완료 건당 비용까지 살펴야 한다.

‘40%’와 ‘7배’는 그 검증의 출발점이다. 비교 GPU, 모델, 정밀도, 입력·출력 길이, 동시 요청 수, 전력 측정 범위를 알아야 숫자의 의미가 드러난다. 마이아 300에 대한 독립적인 실서비스 검증은 앞으로 확인할 과제다.

국내 기업이 물어야 할 질문도 구체적이다. 한국 리전에서 언제 제공되는가. 기존 모델을 옮기는 데 얼마나 많은 작업이 필요한가. 데이터 처리 위치와 응답 시간 요구를 충족하는가. 인프라 효율 개선이 고객의 실제 이용요금에도 반영되는가.

자체 칩의 가치는 스펙표에서 시작하지만 고객의 운영 현장에서 입증된다. 전기요금뿐 아니라 서비스 품질, 개발·운영 비용, 공급 안정성까지 확인하는 일이 기술 취재의 몫이다.

마이크로소프트 마이아 300 공개, 이런 점이 궁금하다

Q. 마이아 300의 핵심 목표는 무엇인가?

A. 대규모 추론의 효율을 높이는 것이다. 긴 컨텍스트와 다단계 에이전트 작업을 겨냥해 연산·메모리·네트워크·전력을 함께 설계했다. MS는 GPU 기반 시스템 대비 메가와트당 토큰 40% 증가를 기대한다고 밝혔다.

Q. ‘처리량 7배’는 칩 성능이 7배라는 뜻인가?

A. 96개 가속기를 결합한 구성의 랙 단위 토큰 처리량을 마이아 200과 비교한 수치다. 칩 하나의 성능 개선율과는 다르다.

Q. 구글·AWS와는 무엇이 다른가?

A. 이번 MS 발표는 자사 모델·제품과의 공동 설계, 주력 추론 인프라로의 확대에 초점을 맞췄다. 구글과 AWS는 자체 칩 기반 클라우드 서비스를 제공하면서 외부 고객과 대규모 용량 계약을 확대하고 있다. 세 회사 모두 내부 활용과 고객 서비스의 효율을 높이려는 목표를 공유한다.

Q. 엔비디아 GPU를 대체하는 것인가?

A. 이번 발표는 마이아를 MS 제품·서비스의 주력 추론 시스템으로 키우겠다는 계획이다. 애저 전체에서 GPU를 없앤다는 선언은 아니다. AWS가 트레이니움4에 엔비디아의 인터커넥트 기술을 도입하듯 경쟁과 협력은 함께 진행된다.

Q. 언제부터 사용할 수 있나?

A. 마이아 300의 실서비스 인프라 배치는 2027년부터 시작할 계획이다. 이를 일반 고객이 칩을 선택해 사용하는 서비스의 출시일로 해석해서는 안 된다. 고객 제공 방식과 리전별 일정은 추가 확인이 필요하다.

[테크수다 기자 도안구 eyeball@techsuda.com]