MS "AI 인프라, 이제 용량 아닌 '유용한 수율'로 평가하자"…세미콘 타이완서 계층 교차 설계 제안

[테크수다 기자 도안구 eyeball@techsuda.com] 마이크로소프트(Microsoft)가 AI 인프라 경쟁의 채점표를 바꾸자고 제안했다. 라니 보르카(Rani Borkar) 애저 하드웨어 시스템 및 인프라 부문 사장은 2026년 9월 2일 SEMICON Taiwan 2026 기조연설에서 '수율 과제(yield imperative)'를 화두로 던졌다. 데이터센터를 몇 메가와트 지었느냐가 아니라, 실리콘·메모리·네트워킹·전력을 얼마나 효율적으로 '유용한 지능'으로 바꿨느냐를 성공의 척도로 삼자는 주장이다. 척도는 달러당·와트당 토큰 수, 처리량, 지연시간이다.

핵심 내용

1. 척도 교체 제안 — 마이크로소프트는 AI 인프라의 진보를 '구축 용량'이 아니라 '유용한 수율(useful yield)'로 측정하자고 제안했다. 달러당·와트당 토큰 수와 처리량, 지연시간이 기준이다.

2. 계층 교차 설계 — 부품을 따로 최적화하는 대신 실리콘부터 냉각·소프트웨어·플릿 운영까지 한꺼번에 설계해야 한다고 밝혔다. 가장 어려운 제약은 처음 나타난 계층 밖에서 풀린다는 논리다.

3. 마이아·코발트 사례 — 애저 마이아(Azure Maia) 가속기의 실리콘 내장 NIC와 2계층 스케일업 네트워크, 애저 코발트(Azure Cobalt) CPU의 세밀한 전력 제어를 근거로 제시했다.

반도체 업계의 '수율'은 웨이퍼 한 장에서 멀쩡한 칩이 몇 개 나오느냐를 뜻한다. 보르카는 이 단어를 데이터센터 전체로 확장했다. 웨이퍼 대신 실리콘·메모리·전력·네트워크 다발이 들어가고, 칩 대신 지능이 나온다. 같은 전기와 같은 돈으로 토큰이 더 많이 나오면 수율이 높은 것이다.

기자는 기조연설 자료를 두 번 읽었다. 첫 번째는 흔한 비전 선언처럼 읽혔다. 두 번째 읽으니 미묘한 방향 전환이 보였다. 지난 몇 년 AI 인프라 뉴스는 '몇 기가와트', '몇 조 달러'로 규모를 겨뤘다. 마이크로소프트는 이제 분모를 보자고 한다. 왜 하필 지금일까.

"가장 어려운 제약은 그 계층 밖에서 풀린다"

보르카는 답을 '계층 교차 설계(cross-layer design)'에서 찾았다. AI 세대가 바뀔 때마다 실리콘·메모리·전력·네트워킹 수요가 함께 뛴다. 용량만 늘려서는 따라잡을 수 없다는 진단이다. 그래서 각 계층을 따로 다듬는 대신 실리콘·메모리·네트워킹·전력·냉각·소프트웨어·모델·워크로드·플릿 운영을 한 덩어리로 설계해야 한다고 강조했다.

"가장 어려운 제약은 그것이 처음 나타난 계층 바깥에서 해결되는 경우가 많다." 자료가 내세운 핵심 문장이다. 메모리가 모자라면 메모리를 더 사는 게 아니라 컴파일러와 모델 최적화로 푼다는 뜻이다.

마이크로소프트는 자사 스택에서 세 가지 사례를 꺼냈다. 첫째, 메모리다. 애저 마이아(Azure Maia) 가속기 플랫폼에서 모델 최적화·메모리 관리·실리콘 설계·컴파일러 배치를 묶어 '바이트당 지능'을 높인다. 둘째, 네트워킹이다. 마이아는 2계층 스케일업 토폴로지와 자체 전송 계층을 쓰고, 네트워크 인터페이스 카드(NIC)를 실리콘에 직접 넣었다. 네트워크 장비를 덜 쓰면서 컴퓨팅을 더 오래 일하게 만드는 구조다. 셋째, 전력이다. 자체 CPU 애저 코발트는 실리콘에 세밀한 전력 제어를 직접 프로그래밍했다. 같은 메가와트로 "훨씬 더 많은 서버"를 돌린다고 마이크로소프트는 밝혔다.

전력 사례는 체감이 쉽다. 데이터센터 한 동에 들어오는 전기는 정해져 있다. 아파트 단지의 계약 전력과 같다. 세대마다 대기전력을 줄이면 같은 변압기로 더 많은 집에 불을 켤 수 있다. 코발트의 전력 제어가 노리는 바가 그것이다.

숫자가 빠진 자료, 검증은 이제부터

조금 삐딱하게 보면 허전한 대목이 있다. 자료는 '유용한 수율'을 달러당·와트당 토큰으로 재자고 했다. 그런데 정작 마이크로소프트의 수율이 얼마나 올랐는지는 한 줄도 없다. 코발트가 같은 전력으로 서버를 몇 퍼센트 더 돌리는지, 마이아의 내장 NIC가 네트워크 장비를 몇 대 줄였는지 숫자가 없다. 척도를 제안한 쪽이 자기 점수를 감춘 셈이다.

물론 기조연설 자료의 한계일 수 있다. 검증 지점은 분명하다. 마이크로소프트가 다음 분기 실적 발표나 애저 기술 문서에서 와트당 토큰 수치를 공개하는지 지켜보면 된다. 엔비디아(Nvidia)와 구글(Google)도 같은 지표로 응수할지가 관전 포인트다.

한 가지는 분명하다. 마이크로소프트는 이 과제를 혼자 풀 생각이 없다. 자료는 부품·장비·소재 업체부터 전력회사, 데이터센터 운영사, 모델 개발사, 소프트웨어 개발자까지 협력을 요구했다. 대만 반도체 생태계 한복판에서 던진 메시지다. 한국 메모리 업계에도 남 일이 아니다. '바이트당 지능'이 척도가 되면 메모리 판매 단위도 용량에서 효율로 옮겨갈 수 있다.

"세계가 필요로 할 것이기 때문에 우리는 계속 용량을 구축할 것이다. 그러나 진보를 규정하는 척도는 무엇이 나오느냐여야 한다. 칩이나 토큰만이 아니라 권한 부여와 기회, 인간의 성취로 이어지는 유용한 지능이다." 보르카는 이렇게 말했다.

용량 경쟁은 끝나지 않았다. 다만 채점 기준이 하나 더 생겼다. 다음 기조연설에서는 숫자를 보고 싶다.

MS "AI 인프라, 이제 용량 아닌 '유용한 수율'로 평가하자"…세미콘 타이완서 계층 교차 설계 제안, 이런 점이 궁금했어요

Q1. '유용한 수율(useful yield)'이 정확히 무엇인가?

실리콘·메모리·네트워킹·전력 같은 인프라 자원이 얼마나 효율적으로 유용한 산출물로 바뀌는지를 뜻한다. 마이크로소프트는 달러당·와트당 토큰 수, 처리량, 지연시간으로 측정하자고 제안했다. 반도체 제조의 '수율' 개념을 데이터센터 전체로 넓힌 용어다.

Q2. 왜 '용량'만으로는 부족하다고 하나?

AI 세대가 바뀔 때마다 실리콘·메모리·전력·네트워킹 수요가 함께 늘기 때문이다. 마이크로소프트는 용량을 계속 짓겠다고 밝히면서도, 같은 자원에서 더 많은 지능을 뽑아내지 않으면 수요를 따라갈 수 없다고 진단했다.

Q3. '계층 교차 설계'는 기존 방식과 무엇이 다른가?

기존에는 칩·메모리·네트워크를 각각 따로 최적화했다. 계층 교차 설계는 실리콘부터 냉각·소프트웨어·모델·플릿 운영까지 한꺼번에 설계한다. 마이크로소프트는 가장 어려운 제약이 처음 나타난 계층 바깥에서 풀리는 경우가 많다고 설명했다.

Q4. 마이크로소프트가 제시한 실제 사례는?

애저 마이아 가속기는 NIC를 실리콘에 직접 넣고 2계층 스케일업 네트워크를 써서 네트워크 장비를 줄였다. 애저 코발트 CPU는 실리콘에 세밀한 전력 제어를 프로그래밍해 같은 메가와트로 더 많은 서버를 돌린다. 다만 구체적 개선 수치는 공개하지 않았다.

Q5. 한국 반도체 업계에 어떤 의미가 있나?

마이크로소프트는 메모리 분야에서 '바이트당 지능'을 높이겠다고 밝혔다. 메모리 평가 기준이 용량에서 효율로 옮겨갈 수 있다는 신호다. 마이크로소프트는 부품·장비·소재 업체를 포함한 생태계 협력도 요구했다.

[테크수다 기자 도안구 eyeball@techsuda.com]