2000만 달러 들여 48노드 클러스터 구축…오픈웨이트 모델·고정가 추론으로 비용 절반 줄여, GPU 살 여력 없는 기업엔 네오클라우드 임대 제시

[테크수다 기자 도안구 eyeball@techsuda.com] 뉴타닉스(Nutanix)가 사내 소프트웨어 개발에 쓰는 AI 토큰 비용이 급증하자 자체 추론 인프라를 구축해 비용을 절반으로 줄였다고 공개했다. 맨디 달리왈(Mandy Dhaliwal) 뉴타닉스 최고마케팅책임자(CMO)는 10월 13일 서울에서 열린 '닷넥스트 온 투어 서울 2026(.NEXT On Tour Seoul 2026)' 기자간담회에서 회사가 2026년 2월 한 달에 1조 개가 넘는 토큰을 소비했고, 개발 도구 공급사가 과금 체계를 바꾸면서 비용이 크게 뛰었다고 밝혔다. 뉴타닉스는 엔비디아(NVIDIA)와 AMD GPU를 들여 오픈웨이트(open-weight) 모델을 돌리는 사내 추론 환경을 꾸렸고, 이 경험을 고객사에 사례로 제공하고 있다.

핵심 요약

• 토큰 청구서가 인프라 결정을 바꿨다 — 월 1조 토큰을 쓰던 뉴타닉스는 개발 도구의 과금 체계 변경으로 비용이 급증하자 사용량 기반 과금에서 벗어나 사내 고정가 추론으로 방향을 틀었다.
• 모델이 아니라 소비 구조가 문제였다 — 뉴타닉스는 특정 프런티어 모델 탓이 아니라고 선을 그었다. 코드 생성·QA·문서화에 쓰는 도구의 소비 모델을 오픈웨이트 모델과 오픈소스 프레임워크 중심으로 바꿨다고 설명했다.
• 작은 기업엔 4노드·금융·네오클라우드 — 2000만 달러 규모 투자가 부담스러운 기업에는 4노드 소규모 구성, 월 분할 금융, 크로노스케일 같은 네오클라우드 임대를 대안으로 제시했다.

월 1조 토큰, 과금 체계가 바뀌자 청구서가 뛰었다

이날 간담회의 무게중심은 신제품이 아니라 뉴타닉스 자신의 AI 청구서였다. 달리왈 CMO는 회사의 사업 현황을 소개한 뒤 뉴타닉스가 직접 겪은 AI 도입 경험을 공유하겠다며 사내 토큰 사용 이야기를 꺼냈다. 다른 대기업과 마찬가지로 뉴타닉스도 높은 토큰 비용에 시달렸고, 2026년 2월에는 한 달에 1조 개가 넘는 토큰을 소비했다는 설명이다.

비용을 끌어올린 계기는 소프트웨어 개발에 주로 쓰던 공급사의 과금 체계 변경이었다. 현장 통역에 따르면 이 변경으로 토큰 비용이 350% 늘었다. 뉴타닉스 엔지니어링 조직은 곧바로 엔비디아와 AMD에서 GPU를 확보해 사내에서 모델을 운영하는 환경을 만들었다. 결과는 비용 절반 감축이었다.

달리왈 CMO는 "이렇게 해서 비용을 50% 줄였다. 지금은 이 경험을 모든 고객과 나눠 토큰을 더 효율적으로 쓰도록 돕고 있다"고 말했다. 뉴타닉스는 이 과정을 구체적으로 정리한 사례 연구도 만들고 있다고 덧붙였다.

이 수치는 처음 나온 이야기가 아니다. 라지브 라마스와미(Rajiv Ramaswami) 뉴타닉스 최고경영자(CEO)는 9월 초 기자 브리핑에서 회사가 사내 개발용 토큰 지출을 관리하려고 2000만 달러를 들여 GPU 클러스터를 꾸렸다고 밝혔다. 그는 처음에는 코파일럿(Copilot), 커서(Cursor), 클로드(Claude) 같은 표준 프런티어 모델 기반 도구를 썼지만 사용량과 비용이 함께 불어났고, 사내 수요의 80% 정도를 이 클러스터에서 처리하고 나머지는 프런티어 모델에 맡길 계획이라고 설명했다. 앤드루 브린디드(Andrew Brinded) 뉴타닉스 최고매출책임자(CRO)는 투자 회수 기간을 12개월로 제시했다.

특정 모델 탓 아니다…고친 것은 계량형 소비 구조

질의응답에서 기자는 비용을 끌어올린 도구가 무엇인지 물었다. 개발자 한 명당 쓰는 코딩 에이전트 비용은 지금 전 세계 기업의 공통 고민이고, 마이크로소프트(Microsoft)나 아마존웹서비스(AWS) 내부에서도 외부 모델 의존도를 줄이자는 목소리가 나온다는 맥락에서다.

폴 하브 뉴타닉스 솔루션·성능 엔지니어링 부문 부사장은 특정 모델을 지목하지 않았다. 그는 1조 토큰을 코드 생성, 품질보증(QA), 사용자 문서 작성 등 여러 업무에 썼다고 설명했다. 소프트웨어 회사인 만큼 코딩 수요가 막대하다는 것이다. 앤트로픽(Anthropic)이든 오픈AI(OpenAI)든 프런티어 모델 하나의 문제가 아니라, 코드 생성에 쓰던 도구의 프레임워크와 소비 모델이 비용을 키웠다는 진단이다.

그래서 뉴타닉스가 고친 것은 모델이 아니라 비용 구조였다. 하브 부사장은 "우리는 사용량대로 요금이 매겨지는 방식을 원하지 않는다. 오픈웨이트 모델과 오픈소스 프레임워크로 사내에서 고정 가격 추론을 하려는 것"이라고 말했다. 오픈소스 도구를 더 적극적으로 쓰고, 사용량을 측정해 요금을 매기려는 파트너에 대한 의존을 줄이겠다는 설명이다.

이 대목은 생성형 AI 비용 논쟁의 축이 어디로 옮겨 가는지 보여준다. 토큰 단가는 계속 내려가지만, 에이전트가 반복 작업을 수행하면서 기업 전체의 토큰 소비량은 그보다 훨씬 빠르게 늘고 있다. 뉴타닉스 역시 단가 하락과 소비 폭증이 함께 진행되며 총비용이 커지는 현상을 업계 공통 과제로 꼽아 왔다. 달리왈 CMO는 이날 기술이 바뀔 때마다 새로운 사일로가 생겨 왔다고 짚었다. 가상화는 스토리지·네트워크·컴퓨팅의 분리를, 클라우드는 온프레미스 팀과 클라우드 팀의 중복을 낳았다. AI 시대에는 CPU, GPU, 피지컬 AI, 양자컴퓨팅이 저마다 따로 돌아가고, 그 결과 사용량과 비용이 보이지 않는 것이 가장 큰 문제라는 진단이다. 그는 최고정보책임자(CIO)들이 받는 압박을 설명하면서 토큰 경제성(토크노믹스), 글로벌 조직의 데이터 거버넌스, 에이전트를 가둬 두는 샌드박스 컴퓨팅을 세 가지 과제로 들었다.

2000만 달러·48노드…GPU 살 여력 없는 기업은 어떻게 하나

자체 인프라 해법에는 반론이 따른다. 기자는 GPU를 사서 데이터센터에서 운영하는 비용이 오히려 코딩 에이전트 구독료보다 비싸지 않은지, GPU를 살 수 없는 기업에는 이 해법이 도움이 되지 않는 것 아닌지 물었다.

하브 부사장은 뉴타닉스 사례가 자본적 지출(CAPEX) 2000만 달러를 들여 GPU 인프라 48노드 구성이라고 밝혔다. 작은 기업이라면 4노드 정도로 훨씬 적은 투자에서 출발할 수 있다고 했다. 초기 투자가 부담스러우면 금융을 활용해 운영비(OPEX)처럼 월 단위로 나눠 낼 수도 있다. 그는 같은 월 지출이라도 사용량 기반 요금보다 월 분할 금융 비용이 절반 수준이 될 수 있다고 설명했다. 뉴타닉스가 경험한 50% 절감을 고객도 기대할 수 있다는 논리다.

클러스터를 통째로 사기 어려운 기업을 위한 답은 네오클라우드(Neocloud)다. 네오클라우드는 암호화폐 채굴 전문 기업들로 초기부터 전기 문제를 해결하고 물리적인 데이터센터를 보유했던 엔비디아의 파트너들이었다. 생성형 AI 붐이 일면서 엔비디아는 하이퍼스케일러들에 제품을 공급하면서 동시에 네오클라우드 기업들 지분 투자도 늘리고 제품도 우선 공급하고 있다. 하이퍼스케일러들도 데이터센터 구축에 시간이 들기 때문에 GPU 인프라가 모자랄 때 이런 네오클라우드 기업들의 인프라를 연동해 서비스를 제공한다. 엔터프라이즈 기업들도 마찬가지다.

하브 부사장은 크로노스케일(ChronoScale)과의 협력을 예로 들었다. 기업은 네오클라우드나 퍼블릭 클라우드에서 노드 하나, 경우에 따라서는 GPU 단위로도 자원을 빌려 쓸 수 있다. 크로노스케일은 뉴타닉스 기술을 바탕으로 에이전틱 AI와 멀티테넌시 환경을 구축하는 사업자다. 테넌트 단위를 아주 작게 쪼갤 수 있어 기업이 큰 설비 투자 없이 풀스택 AI를 운영비로 소비할 수 있다고 그는 설명했다.

뉴타닉스와 크로노스케일은 8월 전략적 파트너십을 발표했다. 크로노스케일은 엔비디아 HGX B300 시스템을 배치하고, 뉴타닉스 소프트웨어로 고객 온보딩, 테넌트 관리, 관리형 쿠버네티스(Kubernetes) 서비스를 운영할 계획이다. 고객은 예측 가능한 업무에는 GPU 용량을 예약하고, 일시적이거나 실험적인 업무에는 선불 추론 토큰을 사서 쓸 수 있다.

비싼 GPU, 놀리지 않는 게 관건…라이액스 인수의 의미

자체 추론 인프라의 경제성은 결국 GPU 활용률이 가른다. 변재근 뉴타닉스코리아 사장은 요즘 고객에게서 가장 많이 듣는 고민이 바로 이 지점이라고 전했다. 어렵게 GPU 몇 장을 확보했지만 어디에 써야 할지, 어떻게 활용해야 할지가 고민이라는 것이다. 변 사장은 "이 비싼 GPU를 샀는데 노는 GPU가 있으면 안 되잖아요. 100% 다 써야죠"라며 고객의 목소리를 전했다.

뉴타닉스가 9월 인수한 프랑스 기업 라이액스 테크놀로지스(Ryax Technologies)는 이 고민을 겨냥한다. 하브 부사장은 라이액스가 슬럼(Slurm)과 고성능컴퓨팅(HPC) 분야의 지식재산(IP)과 인력을 갖춘 회사라고 설명했다. GPU 워크로드를 어떻게 스케줄링해 자원 활용도를 높일지에 관한 기술이다. 뉴타닉스는 이 기술을 뉴타닉스 쿠버네티스 플랫폼(NKP)과 뉴타닉스 엔터프라이즈 AI(NAI)에 통합해 같은 하드웨어 투자로 더 많은 가치를 끌어낸다는 계획이다. 보도자료에 따르면 라이액스 플랫폼은 GPU와 CPU 자원 활용을 극대화하는 지능형 리소스 최적화, AI 워크로드를 비용 효율적인 하드웨어에 자동으로 배치하는 AI 인식형 스마트 스케줄링 기능을 제공한다.

GPU 공급사와의 관계도 같은 방향을 가리킨다. 변 사장은 AMD가 올해 뉴타닉스에 1억 5000만 달러를 지분 투자했고, 공동 기술 개발과 시장 개척에 추가 자금을 투입해 총 2억 5000만 달러 규모로 협력하기로 했다고 소개했다. 엔비디아와는 10년 넘게 협력하면서 엔비디아 AI 엔터프라이즈, NIM, 미모(NeMo) 기술을 뉴타닉스 엔터프라이즈 AI 플랫폼에 통합해 왔다고 설명했다. 엔비디아가 발간하는 AI 팩토리 구축 백서의 소프트웨어 6개 영역 가운데 개발자용 AI 소프트웨어 플랫폼, 쿠버네티스 플랫폼, 스토리지 3개 영역에 이름을 올린 기업은 뉴타닉스가 유일하다는 주장도 폈다.

보안 민감 산업도 '내 인프라 위의 AI'로

토큰 비용만이 자체 인프라로 향하는 이유는 아니다. 이날 고객 사례로 나선 김명구 한화시스템 클라우드사업부 팀장은 방산과 조선처럼 높은 수준의 보안이 필요한 사업에서는 무조건 퍼블릭 클라우드로 옮기기보다 데이터 통제를 유지하면서 클라우드의 유연성을 확보하는 환경이 필요했다고 말했다. 한화시스템은 그룹 통합 클라우드 플랫폼인 에이온클라우드를 뉴타닉스 기반으로 고도화하고 있다. 제2데이터센터를 재해복구(DR), 클라우드, AI를 한 번에 수용하는 출발점으로 설계하고 있다는 설명이다.

김 팀장은 GPU 같은 인프라 확보 자체보다 AI를 실제 업무에 적용할 수 있는 운영 기반을 만드는 일이 더 중요하다고 강조했다. 공통 플랫폼 위에서 컴퓨팅과 데이터를 제공하고, 클라우드 네이티브 환경으로 애플리케이션을 빠르게 배포한 뒤 그 위에 AI 서비스를 단계적으로 늘리는 구조를 준비하고 있다고 했다. 이 기반은 보안에 민감한 외부 산업 고객에게 AI를 제공하는 사업으로도 이어질 예정이다.

뉴타닉스의 사업 지표도 함께 공개했다. 7월 마감한 2026 회계연도에 뉴타닉스 매출은 28억 5000만 달러로 전년보다 12% 늘었고, 신규 고객은 3000곳을 넘었다. 달리왈 CMO는 서버 가격 급등과 지정학적 불확실성 속에서 거둔 성과라고 평가했다. 변재근 사장은 뉴타닉스코리아의 지난해 4분기 매출이 전년 같은 기간보다 30% 늘어 글로벌 성장률을 웃돌았고, 국내 고객 수는 9%, 파트너 수는 11% 증가했다고 밝혔다.

시장에서는 브로드컴이 VM웨어를 인수 한 후 가격을 대폭 올리면서 고객들의 탈VM웨어 현상이 일어나고 있다. 국내외 경쟁 기업들이 앞다퉈 VM웨어 기반을 마이그레이션 해 자사의 가상화 환경으로 손쉽게 옮길 수 있는 서비스를 제공하고 있다. 뉴타닉스는 그 대표 주자 중 한 곳이다. 이 시장은 올해도 국내외 꾸준한 수요를 일으키고 있다.

테크수다의 시각

간담회에서 클로드 코드 이야기를 꺼낸 이유는 단순하다. 요즘 만나는 기업마다 코딩 에이전트 청구서를 두고 같은 질문을 던진다. 생산성은 분명히 올랐는데, 이 비용 곡선을 감당할 수 있느냐는 것이다. 뉴타닉스의 답은 특정 모델을 버리는 것이 아니었다. 계량기를 떼어 내는 것이었다. 하루하루 쌓이는 종량제 청구서를 감가상각되는 설비와 고정가 추론으로 바꾼 셈이다.

이 선택은 클라우드 초기의 논쟁을 떠올리게 한다. 사용량이 일정 규모를 넘으면 빌려 쓰는 것보다 직접 운영하는 편이 싸다는 계산이다. 토큰 단가는 내려가는데 총비용은 오르는 지금의 구조에서 월 1조 토큰급 사용자에게는 그 손익분기점이 생각보다 빨리 온다. 뉴타닉스가 사내 수요의 80%를 오픈웨이트 모델로 돌리고, 어려운 일은 프런티어 모델에 맡기는 이원화 구조를 택한 것도 같은 계산의 결과다.

다만 50%라는 숫자는 회사가 스스로 밝힌 수치다. 이 숫자에 전력과 냉각, 운영 인력, GPU 감가상각이 어떻게 반영됐는지는 공개되지 않았다. 2000만 달러를 선뜻 쓸 수 있는 기업은 많지 않다. 그래서 뉴타닉스가 함께 꺼낸 4노드 구성, 금융, 네오클라우드 임대라는 처방이 실제 시장에서 얼마나 통할지가 더 중요한 관전 포인트다. 국내 기업에게는 GPU 공급 사정과 데이터 주권 요구까지 겹쳐 있어 계산이 한층 복잡하다. 국내에는 미국처럼 네오클라우드 기업들이 많지가 않다.

지난 주 만난 코어위브코리아 대표는 "조만간 한국에서도 좋은 소식이 있을 것"이라고 밝히기는 했다. SK그룹사는 람다랩스와 협력해 AI 데이터센터를 구축한다고 밝힌 바 있다. 한국 시장에서도 점차 네오클라우드 기업들이 늘어나고 있기는 해 기업들의 선택권은 넓어질 것으로 보인다.

오픈웨이트 모델의 품질도 변수다. 코드 생성처럼 결과물을 테스트로 검증할 수 있는 업무는 오픈웨이트 모델로 옮기기 쉽다. 하지만 설계 판단이나 복잡한 디버깅처럼 모델 성능 차이가 곧바로 생산성 차이로 이어지는 업무까지 같은 계산이 통할지는 따져 봐야 한다. 뉴타닉스가 20%를 프런티어 모델 몫으로 남겨 둔 것도 그 때문일 것이다. 결국 기업에 필요한 것은 모델 하나를 고르는 안목이 아니라, 업무별로 어느 모델을 어디에서 돌릴지 정하고 그 비용을 실시간으로 들여다보는 운영 체계다. 달리왈 CMO가 AI 시대의 가장 큰 문제로 사용량과 비용에 대한 가시성 부족을 꼽은 것도 같은 맥락이다.

분명한 것은 하나다. 에이전트 시대의 인프라 경쟁은 GPU를 얼마나 많이 확보하느냐에서 확보한 GPU를 얼마나 놀리지 않느냐, 토큰 한 개를 얼마에 만들어 내느냐로 옮겨 가고 있다. 라이액스 인수와 크로노스케일 협력은 뉴타닉스가 그 계산서를 고객 대신 써 주는 회사가 되겠다는 신호로 읽힌다. 자기 청구서로 먼저 실험해 본 회사가 고객을 설득할 수 있을지, 사례 연구가 공개되면 숫자를 다시 따져 볼 생각이다.

뉴타닉스, 이런 점이 궁금하셨나요?

Q. 월 1조 토큰은 어디에 쓴 건가?
A. 코드 생성, 품질보증(QA), 사용자 문서 작성 등 소프트웨어 개발 업무에 썼다. 소프트웨어 회사인 만큼 코딩 수요가 막대했다는 설명이다.

Q. 토큰 비용이 얼마나 올랐길래 자체 인프라를 구축했나?
A. 개발 도구 공급사가 과금 체계를 바꾸면서 토큰 비용이 급증했다. 현장 통역에 따르면 350% 늘었다. 뉴타닉스는 사용량 기반 과금에서 벗어나 오픈웨이트 모델과 오픈소스 프레임워크로 사내 고정가 추론을 택했고, 비용을 50% 줄였다고 밝혔다.

Q. 2000만 달러·48노드 클러스터의 내용은?
A. 엔비디아와 AMD GPU를 들여 48노드를 가득 채운 구성으로, 자본적 지출 2000만 달러가 들었다. 사내 AI 수요의 80% 정도를 이 클러스터에서 처리하고 나머지는 프런티어 모델에 맡긴다. 투자 회수 기간은 12개월로 제시됐다.

Q. GPU를 살 여력 없는 기업은 어떻게 해야 하나?
A. 4노드 정도의 소규모 구성으로 시작하거나, 금융을 활용해 월 단위로 비용을 나눠 내는 방법이 있다. 크로노스케일 같은 네오클라우드에서 노드 하나나 GPU 단위로 빌려 쓰는 방법도 제시됐다.

[테크수다 기자 도안구 eyeball@techsuda.com]