AI 인프라, 거품인가 혁명인가?…"우리는 아직 1회 초에 있다"
[테크수다 기자 도안구 eyeball@techsua.com] CES 2026에서는 흥미로운 주제의 대담도 많이 있었습니다. 그 중 하나가 엔비디아 젠슨 황 회장의 발표 전에 진행된 CES 2026 엔비디아 스페셜 세션 'Setting the Stage'였습니다.
비벡 아리아(Vivek Arya) 뱅크 오브 아메리카 수석 애널리스트가 진행를 맡았고 슈리다 라마스워미(Sridhar Ramaswamy) 스노우플레이크 CEO, 마크 리파시스(Mark Lipacis) 에버코어 ISI 수석 전무, 사라 궈(Sarah Guo) 컨빅션 설립자가 패널로 함께 했습니다. 특히 스노우플레이크는 아마존의 모빌리티 전시관에 함께 참여했습니다. 스노우플레이크 같은 데이터 저장과 처리 전문 기업이 CES에 등장하는 시대라는 점도 흥미로운 일입니다.

🎤 세션 개요:
- 행사: CES 2026 엔비디아 스페셜 세션 'Setting the Stage'
- 진행: 비벡 아리아 (Vivek Arya, 뱅크 오브 아메리카 수석 애널리스트)
패널:
- 슈리다 라마스워미 (Sridhar Ramaswamy, 스노우플레이크 CEO)
- 마크 리파시스 (Mark Lipacis, 에버코어 ISI 수석 전무)
- 사라 궈 (Sarah Guo, 컨빅션 설립자)
CES 2026의 메인 이벤트인 젠슨 황의 키노트에 앞서, 업계 최고의 두뇌들이 모여 'AI 인프라의 현재와 미래'를 논했습니다. 6,000억 달러(약 800조 원)에 달하는 막대한 투자가 과연 정당한지, 그리고 기업들은 이 파도 속에서 어떻게 생존해야 하는지 3가지 핵심 인사이트로 정리했습니다.
[ 3 Key Insights 요약 ]
1. "다크 파이버는 있었지만, '다크 컴퓨트'는 없다"
2. 챗봇을 넘어 '에이전트(Agent)'로 가는 길
3. "우리는 아직 1회 초에 있다 (Early Innings)"
그럼 이제 시작합니다.
💡 Insight 1. "다크 파이버는 있었지만, '다크 컴퓨트'는 없다"
시장의 가장 큰 우려인 **'AI 거품론'**에 대해 월가와 기술 업계는 단호하게 선을 그었습니다. 과거 닷컴 버블 당시 깔아만 놓고 쓰지 못했던 광케이블(Dark Fiber) 사태와는 본질적으로 다르다는 것입니다.
- 100% 가동률: 비벡 아리아는 "현재 배포된 인프라는 구형 GPU까지 포함해 100% 활용되고 있다"고 강조했습니다. 공급이 수요를 따라가기 급급한 상황에서 '놀고 있는 자원(Dark Compute)'은 존재하지 않습니다.
- 건전한 자본: 과거 빚으로 쌓아 올린 인프라와 달리, 지금은 빅테크 기업들의 막대한 **잉여 현금 흐름(Free Cash Flow)**이 투자를 뒷받침하고 있습니다. 설비 투자는 영업 현금 흐름의 2/3 수준으로, 재무적으로 매우 안정적입니다.
🗣️ 비벡 아리아(BoA): "이번엔 정말 다릅니다. 2026년 AI 인프라 지출은 6,000억 달러에 육박하겠지만, 이는 전 세계 50억 명이 즉시 사용하는 '원활한 채택'과 '압도적 활용도'에 기반하고 있습니다."
🚀 Insight 2. 챗봇을 넘어 '에이전트(Agent)'로 가는 길
슈리다 라마스워미 스노우플레이크 CEO는 AI의 활용 단계가 단순 조회(Chatbot)에서 실질적 업무 수행(Agent)으로 넘어가고 있다고 진단했습니다.
- CEO의 비서가 된 AI: 라마스와미 CEO는 본인의 스마트폰에서 실행되는 '데이터 에이전트'를 예로 들었습니다. "이 고객과의 관계가 좋은가? 매출은 상승세인가?"라고 물으면 AI가 회사 내부 데이터를 분석해 즉시 답을 줍니다.
- 구형 칩의 재발견: 모든 작업에 최신 H100, Blackwell이 필요한 건 아닙니다. 그는 "3~4년 전 구형 칩으로 구축된 검색 엔진도 여전히 기업 현장에서 엄청난 가치를 창출하고 있다"며 효율적인 자원 배분을 강조했습니다.
- 데이터 주권이 핵심: 기업 도입의 가장 큰 장벽은 '내 데이터가 어디로 가는가'입니다. 글로벌 인프라가 분산됨에 따라, 데이터가 국경을 넘지 않고 현지에서 처리되는 '소버린 AI(Sovereign AI)' 전략이 기업 생존의 필수 조건이 되었습니다.
🗣️ 슈리다 라마스워미(Snowflake CEO): "기업의 데이터는 기업의 것입니다. AI 에이전트는 이제 단순한 코딩 도구를 넘어, CEO의 의사결정을 돕는 핵심 파트너로 진화했습니다."
🔮 Insight 3. "우리는 아직 1회 초에 있다 (Early Innings)"
지금의 변화가 엄청나 보이지만, 전문가들은 입을 모아 "아직 시작도 안 했다"고 말합니다.
- 아이폰 모멘트: 마크 리파시스는 현재를 아이폰 초기 시절에 비유했습니다. 앱스토어 초기에 앱이 고작 6개였던 것처럼, 지금 우리가 상상하지 못하는 거대한 워크로드와 서비스(우버나 에어비앤비 같은)가 곧 등장할 것이란 예측입니다.
- 인프라 투자의 정당성: 아직 존재하지 않는 서비스를 대비하기 위해 지금의 투자는 과잉이 아니라 필수적인 선제 대응입니다.
🗣️ 마크 리파시스(Evercore ISI): "우리는 아직 존재하지도 않는 워크로드를 위해 투자하고 있습니다. 이 거대한 사이클은 이제 막 시작되었습니다."
📝 [테크수다's Note] 무엇을 준비해야 할까?
이 좌담회가 주는 메시지는 명확합니다. "망설일 시간은 끝났다"는 것입니다.
- 인프라 투자를 두려워 마라: 거품 논란에 위축되지 말고, AI 인프라(하드웨어 및 소프트웨어) 도입을 가속화해야 합니다.
- 데이터를 '에이전트'화 하라: 단순히 데이터를 쌓아두는 것(Data Lake)을 넘어, AI가 이를 학습하고 행동할 수 있는 구조로 만들어야 합니다.
- 오픈 모델과 보안: 폐쇄형 모델의 강력함과 오픈 소스 모델의 확장성 사이에서, 우리 기업의 '데이터 주권'을 지킬 수 있는 하이브리드 전략이 필요합니다.
"땅속에 묻혀 빛을 보지 못한 '다크 파이버(Dark fiber, 미사용 광케이블)'는 있었지만, 지금 '다크 컴퓨트(Dark compute)'는 존재하지 않습니다. 6~7년 된 구형 GPU조차 100% 활용되고 있습니다."
******
다음은 위 좌담을 기사형태로 작성한 내용입니다.
[테크수다 기자 도안구 eyeball@techsuda.com] 미국 라스베이거스에서 열린 세계 최대 가전·IT 전시회 'CES 2026' 현장에서 엔비디아 '세팅 더 스테이지(Setting the Stage)' 세션을 진행한 뱅크 오브 아메리카(BoA) 반도체 애널리스트 비벡 아리아(Vivek Arya)가 AI 시장의 거품 논란을 이 한마디로 일축했다.
그는 2026년 AI 인프라 지출이 6,000억 달러(약 800조 원)에 육박할 것으로 전망하며, 이번 기술 사이클이 과거 인터넷이나 통신망 구축과는 질적으로 다르다고 강조했다.

"원활한 채택·고활용·자금력"…과거와 다른 AI 인프라
패널들은 AI 산업에 쏟아지는 막대한 자본이 '거품'이 아닌 '실수요'에 기반하고 있다는 점에 주목했다. 비벡 아리아는 이번 AI 인프라 사이클의 차별점을 세 가지로 정리했다.
첫째는 '원활한 채택(Frictionless adoption)'이다. 과거 광섬유 인프라가 구축됐을 때는 최종 사용자가 준비되지 않아 병목이 발생했다. 반면 2022년 11월 챗GPT(ChatGPT) 등장 당시에는 전 세계 50억 모바일 사용자가 즉시 서비스에 접근할 수 있었다.
둘째는 '높은 활용도(High utilization)'다. 과거 통신 붐 때는 과잉 투자로 방치된 '다크 파이버'가 문제였으나, 현재 AI 인프라는 배치되는 즉시 가동된다. 비벡은 "구형 칩셋부터 맞춤형 칩까지 모든 컴퓨팅 자원이 효과적으로 쓰이고 있다"며 "인프라 구축의 성공 지표는 '활용도'가 돼야 한다"고 주장했다.
셋째는 '기업의 자금력'이다. 부채에 의존했던 과거 닷컴 기업들과 달리, 현재 인프라 투자를 주도하는 빅테크 기업들은 막대한 잉여 현금 흐름을 창출하고 있다. 설비 투자액(CapEx)은 영업 현금 흐름의 3분의 2 수준으로, 재무 건전성이 뒷받침된 투자라는 설명이다.
스노우플레이크 CEO "구형 칩도 가치 창출…AI, 에이전트로 진화"
대담에 참석한 슈리다 라마스워미(Sridhar Ramaswamy) 스노우플레이크 CEO는 소프트웨어 관점에서 AI의 효용성을 강조했다. 그는 "최신 GPU가 아니더라도 AI는 가치를 창출한다"며 "스노우플레이크 검색 엔진은 3~4년 전 구형 칩 기반으로 구축됐지만, 여전히 고객들에게 중요한 데이터 처리 작업을 수행하고 있다"고 밝혔다.
라마스워미 CEO는 기업용 AI 트렌드가 단순 '조회'에서 능동적 '에이전트(Agent)'로 이동하고 있다고 진단했다. "내 스마트폰에서도 데이터 에이전트가 실행 중이며, 언제든 고객사와의 관계나 매출 추이를 즉시 파악할 수 있다"는 것이다.
그는 엔터프라이즈 환경 AI 도입의 핵심 장벽으로 '데이터 주권(Data Sovereignty)'을 꼽았다. 기업 고객은 챗GPT와 달리 자사 데이터의 저장 및 처리 위치에 민감하게 반응한다. "독일 고객은 데이터가 국경을 넘는 것을 원치 않는다"며, AI 인프라의 전 세계 분산 구축이 오히려 데이터 주권 문제 해결에 도움이 된다고 설명했다.
"이제 겨우 1회 초…AI 혁명은 초기 단계"
에버코어 ISI의 마크(Mark) 애널리스트는 현재 AI 시장을 아이폰 출시 초기에 비유했다.
그는 "아이폰이 처음 나왔을 때 앱은 6개뿐이었지만, 이후 우버나 에어비앤비 같은 예상치 못한 생태계가 열렸다"며 "우리는 아직 존재하지 않는 워크로드 수요를 대비해 투자하고 있는 셈"이라고 말했다.
현재 투자가 과잉처럼 보일 수 있지만, 향후 등장할 '킬러 앱'과 서비스를 고려하면 여전히 '초기 단계(Early innings)'에 불과하다는 분석이다.
엔비디아 젠슨 황 CEO의 기조연설을 앞두고 진행된 이번 세션은, AI 기술이 단순 기대감을 넘어 실질적 인프라 활용 단계에 진입했음을 재확인시켰다. 2026년 AI는 이제 '신기한 기술'을 넘어 기업 생존과 직결된 '필수 인프라'로 자리 잡을 전망이다.
이번 CES 대담은 'AI 거품론'에 대한 기술 업계의 자신감을 보여준다. 특히 '다크 컴퓨트의 부재'라는 분석은 인프라 투자 정당성을 뒷받침하는 강력한 근거다. 기업들은 이제 'AI 도입 여부'가 아니라, 데이터 주권을 지키면서 실질적 업무 효율을 높이는 'AI 에이전트' 구축에 집중해야 할 시점이다.
[테크수다 기자 도안구 eyeball@techsuda.com]
이 글을 작성하면서 구글 제미나이, 앤쓰로픽 클로드, Otter.ai 를 활용해 도움을 받았습니다.