[테크수다 기자 도안구 eyeball@techsuda.com] 한국 델 테크놀로지스가 8월 25일 서울에서 '델 테크놀로지스 포럼 2026'을 열고 기업이 AI 투자를 실제 성과로 바꾸기 위한 세 가지 과제로 데이터센터 현대화, 안전과 신뢰를 전제로 한 AI 확장, 현대적 업무 환경 구현을 제시했다. 김경진 한국 델 테크놀로지스 회장의 환영사로 문을 연 이날 행사에서 유상모 사장과 맷 던피(Matt Dunfee) 본사 수석부사장이 기조연설에 나섰고, SK하이닉스 주영표 부사장과 뇌과학자 장동선 박사가 초대 연사로 무대에 올랐다.

핵심 요약

• 역할 전환 — AI가 답을 제안하는 조언자에서 스스로 일을 수행하는 운영자로 넘어갔다. 유상모 사장은 자신이 하루에 20개 이상의 에이전트로 업무를 처리한다고 밝혔다.
• 토크노믹스 — 토큰 단가는 내려가지만 소비량이 훨씬 빠르게 늘어난다. 델 내부에서는 영업 조직 직원의 10%가 전체 토큰의 90%를 쓰고 있다.
• 메모리 병목 — SK하이닉스는 AI 시스템 성능을 좌우하는 변수로 연산기가 아닌 메모리 대역폭을 지목하고, 3D 적층과 메모리 풀링을 해법으로 제시했다.

첫 무대 주인공은 로봇이었다. 역시 델테크팀은 센스가 있다. 김경진 한국 델 테크놀로지스 회장이 사람으로는 처음으로 무대에 섰다. 김 회장은 3년 전 같은 무대에서 AI 시대의 도래를 예고했던 기억을 꺼냈다. 그는 최근 대학가의 가장 큰 고민이 AI로 작성한 답안지를 어떻게 걸러낼지라는 이야기를 들었다며, 이제 더 큰 고민은 비용과 전력을 낮추면서 AI를 실제 업무에 효과적으로 쓰는 방법이라고 말했다. 이날 행사에는 AMD, 인텔, 마이크로소프트, 엔비디아 등 글로벌 파트너사와 다올TS, 코오롱베니트, 메가존클라우드, 삼성SDS, 에스씨지솔루션즈, SK하이닉스 등 국내 기업을 포함해 43개사가 스폰서로 참여했다.

반도체와 전력, 두 단어를 관통하는 답은 AI

유상모 한국 델 테크놀로지스 사장은 지난 1년을 반도체와 전력이라는 두 단어로 요약했다. 전문가가 아닌 일반 국민까지 메모리와 전력을 이전과 다른 무게로 바라보게 된 이유를 그는 AI 하나로 설명했다. 지금의 메모리 수급 문제도, 전력 문제도 결국 AI라는 거대한 흐름과 정면으로 부딪히고 있다는 진단이다.

변화의 성격도 달라졌다. 유 사장은 AI가 더 이상 조언자 역할에 머무르지 않고 스스로 일을 처리하는 운영자로 넘어갔다고 말했다. 자신 역시 하루에 20개가 넘는 에이전트를 동원해 업무를 수행한다고 소개했다. 모델 단가는 떨어졌지만 사용량이 폭발적으로 늘면서 토큰 이코노미라는 말이 일상어가 됐다는 설명도 덧붙였다.

AI를 바라보는 위치도 이동했다. 요약을 잘해주고 답을 빨리 내주는 화면 속 생산성 도구라는 인식에서 벗어나, AI가 이미 스크린을 떠나 비즈니스와 일상을 움직이는 기반이 되고 있다는 것이다. 그 결과 전력과 냉각은 IT 부서의 현안이 아니라 회사 경영과 국가 차원의 전략 과제로 올라섰다. 보안 의제도 옮겨갔다. 지난해 화두가 데이터 수집과 활용이었다면 올해는 랜섬웨어, 사이버 회복탄력성, 리스크 관리와 거버넌스가 핵심 과제로 떠올랐다고 유 사장은 정리했다.

그는 청중이 안고 있는 고민을 네 개의 숫자로 압축했다. 61%는 AI 업무와 산업 현장, 데이터센터를 각각 별개 과제로 추진해서는 안 된다고 답한 비율이다. 87%는 지금의 변화 속도를 따라가기 어렵다고 답한 비율이다. 방향은 보이는데 실행 속도를 어떻게 끌어올릴지가 관건이라는 뜻이다. 64%는 AI와 데이터, 보안을 아우르는 실행 가능한 로드맵을 아직 마련하지 못했다고 답했다. 마지막 73%는 전략적 파트너가 AI를 제안할 때 보안과 사이버 회복탄력성이 처음부터 포함돼 있기를 기대한다는 응답이다.

유 사장은 이 네 숫자를 인식, 시급성, 우선순위, 신뢰라는 네 과제로 묶었다. 보안은 나중에 덧붙이는 기능이 아니라 설계 단계부터 들어가야 하는 필수 조건이라는 결론이다. 델이 공개한 조사 요약본에는 이 가운데 87%만 명시돼 있고, 나머지 세 수치는 이날 발표에서 언급됐다.

레거시 프로세스에 AI를 얹는 것이 최악의 선택

마이클 델 회장은 영상 메시지에서 풍부한 지능이 이미 도래했으며 지능이 전기처럼 기반 시설이 되고 있다고 말했다. 차별화 요소는 기업이 가진 고유한 데이터라는 점도 강조했다. 현재 5000곳이 넘는 기업 고객이 신약 개발과 산업 자동화, 금융 서비스 영역에서 델 AI 팩토리 위에 워크로드를 올리고 있다고 밝혔다.

이어 무대에 오른 맷 던피(Matt Dunfee) 수석부사장은 델 내부의 시행착오를 먼저 꺼냈다. 그는 델이 30여 년 만에 처음으로 매출 성장과 비용 성장을 분리해낸 혁신 플라이휠을 소개하면서, 기업들이 여전히 두 가지 지점에서 어려움을 겪는다고 진단했다. 첫째는 회사가 하는 일 가운데 가장 가치 있는 일이 무엇인지 규정하는 출발점이고, 둘째는 투자 성과를 실제로 거두게 만드는 운영 모델의 변경이다. 실험과 파일럿, 생산성 개선은 많지만 그것이 조직과 손익에 어떤 영향을 미쳤는지 되짚어 측정하는 곳은 드물다는 지적이다.

던피 수석부사장은 이 대목에서 가장 강한 표현을 썼다.

"우리가 할 수 있는 최악의 선택은 20년, 30년, 40년간 이어온 기존 프로세스와 업무 방식에 AI를 얹는 것입니다."

그는 델이 사내 에이전트를 복잡도와 자율성이라는 두 축으로 분류해 관리한다고 설명했다. 이메일을 쓰고 질문에 답하며 데이터를 분석하는 생산성 에이전트가 가장 아래에 있다. 그 위로 데이터 정비와 보강을 맡는 위생·집사 에이전트, 서비스 케이스나 영업 계정을 다른 팀으로 넘길 때 이력과 고객 경험이 끊기지 않도록 관리하는 조정 에이전트가 놓인다. 그 다음이 완전 자율에 가까운 전문가 에이전트다. 델은 고객이 보유 자산과 계약 권한을 시스템이 인식해 업그레이드나 교체를 상거래 플랫폼과 직접 처리하도록 하는 자율 에이전트에 투자하고 있다. 거래를 성사시키는 작업은 에이전트에 넘기고, 고객 사업에 무엇이 최선인지 판단하는 고부가 영역은 사람이 맡는 구조다.

던피 수석부사장은 청중에게 실험 하나를 권했다. 자기 직무기술서를 언어 모델에 넣고 어느 업무를 사람이, 어느 업무를 에이전트가 수행할 수 있는지 평가하게 해보라는 것이다. 그가 예고한 결과는 직무기술서에 적힌 일의 대부분은 사람만 할 수 있다는 것이었다. 문제는 직무기술서에 적혀 있지도 않은 부수 업무들이 시간을 잡아먹는다는 데 있고, AI를 겨눠야 할 곳이 바로 그 지점이라는 얘기다. 그는 향후 1~2년 안에 참석자 모두가 에이전트의 관리자가 될 것이며, 그 수는 수십에서 수백, 수천에 이를 수 있다고 전망했다.

다만 그는 에이전트 도입을 IT 프로젝트의 에베레스트라고 부르며 난도를 낮춰 보지 말라고 경고했다. 데이터 준비와 워크플로 이해, 온톨로지 설계가 선행돼야 하고, 에이전트가 쓸 데이터는 한곳에 모여 있지 않기 때문이다. 레거시 시스템과 신규 애플리케이션 양쪽에 에이전트 간 통신이나 MCP 같은 방식으로 연결되는 통합도 필요하다. 무엇보다 혼자 하는 게임이 아니라는 인식이 중요하다고 그는 강조했다. 마케팅, 현업, 데이터 사이언스, 보안, 법무와 프라이버시 조직이 함께 붙어야 확장되고 조직에 남는 역량이 만들어진다는 설명이다.

3억 토큰짜리 5초 답변, 온프레미스와 클라우드의 비용 격차 10배

던피 수석부사장은 순서를 지켜야 한다고 했다. 현대적 인프라가 먼저고, 그 위에서 확장이 이뤄지며, 마지막으로 일하는 방식이 바뀐다는 것이다. 그는 델이 전 세계 기업 의사결정권자 1000여 명을 조사한 결과 한국 응답자의 72%가 현재 IT 인프라로는 AI를 지원하기 어렵다고 답했다고 소개했다. 3년 전이나 지금이나 고품질 AI를 대규모로 구현하는 데 가장 큰 걸림돌은 데이터라는 진단도 반복했다.

확장 국면에서 부딪히는 벽은 두 개다. 하나는 보안과 프라이버시, 규제다. 이 부분이 사전에 설계되지 않으면 초기 단계 스타트업만큼 빠르게 나아가지 못한다고 그는 말했다. 다른 하나는 규모 자체의 성격 변화다. AI 애플리케이션은 대부분 컨테이너와 쿠버네티스 기반으로 동작하는데, 한 사람이 수십에서 수백 개 에이전트를 돌리면 각 에이전트가 저마다 마이크로서비스를 띄운다. 이용자 한 명을 지원하던 시스템이 하룻밤 사이에 수백 배 부하를 감당해야 한다는 뜻이다.

비용 문제는 시연으로 설명했다. 영상 감시 데이터를 생성형 AI로 검색·요약해 사고 발생 시 응급팀의 대응 시간을 계산하는 시뮬레이션이었다. 여러 API 호출과 도구, 복수의 에이전트를 거쳐 답이 나오기까지 5초가 걸렸고, 이 과정에서 3억 개가 넘는 토큰이 소모됐다. 대부분은 입력 토큰이었다. 호스팅 환경에서 찾을 수 있는 가장 저렴한 모델을 쓴 경우와 온프레미스 GB10에서 엔비디아 네모트론 계열 모델을 돌린 경우를 비교하자 비용 차이가 10배로 벌어졌다. 구글 제미나이 플래시로 바꾸면 같은 3억 토큰에 200달러대가 들었고, GPT-5로 올리면 숫자는 더 커졌다.

던피 수석부사장은 모든 언어 모델이 동등하지 않다며, 어떤 모델을 클라우드에 두고 어떤 모델을 온프레미스에 둘지 판단하는 것이 아키텍트와 재무 조직이 함께 풀어야 할 과제라고 말했다. 그는 델 내부 사례도 공개했다. 영업 조직에서 직원의 10%가 전체 토큰의 90%를 소비하고 있으며, 만약 100%의 직원이 상위 10%처럼 일한다면 그 활용 사례는 더 이상 감당 가능한 비용이 아니게 된다는 것이다. 단가는 계속 내려가지만 고정비가 아닌 변동비로 다뤄야 하는 회계 항목이라는 결론이다.

그는 IT 실무자의 정체성 변화도 주문했다. 이제 IT 아키텍트나 시스템 관리자, 애플리케이션 운영자가 아니라 AI 설계자이자 AI 아키텍트라는 것이다. 워크로드와 지식 계층, 컨텍스트 엔진을 이해하고, 언어 모델에 실제로 보내야 할 정보량을 최소화하는 아키텍처를 짜야 한다고 강조했다. 마무리 제언은 세 가지였다. 경제성을 먼저 이해하고 계획할 것, 데스크톱에서 직접 프로토타입을 만들어 토큰 소비량을 체감할 것, 그리고 변화 관리를 실행할 것이다.

SK하이닉스, AI 시스템 성능을 결정하는 건 메모리 대역폭

초대 연사로 나선 주영표 SK하이닉스 부사장은 1~2년 앞을 내다보는 반도체 기업의 시각으로 메모리 중심 AI 시스템 아키텍처를 설명했다. 그는 트랜스포머 기반 모델이 메모리를 대량으로 소모하는 구조라는 점부터 짚었다. 모델 하나의 가중치만 테라바이트 단위이고, 초당 20개 토큰을 내놓는 수준으로 계산해도 4TB/s급 대역폭이 필요하다. 그는 이 숫자를 650MB짜리 CD 6~7장 분량의 데이터를 매초 GPU로 퍼 올리는 것에 비유했다.

추론 모델이 등장하면서 요구는 한 단계 더 올라갔다. 반복 실행 때마다 KV 캐시가 새로 생성되고 다음 턴에서 재활용되는 구조여서 메모리 사용량이 크게 늘었다. 에이전틱 AI 단계에서는 차원이 달라진다. 개발자가 코딩 에이전트에 작업을 맡기면 시스템이 백그라운드에서 대량의 자원을 써서 코드를 생성하고 컴파일까지 수행하는데, 그동안 사람은 기다린다. 전통적인 컴파일러나 런타임 도구 체인이 갑자기 10배, 20배 빨라지기 어려운 만큼 전체 시간을 줄이려면 AI 쪽이 더 높은 성능으로 돌아야 한다는 논리다. 그 결과 개인 단위로도 수백 토큰/초 수준의 성능이 요구되기 시작했고, 초당 300~600토큰의 프리미엄 서비스와 700토큰 이상의 울트라 서비스라는 시장 구간이 짧은 기간에 새로 생겼다.

SRAM 기반 가속기가 최근 주목받는 이유도 여기에 있다. 다만 그는 SRAM 기반 구성이 기존 D램 대비 자릿수가 다른 대역폭을 제공하는 대신 용량이 메가바이트 수준에 그쳐 활용 사례가 제한된다고 설명했다. 결국 D램에도 높은 대역폭 요구가 돌아온다는 것이다.

주 부사장은 이 대목에서 도발적인 명제를 꺼냈다.

"컴퓨터 아키텍처에서는 시스템의 성능을 연산기가 결정한다고 이야기합니다. 그런데 AI 시스템에서는 메모리가 얼마나 많은 대역폭을 공급해주느냐가 전체 성능을 결정하는 중요한 변수 중 하나인 것 같습니다."

그는 이 주장이 자사를 내세우기 위한 것이 아니라 시스템 전체의 균형을 말하려는 것이라고 덧붙였다. 특정 GPU 아키텍처 세대별로 결합된 메모리를 나열하면 GPU 성능과 메모리 대역폭이 거의 같은 패턴으로 올라간다는 데이터도 제시했다.

물리적 제약도 짚었다. GPU 성능은 다이 면적, 즉 제곱밀리미터에 비례해 올라가지만 메모리 대역폭은 칩 가장자리 길이에 비례할 수밖에 없다. 위아래에 HBM을 붙일 자리가 한정돼 있고 그마저 입출력 배치와 경쟁하기 때문이다. 업계에서 쇼어라인 문제로 부르는 제약이다. 면적에 비례해 대역폭을 늘리는 사실상 유일한 답으로 그는 3D 적층을 지목했다. 다만 세계에서 가장 뜨거운 칩 위에 메모리를 얹는 구조라 8단, 12단, 16단으로 쌓을 경우 발열을 감당하기 어렵다는 과제가 남는다. 그는 메모리와 로직, 연산 칩 기업이 함께 풀어야 할 문제인 동시에 델처럼 시스템과 인프라를 잘 아는 기업과 협력해 냉각 방식을 준비해야 한다고 말했다.

두 번째 축은 에너지 효율이다. 그는 스탠퍼드대 마크 호로위츠 교수의 2014년 데이터를 인용해, 덧셈 연산 하나에 실제로 드는 에너지는 극히 일부이고 나머지 대부분은 메모리에서 데이터를 꺼내 연산기 앞까지 옮기는 데 쓰인다고 설명했다.[^7] 최신 데이터로 바꾸면 상황은 더 심각할 것이라는 단서도 달았다. 그는 이를 출퇴근 시간에 비유하며 3D 적층과 프로세싱 인 메모리(PIM)를 대안으로 소개했다. 다만 D램 다이 안에 연산기를 넣는 PIM은 데이터를 저장할 공간이 귀해진 최근 흐름에서 재검토가 필요하다며, D램은 용량 확보에 집중하고 어드밴스드 패키징으로 D램과 로직 사이 이동 에너지를 줄이는 방향이 더 많이 논의된다고 전했다.

세 번째 축인 자원 활용률에서는 프리필과 디코드 연산을 분리하는 최근 시스템 트렌드를 문제로 꺼냈다. 두 연산의 특성이 달라 분리하는 것이 유리하지만 그 과정에서 KV 캐시 이동이 대량으로 발생하고, 이동하는 동안 양쪽 머신이 대기한다. 비싸게 구입한 GPU와 메모리가 일하지 않고 전송에 시간을 쓴다는 것이다. SK하이닉스는 해법으로 메모리 풀링 개념을 접목했다. 풀드 메모리를 하위에 두고 프리필 머신이 작업을 마치면 캐시를 내려놓고 다음 일로 넘어가며, 디코드 머신이 필요할 때 데이터를 꺼내 쓰는 방식이다. 회사는 지난해 가을 이 연구 결과를 공개했고, 이후 여러 곳에서 유사한 결과 발표와 시범 적용이 이어지고 있다고 밝혔다. 이 과정에 쓰인 기술이 CXL이다. AI 서비스가 보편화되기 전에 나온 인터커넥트지만 메모리 시맨틱으로 동작시킬 수 있는 몇 안 되는 개방형 규격이라는 점에서 다시 조명받고 있다.

주 부사장은 알고리즘 개선이 나올 때마다 인프라 수요가 무너질 것이라는 우려가 반복되지만 제번스의 역설이 여전히 유효하다고 봤다. 연비가 좋아지면 차를 더 많이 쓰듯, 급격한 전환이 오기 전까지 에너지 소비는 계속 늘어난다는 논리다. 그는 SK하이닉스가 풀스택 AI 메모리 크리에이터를 지향하며 연구개발 단계부터 고객과 함께 준비하고, 델을 포함한 생태계 파트너와 협력하겠다고 마무리했다.

오후 25개 세션과 엑스포

오후에는 AI, 모던 데이터센터, 모던 워크플레이스 세 개 트랙에서 25개 브레이크아웃 세션이 진행됐다. AI 트랙에서는 대규모 에이전틱 AI 운영 시 발생하는 토큰 비용과 리스크를 통제하는 전략, 개념 검증에서 프로덕션으로 안전하게 확장하는 방법론, 델 AI 팩토리와 델 AI 데이터 플랫폼 기반 올인원 구축 방안이 다뤄졌다. 모던 데이터센터 트랙은 하이브리드 클라우드 환경의 비즈니스 연속성과 사이버 복원력을, 모던 워크플레이스 트랙은 PC·디바이스 관리와 델 데스크사이드 에이전틱 AI를 각각 조명했다.

솔루션 엑스포에서는 엔터프라이즈 스토리지 신제품 델 파워스토어 엘리트의 데이터 절감 기술을 게임 형태로 체험하는 공간이 운영됐다. 다양성 및 포용성 가치를 강조하는 '우먼 인 테크놀로지' 세션에는 드라마 《중증외상센터》 원작자 이낙준 작가가 강연자로 나서 의사에서 작가로 전환한 경험을 공유했다.

테크수다의 시각

이번 포럼에서 가장 눈에 띈 대목은 벤더가 자사 제품 성능을 자랑하는 자리에서 비용 구조를 먼저 꺼냈다는 점이다. 던피 수석부사장이 3억 토큰짜리 5초 답변의 비용을 모델별로 나열한 슬라이드는 지금 짜고 있는 AI 아키텍처가 곧 재무 결정이라는 선언에 가깝다. 델 자체 데이터에서 영업 조직 직원 10%가 토큰의 90%를 쓴다는 수치는 더 뼈아프다. 파일럿이 성공적일수록 확산 시점에 비용이 터진다는 뜻이기 때문이다. 국내 기업들이 지난 2년간 쌓아온 개념검증(PoC) 성과를 프로덕션으로 옮기려는 시점에 딱 걸리는 문제다.

주영표 SK하이닉스 부사장의 발표는 이 포럼의 성격을 한 단계 끌어올렸다. 스폰서 기업 임원이 초대 연사로 나와 자사 제품 홍보 대신 쇼어라인 제약과 데이터 이동 에너지라는 물리 법칙을 가지고 20분 넘게 설명한 것은 흔한 광경이 아니다. 특히 프리필-디코드 분리 구조에서 GPU가 놀고 있다는 지적과 CXL 기반 메모리 풀링 제안은 델 같은 시스템 기업과 반도체 기업의 협업 지점이 어디인지를 구체적으로 짚어준다. 다만 3D 적층의 발열 문제나 CXL의 닭과 달걀 문제 모두 아직 답이 나오지 않았다는 점도 그는 숨기지 않았다.

정작 이날 행사에서 가장 조용하게 지나간 메시지는 던피 수석부사장의 직무기술서 실험이었다. 직무기술서에 적힌 일은 대부분 사람만 할 수 있고, 그 일을 못 하게 막는 것은 기술서에 적혀 있지도 않은 잡무라는 지적이다. AI 도입을 인력 대체 논의로 끌고 가는 국내 기업 회의실에 필요한 것은 이 관점의 전환이다. 델이 자율 에이전트로 상거래 처리를 넘기고 영업 인력은 고객 판단에 집중시키겠다고 밝힌 것은, 자사 영업 조직을 실험 대상으로 삼겠다는 이야기이기도 하다. 1년 뒤 포럼에서 그 결과가 숫자로 나올지 지켜볼 일이다.

델테크 포럼 2026 서울, 이런 점이 궁금하셨나요?

Q. 토크노믹스가 정확히 무엇을 뜻하나.
A. 토큰 단위로 발생하는 AI 운영 비용을 경영 지표로 다루는 개념이다. 토큰 단가는 계속 내려가지만 에이전트가 늘어날수록 소비량이 더 빠르게 증가한다. 던피 수석부사장은 이를 고정비가 아닌 변동비로 봐야 하는 회계 항목이라고 규정했다.

Q. 같은 작업의 비용이 10배까지 차이 난다는 근거는 무엇인가.
A. 영상 감시 데이터를 분석해 응급 대응 시간을 계산하는 시뮬레이션에서 3억 개 이상의 토큰이 소비됐다. 호스팅 환경의 최저가 모델과 온프레미스 GB10에서 구동한 네모트론 계열 모델의 비용이 10배 차이를 보였다. 같은 작업을 제미나이 플래시로 처리하면 200달러대, GPT-5로 올리면 그보다 더 늘었다.

Q. 델이 말하는 에이전트 다섯 단계는 어떻게 나뉘나.
A. 이메일 작성과 데이터 분석을 맡는 생산성 에이전트, 데이터 정비를 담당하는 위생·집사 에이전트, 팀 간 인수인계를 관리하는 조정 에이전트, 완전 자율에 가까운 전문가 에이전트, 그리고 이 모두를 조율하는 콘시어지 에이전트 순이다. 복잡도와 자율성 두 축으로 배치된다.

Q. SK하이닉스가 말한 쇼어라인 문제는 무엇인가.
A. GPU 성능은 다이 면적에 비례해 올라가지만 메모리 대역폭은 칩 가장자리 길이에 비례한다. HBM을 붙일 물리적 자리가 한정돼 있어 생기는 구조적 제약이다. 면적에 비례해 대역폭을 늘리는 해법으로 3D 적층이 거론되지만 발열 처리가 과제로 남아 있다.

Q. 기업이 당장 해야 할 일은 무엇으로 정리됐나.
A. 던피 수석부사장은 세 가지를 제시했다. 도입 전에 경제성을 계산하고 계획할 것, 데스크톱 환경에서 직접 프로토타입을 만들어 토큰 소비량을 체감할 것, 그리고 새 역량을 활용할 수 있도록 변화 관리를 실행할 것이다.

[테크수다 기자 도안구 eyeball@techsuda.com]

• [DellTech2026] 마이클 델 회장이 던진 도발 "AI 워크로드 67%, 이미 클라우드 밖에 있다"…'하이브리드 AI'로 게임의 룰을 다시 쓰는 델 테크놀로지스