엔비디아와 GTC 베를린 직후 에이전트 보안·추론 레퍼런스 확대…서울선 BC카드 'GPU 추론비 70% 절감' 사례로 증명 나서

[테크수다 기자 도안구 eyeball@techsuda.com] 레드햇(Red Hat)이 인공지능(AI) 시대의 승부처를 '추론(inference)'으로 못 박았다. 레드햇은 10월 27일 서울 삼성동 웨스틴 서울 파르나스에서 '레드햇 서밋: 커넥트 서울 2026(Red Hat Summit: Connect 2026)'을 열고 오픈소스 추론 엔진 vLLM과 분산 추론 프레임워크 llm-d를 앞세운 '레드햇 AI(Red Hat AI)' 전략을 국내 고객 500여 명 앞에 펼쳤다.

닷새 전인 22일에는 엔비디아(NVIDIA)와 에이전틱 AI 보안·추론 협력 확대안을 국내에 내놓았고, 같은 날 발표한 'APAC 이노베이션 어워드 2026'에서는 BC카드가 레드햇 오픈시프트 AI(Red Hat OpenShift AI) 기반 플랫폼으로 GPU 추론 비용을 최대 70% 줄인 사례로 AI 부문 상을 받았다. 리눅스와 쿠버네티스로 기업 데이터센터의 '바닥'을 깔아 온 회사가 이제 GPU 위에서 AI 모델을 돌리는 계층까지 표준으로 만들겠다는 계산이다.

핵심 요약

• 추론이 레드햇 AI의 중심축 — 레드햇은 2025년 1월 뉴럴 매직(Neural Magic)을 인수한 뒤 vLLM 최대 상업 기여 기업을 자처하고, 2025년 5월 llm-d 프로젝트를 출범시켰다. 2026년 2월 '레드햇 AI 엔터프라이즈(Red Hat AI Enterprise)'로 제품군을 묶고, 9월 3.5 버전까지 추론·모델 서비스·에이전트 운영 기능을 쌓아 올렸다.
• 엔비디아와 '경쟁 겸 협력' 심화 — 10월 21일 GTC 베를린에서 엔비디아가 공개한 오픈셸 레퍼런스 아키텍처(OpenShell Reference Architecture)에 레드햇이 공동 개발사로 참여했다. 양사는 vLLM·llm-d와 엔비디아 다이나모(Dynamo)·NIM을 결합한 추론 레퍼런스 설계, 베라 루빈(Vera Rubin) 0일 차 지원을 내놓았다.
• 한국은 '운영 사례'로 답했다 — BC카드는 상용 LLM API를 오픈소스 모델과 vLLM 압축 기술로 대체해 추론 비용을 줄였고, 한전KDN과 한국조폐공사는 오픈시프트로 전력망 제어와 지역사랑상품권 인프라를 컨테이너 기반으로 바꿨다. AI 추론 이전에 플랫폼 '바닥 공사'를 끝낸 공공기관 사례가 함께 나왔다.

레드햇은 왜 지금 'AI 추론'에 사활을 거나

필자는 최근 몇 년 동안 레드햇 행사를 꼬박꼬박 챙기지 못했다. 그 사이 이 회사의 무게중심이 크게 움직였다. 운영체제(RHEL)와 컨테이너 플랫폼(오픈시프트)을 파는 회사라는 인식은 여전히 맞다. 다만 지금 레드햇이 가장 힘주어 말하는 단어는 '추론'이다.

이유는 시장 구조에 있다. 딜로이트(Deloitte)는 전체 AI 컴퓨팅에서 추론이 차지하는 비중이 2023년 약 3분의 1, 2025년 약 절반에서 2026년 약 3분의 2로 커질 것으로 내다봤다. 거대 모델을 만드는 '학습'은 소수 빅테크와 AI 연구소의 일이다. 반면 만들어진 모델을 매일 수백만 번 불러 쓰는 '추론'은 모든 기업의 일이 된다. 기업 데이터센터와 클라우드 곳곳에서 추론이 돌아가는 순간, 그 위에서 GPU를 나눠 쓰고 모델을 배포·관리하는 소프트웨어 계층이 필요해진다. 레드햇이 노리는 자리가 바로 여기다.

레드햇의 공식 설명도 이 방향을 그대로 보여준다. 레드햇은 레드햇 AI 엔터프라이즈를 AI 추론을 배포·관리·확장하는 통합 AI 플랫폼으로 정의한다. 학습 도구와 에이전트 기능도 담았지만, 제품 소개의 첫 문장은 추론에 할애했다.

모회사 IBM의 실적도 이 흐름을 뒷받침한다. IBM은 10월 21일 3분기 실적 발표에서 레드햇 매출이 고정환율 기준 11% 늘었다고 밝혔다. 짐 캐버노(Jim Kavanaugh) IBM 최고재무책임자(CFO)는 오픈시프트가 연간반복매출(ARR) 24억 달러 규모로 성장했고, 성장률은 30% 이상으로 가속했다고 설명했다. 아르빈드 크리슈나(Arvind Krishna) IBM 최고경영자(CEO)는 고객이 AI 애플리케이션과 에이전트를 실제 운영 단계로 옮기면서 오픈시프트에 순풍이 불고 있다고 진단했다. 그는 레드햇과 구글이 함께 개발한 llm-d가 대형 AI 모델 운영 비용을 5~10배 낮춘다고도 언급했다. 이 수치는 IBM 경영진의 발언이며, 독립 검증을 거친 값은 아니다.

AI 추론이란 무엇인가…학습이 '공부'라면 추론은 '실전 시험'

AI 업계에서 '추론'이라는 단어는 두 가지 뜻으로 쓰인다. 하나는 모델이 단계적으로 생각하는 능력(reasoning)이고, 다른 하나는 학습을 마친 모델에 질문을 넣고 답을 받아내는 실행 과정(inference)이다. 이 기사에서 말하는 추론은 뒤쪽, 인퍼런스다.

비유하면 이렇다. 학습은 학생이 교과서를 수천 번 읽으며 지식을 머리에 넣는 과정이다. 추론은 그 학생이 시험장에서 문제를 받고 답안을 써 내려가는 과정이다. 챗봇에 질문을 던지고 답을 받는 순간, AI 에이전트가 사내 시스템을 조회해 보고서를 쓰는 순간이 모두 추론이다.

추론에는 두 가지 숙제가 따른다. 첫째는 비용이다. 추론은 한 번으로 끝나지 않는다. 직원 1만 명이 하루 열 번씩 AI를 쓰면 하루 10만 번의 추론이 발생한다. 에이전트는 한 가지 일을 처리하려고 모델을 수십 번씩 부른다. 그때마다 값비싼 GPU가 돌아간다. 둘째는 속도와 안정성이다. 사용자는 답을 몇 초 이상 기다려 주지 않는다. 동시에 수천 명이 몰려도 응답 시간이 들쭉날쭉하면 업무 시스템으로 쓸 수 없다.

결국 기업 AI의 경쟁력은 같은 GPU로 얼마나 많은 요청을, 얼마나 빠르고 싸게 처리하느냐로 모인다. 이 숙제를 푸는 소프트웨어가 '추론 엔진'과 '추론 서빙 플랫폼'이다. 레드햇이 내세우는 vLLM과 llm-d가 각각 이 두 역할을 맡는다.

vLLM이란 무엇인가…GPU 메모리를 '빈틈없는 주차장'으로 바꾼 엔진

vLLM은 대규모언어모델(LLM)을 빠르고 효율적으로 돌리는 오픈소스 추론 엔진이다. 2023년 미국 UC버클리 스카이 컴퓨팅 랩 연구진이 처음 공개했다. 핵심 기술의 이름은 '페이지드어텐션(PagedAttention)'이다.

원리를 주차장에 빗대면 쉽다. LLM은 대화를 이어 가는 동안 앞서 처리한 내용을 GPU 메모리에 잠시 저장해 둔다. 업계는 이를 'KV 캐시'라고 부른다. 예전 방식은 손님이 올 때마다 혹시 몰라 큰 주차 구획을 통째로 비워 두는 주차장과 비슷했다. 경차가 와도 대형 버스 자리를 내줬으니 빈 공간이 많았고, 주차장은 금세 '만차'가 됐다. vLLM은 주차장을 작은 칸으로 잘게 나누고, 차가 필요한 만큼만 칸을 이어 붙여 쓰게 했다. 운영체제가 컴퓨터 메모리를 '페이지' 단위로 관리하는 방식을 GPU 메모리에 가져온 셈이다. 낭비가 줄어든 만큼 같은 GPU 한 장이 동시에 받아 낼 수 있는 질문이 늘었다.

이 단순한 아이디어가 판을 바꿨다. vLLM은 아파치 2.0 라이선스로 공개된 뒤 빠르게 업계 표준 추론 엔진으로 자리 잡았다. UC버클리는 2024년 7월 프로젝트를 리눅스재단에 기여했고, 2025년 5월 vLLM은 파이토치 재단(PyTorch Foundation)의 호스팅 프로젝트가 됐다. 엔비디아·AMD GPU, 구글 TPU, AWS 트레이니움, 인텔 프로세서까지 다양한 칩에서 돌아간다는 점도 강점이다. 레드햇은 vLLM 커뮤니티가 200종이 넘는 가속기와 500개가 넘는 모델 아키텍처를 지원한다고 소개한다.

레드햇과 vLLM의 연결 고리는 인수합병이다. 레드햇은 2025년 1월 vLLM 핵심 기여 기업인 뉴럴 매직 인수를 마무리했다. 뉴럴 매직은 모델을 가볍게 만드는 압축·양자화 기술을 갖고 있었고, 이 기술은 지금 레드햇의 'LLM 컴프레서(LLM Compressor)'로 이어졌다. 레드햇은 스스로를 vLLM 프로젝트의 선도적 상업 기여 기업으로 규정한다.

vLLM을 둘러싼 지형은 계속 움직인다. 2026년 1월 vLLM을 만든 연구진이 상용화 스타트업 인퍼랙트(Inferact)를 세우고 1억 5000만 달러 규모 시드 투자를 유치했다. 오픈소스 엔진은 하나지만, 그 엔진으로 돈을 버는 방식은 여러 갈래로 갈라지고 있다. 레드햇의 선택은 리눅스 때와 같다. 엔진 자체는 커뮤니티에 두고, 기업이 안심하고 쓰도록 검증·패치·기술지원·운영 도구를 붙여 구독으로 판다.

llm-d란 무엇인가…vLLM 수십 대를 한 팀으로 묶는 '관제탑'

vLLM이 GPU 한 대, 서버 한 대의 효율을 끌어올리는 엔진이라면 llm-d는 그 엔진 수십 대를 하나의 시스템처럼 움직이게 하는 관제탑이다. 레드햇은 2025년 5월 구글 클라우드, IBM 리서치, 코어위브(CoreWeave), 엔비디아와 함께 llm-d를 출범시켰다. 이후 AMD, 시스코, 허깅페이스, 인텔, 람다, 미스트랄 AI, UC버클리, 시카고대가 합류했다. 2026년 3월에는 클라우드 네이티브 컴퓨팅 재단(CNCF)이 llm-d를 샌드박스 프로젝트로 받아들였다.

llm-d의 핵심 아이디어는 두 가지다. 하나는 '일의 분리'다. LLM 추론은 질문을 읽고 이해하는 단계(프리필, prefill)와 답을 한 글자씩 만들어 내는 단계(디코드, decode)로 나뉜다. 두 단계는 GPU를 쓰는 방식이 다르다. 식당에 비유하면 주문 접수와 조리를 같은 직원이 번갈아 하던 구조를 접수 담당과 조리 담당으로 나눈 셈이다. llm-d는 두 단계를 별도 서버 묶음에서 처리하고, 각각 필요한 만큼 따로 늘리거나 줄인다.

다른 하나는 '기억을 아는 배차'다. 같은 문서나 같은 대화 맥락을 다루는 요청은 이미 그 내용을 KV 캐시에 들고 있는 서버로 보내는 것이 유리하다. 처음부터 다시 읽을 필요가 없어서다. llm-d는 쿠버네티스 게이트웨이 API 추론 확장을 활용해 캐시를 보유한 서버로 요청을 보낸다. 택시 호출 앱이 손님과 가장 가까운 차를 고르듯, 질문과 가장 '가까운' 서버를 고르는 방식이다.

CNCF는 llm-d v0.5 벤치마크 결과도 공개했다. 엔비디아 H100 GPU 16장 위에 vLLM 8개를 띄우고 큐원3-32B(Qwen3-32B) 모델을 돌린 결과, llm-d 스케줄링을 적용한 쪽은 첫 토큰이 나오기까지의 시간을 거의 0에 가깝게 유지하며 초당 약 12만 토큰을 처리했다. 같은 부하에서 기본 쿠버네티스 서비스는 성능이 빠르게 떨어졌다. 프로젝트 참여사가 낸 결과인 만큼 기업 현장의 실제 수치와는 차이가 날 수 있다.

정리하면 역할 분담은 이렇다. vLLM은 '엔진', llm-d는 '배차 관제', 오픈시프트는 그 모두가 올라가는 '도로망'이다. 레드햇은 세 층을 한 회사의 구독 상품으로 묶어 팔 수 있는 몇 안 되는 오픈소스 기업이다.

레드햇 AI 엔터프라이즈란 무엇인가…'메탈부터 에이전트까지' 한 상자에

레드햇은 2026년 2월 24일 레드햇 AI 엔터프라이즈를 내놓았다. 오픈시프트와 RHEL 위에 vLLM 추론, llm-d 분산 추론, 모델 튜닝·커스터마이징, 에이전트 배포·관리, 관측성과 수명주기 거버넌스를 한데 묶은 통합 플랫폼이다. 레드햇은 이를 '메탈부터 에이전트까지(from metal to agents)' 아우르는 플랫폼이라고 불렀다.

이 제품은 하루아침에 나오지 않았다. 레드햇은 2025년 5월 서밋에서 vLLM 기반 '레드햇 AI 인퍼런스 서버(Red Hat AI Inference Server)'를 처음 내놓았다. 같은 해 10월 '레드햇 AI 3'를 발표하면서 인퍼런스 서버, RHEL AI, 오픈시프트 AI를 하나의 플랫폼으로 합쳤고, 오픈시프트 AI 3.0에서 llm-d를 정식 출시(GA)했다. 2026년 2월 3.3 버전과 함께 'AI 엔터프라이즈'라는 이름의 통합 상품이 등장했고, 5월 애틀랜타 서밋에서 3.4, 9월에 3.5가 나왔다.

조 페르난데스(Joe Fernandes) 레드햇 AI 사업부 부사장 겸 총괄은 AI 엔터프라이즈를 내놓으며 AI가 진짜 비즈니스 가치를 내려면 기업 소프트웨어 스택의 핵심 구성 요소로 운영돼야 한다고 강조했다. AI를 별도 실험 과제로 두지 말고, 운영체제나 데이터베이스처럼 IT 인프라의 한 층으로 다루라는 주문이다.

레드햇 AI 제품군 한눈에 보기

자료: 레드햇 제품 페이지·보도자료 종합

레드햇 AI 버전별 진화

자료: 레드햇 보도자료 종합

서밋 2026에서 3.5까지…'모델을 사내 공공재로' 만드는 기능에 집중

최근 1년 동안 레드햇 AI의 진화를 한 문장으로 줄이면 '모델을 사내 공공재처럼 운영하는 기능'이다. 5월 12일 미국 애틀랜타에서 열린 레드햇 서밋 2026에서 레드햇은 AI 3.4를 공개하며 서비스형 모델(MaaS)을 전면에 세웠다. 사내 GPU에 올린 모델을 오픈AI 호환 API로 열어 두고, 각 부서는 사내 인증을 거쳐 마치 외부 API를 쓰듯 모델을 불러 쓴다. 관리자는 누가 얼마나 썼는지 추적하고 정책을 걸 수 있다.

추론 성능 기능도 쌓였다. 3.4는 대화형 요청을 배치 작업보다 먼저 처리하는 요청 우선순위 기능을 넣었고, 추측 디코딩(speculative decoding)을 정식 지원하며 응답 속도를 2~3배 높였다고 밝혔다. 추측 디코딩은 작은 모델이 답을 먼저 '초안'으로 써 두면 큰 모델이 검토만 하는 방식으로 속도를 끌어올리는 기법이다. 에이전트를 개발 단계에서 운영 단계로 옮기는 '에이전트옵스(AgentOps)' 도구, 오픈텔레메트리(OpenTelemetry) 기반 추적, 가릭(Garak) 등을 활용한 자동 적대적 스캔도 이때 함께 나왔다.

9월 9일 나온 3.5는 '신뢰·통제·구축·측정'을 키워드로 삼았다. 모델과 검색증강생성(RAG) 파이프라인, 에이전트의 안전성을 자동 평가하고 감사 가능한 보고서를 만드는 EvalHub를 정식 출시했다. llm-d 분산 추론은 오픈시프트 밖으로 나가 코어위브 CKS와 마이크로소프트 애저 AKS에서 정식 지원하고, 아마존 EKS에서는 기술 프리뷰로 돌아간다. 오픈시프트를 쓰지 않는 기업에도 레드햇 추론 스택을 팔 길을 연 셈이다.

GPU 운영 기능도 촘촘해졌다. 3.5는 팀 사이 GPU 공정 배분 스케줄링, 우선순위 기반 서빙과 승인 제어, GPU 사용률 대시보드, 남는 GPU를 다른 팀이 잠시 빌려 쓰는 동적 용량 차용 기능을 넣었다. KV 캐시를 CPU 메모리로 내려 두는 오프로딩도 정식 기능이 됐다. 사용자별 토큰 사용량을 재고 부서별로 비용을 배분하는 쇼백(showback) 기능은 기술 프리뷰로 들어갔다. 모델 카탈로그에는 구글 젬마 4, 엔비디아 네모트론 3, 알리바바 큐원 등 20종 넘는 검증 모델이 추가됐고, 모델마다 안전성·개인정보 노출·유해성 위험 점수를 붙였다.

이 기능 목록이 말해 주는 것은 분명하다. 레드햇은 '더 똑똑한 모델'을 만드는 경쟁에 끼지 않는다. 기업이 이미 가진 GPU와 공개된 오픈 웨이트 모델로 '사내 AI 서비스'를 차리게 하고, 그 서비스의 비용·보안·품질을 관리하는 운영 도구를 판다.

GTC 베를린 이후 엔비디아와의 협력은 무엇이 달라졌나

엔비디아는 10월 21일 독일 베를린에서 연 GTC 베를린 2026에서 안전한 AI 에이전트를 위한 오픈셸 레퍼런스 아키텍처를 공개했다. 에이전트를 만들고, 가두고, 관찰하고, 정책을 집행하는 풀스택 프레임워크다. 베라 루빈 GPU가 모델 추론을, 베라 CPU가 에이전트 실행과 도구 호출을, 블루필드-4 DPU 위의 엔비디아 센트리(Sentry)가 감시와 정책 집행을 맡는다. 엔비디아는 레드햇을 캐노니컬, 수세와 함께 이 아키텍처가 돌아가는 기업용 운영체제·컨테이너 오케스트레이션 계층으로 명시했다.

한국레드햇은 이튿날인 22일 엔비디아와의 협력 확대 내용을 국내에 발표했다. 핵심은 세 갈래다.

첫째, 에이전트 보안이다. 레드햇은 엔비디아와 함께 오픈셸 레퍼런스 아키텍처를 개발하고, 이를 레드햇 AI와 레드햇 AI 팩토리 위드 엔비디아에 기본 플랫폼 기능으로 통합하려고 커뮤니티와 협력하고 있다. 오픈셸은 양사가 주요 기여자로 참여하는 오픈소스 에이전트 샌드박스 런타임이다. 표준화된 가드레일과 운영 가시성, 런타임 안전성을 제공하는 것이 목표다.

존 파넬리(John Fanelli) 엔비디아 엔터프라이즈 소프트웨어 부문 부사장은 이 협력의 문제의식을 이렇게 요약했다.

"에이전트가 스스로 자신의 행동 범위를 정해서는 안 된다. 이러한 통제는 에이전트 외부의 런타임과 기반 인프라에서 구현돼야 한다."

에이전트의 '양심'에 기대지 말고, 에이전트가 올라탄 운영체제와 하드웨어가 울타리를 쳐야 한다는 주장이다. 운영체제 회사인 레드햇에는 반가운 논리다.

둘째, 추론 레퍼런스 설계다. 양사는 엔비디아 인퍼런스 허브(NVIDIA Inference Hub) 레퍼런스 설계를 바탕으로 기업용 공동 설계를 내놨다. 레드햇 쪽의 MaaS 접근 제어, AI 게이트웨이, vLLM·llm-d 고성능 추론을 엔비디아 다이나모, NIM 마이크로서비스, GPU 오케스트레이션 기술과 결합했다. 기업은 셀프서비스 방식으로 모델을 찾아 쓰고, 세분화된 접근 정책과 요청 속도 제한, 구독 기반 사용 권한 추적을 적용할 수 있다. 레드햇은 접근 거버넌스와 모델 실행을 분리해 높은 처리량과 예측 가능한 지연시간을 확보하면서도 할당량 관리와 비용 배분을 유지한다고 설명했다.

모델 지원도 맞물렸다. 엔비디아 네모트론 3.5 슈퍼 VL을 비롯한 최신 네모트론 모델을 vLLM과 레드햇 AI 팩토리 위드 엔비디아에서 지원하고, 레드햇 LLM 컴프레서의 양자화 기법으로 정확도를 유지하면서 추론 지연을 크게 줄였다고 밝혔다. 레드햇은 네모트론 3.5 슈퍼 VL용 FP8 양자화와 추측 디코딩 체크포인트를 만드는 과정도 공개한다고 했다.

셋째, 하드웨어 0일 차 지원이다. 레드햇은 베라 루빈을 비롯한 엔비디아 차세대 아키텍처를 출시 당일부터 지원한다. '엔비디아용 레드햇 엔터프라이즈 리눅스'는 엔비디아 베라 CPU 지원을 추가했다. 새 GPU 서버를 들여놓고 운영체제 인증을 기다리느라 몇 달을 버리는 일을 없애겠다는 약속이다.

공동 레퍼런스 설계와 에이전틱 기능은 시스코, 델 테크놀로지스, 레노버 등 레드햇 파트너 생태계를 통해 공급한다.

엔비디아 협력, 경쟁과 협력의 경계

흥미로운 대목은 두 회사의 관계다. 엔비디아는 다이나모와 NIM이라는 자체 추론 소프트웨어를 갖고 있다. 레드햇은 vLLM과 llm-d라는 오픈소스 추론 스택을 밀고 있다. 겉으로 보면 같은 자리를 놓고 다투는 관계다.

양사는 이번 레퍼런스 설계에서 이 긴장을 '결합'으로 풀었다. 엔비디아는 GPU와 그 위의 최적화 소프트웨어를, 레드햇은 운영체제와 쿠버네티스, 접근 통제·거버넌스 계층을 맡는다. 엔비디아 입장에서는 기업 데이터센터 운영체제를 쥔 레드햇이 필요하다. 레드햇 입장에서는 기업 AI 인프라의 사실상 표준인 엔비디아 GPU에서 가장 먼저, 가장 잘 돌아가야 한다. 다만 레드햇이 강조하는 '어떤 모델이든, 어떤 가속기든, 어떤 클라우드든'이라는 원칙은 엔비디아 일변도의 스택과 언제든 부딪힐 수 있다. 레드햇이 AMD MI325X GPU, 인텔 CPU 기반 생성형 AI까지 지원 범위를 넓히는 이유가 여기에 있다.

한국 현장은 무엇을 말했나…'빨리'보다 '확실하게'

10월 27일 서울에서 열린 레드햇 서밋: 커넥트 2026은 '모든 가능성은 Open에서 시작됩니다'를 주제로 AI 도입, 보안, 인프라 현대화를 한 무대에 올렸다. 레드햇 서밋: 커넥트는 서울을 포함한 세계 주요 도시에서 열리는 지역 행사다.

빈센트 칼데이라(Vincent Caldeira) 레드햇 아시아태평양(APAC) 최고기술책임자(CTO)는 '임팩트를 극대화하는 설계: AI, 보안, 그리고 중요한 인프라 결정'을 주제로 기조연설을 했다. 그는 오늘날 기업 IT 조직이 세 가지 과제를 동시에 안고 있다고 진단했다. 비즈니스가 요구하는 속도로 AI를 도입해야 하고, AI로 커진 보안 위협에 대응해야 하며, 서비스 중단 없이 인프라를 현대화해야 한다. 게다가 이 모든 일을 인력 증원이나 추가 위험 없이 해내야 한다는 것이 그의 설명이다.

칼데이라 CTO는 해법의 방향을 이렇게 제시했다.

"AI 시대의 IT 경쟁력은 기술을 얼마나 빨리 도입하느냐보다, 보안과 안정성을 지키면서 얼마나 확실하게 실행하느냐에 달려 있다."

보안 세션에서는 최원영 한국레드햇 전무가 'AI 시대의 레드햇 보안 대응 전략'을 발표했다. 그는 AI가 기계적인 속도로 취약점을 악용할 수 있는 시대에 대응해 레드햇이 제품 전반에 적용하는 다층 방어(Defense in Depth) 전략을 소개했다. 고객이 지정한 환경에 맞춰 패치를 제공하는 '라이트웰(Lightwell)'도 국내에 처음 공개했다.

라이트웰은 IBM과 레드햇이 10월 6일 발표한 오픈소스 취약점 대응 이니셔티브다. 양사는 널리 쓰이는 자바 라이브러리에서 그동안 알려지지 않았던 취약점 400여 건을 찾아 고쳤다고 밝혔다. AI 보조 엔지니어링 워크플로와 레드햇의 소프트웨어 공급망 인프라를 결합해, 이미 운영 중인 구버전 소프트웨어에도 맞춤 패치를 백포트해 준다. 크리슈나 CEO는 3분기 실적 발표에서 라이트웰 관련 사업 파이프라인이 7억 달러에 가까워졌다고 언급했다. AI가 공격자의 무기가 되는 만큼, 오픈소스 보안을 책임지는 레드햇의 '본업'도 다시 몸값이 오르고 있다.

김경상 한국레드햇 사장은 국내 기업들이 AI 도입, 보안 강화, 인프라 현대화를 동시에 해내야 하는 과제에 직면해 있다고 짚었다. 그는 레드햇이 국내 기업이 오픈소스를 기반으로 기술 종속에서 벗어나 AI 시대의 혁신을 실행하도록 고객·파트너와 함께 생태계를 넓히겠다고 밝혔다. 행사에서는 'Red Hat AI로 완성하는 엔터프라이즈 AI' 같은 기술 세션과 핸즈온 랩도 함께 열렸다.

BC카드는 어떻게 GPU 추론 비용을 70% 줄였나

레드햇의 추론 전략이 말에 그치지 않는다는 점을 보여 준 사례는 BC카드다. 레드햇은 같은 날 'APAC 이노베이션 어워드 2026' 한국 수상 기업으로 BC카드(AI 부문), 한전KDN(클라우드 네이티브 개발 부문), 한국조폐공사(특별상)를 발표했다. 올해 레드햇은 하이브리드 클라우드 인프라, 클라우드 네이티브 개발, 가상화, 자동화, AI 등 5개 부문에서 아태 지역 32개 기업을 수상 기업으로 골랐다.

KT 계열 결제 플랫폼 기업 BC카드는 2025년 초 AI 전환(AX) 전담 조직을 새로 꾸리고 엔터프라이즈급 AI 인프라를 처음부터 쌓기 시작했다. 상용화한 AI 서비스가 10개 이상으로 늘자 GPU 수요가 커졌고, 외부 상용 LLM API 이용 비용도 함께 불어났다. 서비스가 성공할수록 청구서가 커지는 구조였다.

BC카드는 레드햇 오픈시프트 AI를 기반으로 에이전트 기반 AI 운영 플랫폼을 구축했다. 여기에 뉴럴 매직의 vLLM 압축 기술과 동적 양자화, 여러 소형언어모델(SLM)을 떼로 묶어 쓰는 'SLM 스웜(Swarm)' 아키텍처를 적용했다. 레드햇에 따르면 BC카드는 이를 통해 GPU 추론 비용을 최대 70% 줄이고 추론 속도를 2~3배 높였다. AI 기반 자동화로 연간 약 10만 2000시간의 업무 시간도 아꼈다. 이 수치는 레드햇과 BC카드가 밝힌 값이다.

여기서 '양자화'는 모델의 숫자 정밀도를 낮춰 몸집을 줄이는 기술이다. 고해상도 사진을 화질 차이가 거의 느껴지지 않는 선에서 압축해 용량을 줄이는 것과 비슷하다. 모델이 가벼워지면 GPU 한 장에 더 많은 모델을 올리고, 더 많은 요청을 처리할 수 있다.

BC카드는 오픈소스 커뮤니티에도 결과물을 내놨다. 레드햇은 BC카드가 국내 금융기관 가운데 처음으로 오픈소스 LLM을 공개했다고 소개했다. 뉴럴 매직의 4비트 동적 양자화 기술로 만든 한국어 특화 모델 'MoAI-Gemma-4-31b-mxfp4'는 8월 과학기술정보통신부 주관 K리더보드의 한국어 지식 평가(K-MMLU)에서 7위에 올랐다. 레드햇은 상위권 모델 가운데 4비트 양자화 모델은 BC카드 모델이 유일하다고 밝혔다. BC카드는 허깅페이스에 오픈소스 LLM 49종과 데이터셋 14종을 공개했고, 월평균 다운로드는 약 15만 건이다.

오성수 BC카드 AI데이터본부장은 성과의 핵심을 이렇게 설명했다.

"레드햇과 협력해 비용 부담이 큰 상용 API를 개방형 에이전트 기반 AI 플랫폼으로 대체함으로써 GPU 비용을 크게 절감하고, 임직원들이 더 높은 가치를 창출하는 업무에 집중할 수 있게 됐다."

이 사례는 레드햇 AI가 겨냥하는 고객 그림을 그대로 보여 준다. AI 서비스가 늘수록 외부 API 비용이 눈덩이처럼 커지는 기업, 규제 때문에 데이터를 밖으로 내보내기 어려운 금융기관, 이미 GPU를 사 둔 기업이 그 대상이다. 이들에게 '오픈 웨이트 모델 + 압축 + vLLM + 오픈시프트'라는 조합은 비용과 통제권을 동시에 되찾는 경로가 된다.

국내 대기업 추론 현장은 이미 vLLM이 잡았다

국내 업계 관계자들은 대기업 AI 추론 현장에서 vLLM이 사실상 기본값으로 자리 잡았다고 입을 모은다. 사내 GPU에 오픈 웨이트 모델을 올려 서비스하는 기업 대부분이 vLLM을 추론 엔진으로 쓴다는 설명이다. 한 업계 관계자는 레드햇 AI가 최신 llm-d 대규모 분산 추론 엔진까지 지원한다는 점을 강점으로 꼽았다. 다만 국내 대기업의 vLLM 도입 비율을 집계한 공개 통계는 확인되지 않았다.

이 현장 분위기는 레드햇에 기회이자 숙제다. 기회인 이유는 분명하다. 엔진이 이미 깔려 있으니 레드햇은 새 기술을 설득할 필요가 없다. vLLM을 직접 빌드하고 패치하며 버전을 맞추느라 고생하는 내부 팀에 '검증된 기업용 vLLM과 기술지원'을 제안하면 된다. 리눅스가 걸어온 길과 같다. 기업은 오픈소스 리눅스를 공짜로 쓸 수 있었지만, 장애가 나면 책임질 주체가 필요했기에 RHEL 구독을 샀다.

숙제인 이유도 같은 곳에 있다. 이미 vLLM을 능숙하게 다루는 대기업 엔지니어 조직은 굳이 구독료를 내지 않으려 할 수 있다. 레드햇이 엔진 이상의 가치, 즉 llm-d 분산 추론, GPU 공정 배분, 토큰 사용량 계측, 안전성 평가, 에이전트 거버넌스까지 '운영의 묶음'을 내세우는 이유다. vLLM 단독으로는 서버 한 대의 효율을 높일 뿐이다. 수백 장의 GPU를 여러 부서가 나눠 쓰고, 비용을 배분하고, 감사 보고서를 내야 하는 순간 플랫폼이 필요해진다.

한전KDN·조폐공사…AI 추론 이전에 끝낸 '바닥 공사'

나머지 두 수상 사례는 AI와 직접 관련이 없어 보인다. 하지만 레드햇 전략에서는 같은 이야기의 앞부분이다. 추론 플랫폼은 결국 컨테이너와 쿠버네티스 위에서 돌아간다. 그 바닥을 먼저 깔아 둔 조직만이 AI를 빠르게 올릴 수 있다.

한국전력공사의 에너지 ICT 자회사 한전KDN의 전력ICT연구원은 송·변전 전력망 제어에 쓰는 원격감시제어시스템(SCADA)을 현대화했다. 기존 x86 기반 SCADA는 수작업 중심 배포 방식 때문에 운영 위험과 제약이 컸다. 한전KDN은 레드햇 컨설팅과 함께 RHEL, 오픈시프트, 레드햇 디벨로퍼 허브로 자동화된 CI/CD 파이프라인을 구축했고, 며칠씩 걸리던 코드 배포를 몇 분 단위로 줄였다. 프로메테우스와 그라파나를 통합한 전용 모니터링 대시보드로 현장 담당자가 전력망 인프라 운영 현황을 실시간으로 보게 했다. 서울 행사 고객 세션에서는 배선준 한전KDN 차장과 박준완 한국레드햇 전무가 오픈시프트 기반 K-SCADA 전환 전략을 공개했다. 단 1초의 중단도 허용되지 않는 미션 크리티컬 전력 IT 시스템이 클라우드 네이티브로 옮겨 간 과정과, 외산 기술 종속과 레거시 인프라의 한계를 넘어선 경험을 소개했다.

한국조폐공사는 지역사랑상품권 서비스(chak)의 도커 기반 애플리케이션을 오픈시프트 플랫폼 플러스 기반 컨테이너 플랫폼으로 옮겼다. 2025년 7월 레드햇과 전환 프로젝트를 시작해 2026년 3월부터 실제 서비스에 적용했다. 지역사랑상품권 특성상 특정 시점에 몰리는 대규모 트래픽에 적시 대응하고 운영 안정성을 높이려는 목적이었다.

두 사례의 공통점은 '실수가 용납되지 않는 공공 인프라'다. 전력망과 결제 인프라를 오픈소스 컨테이너 플랫폼으로 옮겼다는 사실은, 같은 플랫폼 위에 AI 추론을 올릴 때도 신뢰의 근거가 된다.

테크수다의 시각

솔직히 고백하면, 필자는 한동안 레드햇을 '리눅스와 쿠버네티스를 파는 안정적인 회사' 정도로만 여겼다. AI 담론이 GPU와 모델, 토큰 가격에 쏠리는 사이 레드햇은 조용히 다른 그림을 그렸다. 이번에 자료를 다시 훑어보며 그 그림이 꽤 선명하다는 사실에 놀랐다.

레드햇의 AI 전략은 새로운 전략이 아니다. 30년 가까이 써 온 성공 공식을 AI 추론에 그대로 옮겨 심었다. 커뮤니티가 키운 오픈소스가 업계 표준이 되면, 그 표준을 기업이 믿고 쓸 수 있게 다듬어 구독으로 판다. 리눅스에서 RHEL이 그랬고, 쿠버네티스에서 오픈시프트가 그랬다. 이제 vLLM과 llm-d에서 레드햇 AI가 같은 길을 걷는다. 뉴럴 매직 인수로 엔진의 핵심 인력을 확보했고, 구글·IBM·엔비디아·코어위브와 llm-d를 띄워 분산 추론의 표준을 선점했으며, CNCF에 프로젝트를 넘겨 중립성을 확보했다. 순서가 교과서적이다.

이 전략이 통할 토양도 무르익었다. 추론이 AI 컴퓨팅의 다수를 차지하는 시점이 오고 있고, 기업은 외부 API 청구서와 데이터 주권 문제 사이에서 사내 추론 인프라를 고민한다. BC카드 사례는 그 고민의 답이 '오픈 웨이트 모델을 압축해 사내 GPU에서 효율적으로 돌리는 것'일 수 있음을 보여 줬다. 한국 대기업 현장에서 vLLM이 이미 기본값이 됐다는 업계의 전언도 레드햇에 유리한 신호다.

그렇다고 꽃길만 있는 것은 아니다. 세 가지 변수를 짚어 둔다.

첫째, vLLM의 '주인'이 늘었다. vLLM 창시자들이 세운 인퍼랙트가 1억 5000만 달러를 들고 상용화에 나섰다. 레드햇이 최대 상업 기여 기업이라는 지위를 지키려면 커뮤니티 기여와 제품 차별화를 동시에 해내야 한다.

둘째, 엔비디아와의 관계다. 이번 GTC 베를린 협력은 양사가 서로를 필요로 한다는 점을 확인했다. 그러나 엔비디아는 다이나모, NIM, 인퍼런스 허브로 추론 소프트웨어 스택을 계속 위로 쌓아 올리고 있다. 레드햇이 '어떤 가속기든'을 외치는 한, 엔비디아 중심의 수직 통합 스택과의 경계선은 계속 협상 대상이 된다.

셋째, 한국 시장의 구매 방식이다. 국내 대기업은 오픈소스를 직접 다루는 역량이 높은 편이고, 그만큼 구독 모델에 인색하다. 레드햇이 엔진이 아니라 'GPU를 여러 부서가 공정하게 나눠 쓰고 비용을 배분하며 안전성을 감사받는 운영 체계'를 팔아야 하는 이유다. 공공 부문에서는 한전KDN과 조폐공사처럼 오픈시프트를 깐 기관이 늘고 있다. 이들 기관이 소버린 AI와 공공 AX 흐름 속에서 그 위에 추론을 얹는 순간이 레드햇에는 두 번째 기회가 될 것이다.

칼데이라 CTO의 말처럼 AI 시대의 경쟁력이 '얼마나 빨리'가 아니라 '얼마나 확실하게'에 달려 있다면, 그 '확실하게'를 파는 일은 레드햇이 30년 동안 해 온 일이다. 다음 레드햇 행사는 꼭 직접 가 봐야겠다.

레드햇 vLLM·llm-d 추론 전략, 이런 점이 궁금하셨나요?

Q1. AI '추론'은 정확히 무엇이고 왜 중요한가

추론(inference)은 학습을 마친 AI 모델에 질문을 넣어 답을 얻는 실행 과정이다. 학습이 공부라면 추론은 실전 시험이다. 기업이 AI를 쓸 때마다 추론이 발생하고 그때마다 GPU 비용이 든다. 딜로이트는 2026년 전체 AI 컴퓨팅의 약 3분의 2를 추론이 차지할 것으로 내다봤다. 같은 GPU로 더 많은 요청을 싸고 빠르게 처리하는 능력이 기업 AI의 경쟁력이 된다.

Q2. vLLM은 무엇이고 왜 업계 표준이 됐나

vLLM은 2023년 UC버클리 연구진이 공개한 오픈소스 LLM 추론 엔진이다. 페이지드어텐션 기술로 GPU 메모리를 잘게 나눠 빈틈없이 쓰게 해, 같은 GPU에서 더 많은 요청을 동시에 처리한다. 아파치 2.0 라이선스로 누구나 쓸 수 있고, 엔비디아·AMD GPU와 구글 TPU 등 다양한 칩을 지원한다. 현재 파이토치 재단이 호스팅한다.

Q3. llm-d는 vLLM과 무엇이 다른가

vLLM이 서버 한 대의 엔진이라면 llm-d는 vLLM 여러 대를 하나의 시스템처럼 움직이는 관제탑이다. 질문을 읽는 단계와 답을 만드는 단계를 다른 서버에 나눠 맡기고, 이미 관련 내용을 기억하는 서버로 요청을 보낸다. 레드햇이 2025년 5월 구글 클라우드, IBM 리서치, 코어위브, 엔비디아와 출범시켰고, 2026년 3월 CNCF 샌드박스 프로젝트가 됐다.

Q4. 레드햇과 엔비디아는 GTC 베를린 이후 무엇을 함께 하나

양사는 안전한 AI 에이전트를 위한 오픈셸 레퍼런스 아키텍처를 함께 개발하고, 레드햇의 vLLM·llm-d·MaaS 접근 제어와 엔비디아 다이나모·NIM을 결합한 추론 레퍼런스 설계를 내놨다. 레드햇은 엔비디아 베라 루빈 등 차세대 하드웨어를 출시 당일부터 지원하고, 엔비디아용 RHEL에 베라 CPU 지원을 더했다.

Q5. BC카드는 레드햇 AI로 어떤 성과를 냈나

BC카드는 레드햇 오픈시프트 AI 기반 에이전트 AI 운영 플랫폼에 vLLM 압축 기술, 동적 양자화, SLM 스웜 아키텍처를 적용했다. 레드햇에 따르면 GPU 추론 비용을 최대 70% 줄이고 추론 속도를 2~3배 높였으며, 연간 약 10만 2000시간의 업무 시간을 아꼈다. 이 성과로 BC카드는 레드햇 APAC 이노베이션 어워드 2026 AI 부문을 수상했다.

[테크수다 기자 도안구 eyeball@techsuda.com]