오토 모델 라우터·프롬프트 압축으로 토큰 최대 25% 절감 내세워…국내 데이터센터 추론과 오픈라우터 제휴로 '소버린'과 '글로벌' 동시 공략

[테크수다 기자 도안구 eyeball@techsuda.com] KT가 여러 AI 모델을 한곳에서 고르고, 쓰고, 정산하는 플랫폼을 내놨다. KT(대표 박윤영)는 27일 서울 종로구 광화문 West 빌딩에서 AI 모델 선택과 비용 관리, 신뢰·안전 기능을 하나로 묶은 AI 플랫폼 'KT 토큰팩토리(KT Token Factory)'를 공개하고 오는 30일 기업 고객을 대상으로 출시한다고 밝혔다. 국내외 AI 모델 500여 개를 계정 하나, 청구서 하나로 쓰게 하겠다는 구상이다. 통신망으로 사람과 서비스를 잇고 쓴 만큼 요금을 매겨온 통신사의 역량을 AI 토큰에 그대로 옮기겠다는 선언이기도 하다.

핵심 요약

1. 모델 선택부터 결제까지 한 플랫폼 — 토큰팩토리는 국내외 AI 모델 500여 개를 통합 제공하고 가입, 사용량 확인, 비용 관리, 결제를 한곳에서 처리한다. 30일 기업 고객 대상으로 먼저 출시한다.
2. 라우팅·압축으로 토큰 최대 25% 절감 — KT가 자체 개발한 '오토 모델 라우터'가 질문 유형과 난이도, 비용을 따져 모델을 자동으로 고르고, 한국어 특화 프롬프트 압축으로 입력 토큰을 줄인다.
3. 국내 추론과 글로벌 연결을 동시에 — 한국 내 KT 데이터센터에서 추론을 직접 제공해 데이터 주권 우려를 줄이고, 글로벌 AI 게이트웨이 오픈라우터(OpenRouter)와 국내 첫 공식 파트너십을 맺었다.

모델은 늘고 청구서는 흩어졌다…왜 지금 '토큰'인가

KT는 토큰을 AI 시대의 경제 단위로 규정했다. KT가 인용한 조사에 따르면 글로벌 AI 토큰 소비량은 최근 1년 사이 약 35배 늘었다. 쓰는 양이 늘자 무엇을, 얼마나, 누가 쓰는지가 기업의 관리 과제로 떠올랐다.

현장의 사정은 이렇다. 번역, 요약, 코딩, 추론 등 분야마다 강한 모델이 다르고 성능과 가격도 제각각이다. 회사가 기업용 계정으로 프런티어 모델 하나를 깔아줘도 부서와 직원은 업무에 맞는 다른 모델을 따로 구독해 쓴다. 결과적으로 어떤 모델이 얼마나 쓰이는지, 토큰 비용이 어디서 새는지 회사가 한눈에 보기 어려워진다. KT는 임직원 500명 규모의 글로벌 연구개발(R&D) 기업 사례를 들어 이 문제를 설명했다.

KT의 답은 하나의 업무를 하나의 모델로 처리하는 방식에서 벗어나 목적과 요구 품질에 맞는 모델을 골라 쓰게 하고, 그 사용량과 비용을 한곳에서 관리하게 하는 것이다.

토큰팩토리는 무엇을 하나…'실행·효율·신뢰' 세 축

KT는 토큰팩토리를 통신사업에서 쌓은 연결·과금·보호 역량을 AI 서비스로 넓힌 플랫폼이라고 설명했다. 연결은 국내외 AI 모델을 하나로 잇는 일, 과금은 사용량 기반의 정밀한 토큰 정산, 보호는 데이터 보호와 보안 기능이다. KT는 이를 각각 실행, 효율, 신뢰라는 말로 정리했다.

고객은 여러 AI 모델을 개별적으로 찾아 계약하고 이용 환경을 따로 관리할 필요 없이, 모델 선택과 이용 현황 모니터링, 비용 관리를 한 화면에서 처리한다.

'오토 모델 라우터'와 프롬프트 압축으로 토큰 최대 25% 절감

토큰팩토리의 핵심은 모델 라우팅이다. 단순한 업무에는 가벼운 모델을, 복잡한 분석에는 고성능 모델을 붙인다. KT가 자체 개발한 오토 모델 라우터(Auto Model Router)는 질문의 업무 유형, 난이도, 요구 품질, 비용, 고객이 미리 허용한 모델 범위를 종합해 모델을 고른다. 무조건 가장 좋은 모델이나 가장 싼 모델을 고르지 않고, 고객이 정한 목표 품질을 맞추는 선에서 비용을 낮추는 방식이다.

KT는 이 기술이 LLM 라우터 공개 벤치마크인 라우터아레나(RouterArena)에서 종합 1위를 기록했다고 밝혔다. 라우터아레나는 미국 라이스대 연구진이 만든 라우터 비교 플랫폼으로, 관련 논문은 ICLR 2026에 실렸다. KT는 지난 9월 같은 벤치마크의 정확도·비용 평가에서 종합 2위를 기록했다고 발표한 바 있다. 이번 보도자료는 1위에 오른 시점과 평가 기준을 밝히지 않았다. 라우터아레나 순위는 신규 라우터가 등재될 때마다 바뀐다.

프롬프트 압축도 손봤다. 한국어 특성을 고려해 정밀하게 압축하고 불필요한 반복 표현을 걷어내 입력 토큰 수를 줄인다. 질문의 의미와 응답 품질은 비슷하게 유지하면서 비용과 응답 시간을 함께 낮춘다는 설명이다. KT는 라우팅과 압축을 합쳐 토큰 사용량을 최대 25%까지 줄일 수 있다고 밝혔다. 다만 어떤 업무와 조건에서 측정한 수치인지는 공개하지 않았다.

KT는 해외 AI 서비스 의존에서 오는 데이터 주권 우려를 줄이기 위해 한국 내 KT 데이터센터에서 직접 AI 추론 서비스를 제공한다. 소버린 AI 인프라 위에서 KT 자체 모델, 국내외 오픈웨이트(Open Weight) 모델, 독자 AI 파운데이션 모델을 함께 쓸 수 있는 멀티 AI 기반을 갖췄다는 설명이다.

오픈웨이트 모델은 활용도와 비용 효율이 높지만 기업이 실제 업무에 쓰려면 보안과 안전성을 따로 챙겨야 한다. KT는 모델 평가 체계와 자체 가드레일(Guardrail) 기술을 적용했다. 고객이 입력하는 프롬프트에서 개인정보, 민감정보, 유해 표현을 걸러내고 AI가 생성한 답변도 다시 점검한다. KT는 한국어 환경에 맞춘 가드레일을 계속 고도화하고 있으며, 앞으로 고객별 업무 환경과 보안 요구에 맞춰 탐지 대상과 차단 수준을 세밀하게 설정하는 기능을 더할 계획이다.

오픈라우터와 국내 첫 공식 파트너십…'AI 허브'로 간다

KT는 글로벌 AI 게이트웨이이자 모델 마켓플레이스인 오픈라우터와 국내 처음으로 공식 파트너십을 맺었다. 이를 통해 토큰팩토리에 연계할 수 있는 글로벌 AI 모델을 500개 이상 확보했다. 오픈라우터는 지난 5월 400개 이상 모델을 묶어 주당 25조 토큰을 처리한다고 밝힌 회사다. 양사는 오픈라우터의 글로벌 모델과 KT의 국내 인프라, 소버린 AI 모델을 엮고, KT가 국내에서 제공하는 모델을 해외로 유통하는 방안도 추진한다.

생태계도 넓힌다. AI 코딩·에이전트 분야의 유라클과 CAST AI, 기업용 AI 워크스페이스 분야의 타임리와 손잡았다. 업스테이지, 다음 등 KT가 주관하는 '모두의 AI' 컨소시엄 참여사와도 협력해 인프라부터 모델, 서비스까지 잇는 파트너 생태계를 꾸린다. 출시 초기에는 여러 모델을 쓰면서 비용을 관리하려는 기업 고객에 집중하고, 이후 고객과 서비스 범위를 단계적으로 넓혀 개인 고객(B2C)까지 확대할 예정이다.

박상원 KT AX사업부문장(전무)은 "AI 시장은 이제 누가 더 좋은 모델을 만드느냐보다 누가 AI를 더 쉽고 효율적으로 활용하도록 지원하느냐의 경쟁으로 빠르게 전환되고 있다"고 말했다. 그는 통신사업에서 쌓은 연결·과금·보호 역량을 바탕으로 토큰팩토리를 국내 AI 생태계의 핵심 플랫폼으로 키우겠다고 덧붙였다.

테크수다의 시각

토큰팩토리는 갑자기 나온 상품이 아니다. 박윤영 대표는 지난 7월 취임 후 첫 기자간담회에서 'AX 플랫폼 컴퍼니' 비전을 내놓으며 토큰팩토리를 신성장 사업으로 전면에 세웠다. 당시 그는 "KT는 과금을 가장 잘하는 사업자"라고 말했다. 석 달여 만에 그 구상이 실제 상품으로 나온 셈이다.

이 사업의 본질은 인프라가 아니라 중개와 정산이다. 이름만 보면 엔비디아의 'AI 팩토리'처럼 토큰을 찍어내는 공장 같지만, 실제로는 여러 모델을 잇고 이용료를 정산하는 플랫폼에 가깝다. 그래서 업계 일각에서는 모델을 연결하고 과금하는 수준에 머물면 기존 클라우드 관리서비스(MSP)와 무엇이 다르냐는 질문을 던져왔다. KT가 이번에 라우터 기술, 한국어 압축, 국내 추론, 한국어 가드레일을 묶어 내놓은 것은 그 질문에 대한 1차 답안이다.

흥미로운 대목은 파트너다. KT가 손잡은 오픈라우터는 지난 8월 결제 기업 스트라이프(Stripe)가 인수 계약을 발표한 회사다. 결제 회사가 모델 라우터를 산 이유와 통신사가 토큰팩토리를 만든 이유는 같다. AI 시대의 돈은 모델 자체보다 모델 사용량을 재고, 나누고, 청구하는 층위에서 돈다는 판단이다. 방향은 맞다는 방증이다. 동시에 글로벌 결제 공룡이 같은 층위를 노린다는 경고이기도 하다.

남은 숙제는 세 가지다. 첫째, 최대 25% 절감이라는 수치를 고객이 자기 업무에서 재현할 수 있어야 한다. 둘째, 중개 수수료와 가격 구조를 얼마나 투명하게 공개하느냐가 기업의 선택을 가른다. 셋째, '모두의 AI'에서 쌓을 국산 모델 연결 경험을 토큰팩토리의 기업 시장으로 얼마나 빠르게 옮기느냐다. 통신사가 과금으로 돈을 번 시대는 길었다. 그 경험이 토큰 시대에도 통하는지, 30일부터 시장이 답을 내놓기 시작한다.

KT 토큰팩토리, 이런 점이 궁금하셨나요?

Q1. KT 토큰팩토리는 AI 데이터센터 사업인가요?

A. 아니다. 국내외 AI 모델 500여 개를 하나로 연결하고, 모델 선택과 사용량 모니터링, 비용 관리, 결제를 한곳에서 처리하는 플랫폼이다. 다만 추론은 한국 내 KT 데이터센터에서 직접 제공해 인프라와 플랫폼을 함께 엮었다.

Q2. 토큰을 최대 25%까지 줄인다는 근거는 무엇인가요?

A. 두 가지 자체 기술이다. 오토 모델 라우터가 질문의 유형과 난이도, 비용을 따져 필요 이상으로 비싼 모델을 쓰지 않게 하고, 한국어 특화 프롬프트 압축이 입력 토큰 수를 줄인다. 측정 조건은 공개하지 않아 실제 효과는 고객 업무별로 확인이 필요하다.

Q3. 해외 AI 모델을 쓰면 데이터가 해외로 나가지 않나요?

A. KT는 국내외 오픈웨이트 모델과 자체 모델을 한국 내 KT 데이터센터에서 직접 추론해 데이터 주권 우려를 줄였다. 입력 프롬프트와 생성 답변 모두 가드레일로 개인정보와 유해 표현을 점검한다.

Q4. 오픈라우터와의 제휴는 어떤 의미인가요?

A. 오픈라우터는 수백 개 AI 모델을 하나의 API로 쓰게 해주는 글로벌 게이트웨이다. KT는 국내 첫 공식 파트너로서 글로벌 모델 500개 이상을 연계하고, 반대로 KT가 국내에서 제공하는 모델을 해외에 유통하는 방안도 추진한다.

Q5. 누가, 언제부터 쓸 수 있나요?

A. 10월 30일 출시하며 초기에는 여러 AI 모델을 쓰면서 비용을 관리하려는 기업 고객이 대상이다. KT는 고객과 서비스 범위를 단계적으로 넓혀 개인 고객까지 확대할 계획이다.

[테크수다 기자 도안구 eyeball@techsuda.com]