LG유플러스 '토큰 단가 말고 업무 완결 비용' 낮춘다…2027 토큰 사업 출사표

하네스부터 칩 믹스까지 5단 '토큰 최적화 스택' 공개…뉴립스 워크숍 논문으로 익시오 온디바이스 성과도 수치로 드러나

[테크수다 기자 도안구 eyeball@techsuda.com] LG유플러스가 2027년 기업(B2B) 대상 토큰 사업에 나선다. 경쟁의 기준으로는 100만 토큰당 가격이 아니라 고객이 AI로 업무 하나를 끝내는 데 드는 총비용(Task Cost)을 내세웠다. LG유플러스는 11월 12일 기자 100여 명을 대상으로 'AI 토큰 최적화 스터디'를 열고 에이전트 설계(하네스 엔지니어링)부터 모델 라우팅, 모델 경량화·추론 최적화, 이기종 반도체 조합(칩 믹스)까지 이어지는 자체 '토큰 최적화 스택'을 공개했다. 이상엽 CTO(전무), 이혜진 기술전략담당, 권기덕 AX엔지니어링Lab장, 김현민 소버린클라우드사업팀장이 발표와 질의응답에 나섰다. 회사는 내부 검증에서 코딩 에이전트 비용을 90% 이상 줄인 사례를 확보했다고 밝혔다.

▶ 핵심 키워드 요약

토큰 단가보다 업무 비용 — LG유플러스는 토큰 가격 경쟁 대신 업무 하나를 끝낼 때까지의 총비용을 낮추는 쪽에 승부를 건다. 협력사와 손잡는 제휴형과 자체 인프라 구축형, 두 갈래로 내년 토큰 사업을 시작한다.
5단 스택과 내부 수치 — 하네스 엔지니어링, AI 게이트웨이(모델 라우팅), 모델 파운드리(경량화·추론 최적화), 컴퓨트(칩 믹스)를 한 묶음으로 최적화한다. 라우팅으로 일반 질의 비용 25% 이상, 코딩 에이전트 비용 30% 이상을 줄였다는 내부 테스트 결과를 내놓았다.
논문이 보여준 익시오의 속살 — 뉴립스(NeurIPS) 2026 온디바이스 인텔리전스 워크숍 논문에 따르면 익시오 온디바이스 모델은 크기를 원본의 28%로 줄이고 통화당 토큰 수를 18% 덜 쓴다. 처리 시간은 4.5배 빨라졌고 에너지 사용은 77% 줄었다.

LG유플러스 이상엽 CTO(전무)가 11월 12일 'AI 토큰 최적화 스터디'에서 발표하고 있다. (사진=LG유플러스)

‘토큰은 이제 수도·전기 같은 인프라’…쓸수록 비용이 늘어나는 역설

첫 발표를 맡은 이혜진 기술전략담당은 토큰을 수도꼭지의 물, 전등의 전기에 빗댔다. AI를 켜는 순간 토큰이 흐르고, 일상에서 AI를 빼놓을 수 없는 만큼 토큰도 전기·가스·수도·통신에 이어 생활 인프라에 들어섰다는 설명이다.

그가 짚은 문제는 가격과 지출의 엇갈림이다. 이 담당은 최근 1~2년 사이 토큰 가격이 80% 가까이 내려갔지만 빅테크 기준 토큰 소비량은 3배로 늘었다고 소개했다. 사람은 질문 한 번에 AI를 한 번 부르지만, 에이전트는 계획·검색·도구 호출·검증을 되풀이하며 사람보다 훨씬 많은 토큰을 쓴다. 기술 효율이 좋아질수록 소비가 늘어 총비용이 불어나는 '제번스의 역설'이 AI에서 재현되고 있다는 진단이다.

이 담당은 토큰 최적화를 이해하는 네 가지 축을 제시했다. 첫째, AI 비용의 중심이 학습에서 매일의 추론으로 옮겨 간다. 둘째, 인사 한마디에 최고급 모델을 쓸 필요가 없다. 업무에 맞는 경제적 모델을 골라야 한다. 셋째, 에이전트가 헤매지 않고 한 번에 결과를 내도록 설계해야 한다. 넷째, 모든 에이전트를 떠받치는 공통 플랫폼과 하이브리드 인프라를 싸게 설계해야 한다.

비용 구조에 대한 설명도 이어졌다. 같은 토큰이라도 답변(출력) 토큰은 질문(입력) 토큰보다 2~8배 비싸다. 사용자 화면에 드러나지 않는 AI의 '생각' 과정이 전체 비용의 80% 이상을 차지하기도 한다. 이 담당은 이를 원고지 값에 택시 미터기 요금까지 함께 내는 구조로 설명했다. 그래서 AI의 진짜 비용은 답변 한 번이 아니라 업무를 끝낼 때까지 든 비용이라는 결론이다.

5단 토큰 최적화 스택…하네스에서 칩 믹스까지

LG유플러스가 그린 토큰 최적화 스택은 다섯 층이다. 맨 위에는 익시오(ixi-O), AICC, 사내 AX 같은 서비스 현장(플레이그라운드)이 있다. 그 아래로 에이전트의 일하는 방식을 설계하는 하네스 엔지니어링, 질문마다 모델을 배분하는 AI 게이트웨이, 모델을 작고 빠르게 만드는 모델 파운드리, 반도체 인프라를 조합하는 컴퓨트가 차례로 놓인다.

권기덕 AX엔지니어링Lab장은 층별 대표 기술을 소개했다. 하네스 엔지니어링은 에이전트가 웹을 무작정 탐색하고 스스로 평가하기를 반복하며 토큰을 태우는 '토큰 버닝'을 막는 기술이다. 고객 질문 유형을 패턴으로 묶고, 허용한 도구만 쓰게 제약을 걸고, 성공한 경로를 재현하게 만든다. 권 랩장은 오픈AI 자료를 인용해 일반 질의응답에서는 40% 안팎, 코딩 영역에서는 85~90% 이상의 토큰 효율화가 가능하다고 소개했다.

AI 게이트웨이는 '다이내믹 쿼리 라우팅'을 맡는다. 질문의 의도와 문맥을 파악한 결정(디시전) 모델이 요약·번역 같은 가벼운 질의는 경량 모델로, 일반 질의는 범용 모델로, 딥 리서치나 법률·의료 같은 전문 질의는 고성능 모델이나 도메인 특화 모델로 보낸다. 사내 PoC에서는 일반 질의 비용을 25% 이상, 코딩 에이전트 비용을 30% 이상 줄였다. 고성능 모델 하나로만 처리하던 구조에 작은 모델 하나를 끼워 넣기만 해도 효율이 크게 오른다는 설명이다.

난이도 판별이 과제다. 권 랩장은 금융·의료처럼 도메인으로 나누기는 어렵지 않지만, 일상 대화의 난이도를 가려 큰 모델과 작은 모델에 나눠 보내기는 매우 어렵다고 털어놨다. 그래서 같은 질문을 큰 모델과 작은 모델에 함께 보내 답을 비교·평가하고, 그 결과를 수백만 건 단위로 쌓아 라우팅 정확도를 끌어올리는 방식을 쓴다.

모델 파운드리 층에서는 양자화와 지식 증류가 핵심이다. 16비트로 표현하던 모델 내부 숫자를 4비트로 줄이면 모델 크기가 4분의 1로 줄고 답변 속도는 빨라진다. 큰 '선생님' 모델의 노하우를 작은 '학생' 모델에 옮기는 지식 증류도 함께 쓴다. 작은 모델이 답변 초안을 빠르게 쓰고 큰 모델이 검증하는 추측 디코딩(Speculative Decoding)으로는 토큰 생성 속도를 2배 이상 높였다. 권 랩장은 이를 신입 기자 여럿이 초안을 쓰고 편집장이 검수만 하는 편집국에 빗댔다.

GPU 위에서의 추론 최적화도 손봤다. 엔비디아 쿠다(CUDA) 커널의 스케줄러를 조정해 여러 연산을 하나로 묶어 메모리 접근 횟수를 줄였더니 토큰 생산량은 3배, 응답 속도는 2배로 늘었고 품질은 유지됐다는 PoC 결과도 공개했다. 새 모델이 나올 때마다 사람이 일일이 찾던 최적 설정값은 에이전트가 병목 분석, 코드 생성, 검증, 성능 측정을 반복해 찾게 한다. 회사는 최적화 기간을 4배 이상 줄이고 투입 인력을 7~10명에서 1명으로 줄이는 것을 목표로 잡았다.

엔비디아·AMD·퓨리오사를 섞는 '칩 믹스'…같은 질문도 칩을 나눠 처리

컴퓨트 층의 해법은 칩 믹스다. 연산이 많은 작업은 엔비디아 GPU, 메모리를 많이 쓰는 작업은 AMD GPU, 가벼운 답변은 퓨리오사AI의 NPU에 나눠 맡겨 전력 대비 성능을 끌어올린다.

질의응답에서는 구조를 묻는 질문이 나왔다. 권 랩장은 두 가지 방식을 설명했다. 하나는 프리필·디코드 분리(PD 분리)다. 질문을 이해하는 프리필 단계는 연산이 많아 엔비디아 GPU에 맡긴다. 그 결과값(KV 캐시)을 메모리 용량이 큰 AMD GPU로 넘겨 답변을 만드는 디코드 단계를 처리하게 하면 전체 토큰 생산량이 늘어난다. 다른 하나는 전문가 혼합(MoE) 모델의 분리다. 자주 불리는 전문가 모델은 엔비디아 최신 GPU에, 덜 쓰이는 전문가 모델은 구형 GPU나 NPU에 올려 하드웨어를 나눠 쓴다.

이상엽 CTO는 모델별 최적 라우팅을 포기하는 것이 아니라, 그 위에 하드웨어 차원의 효율을 더하는 것이라고 덧붙였다. 칩별 최적화는 전문 협력사와 함께한다. 엔비디아 쪽은 모델 경량화를 함께해 온 옵트에이아이와, AMD 쪽은 망고부스트와 협력한다. 퓨리오사AI와는 2년 넘게 NPU를 검증하고 있다. 망고부스트와의 AMD 최적화는 조만간 실제 서비스에 투입할 수 있을 것이라고 이 CTO는 내다봤다.

‘토큰 단가가 아니라 업무 비용’…내년 제휴형·구축형으로 사업화

이상엽 CTO는 통신사가 30년 동안 주파수, 통화량, 트래픽을 최적화해 왔다는 이야기로 토큰 사업의 방향을 풀었다. 최적화는 기술 하나로 끝나지 않고 다양한 장비와 기술을 목적에 맞게 조합해야 한다는 것이다. 이 CTO는 "오픈라우터에서 100만 토큰당 몇 달러인데 우리는 몇 달러로 줄였다는 얘기만 하고 싶지는 않습니다. 고객이 하려는 태스크를 얼마나 최적의 비용으로 처리하느냐가 목표입니다"라고 말했다.

사업 방향은 세 갈래다. 첫째, 카카오와 컨소시엄을 꾸린 '모두의 AI'에서 LG유플러스는 모델 서빙을 맡는다. 앞단 서비스는 카카오가 맡는다. 이 운영에서 쌓은 레시피를 '토큰 팩토리' 서비스 기술로 되살린다는 구상이다. 둘째, 칩별 협력 생태계를 넓혀 칩 믹스를 고도화한다. 셋째, 쏟아지는 신규 모델을 에이전트 기술로 빠르게 최적화해 도메인에 적용한다.

사업 모델에 대한 설명은 짧았다. LG유플러스는 2027년 토큰 사업을 협력사와 함께하는 제휴형과 직접 구축하는 방식으로 추진한다. 원가 경쟁력을 바탕으로 고객의 전체 토큰 사용 비용을 줄여 주겠다는 방향만 밝혔다. 발표자는 고객의 AI 성능은 높이고 AI 청구서는 낮추는 사업이라고 요약했다. 현재 무료인 익시오의 유료화 여부에 대해서는 사업 부문과 논의가 필요하다며 답을 미뤘다.

90%는 코딩, 30%는 일반…‘절감률은 태스크마다 다르다’

기자들이 가장 궁금해한 것은 결국 숫자였다. 고객이 체감할 절감률을 묻는 질문에 이 CTO는 태스크마다 다르다고 답했다. 코딩 에이전트는 90% 이상 줄기도 하고, 어떤 영역은 30% 수준이며, 커널 최적화 같은 PoC에서는 효율이 4배까지 좋아진 경우도 있다는 설명이다. 단일 수치로 말하기 어렵다는 이유다.

90%라는 숫자는 사내 개발 현장에서 나왔다. 이 CTO는 사내 개발자들의 토큰 사용량이 최근 3배 이상 늘었다고 전했다. 개발자들이 쓰는 코딩 에이전트의 앞단 화면은 그대로 두고, 뒷단 모델 연결 지점(엔드포인트)만 자체 모델로 바꾸는 식의 레시피를 적용해 90% 이상 절감이 가능한 PoC를 확인했다. 빅테크 에이전트 솔루션의 엔드포인트를 자사 모델 계층에 연결해 단가를 낮추는 방식도 사내 AX에서 쓰고 있다. 이 CTO는 이런 레시피 하나하나가 B2B 상품이 될 수 있다고 봤다.

이혜진 담당은 고객 관점의 효익을 이렇게 정리했다. 개인 고객에게는 초고성능 AI를 커피 한 잔 값에 쓰게 하는 것이 최고의 토큰 최적화다. 기업 고객에게는 다른 의미다. 이 담당은 "B2B 고객 입장에서 AI는 지금 돈 먹는 하마입니다. 이 하마를 진짜 일하는 직원으로 바꾸는 열쇠가 토큰 최적화입니다"라고 강조했다. 성능이 떨어지면 에이전트가 다시 일을 반복하면서 오히려 비용이 늘어나기 때문에, 품질을 지키면서 비용을 낮추는 조합(골드 셋)을 찾는 것이 토큰 최적화의 핵심이라는 설명도 덧붙였다.

논문이 보여준 익시오 온디바이스 모델…토큰 18%↓, 처리 4.5배↑

이날 이 CTO는 인사말에서 뉴립스 논문 2편을 내세웠다. 다만 행사장에서는 논문의 세부 수치가 거의 나오지 않았다. 공개된 논문을 확인해 보니 익시오의 비용 구조를 가늠할 단서가 담겨 있었다.

두 논문은 뉴립스 2026 본 학회가 아닌 '온디바이스 인텔리전스' 워크숍에 채택됐다. 뉴립스 2026은 12월 6일부터 12일까지 호주 시드니에서 열린다. 첫 논문 「ixi-sLM: AI 콜 에이전트 서비스를 위한 온디바이스 sLM」은 LG유플러스와 옵트에이아이 연구진 13명이 썼다. 이날 발표를 맡은 권기덕 랩장은 옵트에이아이 이재호 대표와 함께 교신저자로 이름을 올렸다.

논문은 익시오의 AI 통화 요약과 AI 전화 대신 받기 두 기능을 하나의 모델로 돌린다. 기반은 LG AI연구원의 엑사원(EXAONE) 4.0 1.2B다. 통화에서 자주 쓰이는 말을 기준으로 어휘 사전을 줄이고 토크나이저를 통화 음성에 맞게 다시 맞춰 통화 트래픽의 토큰 수를 18% 줄였다. 회사 설명으로는 통화당 평균 토큰이 1324개에서 1090개가 됐다. 모델 크기는 2.9GiB에서 803MiB로 원본의 28%가 됐다.

스마트폰 NPU에 올린 효과도 수치로 나왔다. 갤럭시 S25 울트라 실험에서 CPU 방식으로 45초 걸리던 통화 관련 작업을 NPU 최적화 모델은 10초에 끝냈다. 4.5배 빨라진 것이다. 작업당 에너지 소모는 7.79mAh에서 1.79mAh로 약 77% 줄었다. 품질은 최신 클라우드 LLM 대비 과업 가중 기준 94% 수준이라고 논문은 밝혔다. 이날 회사가 배포한 자료의 ‘95% 이상’과는 기준에 따라 차이가 있다.

두 번째 논문 「온디바이스 FoRA」는 스마트폰 안에서 직접 모델을 추가 학습시키는 기술을 다룬다. 학습에 필요한 연산과 메모리를 줄여 개인 데이터를 기기 밖으로 보내지 않고도 서버에서 학습한 모델과 비슷한 정확도를 확인했다는 것이 회사 설명이다.

이 수치에는 한계도 있다. 품질 평가 기준, 시험 통화, 채점을 모두 저자 측이 설계했고 코드는 공개하지 않았다. 그럼에도 '실험실 프로토타입'이 아니라 실제 상용 서비스의 모델을 다룬 논문이라는 점에서 의미가 있다. 논문은 이 모델이 수백만 명의 익시오 가입자에게 서비스되고 있다고 밝혔다.

익시오, 제미나이 비중 줄이고 자체·엑사원 모델로 '스위치'

익시오의 서비스 구조 변화도 확인했다. 기자가 출시 뒤 반년 넘게 이어진 경량화 전환의 성과와 구글과의 협력 관계를 묻자, 이 CTO는 출시 초기 온디바이스 모델은 LG AI연구원과 함께 만들고 고난도 추론에는 구글 제미나이(Gemini)를 썼다고 답했다. 이후 트래픽이 점차 자체 모델 쪽으로 넘어오면서 구글 쪽 트래픽이 줄고 있다는 설명이다. 다만 고객 요구가 복잡해지면서 어려운 작업은 지금도 LG유플러스 자체 모델, 엑사원, 제미나이를 섞는 하이브리드 방식으로 처리한다. 전환 비율이나 비용 절감액은 공개하지 않았다.

빅테크 경량 모델과의 경쟁력을 묻는 질문에 이 CTO는 경쟁 구도를 다시 그었다. 그는 "토큰 최적화의 경쟁 상대는 빅테크의 모델이 아닙니다"라고 말했다. 고객 태스크에 빅테크 경량 모델이 더 맞으면 그쪽으로 라우팅할 수도 있다는 것이다. 모델 사이의 경쟁이 아니라, 고객 업무를 얼마나 싸게 처리하도록 엔지니어링하느냐의 경쟁이라는 설명이다. IT서비스 기업이나 클라우드 사업자와 무엇이 다르냐는 질문에는 회선과 인프라에서 모델 라우팅, 하네스, 고객 의도까지 전 구간을 최적화한 서비스 운영 경험을 답으로 내놓았다.

테크수다의 시각

LG유플러스의 이번 스터디는 토큰 최적화를 '통신사의 오래된 본업'으로 다시 쓴 자리였다. 주파수와 트래픽을 쪼개고 조합해 온 회사가 이제 토큰을 쪼개고 조합하겠다는 것이다. 단가 대신 업무 완결 비용을 기준으로 내세운 것은 영리한 선택이다. 100만 토큰당 가격 경쟁은 결국 GPU를 가장 많이 확보한 빅테크와 대형 클라우드 사업자가 이기는 게임이기 때문이다.

나는 이 전략의 핵심이 '서빙 능력'에 있다고 본다. 모델을 만드는 능력과 여러 모델을 업무에 맞게 불러 쓰는 능력은 다르다. 마이크로소프트가 오픈AI 모델에 기대다 업무별 자체 모델을 늘려 간 것도 같은 흐름이다. 직접 서비스를 운영하며 원가 압박을 겪어 본 사업자만이 이 레시피를 쌓을 수 있다. LG유플러스가 익시오, AICC, 사내 개발 환경을 '실전 검증'으로 내세운 이유다. 통신사가 사실상 관리형 서비스 사업자(MSP) 역할로 옮겨 가는 장면이기도 하다.

아쉬움도 분명하다. 이날 회사는 기술 스택은 충실히 풀었지만 정작 익시오에서 얼마를 아꼈는지는 말하지 않았다. 오히려 그 답은 회사가 자랑한 논문 안에 있었다. 토큰 18% 절감, 처리 4.5배 가속, 에너지 77% 절감이다. 다만 이는 워크숍 논문이고 저자 측 평가이며, 보도자료의 '세계 최고 권위 학회 동시 채택'이라는 표현과는 결이 다르다. 내년 사업이 시작되면 시장이 요구할 것은 PoC 수치가 아니라 고객 업무 단위의 비용 청구서다.

KT가 토큰 팩토리를 앞세우는 등 통신사들의 토큰 경쟁은 이제 막 시작됐다. 연말 상용화하는 '모두의 AI'에서 LG유플러스가 대규모 모델 서빙을 얼마나 경제적으로 해내는지가 첫 시험대가 될 것이다. 그 운영 데이터를 숫자로 공개할 수 있을 때, '업무 완결 비용'이라는 구호는 비로소 상품이 된다.

'AI 토큰 최적화 스터디' 질의응답. 왼쪽부터 권기덕 AX엔지니어링Lab장, 이상엽 CTO, 이혜진 기술전략담당, 김현민 소버린클라우드사업팀장. (사진=LG유플러스)

LG유플러스 '업무 완결 비용' 토큰 사업, 이런 점이 궁금하셨나요?

Q1. '업무 완결 비용(Task Cost)'은 토큰 단가와 무엇이 다른가?
토큰 단가는 100만 토큰당 가격이다. 업무 완결 비용은 고객이 AI로 한 가지 일을 끝낼 때까지 쓴 토큰, 검색, 도구 호출, 실행 환경 비용을 모두 더한 값이다. 에이전트는 한 요청에도 AI를 수십 번 부르기 때문에, 단가가 싸도 헤매는 횟수가 많으면 총비용이 불어난다. LG유플러스는 이 총비용을 낮추는 것을 사업 목표로 잡았다.

Q2. 코딩 에이전트 비용 90% 절감은 어떻게 가능했나?
사내 개발자들이 쓰는 코딩 에이전트의 화면과 작업 방식은 그대로 두고, 뒤에서 호출하는 모델을 자체 모델로 바꾸는 등 여러 레시피를 조합한 내부 PoC 결과다. 절감률은 태스크마다 달라 일반 질의는 25% 이상, 라우팅을 적용한 코딩 에이전트는 30% 이상으로 회사는 소개했다.

Q3. '칩 믹스'는 실제로 어떻게 작동하나?
연산이 많은 질문 이해(프리필) 단계는 엔비디아 GPU가, 메모리가 많이 필요한 답변 생성(디코드) 단계는 AMD GPU가 나눠 맡는다. 가벼운 모델은 퓨리오사AI NPU에 올린다. 엔비디아는 옵트에이아이, AMD는 망고부스트와 최적화를 함께한다.

Q4. 뉴립스 논문은 무엇을 증명했나?
익시오 온디바이스 모델을 원본의 28% 크기로 줄이고, 통화 토큰을 18% 덜 쓰게 했으며, 스마트폰 NPU에서 처리 속도를 4.5배 높이고 에너지를 77% 줄였다는 내용이다. 두 논문은 뉴립스 본 학회가 아닌 온디바이스 인텔리전스 워크숍에 채택됐고, 평가는 저자 측이 설계했다.

Q5. 토큰 사업은 언제, 어떤 형태로 나오나?
LG유플러스는 2027년부터 협력사와의 제휴형과 자체 인프라 구축형으로 B2B 토큰 사업을 시작한다. 연말 카카오와 상용화하는 '모두의 AI'에서 모델 서빙을 맡아 쌓는 운영 레시피가 상품의 바탕이 된다. 가격 체계와 익시오 유료화 여부는 공개하지 않았다.

[테크수다 기자 도안구 eyeball@techsuda.com]