[AI뭔데이②] 토큰값은 1000분의 1이 됐는데 청구서는 커졌다…코히어가 꺼낸 다른 계산법

에이단 고메즈 CEO는 2017년 ‘어텐션 이즈 올 유 니드’ 공저자 8명 중 여섯 번째다. 당시 만 20세, 토론토대 학부생이자 구글 브레인 인턴이었다. 오늘날 모든 LLM의 뼈대인 트랜스포머를 제시한 그 논문이다. 저자 8명은 전원 구글을 떠났고 고메즈는 2019년 코히어를 세웠다. 옥스퍼드 박사 학위는 2024년에 받았다.

공동창업자 닉 프로스트는 1993년생이다. ‘AI의 대부’ 제프리 힌턴이 구글 브레인 토론토 연구소에서 초기에 뽑은 사람 중 하나다. 인디 팝록 밴드 굿 키드(Good Kid) 보컬로 2024년 주노상 신인그룹상 후보에도 올랐다. 또 다른 공동창업자 이반 장은 AI 연구 조직 for.ai를 만들었고 이 조직은 나중에 코히어 연구소로 들어갔다.

최고AI책임자 조엘 피노는 맥길대 교수이자 메타에서 8년간 AI 리서치 부사장으로 FAIR 랩을 총괄했다. 얀 르쿤과 라마(Llama)를 이끈 사람이다. 지난 2025sus 5월 메타를 나와 8월 코히어에 합류했다. 최고기술책임자 필 블런섬은 딥마인드 출신으로 옥스퍼드 교수를 겸한다. 최고재무책임자 프랑수아 채드윅은 우버 임시 CFO로 우버 상장을 실무 지휘했다.

명단에 이름 두 개가 더 있다. AI 검색 부사장 닐스 라이너스는 허깅페이스 출신으로 문장 임베딩 모델 sBERT를 만든 사람이다. 그리고 에이전트 담당 디렉터 패트릭 루이스. 2020년 RAG 논문의 제1저자다. 전 세계 기업이 사내 문서를 AI에 물리는 그 방식에 이름을 붙인 사람이 지금 코히어 런던에서 에이전트를 판다.

트랜스포머를 만든 사람이 CEO, 힌턴이 뽑은 연구자가 공동창업자, 라마를 이끈 사람이 CAIO, RAG를 만든 사람이 에이전트 디렉터. 이 조합이 소비자 챗봇이 아니라 은행 방화벽 안쪽을 겨냥한다. 

그럼 시작할게요.

"온프레미스 계약은 토큰으로 안 받는다"…한국 법인 세우는 캐나다 소버린 AI 기업

질문을 하나 준비해 갔다.

토큰 가격이 계속 떨어진다. 오픈웨이트 모델도 빠르게 퍼진다. 경쟁이 모델 성능에서 토큰당 경제성으로, 다시 실제로 일을 처리하는 쪽으로 옮겨가고 있다. 그렇다면 죄다 헐값에 뿌려지는 세상이 왔을 때 클라우드 사업자는 몰라도 LLM 기업은 뭘로 먹고사나.

이 기사 핵심 3가지

① 온프레미스 계약은 토큰으로 받지 않는다. 이용자 수나 동시 접속자 수 기준의 연 단위 라이선스다. 다만 코히어의 일반 API는 다른 사업자처럼 토큰당 과금한다.

② 소프트웨어가 고객 하드웨어에서 돈다. 고객이 GPU와 전력을 대고 코히어는 라이선스를 판다. 자사 비교 기준 컴퓨트를 최대 8배 적게 쓴다는 게 온프레미스 문턱을 낮추는 무기다.

③ 완성품이 아니라 베이스 모델을 판다. 커맨드 R+에서 출발한 후지쯔 타카네가 일본 디지털청의 '국내 개발 LLM' 평가 대상에 올랐다. 코히어는 한국·일본 법인 설립 절차를 시작했다.

8월 5일 서울 소공동 웨스틴조선호텔. 코히어(Cohere) 기자간담회 질의응답에서 이 질문을 던졌다.

프랭크 오다우드 코히어 사업총괄책임(CRO)의 답이 예상 밖이었다. 이날 코히어가 강조한 온프레미스·프라이빗 엔터프라이즈 계약은 토큰당 과금이 아니라고 했다. 오히려 토큰값이 내려가기를 바란다고도 했다. AI 산업이 이미 토큰 단가 하락을 견딜 만큼 커졌다는 것이다. 다만 코히어의 일반 API는 다른 주요 모델 사업자처럼 입·출력 토큰 사용량에 따라 과금한다.

행사가 끝나고 명함을 주고받는데 오다우드 CRO가 엄지를 치켜세웠다. 좋은 질문이었다고 했다. 나이들어도 칭찬을 받으면 기쁘다. 주책이다.

나중에 받은 발표자료를 넘겨보고서야 이유를 알았다. 22장짜리 자료 8쪽 제목이 이렇게 달려 있었다. 'Paying for tokens, getting no value'. 토큰값은 내는데 얻는 게 없다는 뜻이다. 그 아래 소제목은 'IP와 경쟁우위가 위험하다', 그다음은 '과잉 판매가 심판을 불렀다'였다. 이 회사가 서울까지 들고 온 이야기의 심장이 그 한 장이었다.

값은 1000분의 1인데 사용량은 330배

같은 수준의 MMLU 성능을 내는 모델 기준으로 100만 토큰 처리 비용은 2021년 11월 60달러에서 2024년 11월 0.06달러로 떨어졌다. 3년에 1000분의 1이다. 벤처캐피털 안드리센호로위츠(a16z)가 여기에 'LLM플레이션'이라는 이름을 붙였다. 스탠퍼드대 HAI는 GPT-3.5급 추론 비용이 2022년 11월부터 2024년 10월까지 280배 넘게 내려갔다고 집계했다.

그런데 기업이 받아 드는 청구서는 오히려 커졌다.

우버(Uber)는 2026년 한 해치로 잡아둔 AI 코딩 도구 예산을 1월부터 4월까지 넉 달 만에 소진했다. 엔지니어 약 5000명에게 코딩 에이전트를 확대한 결과다. 커밋되는 코드의 70%가 AI가 작성한 것이었고 1인당 월 비용은 평균 150~250달러, 많이 쓰는 사람은 500~2000달러로 보도됐다. 6월 2일 보도 당시 우버는 1인당 월 1500달러 상한을 도입한 상태였다.

값이 내려가는데 사용량이 더 빠르게 늘어나는 현상에는 오래된 이름이 있다. 제본스 역설이다. 구글이 자사 제품과 API에서 처리한 월간 토큰은 2024년 5월 9조 7000억 개에서 2026년 5월 3200조 개 이상으로 늘었다. 2년 사이 330배가 넘는다.

지출을 밀어올린 진짜 범인은 에이전트다. 스탠퍼드대 디지털이코노미랩이 지난 4월 공개한 연구에서 에이전틱 코딩 작업은 단순 코드 추론보다 최대 1000배 많은 토큰을 썼다. 비용을 키운 핵심은 출력보다 입력이었다. 많은 에이전트 프레임워크가 단계마다 누적된 대화와 도구 실행 결과를 다시 컨텍스트에 넣기 때문이다. 같은 에이전트에 같은 일을 반복시켜도 비용이 최대 30배까지 벌어졌고, 모델은 자기가 쓸 비용을 일관되게 적게 잡았다.

기업 재무팀에는 악몽이다. 2027년 예산을 짜야 하는데 얼마 나올지 아무도 모른다.

돈을 썼으면 성과라도 나와야 한다. 맥킨지가 2025년 여름 105개국 1993명에게 물었더니 AI가 영업이익에 조금이라도 영향을 줬다고 답한 사람은 39%뿐이었고 그중 대부분도 5% 미만이라고 했다. 가트너는 2027년 말까지 에이전틱 AI 프로젝트의 40% 이상이 취소될 것으로 봤다.

수치는 어긋나도 방향은 하나다. 돈은 쓰는데 그 돈이 어디로 얼마나 가는지 모르겠다는 것이다.

"토큰 낼 필요도, 남의 서버에 데이터 보낼 필요도 없다"

코히어가 파고드는 지점이 정확히 여기다.

과금 방식은 장화진 코히어 아시아태평양 총괄 대표가 설명했다. 그가 소개한 온프레미스 계약은 동시 접속자 수나 이용자 수 등을 기준으로 연 단위 계약을 맺는다. 계약 범위 안에서는 한 사람이 모델을 오래 돌려도 토큰 사용량 때문에 코히어에 내는 라이선스 비용이 추가되지 않는다. 다만 고객이 부담하는 GPU 구입·임차비, 전력비, 운영비까지 고정되는 것은 아니다.

장 대표가 최근 미국의 한 대형 은행 얘기를 꺼냈다. 프런티어 모델 사용료로 월 예산을 잡아뒀는데 한 달 뒤 받아 든 청구서가 예산을 한참 넘겼다. 최고재무책임자(CFO)가 이걸 어떻게 처리하나 붙들고 있는 상황에서 그 은행이 코히어를 찾아왔다는 것이다.

이런 과금이 가능한 건 원가 구조가 다르기 때문이다. 프라이빗 배포에서는 소프트웨어가 고객이 관리하는 하드웨어에서 돌아가므로 코히어가 추론 인프라를 전부 떠안을 필요가 없다. 고객이 GPU·전력·운영비를 대고 코히어는 모델 라이선스와 구축 지원을 판다. 옛날 엔터프라이즈 소프트웨어 장사에 가까운 면이 있다.

숫자는 회사 주장을 일부 뒷받침한다. CNBC가 지난 2월 입수해 보도한 투자자 서한에 따르면 2025년 연간반복매출(ARR)은 2억 4000만 달러로 목표 2억 달러를 넘겼고 평균 매출총이익률은 70%였다. 다만 ARR는 회계상 매출이 아니며 70% 마진이 배포 구조만으로 만들어졌다고 단정할 수는 없다.

비교하면 맥락이 잡힌다. 로이터가 전한 내부자료 보도에 따르면 오픈AI는 2026년 1분기 매출 57억 달러를 올렸지만 같은 기간 현금 37억 달러를 소진했다. 매출총이익률은 전년 동기 33%에서 39%로 높아졌다. 앤트로픽(Anthropic)은 4월 기준 연환산 매출 런레이트가 300억 달러를 넘었다. 두 회사 모두 비상장사여서 수치는 내부자료나 관계자 발언에 의존한다.

원가의 다른 한 축은 모델 크기다. 코히어는 발표자료에서 자사 비교 조건상 비슷한 성능의 경쟁 모델보다 컴퓨트를 최대 8배 적게 쓴다고 주장했다. 독립된 표준 시험에서 확인된 배수는 아니다. 지난해 3월 공개한 커맨드 A(Command A)는 1110억 파라미터 모델이 엔비디아 A100이나 H100 두 장에서 구동된다는 점을 전면에 걸었다. 방화벽 안에 모델을 넣어야 하는 금융·국방·의료 고객에게 대규모 클러스터와 소수 GPU 서버의 차이는 도입 가능성과 총소유비용을 가르는 변수다.

맨 뒤에 앉았다가 사진을 안찍고 발표 자료를 받으면 되겠다고 방심했더니 정작 받은 자료에는 그 비교 데이터가 사라졌다. 아쁠사. 발표 자료는 항상 사진을 찍어둬야 한다는 걸 다시 한번 느꼈다. 이 나이를 먹고도 이런 실수를 하다니. 믿은 내가 바보다.

후지쯔는 왜 그걸 '자사 모델'이라 부르나

코히어가 규제 산업에 내미는 핵심 제안은 베이스 모델과 학습·검색 기술을 고객 환경에 맞춰 커스터마이즈하고 결과물을 고객이 통제하는 서버에 배포하는 것이다. 이 구조가 가장 멀리 간 곳이 일본 후지쯔다.

후지쯔는 2024년 7월 코히어와의 파트너십을 발표하며 세 가지를 한꺼번에 공개했다. 코히어에 출자했다는 것, 코히어 LLM을 베이스로 일본어 강화판을 공동 개발한다는 것, 그리고 그 결과물을 후지쯔가 글로벌 시장에 독점 제공하기로 합의했다는 것이다.

두 달 뒤 나온 결과물이 타카네(Takane)다. 커맨드 R+를 베이스로 삼고 일본어 학습에 더해 환각을 억제하는 지식그래프 확장 RAG, 법규제 준수를 자동 점검하는 생성 AI 감사 기술을 얹었다. 후지쯔는 자체 측정한 일본어 벤치마크 JGLUE 네 항목 평균에서 타카네가 0.92로 GPT-4o의 0.88, 클로드 3.5 소넷의 0.86을 앞섰다며 '세계 제일의 일본어 성능'이라는 표현을 보도자료 제목에 넣었다. 제3자 검증이 아니라 자사 평가다.

그리고 올해, 이 구조가 시험대에 올랐다.

일본 디지털청은 정부 직원용 생성형 AI 플랫폼 겐나이(源内)에서 시험할 '국내 개발 LLM' 공모에 접수된 15건 가운데 일곱 모델을 먼저 선정했고, 두 곳이 사퇴해 5개사와 평가·검증 계약을 맺었다. NTT데이터 츠즈미 2, 소프트뱅크 사라시나 3 미니, NEC 코토미 v3, 프리퍼드네트웍스 PLaMo 2.0 프라임, 그리고 후지쯔 타카네 32B다. 전 부성청 직원 약 18만 명이 대상이며 검증을 통과한 모델은 2027년 4월부터 유상 조달 대상이 된다.

선정 기준은 독자 모델인지 파생 모델인지 구분하고 개발 경위와 국내 개발 기여를 설명하도록 했다. 캐나다 코히어의 커맨드 R+에서 출발한 타카네도 그 기준을 통과했다. 한국이 밑바닥부터 만들었느냐를 따지는 것과는 다른 자가 작동한 셈이다.

한국에서 같은 공식을 쓰는 곳이 LG CNS다. AX전문기업 LG CNS는 2025년 7월 글로벌 AI 유니콘 기업 ‘코히어(Cohere)’와 손잡고 1,110억개의 파라미터를 갖춘 추론형 LLM(Large Language Model)을 공동 개발했다고 밝혔다. 이 LLM은 한국어, 영어 등 23개 언어를 지원하며, 추론 등 핵심 성능에서 글로벌 상위 모델을 뛰어넘는 결과를 보였다는 게 당시 설명이었다.

LG CNS는 2025년 5월 코히어와 70억개의 파라미터로 구성된 한국어 특화 경량 모델을 출시했고, 두 달 만에 초대형 모델을 연이어 발표했다. LG CNS는 금융, 공공 등 민감한 데이터를 다루는 국내 고객들의 비즈니스 혁신을 위해 글로벌 시장에서 역량을 인정받고 있는 코히어와 협력해 추론형 LLM을 개발했다. 추론형 LLM은 AI가 복잡한 문제에 대해 여러 변수를 고려한 논리적인 해답을 도출하는 모델로, AI가 스스로 판단하고 작업을 수행하는 ‘에이전틱 AI’ 서비스 구현에 필수적인 기술로 손꼽힌다.

그런데 LG CNS 보도자료는 일관되게 '공동 개발'과 '협력해 개발'만 쓴다. 후지쯔처럼 '당사의 대규모언어모델'이라 부르거나 독점 제공권을 언급한 대목은 없다.

그래서 궁금해졌다.

그래서 그 모델은 누구 것인가

간담회가 끝나고 장 대표에게 명함을 교환하러 갔다. 그렇게 만든 모델의 소유권은 결국 누구에게 있느냐고 물었다.

답은 짧았다.

"계약에 따라 다양한 사례가 있습니다."

더 나올 게 없는 답이지만 이 한 줄이 꽤 많은 걸 설명한다. 후지쯔와 LG CNS가 같은 코히어 구조를 쓰면서도 발표문 표현이 다른 이유가 여기 있다. 후지쯔는 독점 제공권까지 받아냈고 LG CNS는 공동 개발로 정리했다. 계약서가 다르니 부르는 이름도 다르다. 계약 내용을 알 길이 없다.

실제로 후지쯔든 LG CNS든, 완성된 모델 가중치의 지식재산권이 누구에게 가는지를 명시한 공개 문서는 어디에도 없다.

기술적 통제권은 고객에게 가깝다. 가중치와 추론 환경이 고객 인프라에 놓이면 코히어가 원격 API처럼 사용을 관찰하거나 즉시 중단시키기 어렵다. 장 대표는 간담회에서 온프레미스에 구축하면 코히어가 물리적으로 그 모델을 끌 방법이 없고 어떤 데이터로 돌리는지, 누가 쓰는지도 볼 수 없다고 설명했다. 다만 라이선스 기간과 업데이트, 기술지원은 여전히 계약의 영향을 받는다.

정확히 말하면 고객이 확보하는 것은 배포 위치와 운용·접근에 대한 통제권이다. 원본 가중치와 파생 가중치의 지식재산권이 누구에게 귀속되는지는 계약서를 봐야 한다. 그리고 그 계약서는 공개되지 않는다.

한국이라는 시험대

코히어는 지난해 7월 서울에 아태 허브를 열었고 이번에 한국과 일본에 각각 독립 법인을 세우겠다고 밝혔다. 장 대표는 절차에 3개월쯤 걸릴 것으로 봤다. 법인장은 아직 없고 그때까지는 장 대표가 겸직한다. 한국·일본·싱가포르 중 한국 직원이 가장 많고 고객도 가장 많으며 성장도 가장 빠르다는 설명이다.

코히어는 고객사 현장에 들어가 함께 구축하는 인력을 FDE(포워드 디플로이드 엔지니어)라 부른다. 온프레미스 비중이 높아 현장 인력이 필수다. 인터넷 기반 솔루션에서는 고객이 불안해 안 붙이던 사내 데이터베이스와 애플리케이션을 온프레미스에서는 MCP로 연결한다.

한국을 아태 허브로 삼은 이유를 오다우드 CRO는 세계에서 가장 역동적이고 경쟁이 치열한 시장 중 하나이며 여기서 되면 아태 전역으로 넓힐 수 있는 시험대가 되기 때문이라고 설명했다. 장 대표는 아태 고객사가 1년 새 다섯 배 늘었고 그중 상당수가 한국이라며, 앞으로 1년간 세 배 더 늘리겠다고 밝혔다. MOU가 아니라 계약해서 프로젝트를 도는 고객 기준이라고 못 박았다.

FDE에 대해 더 깊게 질문하지 못해 못내 아쉬웠다.

남는 질문

첫째, 좌석 과금이 에이전트 시대에도 버틸까. 사람 수로 값을 매기는 건 사람이 소프트웨어를 쓴다는 전제 위에 서 있다. 에이전트가 사람 없이 24시간 돌면서 다른 에이전트를 부르는 구조가 보편화되면 좌석이라는 단위 자체가 흔들린다.

둘째, 온프레미스의 경제학이다. 고객이 GPU를 사고 전기를 대면 코히어의 변동 원가는 낮아지지만 고객 총소유비용은 그만큼 늘어난다. 코히어가 주장하는 최대 8배의 컴퓨트 효율이 실제 환경에서 그 부담을 얼마나 상쇄하는지는 시간이 답할 문제다. FDE를 대거 뽑는다는 것 자체가 구축 비용이 실재한다는 뜻이다.

토큰 단가는 앞으로도 떨어질 가능성이 크다. 그 과정에서 순수 사용량 기반 API, 전용 인스턴스, 좌석·연간 라이선스를 섞는 회사들의 손익계산서는 서로 다르게 벌어질 것이다.

간담회장을 나오면서 남은 생각은 하나였다. 우리 회사가 AI에 쓰는 돈이 내년에 얼마가 될지 지금 말할 수 있는가. 그 답이 "모른다"라면 토큰 사용량과 직접 연동되지 않는 프라이빗 계약은 한 번쯤 검토해볼 만한 조건이다. 다만 코히어의 라이선스 비용만 예측 가능해지는 것이지 GPU·전력·구축·운영을 포함한 전체 AI 비용까지 고정되는 것은 아니다.

대한민국에서 소버린 AI는 대부분 독자적 기술 개발을 통한 획득이다. 오픈소스 SW가 하나라도 들어가 있다고 해도 독자적인 게 아니라고 손가락질을 하는 나라다. 그럼에도 불구하고 현실적인 접근도 필요하다. 기업은 생존이 걸려 있기 때문이다.

오픈AI와 앤트로픽에 모든 관심이 쏠려 있지만 B2B 시장을 정조준해서 움직인 건 코히어의 차별점이다. 코히어는 엔비디아, AMD 벤처스, 세일즈포스 벤처스, 오라클, 시스코 등 전략적 시술 투자와 래디컬 벤처스, 이노비아 캐피털, PSP 인베스트먼츠, HOOPP, BDC, 넥서스 등 기관투자가로부터 약 16억 달러의 투자를 유치했다. 한국 기관 투자가들도 한번 이름을 올리면 어떨까 싶었다.

코히어에 대해 자주 묻는 질문(FAQ)

Q1. 코히어 과금은 오픈AI·앤트로픽과 어떻게 다른가

오픈AI와 앤트로픽의 일반 API는 입·출력 토큰 사용량 기준으로 과금하고, 코히어의 일반 API도 마찬가지다. 차이는 간담회에서 소개한 일부 온프레미스·프라이빗 계약이다. 이용자 수나 동시 접속자 수를 기준으로 연 단위 라이선스를 맺어 계약 범위 안의 코히어 사용료를 미리 예측할 수 있다. GPU·전력·구축비는 별도다.

Q2. 코히어 베이스로 만든 모델은 결국 누구 것인가

간담회 뒤 장화진 대표에게 물었더니 계약에 따라 다양한 사례가 있다는 답이 돌아왔다. 후지쯔는 독점 제공권까지 받아 타카네를 '당사의 대규모언어모델'로 부르는 반면 LG CNS는 '공동 개발'로 표현한다. 기술적으로는 고객이 운용과 접근을 통제하지만 법적 소유권까지 이전됐다는 뜻은 아니다.

Q3. 컴퓨트를 8배 적게 쓴다는 게 왜 경쟁력인가

추론에 필요한 GPU 수가 서버·전력·냉각 등 총소유비용에 큰 영향을 주기 때문이다. 방화벽 안에 모델을 넣어야 하는 금융·국방·의료 고객에게는 도입 가능성 자체를 가를 수 있다. 다만 8배는 코히어의 자사 비교 조건에 따른 주장이며 모든 작업에 동일하게 보장되는 수치는 아니다.