"토큰 하루 5억 개, 비용은 절반으로"…국산 NPU 위에서 돌아가는 '다음 AI 요약'이 꺼낸 토크노믹스 승부수
업스테이지·퓨리오사AI·AXZ 3사 대표 대담…RNGD 칩 24개로 엔비디아 H200 대등 성능 실증, "연말까지 1만 장 공급 가능"
[테크수다 기자 도안구 eyeball@techsuda.com] 국산 AI 반도체 위에서 국산 AI 모델이 돌아가고, 그 결과물이 하루 수백만 명이 쓰는 포털 검색 화면에 실시간으로 뜬다. 말로만 오가던 '풀스택 소버린 AI'가 상용 서비스에서 처리량과 비용이라는 숫자로 검증대에 올랐다.
업스테이지, 퓨리오사AI, AXZ(다음 운영사) 3사 대표는 15일 오전 온라인 생중계 대담을 열고 퓨리오사AI의 추론용 NPU '레니게이드(RNGD)'와 업스테이지 거대언어모델(LLM) '솔라(Solar)', 다음 검색의 'AI 요약(AI Overview)' 서비스를 결합한 협력 사례를 공개했다. 대담에는 김성훈 업스테이지 대표, 백준호 퓨리오사AI 대표, 이건수 AXZ 대표가 참석했다.
▶ 핵심 키워드 요약
- 토크노믹스(Tokenomics): AI 서비스가 확산될수록 토큰 처리 비용이 수익성을 좌우한다. 퓨리오사AI는 자사 NPU '레니게이드(RNGD)'가 GPU 대비 전체 비용을 1.5~2배 절감하며, 최적화를 통해 토큰 가격을 절반 이하로 낮추겠다고 밝혔다.
- 풀스택 실증: 국산 NPU(퓨리오사AI RNGD) 위에서 국산 LLM(업스테이지 솔라)을 구동해 포털 다음의 'AI 요약(AI Overview)' 실서비스를 처리하는 사례를 공개했다. RNGD 칩 24개(서버 3개 노드)가 하루 약 5억 개의 토큰을 처리한다.
- 확장 로드맵: 다음은 AI 요약 노출 비중을 현재 약 20%에서 절반 이상으로 늘리고 쇼핑·맛집 등 버티컬 확장과 '1인 1 에이전트'를 준비한다. 퓨리오사AI는 연말 기준 칩 1만 장 공급이 가능하다고 답했다.

백준호 퓨리오사AI 대표는 이 자리에서 현재 RNGD 칩 24개를 서버 3개 노드에 투입해 다음 AI 요약에 쓰이는 솔라 모델을 가속하고 있으며, 하루 약 5억 개의 토큰을 처리하고 있다고 밝혔다. 대담 중 진행한 실시간 시연에서는 엔비디아 H200 GPU와 RNGD가 나란히 유사한 응답 속도를 보였다. 아직 최적화가 끝나지 않은 상태의 결과라는 점에서, 최적화 이후에는 성능이 더 오를 수 있다는 게 퓨리오사AI의 설명이다.
이번 대담이 겨냥한 핵심 메시지는 애국심이 아니라 계산기다. AI 서비스가 커질수록 늘어나는 토큰 처리 비용, 이른바 토크노믹스(Tokenomics)에서 국산 NPU가 GPU 대비 경제성을 입증할 수 있느냐가 이날 대화의 중심에 놓였다.
AI 요약(AI Overview)이란 무엇인가

AI 요약은 이용자가 다음 검색창에 질문을 입력하면 검색엔진이 관련 문서를 먼저 찾아오고, 솔라 LLM이 이를 읽고 핵심 답변으로 정리해 검색 결과 상단에 보여주는 기능이다. 기존에는 수많은 링크를 하나씩 눌러 확인해야 했던 정보를 AI가 먼저 읽고 요약해 준다. 다음은 지난 1일 이슈(실시간 트렌드)·금융·엔터·건강·사전·일상 등 6개 영역에 베타 서비스를 우선 적용했고, 연내 적용 영역을 넓혀 정식 버전을 내놓을 계획이다.
이건수 AXZ 대표는 현재 AI 요약이 전체 검색 질의의 약 20%에 노출되고 있으며, 절반 이상으로 노출을 확대하기 위한 준비를 진행중이라고 밝혔다. 지난 5월 업스테이지가 다음 운영사 AXZ를 인수한 뒤 자체 AI 모델을 대국민 서비스에 적용한 첫 사례이기도 하다.
구글 AI 오버뷰, 네이버 AI 브리핑 등 유사 서비스가 이미 존재하는 상황에서 다음의 차별점을 묻는 질문에 이 대표는 실시간성을 꼽았다. 다음은 언론사 제휴와 카페, 티스토리 등에서 수집한 문서를 색인하면서 최신 정보를 가려내는 데 특화했다는 설명이다.
이건수 AXZ 대표는 "가장 최신의 정보를 가장 빠르게 전달할 수 있는 체계에 적합하게 차별화하고 있다"고 말했다. 실시간 트렌드 검색어처럼 몇 시간만 지나도 가치가 사라지는 질의에서는 하루 이틀 묵은 문서로 요약을 만들 수 없다는 것이다.
실시간 정보를 다루는 AI 검색의 최대 난제는 환각(hallucination)이다. LLM은 사전에 학습한 지식을 갖고 있어서, 검색엔진이 건네준 최신 문서 대신 낡은 학습 지식으로 답하려는 경향을 보인다. 이건수 대표는 이 문제를 해결하기 위해 "학습한 지식은 잊고 내가 주는 정보 안에서만 정확하게 대답하라"는 식의 하네스 엔지니어링(harness engineering)을 강도 높게 진행했다고 소개했다. 모델이 주어진 근거 문서 밖으로 벗어나지 못하도록 실행 환경 차원에서 고삐를 채우는 작업이다.
최신 문서를 정확히 찾아오는 검색 품질도 관건이었다. 다음은 전통적인 키워드 검색과 벡터 서치(vector search)를 조합한 하이브리드 서치(hybrid search)로 가장 관련성 높은 최신 문서를 골라내는 실험을 거듭했고, 이를 통해 요약 품질을 끌어올렸다고 밝혔다.
토크노믹스란 무엇인가…왜 토큰 비용이 승부처인가
토크노믹스는 AI 모델이 입출력하는 텍스트 단위인 토큰(token)의 생산 비용과 경제성을 뜻하는 말이다. AI 요약 같은 서비스는 이용자가 늘수록 토큰 처리량이 기하급수적으로 늘어난다. 칩 구매 가격부터 전력 사용량까지 포함한 총소유비용(TCO)을 처리량으로 나눈 값, 즉 토큰 하나를 만드는 데 드는 비용이 서비스의 수익성을 결정한다.
백준호 퓨리오사AI 대표는 H200과 대등한 성능을 내는 조건에서 RNGD가 어느 정도의 절감 효과를 내느냐는 질문에 "적게는 50%에서 많게는 1.5배에서 2배 정도의 전체적인 비용을 절감할 수 있다"고 답했다. 그는 현재 확인한 절감 효과가 최소 1.5배 수준이며, 최적화를 통해 토큰 가격을 절반 이하로 떨어뜨리는 것이 목표라고 덧붙였다.
수요 쪽 숫자도 만만치 않다. 김성훈 업스테이지 대표는 다음과의 협력으로 솔라의 토큰 처리량이 빠르게 늘고 있으며, 하루 수십억 개 규모에서 출발해 2027년에는 조 단위까지 확대하는 그림을 그리고 있다고 밝혔다. 업스테이지 역시 엔비디아 GPU 구매에 상당한 비용을 지출하고 있는 만큼, 토큰 단가를 낮추는 선택지가 절실하다는 취지다.
여기서 주목할 대목은 이날 대담의 논조다. 세 대표는 국산 칩과 국산 모델의 결합을 강조하면서도 GPU를 배척하지 않았다. 업스테이지는 지금도 엔비디아 GPU를 대량 구매해 쓰고 있고, RNGD는 그 옆에서 추론 워크로드의 비용 효율을 높이는 또 하나의 선택지로 자리를 잡겠다는 것이다. 백 대표가 공급망 다변화와 국제 정세를 언급한 것도 대체가 아닌 위험 분산의 맥락이었다. 미·중 기술 갈등 속에서 특정 벤더에 전적으로 의존하는 AI 인프라의 리스크를 줄이는 카드로 국산 NPU를 제시한 셈이다.

RNGD는 어떻게 H200과 대등한 성능을 냈나
RNGD는 퓨리오사AI가 개발한 2세대 추론 전용 NPU다. TSMC 5나노 공정으로 생산하며 고대역폭메모리(HBM3)를 탑재하고 열설계전력(TDP)을 180W 수준으로 낮춘 것이 특징이다. 퓨리오사AI는 지난 1월 1차 양산 물량 4,000장을 인도받았고, 올해 총 2만 장 규모 양산을 목표로 하고 있다. LG AI연구원, LG유플러스에 이어 삼성SDS가 7월부터 자사 클라우드에 RNGD 기반 서비스형 NPU(NPUaaS)를 도입하는 등 고객군도 늘고 있다.
백준호 대표는 프런티어급 모델을 최적 성능으로 구동하려면 실리콘 설계만으로는 부족하다고 설명했다. AI 연산을 가속하는 하드웨어에 더해, 모델을 가속기에 효율적으로 매핑하는 컴파일러와 다양한 서비스 시나리오를 처리하는 서빙 엔진까지 직접 개발해야 한다는 것이다. 그는 하드웨어와 소프트웨어를 처음부터 함께 설계하는 코디자인(co-design) 방식으로 원천 설계를 새로 했기 때문에, H200보다 전력 효율과 가격 대비 성능이 앞서면서도 대등한 성능을 낼 수 있었다고 강조했다.
대담에서 공개된 RNGD 운영·성능 지표
| 항목 | 내용 |
|---|---|
| 투입 규모 | RNGD 칩 24개, 서버 3개 노드 |
| 처리량 | 하루 약 5억 토큰(다음 AI 요약 기준) |
| 성능 비교 | 실시간 시연에서 엔비디아 H200과 유사한 응답 속도(최적화 진행 중) |
| 비용 절감 | 전체 비용 기준 1.5~2배 절감 확인, 토큰 가격 절반 이하 목표 |
| 공급 능력 | 연말 기준 1만 장 공급 가능(양산 진행 중) |
"쿠다 없이도 됩니까"…온보딩 질문에 내놓은 답
시청자 질문 중에는 엔비디아 생태계를 이길 수 있는지 돌려 묻는 대목도 있었다. 엔비디아에는 쿠다(CUDA) 생태계가 있어 개발자가 자기 모델을 쉽게 올려볼 수 있는데, 퓨리오사AI 칩에 모델을 온보딩하는 일은 얼마나 쉬우냐는 질문이다.
백준호 대표는 오해가 있다며 이렇게 정리했다. 허깅페이스(Hugging Face) 모델 저장소에 올라오는 모델은 쿠다 코드가 아니라 파이토치(PyTorch) 같은 상위 레벨 프레임워크로 기술돼 있다. 이 상위 레벨 모델 정보가 입력으로 들어오면 퓨리오사AI의 소프트웨어 스택이 최적화와 서빙까지 처리하기 때문에, 자사 컴파일러가 지원하는 모델이라면 쿠다 의존성 없이 온보딩할 수 있다는 것이다. 그는 새 모델이 공개되면 출시 당일 지원하는 것을 목표로 대응 속도를 높이고 있다고 덧붙였다.
김성훈 대표가 임베딩 모델 등 추가 모델을 올리고 싶은데 연말까지 1만 장 규모가 필요하다면 공급이 가능하냐고 묻자, 백준호 퓨리오사AI 대표는 "레니게이드 칩은 지금 양산을 성공적으로 진행하고 있기 때문에 1만 장 충분히 공급해 드리겠다"고 답했다.
온프레미스 환경에 대한 질문도 이어졌다. 백 대표는 온프레미스일수록 요구 처리량이 상대적으로 적어 대규모 처리량에 최적화된 GPU가 오히려 과한 솔루션이 될 수 있다고 짚었다. 구축 비용이 적게 들면서 개별 사용자 수준의 성능을 확보한 RNGD가 온프레미스에서 더 강점을 드러낼 수 있다는 주장이다. 클라우드에 데이터를 올리기 어려운 기업의 AI 전환(AX) 수요를 겨냥한 포석으로 읽힌다.
검색어 1위가 '삼성전자 주가'…1인 1 에이전트의 밑그림
향후 계획에서 가장 눈길을 끈 대목은 다음의 에이전트 구상이다. 이건수 대표는 AI 요약을 쇼핑, 맛집 등 버티컬 영역으로 깊게 확장한 뒤, 궁극적으로 다음 이용자에게 '1인 1 에이전트'를 보급하겠다고 밝혔다.
그가 든 사례가 흥미롭다. 다음이 실시간 트렌드 서비스를 재개한 뒤 검색어 1위에 오른 것은 연예인도, 사건 사고도 아닌 '삼성전자 주가'였다. 유튜브나 다른 사이트로 이동하기 위한 경유지 검색이 아니라, 수많은 이용자가 매일 반복하는 정보 확인 행위가 검색의 중심에 있다는 뜻이다. 이 대표는 삼성전자 주식을 보유한 이용자가 매일 주가와 IR, 경쟁사 동향을 일일이 검색하는 대신, 다음이 보유한 뉴스를 기반으로 에이전트가 매일 아침 요약해 배달하는 서비스를 예로 들었다. 검색하지 않아도 정보가 먼저 도착하는 구조로의 전환이다.
이용자 참여도 요청했다. AI 요약 결과에는 업보트·다운보트 버튼이 붙어 있는데, 만족스럽지 않은 요약에 과감하게 다운보트를 눌러 주면 품질 개선에 큰 도움이 된다는 설명이다.
팩트 시트
- 행사: 업스테이지·퓨리오사AI·AXZ 3사 대표 온라인 대담(2026년 7월 15일 오전 10시, 생중계)
- 참석자: 김성훈 업스테이지 대표, 백준호 퓨리오사AI 대표, 이건수 AXZ 대표
- 협력 구조: 퓨리오사AI RNGD(NPU) → 업스테이지 솔라(LLM) → 다음 AI 요약(서비스)
- 운영 현황: RNGD 칩 24개·서버 3개 노드, 하루 약 5억 토큰 처리
- AI 요약: 7월 1일 베타 출시, 이슈·금융·엔터·건강·사전·일상 6개 영역, 전체 질의 대비 약 20% 노출
- RNGD: TSMC 5나노, HBM3 탑재, TDP 180W, 1월 4,000장 1차 양산, 연간 2만 장 목표
- 향후 계획: AI 요약 노출 50% 이상 확대, 버티컬 확장, 연내 대화형 'AI 모드' 출시, 1인 1 에이전트, 솔라 후속 모델 내달 공개 예정
이날 대담은 소버린 AI 논의의 무게중심이 선언에서 운영 지표로 옮겨가고 있음을 보여줬다. 칩 24개, 하루 5억 토큰, 비용 1.5~2배 절감이라는 숫자는 앞으로 노출 비중 50%, 하루 수백억 토큰, 칩 1만 장이라는 다음 단계의 숫자로 검증받게 된다. 국산 NPU와 국산 LLM의 결합이 GPU 일변도의 AI 인프라 시장에서 실질적인 선택지가 될 수 있을지는, 결국 이 토큰 단가 곡선이 얼마나 가파르게 떨어지느냐에 달렸다.
김성훈 업스테이지 대표는 대담을 마무리하며 "다음에 와서 AI 요약을 사용해 주시면 그게 솔라를 사용하는 것이고 우리 NPU를 사용하는 것"이라며 "많은 사용이 더 좋은 품질로, 더 좋은 품질이 더 많은 사용으로 이어지는 선순환을 만들겠다"고 말했다.
사용량이 품질을 끌어올리고 품질이 다시 사용량을 부르는 선순환이 만들어진다면, 이번 실증은 한국 AI 생태계가 처음으로 확보한 수직 계열화 성공 사례로 기록될 수 있다. 반대로 토큰 단가 절감이 목표에 미치지 못하면, 소버린 AI는 다시 정책 구호로 되돌아갈 수밖에 없다. 시험대는 이미 가동중이다.
업스테이지·AXZ·퓨리오사AI 3사 대표 대담, 이런 점이 궁금하셨나요? (FAQ)
Q1. 다음 'AI 요약'과 구글 'AI 오버뷰'는 무엇이 다른가?
기본 구조는 유사하다. 검색엔진이 문서를 찾고 LLM이 요약한다. 다음은 언론사 제휴 뉴스와 카페·티스토리 문서 색인을 바탕으로 한 실시간성을 차별점으로 내세운다. 여기에 국산 LLM(솔라)과 국산 NPU(RNGD)로 전체 스택을 구성했다는 점이 구조적 차이다.
Q2. RNGD가 엔비디아 H200을 대체할 수 있다는 뜻인가?
그렇지 않다. 업스테이지도 여전히 엔비디아 GPU를 대량 사용한다. RNGD는 추론 워크로드에서 토큰 비용을 낮추는 선택지이자 공급망 다변화 수단으로 제시됐다. 학습용 인프라까지 포함한 전면 대체 주장은 이날 나오지 않았다.
Q3. 비용 절감 1.5~2배는 어떻게 계산한 수치인가?
칩 구매 가격과 전력 사용량 등을 포함한 총소유비용(TCO)을 토큰 처리량으로 나눈 값을 기준으로 한다. 퓨리오사AI는 현재 최소 1.5배 수준의 절감 효과를 확인했고, 최적화를 통해 토큰 가격을 절반 이하로 낮추는 것이 목표라고 밝혔다.
Q4. 다른 기업도 자기 모델을 RNGD에 올릴 수 있나?
허깅페이스 저장소의 모델 가중치처럼 파이토치 등 상위 레벨 프레임워크로 기술된 모델이라면, 퓨리오사AI의 컴파일러와 소프트웨어 스택이 지원하는 한 쿠다 의존성 없이 온보딩할 수 있다는 것이 회사 측 설명이다. 신규 모델은 출시 당일 지원을 목표로 한다.
Q5. '1인 1 에이전트'는 언제 어떤 형태로 나오나?
출시 시점은 공개하지 않았다. 이건수 대표는 보유 주식의 주가·공시·경쟁사 동향을 매일 아침 요약해 배달하는 에이전트를 예시로 들며, 검색하지 않아도 정보가 먼저 도착하는 서비스를 준비 중이라고 밝혔다. 다음은 이에 앞서 연내 통합검색을 대화형 AI로 전환하는 'AI 모드'를 출시할 예정이다.
[테크수다 기자 도안구 eyeball@techsuda.com]
"500 Million Tokens a Day, at Half the Cost": Daum's AI Summary Running on a Korean NPU Puts Tokenomics to the Test
CEOs of Upstage, FuriosaAI, and AXZ hold joint talk; 24 RNGD chips demonstrate performance on par with NVIDIA H200 — "10,000 chips available by year-end"
▶ Key Takeaways
- Tokenomics: As AI services scale, token processing costs determine profitability. FuriosaAI says its RNGD NPU cuts total costs by 1.5 to 2 times compared with GPUs, with a goal of driving token prices below half through further optimization.
- Full-stack proof: The three companies unveiled a case in which a Korean NPU (FuriosaAI RNGD) runs a Korean LLM (Upstage Solar) to power Daum's live "AI Summary" (AI Overview) service. Twenty-four RNGD chips across three server nodes process roughly 500 million tokens per day.
- Expansion roadmap: Daum plans to raise AI Summary's exposure from about 20% of search queries to more than half, expand into verticals such as shopping and dining, and build toward "one agent per user." FuriosaAI said it can supply 10,000 chips by year-end.
[TechSuda reporter Toh Ahnku, eyeball@techsuda.com] A Korean AI chip runs a Korean AI model, and the output appears in real time on a search page used by millions every day. "Full-stack sovereign AI," long a talking point, has stepped onto the witness stand of a commercial service — judged by throughput and cost.
The CEOs of Upstage, FuriosaAI, and AXZ (the operator of portal Daum) held a live-streamed talk on the morning of July 15, unveiling a collaboration that combines FuriosaAI's inference NPU RNGD, Upstage's large language model (LLM) Solar, and Daum Search's AI Summary (AI Overview) service. Sung Kim, CEO of Upstage; June Paik, CEO of FuriosaAI; and Keonsu Lee, CEO of AXZ, took part.
June Paik, CEO of FuriosaAI, said 24 RNGD chips deployed across three server nodes currently accelerate the Solar model behind Daum's AI Summary, processing roughly 500 million tokens per day. A live demonstration during the session showed RNGD delivering response speeds comparable to NVIDIA's H200 GPU side by side. Because optimization is still under way, FuriosaAI expects performance to climb further.
The core message of the talk was aimed not at patriotism but at the calculator. The conversation centered on whether a Korean NPU can prove its economics against GPUs in tokenomics — the cost of producing tokens, which balloons as AI services grow.
What Is AI Summary (AI Overview)?
AI Summary works in two steps: when a user types a query into the Daum search bar, the search engine first retrieves relevant documents, and the Solar LLM then reads and distills them into a concise answer displayed at the top of the results. Information that once required clicking through a stack of links now arrives pre-read and summarized by AI. Daum launched the beta on July 1 across six categories close to daily life — issues (real-time trends), finance, entertainment, health, dictionary, and everyday topics — and plans to broaden coverage and release the full version within the year.
Keonsu Lee, CEO of AXZ, said AI Summary currently appears on about 20% of all search queries, and the company is preparing to push exposure past the halfway mark. The service is also the first large-scale application of Upstage's own AI model to a mass-market service since Upstage acquired AXZ in May.
Asked how Daum differs from similar offerings such as Google's AI Overviews and Naver's AI Briefing, Lee pointed to freshness. Daum indexes documents from partnered news outlets as well as its Cafe and Tistory platforms, and has specialized in surfacing the newest information among them. "We are differentiating around a system built to deliver the freshest information the fastest," said Keonsu Lee, CEO of AXZ. For queries like real-time trending searches, he noted, documents even a few hours old lose their value — summaries cannot be built on stale sources.
Taming Hallucination: "Intensive Harness Engineering"
The hardest problem in real-time AI search is hallucination. An LLM carries knowledge baked in during pretraining, and it tends to answer from that stale memory rather than from the fresh documents the search engine hands over. Lee said the team tackled this through intensive harness engineering — constraining the model at the execution layer with directives along the lines of "set aside what you learned in training and answer strictly from the information I give you." The harness keeps the model from wandering outside its supplied evidence.
Retrieval quality mattered just as much. Daum combined traditional keyword search with vector search in a hybrid search architecture, running repeated experiments to surface the most relevant and most recent documents — a process the company credits for the summary quality it now guarantees.
What Is Tokenomics — and Why Token Cost Is the Battleground
Tokenomics refers to the economics of producing tokens, the units of text an AI model reads and writes. For a service like AI Summary, token volume grows explosively with usage. Profitability comes down to total cost of ownership (TCO) — chip purchase prices, power consumption, and everything in between — divided by throughput: in other words, the cost of producing a single token.
Asked what savings RNGD delivers while matching the H200's performance, June Paik, CEO of FuriosaAI, said, "We can cut total costs by anywhere from 50 percent to a factor of 1.5 to 2." He added that the company has confirmed savings of at least 1.5x so far, and that its target is to push token prices below half through ongoing optimization.
The demand side is racing ahead as well. Sung Kim, CEO of Upstage, said Solar's token volume is climbing rapidly through the Daum partnership — starting at billions of tokens per day and aiming for the trillion-token scale next year. Upstage itself spends heavily on NVIDIA GPUs, he noted, which makes a cheaper token pipeline a pressing need.
What stood out was the tone. While championing the pairing of a Korean chip and a Korean model, none of the three CEOs dismissed GPUs. Upstage continues to buy NVIDIA hardware in volume; RNGD positions itself alongside it as an additional option that improves the cost efficiency of inference workloads. When Paik raised supply chains and geopolitics, the framing was risk diversification, not replacement — presenting a domestic NPU as a hedge against AI infrastructure that depends entirely on a single vendor amid U.S.-China technology tensions.
How RNGD Matched the H200
RNGD is FuriosaAI's second-generation inference-dedicated NPU. Manufactured on TSMC's 5-nanometer process, it carries high-bandwidth memory (HBM3) while holding thermal design power (TDP) to around 180W. FuriosaAI took delivery of its first production run of 4,000 units in January and is targeting 20,000 units this year. Its customer base is widening: after LG AI Research and LG Uplus, Samsung SDS begins offering RNGD-based NPU-as-a-Service on its cloud in July.
Paik explained that running frontier-class models at peak efficiency takes far more than silicon design. On top of the hardware accelerator, the company had to build a compiler that maps models efficiently onto the chip and a serving engine that handles diverse service scenarios. Because FuriosaAI co-designed hardware and software from scratch under a new architectural paradigm, he said, RNGD achieves performance on par with the H200 while leading on power efficiency and price-performance.
RNGD Operating and Performance Figures Disclosed at the Talk
| Item | Details |
|---|---|
| Deployment | 24 RNGD chips, 3 server nodes |
| Throughput | ~500 million tokens/day (Daum AI Summary) |
| Performance | Response speed comparable to NVIDIA H200 in live demo (optimization ongoing) |
| Cost savings | 1.5–2x reduction in total cost confirmed; targeting token prices below half |
| Supply capacity | 10,000 chips available by year-end (mass production under way) |
"Does It Work Without CUDA?" — The Onboarding Question
One viewer question cut close to the bone: NVIDIA has the CUDA ecosystem, which lets developers spin up their own models with ease — how easy is it to onboard a model onto a FuriosaAI chip?
Paik called it a common misconception and laid out the answer. Models published to repositories such as Hugging Face are described not in CUDA code but in high-level frameworks like PyTorch. When that high-level model description comes in as input, FuriosaAI's software stack handles optimization through serving end to end — meaning any model its compiler supports can be onboarded without CUDA dependency. He added that the company now aims to support newly released models on launch day.
When Sung Kim asked whether FuriosaAI could supply roughly 10,000 units by year-end — Upstage wants to bring additional models, including embedding models, onto the chip — June Paik, CEO of FuriosaAI, replied, "RNGD is in successful mass production right now, so we can absolutely supply 10,000 units."
On-premises deployment drew questions as well. Paik argued that on-premises environments demand relatively modest throughput, which can make GPUs — optimized for massive-scale serving — an oversized solution. RNGD, with lower build-out costs and solid per-user performance, may show its advantages most clearly there, he said. The pitch targets AI transformation (AX) demand from enterprises that cannot move their data to the cloud.
The Top Search Term Is "Samsung Electronics Stock Price" — Sketching One Agent per User
The most eye-catching part of the roadmap was Daum's agent plan. Lee said Daum will push AI Summary deeper into verticals such as shopping and dining, and ultimately aims to put an agent in the hands of every Daum user — "one agent per user."
His illustration was telling. After Daum revived its real-time trends service, the top search term turned out to be neither a celebrity nor a breaking incident but "Samsung Electronics stock price." Search, in other words, is no longer dominated by way-station queries en route to YouTube or other sites; it is anchored by information rituals that millions repeat daily. Lee described an agent that would spare a Samsung shareholder the daily loop of checking the stock price, investor relations updates, and competitors' moves — instead compiling a morning digest from Daum's news assets and delivering it before the user ever searches. It is a shift from searching for information to information arriving first.
He also asked users to weigh in. Every AI Summary carries upvote and downvote buttons, and candid downvotes on unsatisfying summaries, he said, are a major help in improving quality.
Outlook: Sovereign AI, Audited in Numbers
The talk showed the center of gravity in sovereign AI shifting from declarations to operating metrics. Today's numbers — 24 chips, 500 million tokens a day, 1.5–2x cost savings — will be audited against tomorrow's: 50% exposure, tens of billions of tokens daily, 10,000 chips. Whether the pairing of a Korean NPU and a Korean LLM becomes a genuine alternative in a GPU-dominated AI infrastructure market depends, in the end, on how steeply that token-cost curve falls.
Closing the session, Sung Kim, CEO of Upstage, said, "When you use AI Summary on Daum, you are using Solar, and you are using our NPU — we will build a virtuous cycle where heavy usage drives better quality, and better quality drives heavier usage." If that flywheel spins up, this deployment may be remembered as Korea's first vertically integrated AI success story. If token costs fall short of target, sovereign AI slides back into the realm of policy slogans. Either way, the test bench is already running.
Frequently Asked Questions (FAQ)
Q1. How does Daum's AI Summary differ from Google's AI Overviews?
The basic architecture is similar: a search engine retrieves documents and an LLM summarizes them. Daum stakes its differentiation on freshness, drawing on indexed news from partnered outlets plus Cafe and Tistory content. The structural difference is the stack itself — a Korean LLM (Solar) running on a Korean NPU (RNGD) end to end.
Q2. Does this mean RNGD can replace the NVIDIA H200?
No. Upstage still uses NVIDIA GPUs at scale. RNGD was presented as an option that lowers token costs for inference workloads and diversifies the supply chain. No claim of wholesale replacement — including training infrastructure — was made at the talk.
Q3. How is the 1.5–2x cost saving calculated?
It is based on total cost of ownership (TCO) — including chip purchase prices and power consumption — divided by token throughput. FuriosaAI says it has confirmed savings of at least 1.5x so far and aims to cut token prices below half through optimization.
Q4. Can other companies run their own models on RNGD?
According to FuriosaAI, any model described in a high-level framework such as PyTorch — like the weights hosted on Hugging Face — can be onboarded without CUDA dependency, as long as the company's compiler and software stack support it. The company targets launch-day support for newly released models.
Q5. When and in what form will "one agent per user" arrive?
No launch date was given. Lee offered the example of an agent that compiles a daily morning digest of a user's stock holdings — prices, disclosures, competitor news — so that information arrives before the user searches. Ahead of that, Daum plans to launch "AI Mode," converting unified search into a conversational AI experience, within the year.
By Toh Ahnku eyeball@techsuda.com
* 이 기사를 작성할 때 AI를 활용했다. 영어 기사는 AI로 번역했다.
테크가 전 산업 영역에 스며드는 소식에 관심이 많다. 1999년 정보시대 PCWEEK 테크 전문지 기자로 입문한 후 월간 텔레닷컴, 인터넷 미디어 블로터닷넷 창간 멤버로 활동했다. 개발자 잡지 마이크로소프트웨어 편집장을 거쳐 테크수다를 창간해 지금까지 활동하고 있다. 태블릿을 가지고 얼굴이 꽉 찬 방송, 스마트폰을 활용한 현장 라이브를 한국 최초로 진행했다.