일레븐랩스, 음성 대 음성 모델 '일레븐 리얼타임' 공개

[테크수다 기자 도안구 eyeball@techsuda.com] 일레븐랩스(ElevenLabs)가 음성 에이전트를 위한 새로운 음성 대 음성(STS) 모델 일레븐 리얼타임(Eleven Realtime)을 공개했다. 일레븐랩스는 빠르고 자연스러운 대화에 최적화된 일레븐 리얼타임 v1 미니(Eleven Realtime v1 Mini)와 복잡한 작업에 최적화된 일레븐 리얼타임 v1 맥스(Eleven Realtime v1 Max) 두 가지 모델로 구성했다고 2026년 11월 3일 밝혔다. 두 모델 모두 한국어와 일본어를 포함한 90개 이상 언어를 지원한다. 음성-채팅 에이전트 플랫폼 일레븐 에이전트(Eleven Agents)와 리얼타임 API(Realtime API)를 통해 제공한다.

주요 내용:

모델 구성: 빠른 대화용 v1 미니, 복잡한 작업용 v1 맥스 — 모델 선택만으로 음성 에이전트 구축 가능
언어·목소리: 한국어·일본어 포함 90개 이상 언어 지원, 17,000개 이상 보이스 라이브러리에서 목소리 선택 가능
성능: v1 맥스 빅 벤치 오디오(Big Bench Audio) 정답률 98.8%, 답변 시작까지 0.57초 — 아티피셜 애널리스(Artificial Analysis) 2026년 10월 평가 기준

일레븐랩스 일레븐 리얼타임

지금까지 자연스럽게 대화하는 음성 에이전트를 구축하려면 음성 인식, 발화 구간 감지, 대화 차례 전환(턴테이킹), 대규모 언어 모델(LLM), 음성 합성 등 각 구성 요소를 개별적으로 선택하고 조합해 조정해야 했다. 일레븐 리얼타임은 이러한 구성 요소를 하나의 시스템으로 조정한 음성 에이전트 모델이다. 사용자는 각 구성 요소를 개별적으로 설정할 필요 없이 모델을 선택하는 것만으로 음성 에이전트를 구축할 수 있다. 두 모델 모두 자연스러운 대화 차례 전환과 끼어들기에 대한 대응, 도구 호출을 지원한다. 사용자는 모델 선택만 바꾸면 v1 미니와 v1 맥스를 전환할 수 있다.

v1 미니는 빠르고 자연스러운 대화에 최적화된 모델로, AI 어시스턴트, 교육용 튜터, 게임·엔터테인먼트용 인터랙티브 캐릭터 등에 적합하다. v1 맥스는 복잡한 작업에 최적화된 모델로, 정해진 절차에 따라 정보를 조회해야 하는 고객 지원, 잠재 고객을 선별하는 리드 퀄리피케이션, 도구를 호출해 정보를 조회하거나 작업을 수행하는 다단계 업무 등에 적합하다. 두 모델 모두 한국어와 일본어를 포함한 90개 이상 언어를 지원하며, 일레븐랩스 17,000개 이상 보이스 라이브러리에서 원하는 목소리를 선택할 수 있다.

제3자 평가에서 높은 정확도와 응답 속도를 입증했다는 것이 일레븐랩스 설명이다. 제3자 평가 기관 아티피셜 애널리시스 평가(2026년 10월 기준)에 따르면, 일레븐 리얼타임 v1 맥스는 음성 기반 추론 능력을 측정하는 벤치마크 빅 벤치 오디오에서 98.8% 정답률을 기록했다. 질문이 끝난 후 답변을 시작하기까지 걸린 시간은 0.57초였다. 아티피셜 애널리시스 리더보드에서 v1 맥스보다 응답 속도가 빠르면서 동시에 정확도도 높은 모델은 없다는 것이 일레븐랩스 주장이다. 대화 중 침묵, 차례 전환, 끼어들기, 맞장구에 대한 대응을 측정하는 풀 듀플렉스 벤치(Full-Duplex-Bench)에서는 v1 미니가 95.8%, v1 맥스가 94.1%를 기록했다.

일레븐랩스 관계자는 "한국어를 포함한 90개 이상 언어를 지원하는 일레븐 리얼타임을 통해 한국 기업과 개발자가 고객과 자연스럽게 대화하는 음성 에이전트를 구축할 수 있도록 지원해 나갈 계획"이라고 밝혔다.

일레븐 리얼타임 v1 맥스, 성능 표, 응답 시작 시간, 음성 추론, 일레븐랩스 로고

일레븐랩스 일레븐 리얼타임, 이런 점이 궁금하다

Q. 일레븐 리얼타임은 기존 음성 에이전트 구축과 무엇이 다른가?

A. 기존 방식은 음성 인식, 발화 구간 감지, 턴테이킹, 대규모 언어 모델, 음성 합성 등 구성 요소를 개별적으로 선택하고 조합해 조정해야 했다. 일레븐 리얼타임은 이를 하나의 시스템으로 조정해 모델 선택만으로 음성 에이전트를 구축할 수 있다는 것이 일레븐랩스 설명이다.

Q. v1 미니와 v1 맥스는 어떻게 고르면 되는가?

A. 빠르고 자연스러운 대화가 중심이면 v1 미니, 정해진 절차에 따라 정보를 조회하거나 도구를 호출하는 다단계 업무가 중심이면 v1 맥스가 방향이다. 모델 선택만 바꾸면 전환할 수 있다.

Q. 리얼타임 API는 기존 오픈AI 리얼타임 API 사용자에게 어떤 의미인가?

A. 리얼타임 API는 오픈AI(OpenAI) 리얼타임 API와 호환되며, 웹소켓(WebSocket)으로 연결된다. 이미 오픈AI 리얼타임 API를 사용 중인 개발자는 기존 코드 연결 대상과 모델 이름만 변경하면 일레븐 리얼타임을 사용해 볼 수 있다는 것이 일레븐랩스 설명이다. 단, 출시 시점에는 웹RTC(WebRTC)를 지원하지 않는다.

[테크수다 기자 도안구 eyeball@techsuda.com]