Eleven Realtime이란? ElevenLabs의 실시간 음성 AI 기능과 Mini 및 Max의 차이점

안녕하세요, Hoda입니다!

2026년 10월, ElevenLabs는 새로운 실시간 음성 AI 모델인 “Eleven Realtime”을 발표했습니다.

Eleven Realtime은 사용자의 음성을 듣고, 내용을 이해하며, 즉석에서 생각하여 음성으로 답변하는 “음성 에이전트(Voice Agent)“를 구축하기 위한 음성 대 음성(Speech-to-Speech) 모델입니다.

이름만 들으면 “ElevenLabs의 음성 생성 기능이 단순히 더 빨라진 것인가?” 하고 의문이 드실 수도 있습니다. 하지만 실제로는 훨씬 더 큰 업데이트입니다.

Eleven Realtime의 핵심 특징은 음성 인식, 대화 턴(발화 교대) 감지, LLM, 음성 생성을 하나의 시스템으로 최적화했다는 점입니다.

즉, 이제 다음과 같이 작동하는 실시간 음성 AI를 그 어느 때보다 쉽게 구축할 수 있습니다.

사용자 발화 → AI가 청취 → 내용 이해 → 필요시 도구 사용 → AI가 자연스러운 목소리로 답변

Eleven Realtime이란?

Eleven Realtime은 ElevenLabs가 제공하는 실시간 음성 에이전트용 모델 시리즈입니다.

지금까지는 자연스러운 AI 음성 에이전트를 구축하려면 여러 기술을 조합해야 했습니다.

예를 들면 다음과 같습니다.

• 음성 인식을 위한 STT(Speech-to-Text)
• 음성 감지를 위한 VAD(Voice Activity Detection)
• 사용자가 발화를 마쳤는지 판단하는 턴테이킹(Turn-taking)
• 답변을 생성하는 LLM
• 음성 생성을 위한 TTS(Text-to-Speech)

각 모델을 개별적으로 선택하고 설정할 수 있었지만, 이로 인해 “AI가 답변을 시작하는 데 시간이 오래 걸림”, “사용자의 말을 가로챔”, “중간에 끼어들었을 때 부자연스럽게 행동함” 등의 문제가 발생하곤 했습니다.

Eleven Realtime은 이 모든 과정을 음성 대화를 위한 단일 시스템으로 처음부터 최적화합니다.

Eleven Realtime으로 무엇을 할 수 있나요?

구체적으로 Eleven Realtime을 사용하면 다음과 같은 종류의 AI를 구축할 수 있습니다.

실시간으로 AI와 음성 대화하기

가장 기본적인 활용 사례는 ChatGPT의 음성 대화 기능과 같은 실시간 AI 어시스턴트입니다.

사용자가 마이크에 대고 이야기하면, AI가 음성을 이해하고 음성으로 답변합니다.

순수한 “질문 → 답변” 패턴만 반복하는 것이 아니라 다음 요소들도 고려합니다.

• 짧은 추임새 및 맞장구
• 대화 중의 멈춤(Pauses)
• 사용자의 끼어들기(Interruptions)
• 빠른 속도의 양방향 대화 교환

이를 통해 “오디오 녹음 후 전송 → 전사 → AI 답변 → 음성 생성”이라는 기존 방식에 비해 사람 간의 대화에 훨씬 가까운 경험을 쉽게 구현할 수 있습니다.

AI 튜터 및 어학 학습 서비스 구축

ElevenLabs는 v1 Mini의 전형적인 활용 사례로 AI 튜터를 꼽습니다.

예를 들어, 영어 회화 서비스에서 사용자가 AI에게 다음과 같이 말하면,

“오늘 여행에서 쓸 영어 회화를 연습하고 싶어요”

사용자는 AI 선생님과 영어로 대화를 이어 나갈 수 있습니다.

다음 분야에도 적용할 수 있습니다.

• 발음 연습
• 질문 답변
• 롤플레잉
• 어린이 학습
• 면접 연습
• 프레젠테이션 연습

Eleven Realtime은 90개 이상의 언어를 지원하므로 다국어 서비스에도 활용할 수 있습니다.

게임 및 앱용 AI 캐릭터 구축

게임이나 앱 내 캐릭터와 사용자가 그 자리에서 직접 대화하도록 만드는 데에도 사용할 수 있습니다.

예를 들어 사용자가 NPC에게 다음과 같이 물어보면,

“이 마을에서 무기는 어디서 살 수 있나요?”

캐릭터가 자신의 성격과 게임의 세계관에 맞춰 목소리로 답변합니다.

ElevenLabs는 1만 7천 개 이상의 음성 라이브러리를 보유하고 있으며, Realtime 모델에서도 이러한 음성을 그대로 사용할 수 있습니다.

따라서 매번 똑같은 “AI스러운” 목소리가 아니라, 서비스나 캐릭터에 딱 맞는 음성을 선택할 수 있습니다.

AI 고객 지원(Customer Support) 구축

Eleven Realtime v1 Max는 더 복잡한 작업을 수반하는 고객 지원에도 매우 적합합니다.

예를 들어 AI가 다음과 같은 문의를 접수했을 때,

“주문한 상품이 아직 도착하지 않았어요”

대화를 나누며 다음 단계를 수행할 수 있습니다.

1. 사용자에게 주문 번호 요청
2. 주문 관리 시스템 검색
3. 배송 상태 확인
4. 사용자에게 상태 설명

핵심은 단순히 질문에 답변하는 것에 그치지 않고, 도구 호출(Tool Calling)을 사용하여 외부 서비스에서 정보를 가져오고 작업을 수행할 수 있다는 점입니다.

리드 자격 심사(Lead Qualification) 자동화

영업 분야에서는 리드(잠재 고객) 자격 심사에 활용할 수 있습니다.

예를 들어 전화나 웹을 통해 AI가 다음과 같이 묻습니다.

“어떤 종류의 서비스를 찾고 계신가요?”

“회원사 규모는 대략 어느 정도인가요?”

“도입은 언제쯤 계획하고 계신가요?”

그리고 답변에 따라 다음 질문을 변경합니다.

기준을 충족하는 리드만 영업 담당자에게 연결해 주는 시스템을 구축할 수도 있습니다.

전화, 웹사이트, WhatsApp에서 활용하기

ElevenAgents를 통해 구축한 AI 에이전트를 여러 채널에 배포할 수 있습니다.

예를 들면 다음과 같습니다.

• 웹사이트
• 전화
• WhatsApp
• 컨택 센터
• 웹 위젯

또한 ElevenAgents는 지식 베이스(Knowledge Base), 가드레일, 테스트, 모니터링 등의 기능도 함께 제공합니다.

따라서 본격적인 고객 지원이나 전화 응대 시스템을 구축하고 싶다면, Realtime API를 직접 사용하는 것보다 ElevenAgents로 시작하는 것이 더 쉽습니다.

Eleven Realtime v1 Mini와 v1 Max의 차이점

Eleven Realtime은 현재 두 가지 모델로 제공됩니다.

기본적으로는 v1 Mini로 시작하는 것이 가장 좋습니다.

ElevenLabs 측에서도 대부분의 일반적인 용도에는 Mini만으로도 충분하다고 밝히고 있습니다.

반면에 v1 Max는 다음과 같은 용도에 더 적합합니다.

• AI가 복잡한 지시사항을 이해해야 할 때
• 다단계 프로세스를 실행해야 할 때
• 외부 도구를 자주 사용할 때
• 정확도가 중요한 고객 지원 업무

Mini와 Max 성능 비교

ElevenLabs가 공개한 벤치마크를 보면 각 모델의 강점이 꽤 명확하게 나타납니다.

흥미로운 점은 Mini 역시 대화 자체의 자연스러움 측면에서는 매우 강력하다는 것입니다.

Full-Duplex-Bench는 멈춤, 끼어들기, 턴테이킹, 추임새 등 대화의 요소를 평가하는 벤치마크인데, 여기서 Mini는 95.8점을 기록했습니다.

반면 오디오를 통한 추론 능력을 측정하는 Big Bench Audio에서는 Max가 98.8%, Mini가 75.9%를 기록했습니다.

도구 호출(Tool Calling)을 사용하는 작업의 성공률 역시 큰 차이를 보입니다.

• Mini: 60.3%
• Max: 87.1%

따라서 다음과 같이 이해하시면 가장 쉽습니다.

자연스러운 대화를 원한다면 Mini, 업무 처리를 시키고 싶다면 Max

ElevenAgents를 사용하면 모델만 선택하면 됩니다

Eleven Realtime을 가장 쉽게 사용하는 방법은 ElevenAgents를 이용하는 것입니다.

기존의 커스텀(Custom) 모드에서는 다음 항목들을 개별적으로 설정해야 했습니다.

• LLM
• STT (Speech to Text)
• TTS (Text to Speech)
• 추론 설정

Realtime 모드에서는 “Eleven Realtime v1 Mini” 또는 “Eleven Realtime v1 Max”를 선택하기만 하면 ElevenLabs가 핵심 음성 AI 컴포넌트를 알아서 관리해 줍니다.

동시에 다음 설정들은 여전히 자유롭게 조정할 수 있습니다.

• 시스템 프롬프트
• 첫 인사말
• 음성(Voice)
• 언어
• 도구(Tools)
• 지식 베이스
• 대화 흐름
• 끼어들기(Interruption) 설정

즉, 복잡한 AI 모델 조합을 고민할 필요 없이 에이전트가 수행해야 할 업무에 더 집중할 수 있게 됩니다.

OpenAI Realtime API와의 호환성

개발자 관점에서 가장 큰 특징은 OpenAI Realtime API와의 호환성입니다.

Eleven Realtime은 OpenAI Realtime API와 동일한 이벤트 구조 및 WebSocket 방식을 사용합니다.

따라서 이미 OpenAI Realtime API로 앱을 구축했다면 완전히 다른 SDK로 전환할 필요가 없습니다.

기본적으로 다음과 같은 항목만 변경하여 사용할 수 있습니다.

• 연결할 엔드포인트
• 사용할 모델

이를 ElevenLabs 용으로 교체하면 됩니다.

예를 들어, 다음과 같은 모델을 지정합니다.

eleven_realtime_v1_mini

또는:

eleven_realtime_v1_max

즉, 오디오 처리 부분만 ElevenLabs로 교체하면서 기존의 OpenAI Realtime SDK를 계속 활용할 수 있습니다.

이미 OpenAI Realtime API로 음성 앱을 개발 중인 개발자분들이라면 비교적 쉽게 테스트해 볼 수 있는 설계라고 생각합니다.

Realtime API는 WebSocket 연결을 사용합니다

한 가지 주의할 점은 연결 방식입니다.

출시 시점 기준으로 Eleven Realtime API는 WebSocket만 지원합니다.

따라서 앱에서 WebRTC를 통해 OpenAI Realtime API를 사용하고 있었다면, 단순히 엔드포인트만 바꾸는 것으로는 안 되며 WebSocket으로 전환해야 합니다.

또한 브라우저에서 직접 연결할 때 ElevenLabs API 키를 프론트엔드에 직접 노출하는 대신, 백엔드에서 수명이 짧은 클라이언트 시크릿(Client Secret)을 발급받아 사용하는 메커니즘이 제공됩니다.

Realtime API와 ElevenAgents는 서로 다릅니다

이 부분 역시 헷갈리기 쉬운 포인트 중 하나입니다.

Eleven Realtime을 사용하는 방법에는 두 가지가 있습니다.

ElevenAgents를 통해 사용하는 방법

그리고

Realtime API를 직접 사용하는 방법

하지만 Realtime API를 통해 연결한다고 해서 ElevenAgents의 모든 기능을 이용할 수 있는 것은 아닙니다.

예를 들어 다음 기능을 사용하고 싶다면,

• 전화
• WhatsApp
• 지식 베이스
• 가드레일
• 테스트
• 모니터링
• 컨택 센터 연동

처음부터 ElevenAgents를 사용하는 편이 훨씬 좋습니다.

반면 Realtime API는 자체 웹 앱이나 서비스에 음성 AI를 직접 임베드하여 구축하려는 개발자에게 더 적합합니다.

Scribe v2 Realtime과의 차이점은 무엇인가요?

ElevenLabs에는 “Scribe v2 Realtime”이라는 서비스도 있어서 이름이 다소 헷갈릴 수 있습니다.

Scribe v2 Realtime은 음성을 실시간으로 텍스트로 변환해 주는 음성 인식(STT) 모델입니다.

예를 들어 다음과 같은 용도에 쓰입니다.

“안녕하세요”라는 음성 입력 → 실시간으로 “안녕하세요”라는 텍스트 획득

반면 Eleven Realtime은 여기서 더 나아갑니다.

“안녕하세요”라는 음성 입력 → 내용 이해 → AI가 답변 생각 → “안녕하세요! 오늘 어떤 것을 도와드릴까요?”라고 목소리로 답변

실시간 자막이나 회의록 작성이 목적이라면 Scribe v2 Realtime을, AI와 대화를 주고받게 만들고 싶다면 Eleven Realtime을 선택한다고 기억하시면 쉽습니다.

실제로 완벽하게 통합된 단일 AI 모델은 아닙니다

“음성 대 음성 모델”이라는 말을 들으면 하나의 거대한 AI 모델이 입력 오디오부터 출력 오디오까지 모든 과정을 직접 처리한다고 생각하기 쉽습니다.

하지만 Eleven Realtime은 완벽하게 융합된 단일 모델은 아닙니다.

내부적으로는 다음과 같은 컴포넌트들을 사용하는 **캐스케이드 아키텍처(Cascaded architecture)**를 채택하고 있습니다.

• 음성 인식 (Speech Recognition)
• 턴테이킹 (Turn Taking)
• LLM
• 음성 생성 (Voice)

그렇지만 이것들이 단순한 개별 서비스로 엉성하게 연결되어 있는 것은 아닙니다. ElevenLabs는 음성 대화 전체에 최적화되도록 이들을 정밀하게 튜닝해 두었습니다.

따라서 사용자 입장에서는 “Realtime 모델 하나만 선택하면 되는” 단순한 형태를 띱니다.

Eleven Realtime의 장단점

Eleven Realtime은 어떤 분에게 적합할까요?

Eleven Realtime은 특히 다음과 같은 서비스를 만들고 싶은 분들에게 적합합니다.

• AI 음성 어시스턴트
• AI 영어 회화 및 교육 서비스
• AI 캐릭터
• AI 고객 지원
• 자동 전화 응대
• 리드 생성 및 영업 자격 심사
• AI 예약 접수
• 음성 지원 웹 앱
• 음성 지원 SaaS

지금까지 음성 AI를 구축하려면 STT, LLM, TTS를 따로 선택해 연결한 뒤, 대화 타이밍까지 일일이 튜닝해야 했습니다.

Eleven Realtime을 사용하면 이러한 복잡한 부분은 ElevenLabs에 맡겨둘 수 있습니다.

요약

Eleven Realtime은 ElevenLabs가 2026년 10월에 발표한 실시간 음성 에이전트용 신규 모델 시리즈입니다.

단순한 음성 생성 모델이 아닙니다. 음성 대화에 필요한 처리 과정을 하나의 시스템으로 최적화했다는 점이 가장 큰 특징입니다.

음성 인식 → 턴 감지 → LLM → 음성 생성

현재 두 가지 모델이 제공됩니다.

• Eleven Realtime v1 Mini: 자연스럽고 빠른 대화용
• Eleven Realtime v1 Max: 복잡한 추론 및 도구 호출(Tool Calling)용

특히 흥미로운 점은 ElevenAgents를 이용하면 세부적인 AI 모델을 일일이 고를 필요 없이, Realtime 모델을 선택하는 것만으로 음성 에이전트를 구축할 수 있다는 것입니다.

OpenAI Realtime API와도 호환되므로, 이미 실시간 음성 AI를 구축하고 계신 분들에게도 쉽게 시도해 볼 수 있는 선택지가 될 것입니다.

단순히 AI가 텍스트를 생성하는 것을 넘어, 서비스 안에 자연스러운 AI와의 대화를 녹여내고 싶다면 주목해 봐야 할 ElevenLabs의 기능입니다.