¿Qué es Eleven Realtime? Lo que la IA de voz en tiempo real de ElevenLabs puede hacer y la diferencia entre Mini y Max

Hola, soy Hoda.

En octubre de 2026, ElevenLabs anunció un nuevo modelo de IA de voz en tiempo real, “Eleven Realtime”.

Eleven Realtime es un modelo de voz a voz diseñado para crear “agentes de voz” que escuchan la voz del usuario, entienden lo que se dice, piensan al instante y responden con voz.

Solo por el nombre, podrías preguntarte: “¿Es esta simplemente una versión más rápida de la generación de voz de ElevenLabs?”. De hecho, es una actualización mucho mayor.

La característica clave de Eleven Realtime es que optimiza el reconocimiento de voz, la detección de turnos en la conversación, el LLM y la generación de voz como un único sistema.

En otras palabras, ahora es más fácil que antes crear una IA de voz en tiempo real que funcione así:

El usuario habla → la IA escucha → comprende el contenido → utiliza herramientas si es necesario → la IA responde con una voz natural

¿Qué es Eleven Realtime?

Eleven Realtime es una serie de modelos para agentes de voz en tiempo real proporcionados por ElevenLabs.

Hasta ahora, construir un agente de voz con IA natural significaba combinar múltiples tecnologías.

Por ejemplo:

• Reconocimiento de voz con conversión de voz a texto
• Detección de voz con VAD (Detección de Actividad de Voz)
• Gestión de turnos, que determina si el usuario ha terminado de hablar
• Un LLM que responde preguntas
• Generación de voz con texto a voz

Podías elegir y configurar cada modelo por separado, pero esto causaba problemas como “la IA tarda en empezar a responder”, “interrumpe al usuario” o “se comporta de forma antinatural cuando la interrumpen”.

Eleven Realtime optimiza todo esto desde el principio como un único sistema para la conversación por voz.

¿Qué puedes hacer con Eleven Realtime?

Específicamente, con Eleven Realtime puedes crear los siguientes tipos de IA.

Hablar con la IA por voz en tiempo real

El uso más básico es un asistente de IA en tiempo real, similar a la conversación por voz en ChatGPT.

Cuando el usuario habla al micrófono, la IA comprende el discurso y responde con voz.

No se limita a repetir un patrón simple de “pregunta → respuesta”. También tiene en cuenta:

• Respuestas breves de apoyo (backchanneling)
• Pausas en la conversación
• Interrupciones del usuario
• Intercambios rápidos de ida y vuelta

Esto facilita crear una experiencia más cercana a una conversación entre personas, en comparación con el enfoque tradicional de “grabar audio y enviarlo → transcribir → respuesta de la IA → generación de voz”.

Crear tutores de IA y servicios de aprendizaje de idiomas

ElevenLabs presenta al tutor de IA como un caso de uso típico para v1 Mini.

Por ejemplo, en un servicio de conversación en inglés, cuando el usuario le dice a la IA:

“Hoy quiero practicar inglés para usarlo en un viaje”,

puede continuar la conversación en inglés con el profesor de IA.

También se puede aplicar a:

• Práctica de pronunciación
• Resolución de preguntas
• Juegos de rol (role-play)
• Aprendizaje para niños
• Práctica de entrevistas
• Práctica de presentaciones

Eleven Realtime es compatible con más de 90 idiomas, por lo que también se puede utilizar para servicios multilingües.

Crear personajes de IA para juegos y aplicaciones

También se puede utilizar para permitir que los usuarios hablen al instante con personajes en juegos y aplicaciones.

Por ejemplo, cuando un usuario le pregunta a un NPC (personaje no jugable):

“¿Dónde puedo comprar armas en este pueblo?”,

el personaje responde con voz en consonancia con su personalidad y el universo del juego.

ElevenLabs cuenta con una biblioteca de voces de más de 17 000 opciones, y puedes usar estas voces también con los modelos Realtime.

Así, en lugar de escuchar la misma voz “con tono de IA” todo el tiempo, puedes elegir una voz que se adapte a tu servicio o personaje.

Crear atención al cliente con IA

Eleven Realtime v1 Max también se adapta muy bien al servicio de atención al cliente, que implica tareas más complejas.

Por ejemplo, cuando la IA recibe una consulta como:

“El artículo que pedí aún no ha llegado”,

puede seguir estos pasos mientras habla:

1. Pedir al usuario el número de pedido
2. Buscar en el sistema de gestión de pedidos
3. Comprobar el estado del envío
4. Explicar el estado al usuario

El punto clave es que no se limita a responder preguntas: al utilizar llamadas a herramientas (Tool Calling), puede recuperar información de servicios externos y llevar a cabo acciones.

Automatizar la cualificación de clientes potenciales

En ventas, se puede utilizar para la cualificación de clientes potenciales (lead qualification).

Por ejemplo, por teléfono o en la web, la IA pregunta:

“¿Qué tipo de servicio estás buscando?”

“¿De qué tamaño es aproximadamente tu empresa?”

“¿Cuándo planeas adoptarlo?”

y cambia la siguiente pregunta dependiendo de las respuestas.

También podrías construir un sistema que transfiera únicamente a los clientes potenciales que cumplan con tus criterios a un comercial.

Usarlo por teléfono, en sitios web y en WhatsApp

Cuando lo utilizas a través de ElevenAgents, puedes implementar el agente de IA que has creado en múltiples canales.

Por ejemplo:

• Sitios web
• Teléfono
• WhatsApp
• Centros de contacto (contact centers)
• Widgets web

ElevenAgents también proporciona una base de conocimientos, barreras de seguridad (guardrails), pruebas, monitoreo y más.

Por lo tanto, si quieres crear un servicio de atención al cliente real o gestión telefónica, empezar con ElevenAgents es más fácil que utilizar la API de Realtime directamente.

Diferencias entre Eleven Realtime v1 Mini y v1 Max

Eleven Realtime cuenta actualmente con dos modelos.

Básicamente, lo mejor es comenzar con v1 Mini.

La propia ElevenLabs afirma que Mini es suficiente para la mayoría de los usos comunes.

Por otro lado, v1 Max se adapta mejor a casos de uso como:

• Cuando necesitas que la IA comprenda instrucciones complejas
• Cuando necesitas que ejecute procesos de varios pasos
• Cuando utiliza herramientas externas con frecuencia
• Atención al cliente donde la precisión es importante

Comparativa de rendimiento entre Mini y Max

En las pruebas comparativas (benchmarks) publicadas por ElevenLabs, los puntos fuertes de cada modelo se muestran con bastante claridad.

Lo interesante es que Mini también es muy sólido en cuanto a la naturalidad de la propia conversación.

Full-Duplex-Bench es una prueba comparativa que evalúa las pausas, las interrupciones, la gestión de turnos, las respuestas de apoyo y aspectos similares de la conversación, y Mini obtuvo una puntuación de 95,8%.

Por otro lado, en Big Bench Audio, que mide la capacidad de razonamiento a través del audio, Max obtuvo un 98,8% y Mini un 75,9%.

La tasa de éxito en tareas que utilizan llamadas a herramientas también muestra una gran brecha:

• Mini: 60,3%
• Max: 87,1%

Por lo tanto, es más fácil pensarlo de esta manera:

Mini si quieres una conversación natural, Max si quieres que realice trabajo complejo

Con ElevenAgents, solo tienes que elegir el modelo

La forma más sencilla de utilizar Eleven Realtime es ElevenAgents.

En el modo personalizado tradicional (Custom), puedes configurar por separado:

• LLM
• Conversión de voz a texto (Speech to Text)
• Texto a voz (Text to Speech)
• Configuración de razonamiento

En el modo Realtime, al seleccionar “Eleven Realtime v1 Mini” o “Eleven Realtime v1 Max”, ElevenLabs gestiona los componentes principales de la IA de voz.

Al mismo tiempo, aún puedes configurar:

• Instrucciones del sistema (System Prompt)
• Primer mensaje
• Voz
• Idioma
• Herramientas
• Base de conocimientos
• Flujo de la conversación
• Configuración de interrupciones

En otras palabras, ya no tienes que pensar en combinaciones de modelos de IA detallados, y se vuelve más fácil concentrarse en lo que quieres que haga el agente.

Compatible con la API Realtime de OpenAI

Para los desarrolladores, una gran característica es su compatibilidad con la API Realtime de OpenAI.

Eleven Realtime utiliza la misma estructura de eventos y el enfoque de WebSocket que la API Realtime de OpenAI.

Por lo tanto, si ya has creado una aplicación con la API Realtime de OpenAI, no necesitas cambiar a un SDK diferente.

Básicamente, puedes usarlo cambiando elementos como:

• El punto de enlace (endpoint) al que te conectas
• El modelo que utilizas

por los correspondientes de ElevenLabs.

Por ejemplo, especificando este modelo:

eleven_realtime_v1_mini

o bien:

eleven_realtime_v1_max

Esto significa que puedes seguir usando el SDK Realtime de OpenAI mientras cambias la parte de procesamiento de audio a ElevenLabs.

Creo que este es un diseño que hace que sea bastante fácil de probar para los desarrolladores que ya están construyendo aplicaciones de voz con la API Realtime de OpenAI.

La API Realtime utiliza una conexión WebSocket

Un detalle que se debe tener en cuenta es el método de conexión.

En su lanzamiento, la API de Eleven Realtime admite únicamente WebSocket.

Por lo tanto, si tu aplicación utiliza la API Realtime de OpenAI a través de WebRTC, no puedes simplemente cambiar el punto de enlace. Necesitas cambiar a WebSocket.

Asimismo, al conectarse desde un navegador, en lugar de incrustar tu clave de API de ElevenLabs directamente en el frontend, se proporciona un mecanismo para emitir un secreto de cliente (Client Secret) de corta duración en el backend y utilizarlo.

La API Realtime y ElevenAgents son cosas distintas

Este es otro punto que puede resultar un poco confuso.

Hay dos formas de usar Eleven Realtime:

Usarlo a través de ElevenAgents

y

Usar la API Realtime directamente.

Sin embargo, conectarse a través de la API Realtime no te otorga todas las funciones de ElevenAgents.

Por ejemplo, si deseas utilizar:

• Teléfono
• WhatsApp
• Base de conocimientos
• Barreras de seguridad (guardrails)
• Pruebas
• Monitoreo
• Integración con centros de contacto

es mejor utilizar ElevenAgents desde el principio.

Por otro lado, la API Realtime es mejor para los desarrolladores que desean integrar la IA de voz directamente en su propia aplicación web o servicio.

¿En qué se diferencia de Scribe v2 Realtime?

ElevenLabs también cuenta con un servicio llamado “Scribe v2 Realtime”, por lo que los nombres pueden resultar un poco confusos.

Scribe v2 Realtime es un modelo de conversión de voz a texto que convierte la voz en texto en tiempo real.

Por ejemplo, está pensado para casos como este:

“Hola” → obtener el texto “Hola” en tiempo real

Eleven Realtime, por otro lado, va más allá:

“Hola” → comprende el contenido → la IA piensa en una respuesta → responde con voz diciendo “¿Hola! ¿Qué te gustaría hacer hoy?”

Es fácil recordarlo de esta manera: Scribe v2 Realtime si quieres subtítulos en tiempo real o actas de reuniones, y Eleven Realtime si quieres que la IA mantenga una conversación.

En realidad, no es un único modelo de IA completamente unificado

Cuando escuchas “modelo de voz a voz”, puede parecer que un único y enorme modelo de IA procesa todo directamente desde el audio de entrada hasta el audio de salida.

Sin embargo, Eleven Realtime no es un modelo fusionado completamente unificado.

Internamente, utiliza una arquitectura en cascada, con componentes como:

• Reconocimiento de voz
• Gestión de turnos
• LLM
• Voz

Pero estos no están simplemente conectados como servicios separados. ElevenLabs los ajusta para que sean óptimos para la conversación por voz en su conjunto.

Por lo tanto, desde el punto de vista del usuario, adopta una forma sencilla: “simplemente selecciona un modelo Realtime”.

Ventajas y desventajas de Eleven Realtime

Para quién es Eleven Realtime

Eleven Realtime es especialmente adecuado para personas que desean crear servicios como:

• Asistentes de voz de IA
• Servicios educativos y de conversación en inglés con IA
• Personajes de IA
• Atención al cliente con IA
• Contestadores telefónicos automatizados
• Generación de clientes potenciales y cualificación de ventas
• Gestión de reservas con IA
• Aplicaciones web habilitadas por voz
• SaaS habilitados por voz

Hasta ahora, construir IA de voz significaba elegir y conectar la conversión de voz a texto, un LLM y el texto a voz por separado, y luego ajustar también el ritmo de la conversación.

Con Eleven Realtime, puedes dejar esa parte complicada en manos de ElevenLabs.

Resumen

Eleven Realtime es una nueva serie de modelos para agentes de voz en tiempo real que ElevenLabs anunció en octubre de 2026.

No es un simple modelo de generación de voz. Su característica más importante es que optimiza el procesamiento necesario para la conversación por voz como un único sistema:

Reconocimiento de voz → detección de turnos → LLM → generación de voz

Actualmente cuenta con dos modelos:

• Eleven Realtime v1 Mini: Para conversaciones naturales y rápidas
• Eleven Realtime v1 Max: Para razonamiento complejo y llamadas a herramientas (Tool Calling)

Lo que resulta especialmente interesante es que con ElevenAgents puedes crear un agente de voz simplemente eligiendo un modelo Realtime, sin necesidad de seleccionar modelos de IA detallados.

También es compatible con la API Realtime de OpenAI, por lo que representa una opción fácil de probar para quienes ya están creando IA de voz en tiempo real.

Si quieres integrar una conversación natural con IA en tu servicio, y no limitarte a que la IA genere texto, esta es una función de ElevenLabs a la que debes prestar atención.