Cos'è Eleven Realtime? Cosa può fare l'AI vocale in tempo reale di ElevenLabs e la differenza tra Mini e Max

Ciao, sono Hoda!

Nell’ottobre del 2026, ElevenLabs ha annunciato un nuovo modello di intelligenza artificiale vocale in tempo reale: “Eleven Realtime”.

Eleven Realtime è un modello speech-to-speech pensato per creare “agenti vocali” in grado di ascoltare la voce dell’utente, comprendere ciò che viene detto, riflettere sul momento e rispondere a voce.

Dal solo nome, potresti chiederti: “Si tratta semplicemente di una versione più veloce della generazione vocale di ElevenLabs?”. In realtà, è un aggiornamento molto più ampio.

La caratteristica principale di Eleven Realtime è che ottimizza il riconoscimento vocale, il rilevamento dei turni di conversazione, l’LLM e la generazione vocale come un unico sistema.

In altre parole, ora è più semplice rispetto al passato costruire un’AI vocale in tempo reale che funzioni in questo modo:

L’utente parla → l’AI ascolta → comprende il contenuto → utilizza strumenti se necessario → l’AI risponde con una voce naturale

Cos’è Eleven Realtime?

Eleven Realtime è una serie di modelli per agenti vocali in tempo reale offerti da ElevenLabs.

Fino ad ora, costruire un agente vocale AI naturale significava combinare diverse tecnologie.

Ad esempio:

• Riconoscimento vocale con speech-to-text
• Rilevamento della voce tramite VAD (Voice Activity Detection)
• Gestione dei turni, per stabilire se l’utente ha finito di parlare
• Un LLM per rispondere alle domande
• Generazione vocale con text-to-speech

Era possibile scegliere e configurare ogni singolo modello separatamente, ma questo approccio poteva causare problemi come “l’AI è lenta a iniziare la risposta”, “parla sopra l’utente” o “si comporta in modo non naturale in caso di interruzioni”.

Eleven Realtime ottimizza tutto fin dall’inizio come un unico sistema dedicato alla conversazione vocale.

Cosa puoi fare con Eleven Realtime?

Nello specifico, con Eleven Realtime puoi sviluppare diverse tipologie di AI.

Conversare con l’AI a voce in tempo reale

L’utilizzo più basilare è quello di un assistente AI in tempo reale, simile alla funzione di conversazione vocale di ChatGPT.

Quando l’utente parla nel microfono, l’AI comprende il discorso e risponde a voce.

Non si limita a ripetere un semplice schema “domanda → risposta”, ma tiene conto anche di:

• Brevi cenni di riscontro (backchannel)
• Pause nella conversazione
• Interruzioni da parte dell’utente
• Scambi rapidi botta e risposta

Questo rende più semplice ricreare un’esperienza vicina a una conversazione tra esseri umani, rispetto al metodo tradizionale “registra audio e invia → trascrivi → risposta dell’AI → generazione vocale”.

Creare tutor AI e servizi di apprendimento linguistico

ElevenLabs indica l’AI Tutor come tipico caso d’uso per la versione v1 Mini.

Ad esempio, in un servizio di conversazione in lingua inglese, quando l’utente dice all’AI:

“Oggi voglio fare pratica con l’inglese per un viaggio”,

può continuare la conversazione in inglese direttamente con l’insegnante virtuale.

La tecnologia può essere applicata anche a:

• Pratica di pronuncia
• Sessioni di domande e risposte
• Giochi di ruolo (role-play)
• Apprendimento per bambini
• Simulazioni di colloqui di lavoro
• Esercitazioni per presentazioni

Eleven Realtime supporta più di 90 lingue, rendendosi adatto anche a servizi multilingue.

Sviluppare personaggi AI per giochi e app

Può essere utilizzato per permettere agli utenti di dialogare al momento con i personaggi all’interno di giochi e applicazioni.

Ad esempio, quando un utente chiede a un NPC:

“Dove posso comprare delle armi in questa città?”,

il personaggio risponde a voce coerentemente con la sua personalità e con l’ambientazione del gioco.

ElevenLabs dispone di una libreria vocale con oltre 17.000 voci, utilizzabili anche con i modelli Realtime.

In questo modo, invece di sentire sempre la stessa voce “da robot”, puoi scegliere quella più adatta al tuo servizio o personaggio.

Realizzare un supporto clienti basato sull’AI

Eleven Realtime v1 Max si presta particolarmente bene al servizio clienti, un ambito che richiede attività più complesse.

Ad esempio, quando l’AI riceve una richiesta del tipo:

“L’articolo che ho ordinato non è ancora arrivato”,

può procedere attraverso questi passaggi mentre dialoga:

1. Chiedere all’utente il numero d’ordine
2. Cercare nel sistema di gestione degli ordini
3. Controllare lo stato della spedizione
4. Spiegare la situazione all’utente

Il punto chiave è che non si limita a rispondere a domande: grazie al Tool Calling, può recuperare informazioni da servizi esterni ed eseguire azioni concrete.

Automatizzare la qualificazione dei lead

Nell’ambito delle vendite, può essere impiegato per la qualificazione dei lead commerciali.

Ad esempio, tramite telefono o web, l’AI chiede:

“Che tipo di servizio state cercando?”

“Circa quanto è grande la vostra azienda?”

“Quando prevedete di adottarlo?”

e adatta la domanda successiva in base alle risposte ricevute.

È possibile persino configurare un sistema che inoltri a un venditore umano esclusivamente i lead che soddisfano specifici criteri.

Usarlo tramite telefono, siti web e WhatsApp

Sfruttando ElevenAgents, puoi distribuire l’agente AI creato su più canali contemporaneamente.

Ad esempio:

• Siti web
• Telefono
• WhatsApp
• Contact center
• Widget web

ElevenAgents mette a disposizione anche basi di conoscenza, guardrail, strumenti di test, monitoraggio e molto altro.

Se desideri realizzare un vero servizio clienti o un centralino telefonico, partire da ElevenAgents risulta più semplice rispetto all’utilizzo diretto delle API Realtime.

Differenze tra Eleven Realtime v1 Mini e v1 Max

Attualmente Eleven Realtime è disponibile in due versioni.

In linea di massima, conviene iniziare con v1 Mini.

La stessa ElevenLabs afferma che la versione Mini sia sufficiente per la maggior parte dei casi d’uso comuni.

D’altra parte, v1 Max si rivela più indicata in scenari quali:

• Quando è necessario che l’AI comprenda istruzioni complesse
• Quando deve eseguire processi multi-step
• Quando fa frequente uso di strumenti esterni
• Nel supporto clienti dove la precisione è fondamentale

Confronto delle prestazioni tra Mini e Max

Nei benchmark pubblicati da ElevenLabs, i punti di forza di ciascun modello emergono chiaramente.

Un aspetto interessante è che la versione Mini ottiene risultati eccellenti anche nella naturalezza della conversazione.

Il benchmark Full-Duplex-Bench valuta pause, interruzioni, turni di parola, cenni di riscontro e altri aspetti conversazionali, vedendo Mini totalizzare il 95,8%.

D’altro canto, nel test Big Bench Audio, che misura la capacità di ragionamento tramite audio, Max ha raggiunto il 98,8% contro il 75,9% di Mini.

Anche il tasso di successo nelle attività che sfruttano il Tool Calling mostra un divario marcato:

• Mini: 60,3%
• Max: 87,1%

Il modo più semplice per schematizzare la scelta è:

Mini se cerchi una conversazione naturale, Max se vuoi che l’AI svolga attività complesse

Con ElevenAgents ti basta scegliere il modello

Il modo più semplice per utilizzare Eleven Realtime è tramite ElevenAgents.

Nella tradizionale modalità Custom, puoi configurare separatamente:

• LLM
• Speech to Text
• Text to Speech
• Impostazioni di ragionamento

Nella modalità Realtime, selezionando “Eleven Realtime v1 Mini” o “Eleven Realtime v1 Max”, ElevenLabs gestisce i componenti principali dell’intelligenza artificiale vocale.

Allo stesso tempo, puoi comunque configurare:

• System Prompt (Prompt di sistema)
• Primo messaggio
• Voce
• Lingua
• Strumenti (Tools)
• Knowledge Base (Base di conoscenza)
• Flusso di conversazione
• Impostazioni di interruzione

In sintesi, non devi più preoccuparti di combinare modelli AI dettagliati, potendo concentrarti interamente su ciò che desideri faccia il tuo agente.

Compatibile con le API OpenAI Realtime

Per gli sviluppatori, una novità rilevante è la compatibilità con le API OpenAI Realtime.

Eleven Realtime adotta la stessa struttura di eventi e lo stesso approccio basato su WebSocket delle API OpenAI Realtime.

Di conseguenza, se hai già sviluppato un’applicazione utilizzando le API OpenAI Realtime, non è necessario passare a un SDK differente.

In sostanza, puoi utilizzarlo semplicemente modificando parametri quali:

• L’endpoint a cui ci si connette
• Il modello utilizzato

impostandoli su quelli di ElevenLabs.

Ad esempio, basta specificare questo modello:

eleven_realtime_v1_mini

oppure:

eleven_realtime_v1_max

Questo significa che puoi continuare a sfruttare l’SDK di OpenAI Realtime effettuando però la transizione della parte di elaborazione audio su ElevenLabs.

A mio avviso, si tratta di una scelta progettuale che semplifica notevolmente l’adozione per gli sviluppatori che stanno già realizzando app vocali con le API OpenAI Realtime.

Le API Realtime utilizzano una connessione WebSocket

Un dettaglio a cui prestare attenzione riguarda la modalità di connessione.

Al momento del rilascio, l’API Eleven Realtime supporta esclusivamente WebSocket.

Se la tua app utilizza le API OpenAI Realtime tramite WebRTC, non potrai limitarti a cambiare l’endpoint, ma sarà necessario passare a WebSocket.

Inoltre, quando ci si connette da un browser, anziché incorporare direttamente la chiave API di ElevenLabs nel frontend, viene fornito un meccanismo per generare un Client Secret a breve scadenza direttamente sul backend.

Le API Realtime e ElevenAgents sono strumenti differenti

Questo è un altro punto che può generare un po’ di confusione.

Esistono due modalità d’uso per Eleven Realtime:

Utilizzarlo tramite ElevenAgents

oppure

Utilizzare direttamente le API Realtime.

Tuttavia, connettersi tramite le API Realtime non garantisce l’accesso a tutte le funzionalità offerte da ElevenAgents.

Ad esempio, se desideri sfruttare:

• Telefono
• WhatsApp
• Base di conoscenza (Knowledge base)
• Guardrail
• Test
• Monitoraggio
• Integrazione con i contact center

è preferibile affidarsi a ElevenAgents fin dall’inizio.

D’altra parte, le API Realtime risultano più adatte agli sviluppatori che desiderano integrare l’AI vocale direttamente all’interno della propria applicazione web o servizio proprietario.

In cosa differisce da Scribe v2 Realtime?

ElevenLabs offre anche un servizio denominato “Scribe v2 Realtime”, il che potrebbe creare qualche ambiguità nei nomi.

Scribe v2 Realtime è un modello speech-to-text che converte il parlato in testo in tempo reale.

Ad esempio, serve per casi d’uso come questo:

“Ciao” → ottieni il testo “Ciao” in tempo reale

Eleven Realtime, invece, compie un passo ulteriore:

“Ciao” → comprende il contenuto → l’AI pensa a una risposta → risponde a voce con “Ciao! Come posso aiutarti oggi?”

È facile ricordarlo così: Scribe v2 Realtime se ti servono didascalie in tempo reale o verbali di riunioni, Eleven Realtime se vuoi che l’AI intrattenga una conversazione.

Non si tratta in realtà di un unico modello AI completamente unificato

Sentendo parlare di “modello speech-to-speech”, si potrebbe pensare che un’unica, gigantesca rete neurale gestisca tutto direttamente dall’audio in entrata all’audio in uscita.

Tuttavia, Eleven Realtime non adotta un modello completamente fuso e unificato.

Internamente, utilizza un’architettura a cascata, composta da moduli quali:

• Riconoscimento vocale (Speech Recognition)
• Gestione dei turni (Turn Taking)
• LLM
• Voce

Questi elementi non sono semplicemente collegati come servizi separati: ElevenLabs li calibra affinché risultino ottimali per l’intera conversazione vocale.

Di conseguenza, per l’utente finale l’esperienza si semplifica enormemente: “basta selezionare un modello Realtime”.

Vantaggi e svantaggi di Eleven Realtime

A chi è rivolto Eleven Realtime

Eleven Realtime è indicato in particolare per chi desidera sviluppare servizi quali:

• Assistenti vocali AI
• Servizi educativi e di conversazione in lingua inglese basati su AI
• Personaggi virtuali con AI
• Assistenza clienti automatizzata
• Risponditori telefonici automatici
• Generazione di lead e qualificazione commerciale
• Gestione di prenotazioni via AI
• Applicazioni web abilitate alla voce
• SaaS con funzionalità vocali

Fino ad oggi, sviluppare soluzioni di AI vocale significava scegliere e collegare separatamente speech-to-text, LLM e text-to-speech, calibrando poi manualmente le tempistiche della conversazione.

Con Eleven Realtime, puoi delegare questa complessità direttamente a ElevenLabs.

Riepilogo

Eleven Realtime è una nuova serie di modelli per agenti vocali in tempo reale annunciata da ElevenLabs nell’ottobre del 2026.

Non si tratta di un semplice modello di generazione vocale. La sua peculiarità principale consiste nell’ottimizzare l’intero processo necessario per la conversazione vocale all’interno di un unico sistema:

Riconoscimento vocale → rilevamento dei turni → LLM → generazione vocale

Attualmente sono disponibili due modelli:

• Eleven Realtime v1 Mini: Per conversazioni naturali e veloci
• Eleven Realtime v1 Max: Per ragionamenti complessi e Tool Calling

Un aspetto particolarmente interessante è che, tramite ElevenAgents, puoi creare un agente vocale semplicemente selezionando un modello Realtime, senza doverti preoccupare dei singoli modelli AI sottostanti.

Inoltre, la compatibilità con le API OpenAI Realtime lo rende una soluzione accessibile per chi sta già sviluppando intelligenze artificiali vocali in tempo reale.

Se desideri integrare una conversazione naturale con l’AI all’interno del tuo servizio, andando oltre la semplice generazione di testo, questa è una funzionalità di ElevenLabs che vale la pena monitorare.