Was ist Eleven Realtime? Was ElevenLabs' Echtzeit-Sprach-KI leisten kann und der Unterschied zwischen Mini und Max

Hi, ich bin Hoda!

Im Oktober 2026 hat ElevenLabs ein neues Echtzeit-Sprach-KI-Modell namens „Eleven Realtime“ angekündigt.

Eleven Realtime ist ein Speech-to-Speech-Modell (Sprache-zu-Sprache) zur Erstellung von „Sprachagenten“, die der Stimme des Nutzers zuhören, das Gesagte verstehen, spontan mitdenken und per Sprache antworten.

Schon beim Namen könnte man sich fragen: „Ist das einfach eine schnellere Version der Spracherzeugung von ElevenLabs?“ Tatsächlich handelt es sich dabei jedoch um ein weitaus größeres Update.

Das Hauptmerkmal von Eleven Realtime ist, dass Spracherkennung, Gesprächssteuerung, das LLM und die Spracherzeugung als ein einziges System optimiert werden.

Mit anderen Worten ist es jetzt einfacher als zuvor, eine Echtzeit-Sprach-KI zu entwickeln, die wie folgt funktioniert:

Der Nutzer spricht → die KI hört zu → sie versteht den Inhalt → sie verwendet bei Bedarf Tools → die KI antwortet mit natürlicher Stimme

Was ist Eleven Realtime?

Eleven Realtime ist eine Modellreihe für Echtzeit-Sprachagenten, bereitgestellt von ElevenLabs.

Bislang bedeutete die Entwicklung eines natürlichen KI-Sprachagenten die Kombination mehrerer Technologien.

Zum Beispiel:

• Spracherkennung mit Speech-to-Text
• Spracherkennung mit VAD (Voice Activity Detection)
• Gesprächssteuerung (Turn-Taking), die beurteilt, ob der Nutzer zu sprechen aufgehört hat
• Ein LLM, das Fragen beantwortet
• Spracherzeugung mit Text-to-Speech

Sie können jedes Modell separat auswählen und konfigurieren, aber das kann zu Problemen führen wie „die KI braucht zu lange, um zu antworten“, „sie fällt dem Nutzer ins Wort“ und „sie verhält sich bei Unterbrechungen unnatürlich“.

Eleven Realtime optimiert all dies von Anfang an als ein einziges System für Sprachgespräche.

Was können Sie mit Eleven Realtime tun?

Konkret können Sie mit Eleven Realtime folgende Arten von KI entwickeln.

In Echtzeit per Sprache mit KI sprechen

Die grundlegendste Anwendung ist ein Echtzeit-KI-Assistent, ähnlich der Sprachkonversation in ChatGPT.

Wenn der Nutzer in das Mikrofon spricht, versteht die KI die Sprache und antwortet per Sprache.

Sie wiederholt nicht nur ein einfaches „Frage-Antwort“-Muster. Sie berücksichtigt auch:

• Kurze Bestätigungslaute (Backchannels)
• Sprechpausen im Gespräch
• Unterbrechungen durch den Nutzer
• Schnelle Hin-und-her-Gespräche

Das erleichtert es, ein Erlebnis zu schaffen, das einem Gespräch zwischen Menschen näherkommt, verglichen mit dem traditionellen Ansatz von „Audio aufnehmen und senden → transkribieren → KI-Antwort → Spracherzeugung“.

KI-Tutoren und Sprachlernservices entwickeln

ElevenLabs nennt den AI Tutor als typischen Anwendungsfall für v1 Mini.

Wenn der Nutzer der KI zum Beispiel in einem Englisch-Konversationsexperiment sagt:

„Heute möchte ich Englisch für eine Reise üben“,

kann er das Gespräch auf Englisch mit dem KI-Lehrer fortsetzen.

Es lässt sich zudem anwenden auf:

• Aussprachetraining
• Beantwortung von Fragen
• Rollenspiele
• Lernen für Kinder
• Vorstellungsgespräch-Training
• Präsentationstraining

Eleven Realtime unterstützt mehr als 90 Sprachen und kann daher auch für mehrsprachige Dienste eingesetzt werden.

KI-Charaktere für Spiele und Apps entwickeln

Es kann auch genutzt werden, um Nutzern zu ermöglichen, direkt vor Ort mit Charakteren in Spielen und Apps zu sprechen.

Wenn ein Nutzer beispielsweise einen NPC fragt:

„Wo kann ich in dieser Stadt Waffen kaufen?“,

antwortet der Charakter per Sprache passend zu seiner Persönlichkeit und der Spielwelt.

ElevenLabs verfügt über eine Sprachbibliothek mit mehr als 17.000 Stimmen, und Sie können diese Stimmen auch für die Realtime-Modelle verwenden.

Anstatt jedes Mal dieselbe „nach KI klingende“ Stimme zu hören, können Sie also eine Stimme wählen, die zu Ihrem Service oder Charakter passt.

KI-Kundensupport entwickeln

Eleven Realtime v1 Max eignet sich zudem hervorragend für den Kundensupport, der komplexere Aufgaben erfordert.

Wenn die KI beispielsweise eine Anfrage erhält wie:

„Der von mir bestellte Artikel ist noch nicht angekommen“,

kann sie während des Gesprächs folgende Schritte durchlaufen:

1. Den Nutzer nach der Bestellnummer fragen
2. Im Bestellverwaltungssystem suchen
3. Den Lieferstatus überprüfen
4. Dem Nutzer den Status erklären

Der Schlüsselpunkt ist, dass sie Fragen nicht nur beantwortet: Durch den Einsatz von Tool Calling kann sie Informationen aus externen Diensten abrufen und Aktionen ausführen.

Lead-Qualifizierung automatisieren

Im Vertrieb kann es zur Lead-Qualifizierung eingesetzt werden.

Beispielsweise fragt die KI am Telefon oder im Web:

„Nach welcher Art von Service suchen Sie?“

„Wie groß ist Ihr Unternehmen ungefähr?“

„Wann planen Sie die Einführung?“

und ändert die nächste Frage je nach den Antworten.

Sie könnten auch ein System aufbauen, das nur die Leads an einen Vertriebsmitarbeiter weiterleitet, die Ihren Kriterien entsprechen.

Per Telefon, auf Websites und auf WhatsApp nutzen

Wenn Sie es über ElevenAgents verwenden, können Sie den von Ihnen entwickelten Sprachagenten auf mehreren Kanälen bereitstellen.

Zum Beispiel:

• Websites
• Telefon
• WhatsApp
• Contact Center
• Web-Widgets

ElevenAgents bietet zudem eine Wissensdatenbank, Sicherheitsvorkehrungen (Guardrails), Tests, Monitoring und mehr.

Wenn Sie also echten Kundensupport oder Telefonbetrieb aufbauen möchten, ist der Einstieg mit ElevenAgents einfacher als die direkte Nutzung der Realtime API.

Unterschiede zwischen Eleven Realtime v1 Mini und v1 Max

Eleven Realtime ist derzeit in zwei Modellen erhältlich.

Grundsätzlich ist es am besten, mit v1 Mini zu starten.

ElevenLabs selbst gibt an, dass Mini für die meisten gängigen Anwendungen ausreicht.

Andererseits eignet sich v1 Max besser für Anwendungsfälle wie:

• Wenn die KI komplexe Anweisungen verstehen muss
• Wenn sie mehrstufige Prozesse ausführen muss
• Wenn sie häufig externe Tools verwendet
• Kundensupport, bei dem Genauigkeit wichtig ist

Vergleich der Leistung von Mini und Max

In den von ElevenLabs veröffentlichten Benchmarks zeigen sich die Stärken der jeweiligen Modelle sehr deutlich.

Interessant ist dabei, dass Mini auch bei der Natürlichkeit der Konversation selbst sehr stark ist.

Full-Duplex-Bench ist ein Benchmark, der Pausen, Unterbrechungen, Gesprächssteuerung, Backchanneling und ähnliche Aspekte eines Gesprächs bewertet, und Mini erreichte hier 95,8 %.

Andererseits erzielte Max bei Big Bench Audio, das die Denkfähigkeit über Audio misst, 98,8 % und Mini 75,9 %.

Auch die Erfolgsquote bei Aufgaben, die Tool Calling nutzen, weist eine große Lücke auf:

• Mini: 60,3 %
• Max: 87,1 %

Man kann es sich also am einfachsten so vorstellen:

Mini, wenn Sie eine natürliche Konversation wünschen, Max, wenn die KI arbeiten soll

Mit ElevenAgents wählen Sie einfach das Modell aus

Der einfachste Weg, Eleven Realtime zu nutzen, ist ElevenAgents.

Im traditionellen Custom-Modus können Sie diese separat konfigurieren:

• LLM
• Speech to Text
• Text to Speech
• Logikeinstellungen

Im Realtime-Modus verwalten die Hauptkomponenten der Sprach-KI von ElevenLabs den Dienst, sobald Sie „Eleven Realtime v1 Mini“ oder „Eleven Realtime v1 Max“ auswählen.

Gleichzeitig können Sie weiterhin konfigurieren:

• System-Prompt
• Erste Nachricht
• Stimme
• Sprache
• Tools
• Wissensdatenbank
• Gesprächsverlauf
• Unterbrechungseinstellungen

Mit anderen Worten: Sie müssen sich nicht mehr über Kombinationen detaillierter KI-Modelle den Kopf zerbrechen und es wird einfacher, sich darauf zu konzentrieren, was der Agent tun soll.

Kompatibel mit der OpenAI Realtime API

Für Entwickler ist ein großes Feature die Kompatibilität mit der OpenAI Realtime API.

Eleven Realtime nutzt dieselbe Event-Struktur und den WebSocket-Ansatz wie die OpenAI Realtime API.

Wenn Sie also bereits eine App mit der OpenAI Realtime API gebaut haben, müssen Sie nicht zu einem anderen SDK wechseln.

Grundsätzlich können Sie es nutzen, indem Sie Elemente anpassen wie:

• Den Endpunkt, mit dem Sie sich verbinden
• Das Modell, das Sie verwenden

und diese durch die Entsprechungen von ElevenLabs ersetzen.

Geben Sie zum Beispiel dieses Modell an:

eleven_realtime_v1_mini

oder:

eleven_realtime_v1_max

Das bedeutet, dass Sie das OpenAI Realtime SDK weiter nutzen und gleichzeitig den Audioprozessierungsteil zu ElevenLabs verlagern können.

Ich denke, das ist ein Design, das es Entwicklern, die bereits Sprach-Apps mit der OpenAI Realtime API entwickeln, ziemlich leicht macht, es auszuprobieren.

Die Realtime API verwendet eine WebSocket-Verbindung

Eine Sache, auf die man achten muss, ist die Verbindungsmethode.

Zum Start unterstützt die Eleven Realtime API nur WebSocket.

Wenn Ihre App also die OpenAI Realtime API über WebRTC nutzt, können Sie nicht einfach nur den Endpunkt ändern. Sie müssen zu WebSocket wechseln.

Zudem wird beim Verbindungsaufbau aus einem Browser heraus – anstatt Ihren ElevenLabs API-Schlüssel direkt im Frontend einzubetten – ein Mechanismus bereitgestellt, um auf dem Backend ein kurzlebiges Client-Secret auszustellen und dieses zu verwenden.

Die Realtime API und ElevenAgents sind unterschiedliche Dinge

Das ist ein weiterer Punkt, der ein wenig verwirrend sein kann.

Es gibt zwei Möglichkeiten, Eleven Realtime zu nutzen:

Die Nutzung über ElevenAgents

und

Die direkte Nutzung der Realtime API.

Allerdings bietet die Verbindung über die Realtime API nicht alle Funktionen von ElevenAgents.

Wenn Sie beispielsweise folgendes nutzen möchten:

• Telefon
• WhatsApp
• Wissensdatenbank
• Sicherheitsvorkehrungen (Guardrails)
• Tests
• Monitoring
• Contact-Center-Integration

ist es besser, ElevenAgents von Anfang an zu verwenden.

Andererseits ist die Realtime API besser für Entwickler geeignet, die Sprach-KI direkt in ihre eigene Web-App oder ihren eigenen Service einbetten möchten.

Worin unterscheidet sich das von Scribe v2 Realtime?

ElevenLabs bietet auch einen Dienst namens „Scribe v2 Realtime“ an, weshalb die Namen etwas verwirrend sein können.

Scribe v2 Realtime ist ein Speech-to-Text-Modell, das Sprache in Echtzeit in Text umwandelt.

Es ist beispielsweise für Fälle gedacht wie:

„Hallo“ → den Text „Hallo“ in Echtzeit erhalten

Eleven Realtime hingegen geht noch einen Schritt weiter:

„Hallo“ → versteht den Inhalt → die KI denkt sich eine Antwort aus → antwortet per Sprache mit „Hallo! Was möchtest du heute tun?“

Man kann sich das leicht so merken: Scribe v2 Realtime, wenn Sie Echtzeit-Untertitel oder Meeting-Protokolle wünschen, und Eleven Realtime, wenn die KI ein Gespräch führen soll.

Es ist tatsächlich kein einzelnes, vollständig vereinigtes KI-Modell

Wenn man „Speech-to-Speech-Modell“ hört, klingt das vielleicht so, als würde ein riesiges KI-Modell alles direkt von der Eingabe- zu der Ausgabe-Audio verarbeiten.

Eleven Realtime ist jedoch kein vollständig vereinigtes, verschmolzenes Modell.

Intern verwendet es eine Kaskadenarchitektur mit Komponenten wie:

• Spracherkennung
• Gesprächssteuerung (Turn Taking)
• LLM
• Stimme

Diese sind jedoch nicht einfach nur als separate Dienste verbunden. ElevenLabs stimmt sie so aufeinander ab, dass sie für Sprachgespräche im Ganzen optimal sind.

Aus Anwendersicht nimmt das Ganze also eine einfache Form an: „Wählen Sie einfach ein einziges Realtime-Modell aus.“

Vor- und Nachteile von Eleven Realtime

Für wen ist Eleven Realtime geeignet?

Eleven Realtime eignet sich besonders für Personen, die Dienste entwickeln möchten wie:

• KI-Sprachassistenten
• KI-Englischkonversation und Bildungsdienste
• KI-Charaktere
• KI-Kundensupport
• Automatisierte Telefonbeantwortung
• Lead-Generierung und Vertriebsqualifizierung
• KI-Reservierungsabwicklung
• Sprachaktivierte Web-Apps
• Sprachaktivierte SaaS

Bislang bedeutete die Entwicklung von Sprach-KI, Speech-to-Text, ein LLM und Text-to-Speech separat auszuwählen und zu verbinden und danach auch noch das Timing des Gesprächs abzustimmen.

Mit Eleven Realtime können Sie diesen komplizierten Teil ElevenLabs überlassen.

Fazit

Eleven Realtime ist eine neue Modellreihe für Echtzeit-Sprachagenten, die ElevenLabs im Oktober 2026 angekündigt hat.

Es ist kein simples Spracherzeugungsmodell. Sein größtes Merkmal besteht darin, dass es die für Sprachgespräche erforderliche Verarbeitung als ein einziges System optimiert:

Spracherkennung → Gesprächserkennung (Turn Detection) → LLM → Spracherzeugung

Es gibt derzeit zwei Modelle:

• Eleven Realtime v1 Mini: Für natürliche, schnelle Konversation
• Eleven Realtime v1 Max: Für komplexe Logik und Tool Calling

Besonders interessant ist, dass Sie mit ElevenAgents einen Sprachagenten allein durch die Auswahl eines Realtime-Modells erstellen können, ohne detaillierte KI-Modelle einzeln auszuwählen.

Zudem ist es kompatibel mit der OpenAI Realtime API, was es zu einer unkomplizierten Option für alle macht, die bereits Echtzeit-Sprach-KI entwickeln.

Wenn Sie eine natürliche KI-Konversation in Ihren Service einbetten möchten und die KI nicht nur Text generieren soll, ist dies ein ElevenLabs-Feature, das Sie im Auge behalten sollten.