Der EU AI Act betrifft jedes Unternehmen, das KI-Telefonassistenten einsetzt — als Anbieter oder als Betreiber. Trotzdem ist das Thema in der Voice-AI-Branche bisher wenig präsent.
Dieser Artikel ist ein Deep Dive in die Gesetzestexte, mit Originalzitaten aus der Verordnung (EU) 2024/1689. Damit Sie als Unternehmer beurteilen können, welche Pflichten auf Sie zukommen — und was Sie konkret tun müssen.
Was ist der EU AI Act?
Die Verordnung (EU) 2024/1689 — besser bekannt als EU AI Act — ist das weltweit erste umfassende KI-Gesetz. Es ist seit dem 1. August 2024 in Kraft, wird aber stufenweise anwendbar:
- 2. Februar 2025: Verbotene KI-Praktiken und KI-Kompetenz-Pflicht
- 2. August 2025: Regeln für KI-Modelle mit allgemeinem Verwendungszweck (GPAI)
- 2. August 2026: Volle Anwendbarkeit — inkl. Transparenzpflichten und Hochrisiko-Regeln
- August 2027: Hochrisiko-Systeme in regulierten Produkten
Das Gesetz teilt KI-Systeme in vier Risikokategorien ein: verboten, hochriskant, transparenzpflichtig und minimal. Die Kategorie bestimmt, welche Pflichten gelten.
Wo fallen Voice Agents hin?
Hier wird es für unsere Branche konkret. Ein KI-Telefonassistent ist:
- Nicht verboten — er betreibt kein Social Scoring, keine Manipulation, keine biometrische Identifizierung
- Nicht hochriskant — er trifft keine Entscheidungen über Kreditwürdigkeit, Beschäftigung oder Bildungszugang
- Transparenzpflichtig — er interagiert direkt mit natürlichen Personen
Transparenzpflichtig klingt zunächst unkompliziert. Aber die konkreten Anforderungen haben es in sich.
Übrigens: Die Verordnung kennt eine Ausnahme — wenn die KI-Natur „aus Sicht einer angemessen informierten, aufmerksamen und verständigen natürlichen Person aufgrund der Umstände und des Kontexts der Nutzung offensichtlich" ist. Bei einem Chatbot auf einer Website mit „KI-Assistent"-Label könnte man das argumentieren. Bei einem Telefonanruf mit menschlich klingender Stimme? Kaum. Genau das ist der Punkt: Je besser die Stimme klingt, desto wichtiger wird die Kennzeichnung.
Erwägungsgrund (132) der Verordnung unterstreicht das — und geht sogar weiter:
„Insbesondere sollten natürliche Personen darüber informiert werden, dass sie mit einem KI-System interagieren. [...] Bei der Umsetzung dieser Pflicht sollten die Merkmale natürlicher Personen, die aufgrund ihres Alters oder einer Behinderung schutzbedürftigen Gruppen angehören, berücksichtigt werden."
— Erwägungsgrund (132), Verordnung (EU) 2024/1689
Das bedeutet: Die Information muss nicht nur gegeben werden — sie muss auch verständlich und barrierefrei sein. Bei einem Telefonanruf heißt das: klar gesprochener Hinweis, nicht in einem Nebensatz versteckt.
Pflicht 1: KI-Kennzeichnung — Artikel 50 Absatz 1
Der Kern der Transparenzpflicht steht in Artikel 50 Absatz 1:
„Die Anbieter stellen sicher, dass KI-Systeme, die für die direkte Interaktion mit natürlichen Personen bestimmt sind, so konzipiert und entwickelt werden, dass die betreffenden natürlichen Personen informiert werden, dass sie mit einem KI-System interagieren."
— Art. 50 Abs. 1, Verordnung (EU) 2024/1689
Zwei Worte sind hier entscheidend: „konzipiert und entwickelt". Das Gesetz verpflichtet den Anbieter — das Unternehmen, das die Plattform baut — dazu, die KI-Kennzeichnung technisch in das System einzubauen. Gleichzeitig tragen Betreiber (die Unternehmen, die den Voice Agent einsetzen) die Verantwortung, das System korrekt zu nutzen und die Kennzeichnung nicht zu umgehen.
In der Praxis bedeutet das: Der Anbieter muss sicherstellen, dass ein KI-Hinweis standardmäßig Bestandteil des Systems ist. Der Betreiber muss sicherstellen, dass dieser Hinweis beim Einsatz tatsächlich erfolgt.
Und wann muss der Hinweis kommen? Artikel 50 Absatz 5 ist unmissverständlich:
„Die in den Absätzen 1 bis 4 genannten Informationen werden den betreffenden natürlichen Personen spätestens zum Zeitpunkt der ersten Interaktion oder Aussetzung in klarer und eindeutiger Weise bereitgestellt."
— Art. 50 Abs. 5, Verordnung (EU) 2024/1689
Spätestens zum Zeitpunkt der ersten Interaktion. Bei einem Telefonanruf ist das die Begrüßung. Nicht das Kleingedruckte auf einer Website. Nicht die AGB. Die erste gesprochene Nachricht.
Pflicht 2: Synthetisches Audio kennzeichnen — Artikel 50 Absatz 2
Die zweite Pflicht wird in der Branche bisher kaum diskutiert:
„Anbieter von KI-Systemen, einschließlich KI-Systemen mit allgemeinem Verwendungszweck, die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen, stellen sicher, dass die Ausgaben des KI-Systems in einem maschinenlesbaren Format gekennzeichnet und als künstlich erzeugt oder manipuliert erkennbar sind."
— Art. 50 Abs. 2, Verordnung (EU) 2024/1689
Jeder Voice Agent nutzt Text-to-Speech (TTS) — das erzeugte Audio ist synthetisch. Ab August 2026 muss dieses Audio maschinenlesbar als KI-generiert gekennzeichnet sein.
Die Verordnung relativiert: „soweit technisch möglich" und unter Berücksichtigung des „allgemein anerkannten Stands der Technik". Erwägungsgrund (133) benennt konkrete Methoden:
„Solche Techniken und Methoden sollten [...] hinreichend zuverlässig, interoperabel, wirksam und belastbar sein, [...] beispielsweise Wasserzeichen, Metadaten-Identifikationen, kryptografische Methoden zum Nachweis der Herkunft und Echtheit von Inhalten, Protokollierungsmethoden, Fingerabdrücke oder andere Techniken."
— Erwägungsgrund (133), Verordnung (EU) 2024/1689
In der Praxis steckt die gesamte Branche hier noch in der Entwicklung. Technische Optionen, an denen gearbeitet wird:
- Audio-Wasserzeichen: Unhörbare Signale, die in das TTS-Audio eingebettet werden. ElevenLabs bietet dies bereits an.
- C2PA Content Credentials: Ein offener Standard der Coalition for Content Provenance and Authenticity, der Herkunft und Erzeugungsmethode in den Metadaten dokumentiert.
- Metadaten-Tagging: Kennzeichnung im Audio-Container-Format (z. B. WAV/MP3-Header) mit Informationen zur KI-Erzeugung.
Die EU-Kommission arbeitet 2026 an konkreten Leitlinien zur praktischen Umsetzung der Transparenzpflichten nach Artikel 50. Bis dahin gilt: Der Stand der Technik bestimmt, was „technisch möglich" ist — und dieser Stand entwickelt sich schnell.
Pflicht 3: KI-Kompetenz — Artikel 4
Eine Pflicht, die bereits seit dem 2. Februar 2025 gilt und von vielen Unternehmen übersehen wird:
„Die Anbieter und Betreiber von KI-Systemen ergreifen Maßnahmen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an KI-Kompetenz verfügen."
— Art. 4, Verordnung (EU) 2024/1689
Hier sind beide in der Pflicht: Anbieter und Betreiber. Wenn Sie als Unternehmen einen Voice Agent einsetzen, müssen Ihre Mitarbeiter verstehen, was sie tun. Was das konkret bedeutet, lässt die Verordnung bewusst offen — aber das Minimum dürfte sein: Ihre Mitarbeiter wissen, dass ein KI-System Anrufe entgegennimmt, wie es funktioniert, und wo seine Grenzen liegen.
Für Anbieter bedeutet das auch: Schulungsmaterialien, Dokumentation und transparente Kommunikation über die Funktionsweise des Systems sollten Teil des Produkts sein — nicht ein nachträglicher Gedanke.
Was hat das mit der DSGVO zu tun?
Der AI Act ersetzt die DSGVO nicht — er ergänzt sie. Beide Verordnungen laufen parallel, und bei Voice Agents überschneiden sie sich erheblich.
DSGVO Art. 6 — Rechtsgrundlage der Verarbeitung: Jede Datenverarbeitung durch einen Voice Agent braucht eine Rechtsgrundlage. Die beiden relevantesten für Terminbuchungs-Systeme:
- Art. 6 Abs. 1 lit. b — Vertragserfüllung: Der Anrufer möchte einen Termin buchen, die Datenverarbeitung ist dafür erforderlich
- Art. 6 Abs. 1 lit. f — Berechtigtes Interesse: Das Unternehmen hat ein berechtigtes Interesse an effizienter Terminverwaltung
Beide Grundlagen erfordern, dass nur die Daten erhoben werden, die tatsächlich für den jeweiligen Zweck nötig sind. Welche Daten das sind, hängt vom konkreten Anwendungsfall ab — Name, Telefonnummer und Termingrund können bei einem Arzt oder Handwerksbetrieb durchaus erforderlich sein. Entscheidend ist, dass die Erhebung dem Zweck angemessen ist.
DSGVO Art. 13 — Informationspflicht bei Datenerhebung: Wenn ein Voice Agent personenbezogene Daten erhebt (Name, Telefonnummer, Terminwunsch), muss der Betreiber informieren: Wer verarbeitet die Daten, zu welchem Zweck, auf welcher Rechtsgrundlage, und wie lange werden sie gespeichert.
Am Telefon ist das vollständige Vorlesen einer Datenschutzerklärung natürlich nicht praktikabel. Ein pragmatischer Ansatz: Der KI-Assistent sollte in der Lage sein, auf Nachfrage Auskunft zu geben — wer die Daten verarbeitet, wozu, und wo die vollständige Datenschutzerklärung zu finden ist. Das setzt voraus, dass diese Informationen als Teil der Systemkonfiguration hinterlegt sind.
DSGVO Art. 13 Abs. 2 lit. f — Automatisierte Entscheidungsfindung: Die DSGVO verlangt die Offenlegung, wenn automatisierte Entscheidungen getroffen werden — „einschließlich Profiling" — mit „aussagekräftigen Informationen über die involvierte Logik". Ein Voice Agent, der selbstständig Termine bucht, trifft Entscheidungen automatisiert. Auch hier gilt: Transparenz über die Funktionsweise ist der sicherste Weg.
Die Kombination ist das Entscheidende:
| Pflicht | DSGVO | AI Act |
|---|---|---|
| KI-Hinweis im Gespräch | Nicht explizit gefordert | Art. 50 Abs. 1: Pflicht |
| Zeitpunkt der Information | „Zum Zeitpunkt der Erhebung" (Art. 13) | „Spätestens bei der ersten Interaktion" (Art. 50 Abs. 5) |
| Audio als synthetisch kennzeichnen | Nicht gefordert | Art. 50 Abs. 2: Pflicht |
| Datenschutzhinweis | Art. 13: Pflicht | Ergänzt, ersetzt nicht |
| KI-Kompetenz der Mitarbeiter | Nicht gefordert | Art. 4: Pflicht seit Feb. 2025 |
Der AI Act schließt die Lücken, die die DSGVO bei KI-Systemen offen lässt. Einige Pflichten — wie die KI-Kompetenz nach Art. 4 — gelten bereits seit Februar 2025. Die Transparenzpflichten nach Art. 50 folgen im August 2026.
Die Bußgelder: Ein ernstes Thema
Der AI Act kennt drei Bußgeldstufen:
| Verstoß | Maximale Geldbuße |
|---|---|
| Verbotene KI-Praktiken (Art. 5) | 35 Mio. EUR oder 7 % des weltweiten Jahresumsatzes |
| Transparenzpflichten (Art. 50) | 15 Mio. EUR oder 3 % des weltweiten Jahresumsatzes |
| Falsche Angaben gegenüber Behörden | 7,5 Mio. EUR oder 1 % des weltweiten Jahresumsatzes |
Für KMUs gibt es eine Erleichterung — Artikel 99 Absatz 6:
„Im Falle von KMU, einschließlich Start-up-Unternehmen, gilt für jede in diesem Artikel genannte Geldbuße der jeweils niedrigere Betrag aus den genannten Prozentsätzen oder Summen."
— Art. 99 Abs. 6, Verordnung (EU) 2024/1689
Das bedeutet: Für ein KMU mit 500.000 EUR Jahresumsatz wäre die Höchststrafe bei einem Transparenzverstoß 15.000 EUR (3 % des Umsatzes) statt 15 Mio. EUR. Je nach Marge kann das für ein kleines Unternehmen ein erheblicher Betrag sein. Und bei der DSGVO hat die Praxis gezeigt, dass Bußgelder zunächst selten, dann plötzlich konsequent verhängt werden.
Worauf Sie achten sollten
Aus den Gesetzestexten lassen sich konkrete Prüfpunkte ableiten — für Ihr eigenes Unternehmen und bei der Auswahl eines Voice-AI-Anbieters:
1. Ist ein KI-Hinweis in der Begrüßung fest eingebaut? Art. 50 Abs. 1 verpflichtet den Anbieter, das System so zu gestalten, dass der Hinweis erfolgt. Art. 50 Abs. 5 verlangt, dass er spätestens bei der ersten Interaktion kommt. Eine Begrüßung ohne KI-Hinweis ist ab August 2026 ein Compliance-Risiko.
2. Wie wird mit synthetischem Audio umgegangen? Ab August 2026 muss TTS-Audio maschinenlesbar als KI-generiert markiert sein (Art. 50 Abs. 2). Die technischen Standards dafür entwickeln sich noch — aber es lohnt sich, das Thema heute schon auf dem Schirm zu haben.
3. Wo werden Sprachdaten verarbeitet? Der AI Act ersetzt die DSGVO nicht. Wenn Anruferdaten durch Server außerhalb der EU laufen, brauchen Sie Standardvertragsklauseln (SCCs) oder EU-Datenresidenz.
4. Gibt es Schulungsmaterial zur KI-Kompetenz? Art. 4 gilt bereits seit Februar 2025. Ihr Anbieter sollte Materialien bereitstellen, die Ihren Mitarbeitern erklären, wie das System funktioniert und wo seine Grenzen liegen.
5. Sind die Aufbewahrungsfristen transparent? Die DSGVO fordert Speicherbegrenzung (Art. 5 Abs. 1 lit. e). Prüfen Sie, wie lange Anrufdaten gespeichert werden — bei Ihrem Anbieter und in Ihrem eigenen Unternehmen. Manche Daten müssen aus steuerlichen oder vertraglichen Gründen aufbewahrt werden, aber die Fristen sollten dokumentiert und begründet sein.
Was wir bei FlowCaptain tun
Wir setzen die Anforderungen des AI Act proaktiv um:
- KI-Kennzeichnung in der Begrüßung — wird als System-Pflichtbestandteil in jede Begrüßung integriert
- 90-Tage-Datenretention — Anrufdaten werden nach 90 Tagen automatisch gelöscht. Die DSGVO fordert Datensparsamkeit
- EU-Hosting — Datenbank (Supabase, Frankfurt), API (Railway, Amsterdam), Dashboard (Vercel, EU Edge)
- Offene Sub-Auftragsverarbeiter-Liste — Sie wissen genau, wer Ihre Daten verarbeitet
- KI-Kompetenz — Wir arbeiten an Dokumentation und Schulungsmaterialien, die unseren Kunden helfen, die Art. 4-Pflicht zu erfüllen
Beim Thema Audio-Watermarking (Art. 50 Abs. 2) steckt die gesamte Branche noch in der Entwicklung. Wir beobachten die technischen Standards und die kommenden EU-Leitlinien, um rechtzeitig eine Lösung zu implementieren.
Fazit
Der EU AI Act ist kein Grund zur Panik — aber ein Grund, sich jetzt vorzubereiten. Die Verordnung stellt sinnvolle Anforderungen: Wer KI einsetzt, soll das transparent tun. Wer KI-generierte Inhalte erzeugt, soll sie kennzeichnen. Wer KI-Systeme betreibt, soll verstehen, was er tut.
Für KMUs im DACH-Raum, die Voice Agents für ihre Terminbuchung einsetzen, sind die Pflichten überschaubar — aber real. Und die beste Zeit, sich vorzubereiten, ist nicht August 2026. Es ist jetzt.
Weiterführende Ressourcen
- Volltext der Verordnung (EU) 2024/1689 (AI Act)
- Volltext der Verordnung (EU) 2016/679 (DSGVO)
- EU AI Act Compliance Checker — in 10 Minuten prüfen, welche Anforderungen gelten
- AI Act Single Information Platform — offizielle Anlaufstelle mit FAQ und Leitlinien
- Informationen der Bundesregierung zum AI Act
- Digital Austria — AI Act — Informationen für österreichische Unternehmen
Quellen: Verordnung (EU) 2024/1689 (AI Act), Verordnung (EU) 2016/679 (DSGVO). Alle zitierten Passagen stammen aus den offiziellen deutschsprachigen Fassungen im Amtsblatt der Europäischen Union. Dieser Artikel stellt keine Rechtsberatung dar.