Sprachsynthese
Vom Text zur Stimme: wie moderne Systeme klingen, was Stimmklonen technisch bedeutet und welche Kennzeichnungspflichten gelten.
Die Idee
Ein Text wird zuerst in Lautschrift und Betonung übersetzt, daraus entsteht ein Zeit-Frequenz-Bild, und aus diesem Bild erzeugt ein zweites Modell die Schallwelle. Die Trennung in zwei Stufen ist der Grund, warum sich Stimme, Sprechweise und Inhalt getrennt steuern lassen.
Wozu es gut ist
- Vorlesefunktion für Dokumente und Barrierefreiheit.
- Ansagen und Sprachdialoge.
- Schulungsmaterial und Untertitelung.
- Mehrsprachige Fassungen ohne neue Aufnahme.
Der Aufbau
- 01
Textnormalisierung
Zahlen, Abkürzungen, Datumsangaben ausschreiben. „§ 3 Abs. 2" muss zu „Paragraf drei Absatz zwei" werden.
- 02
Lautschrift
Umwandlung in Phoneme, mit Wörterbuch für Eigennamen und Fachbegriffe.
- 03
Akustisches Modell
Erzeugt daraus ein Mel-Spektrogramm samt Dauer und Betonung.
- 04
Vocoder
Erzeugt aus dem Spektrogramm die eigentliche Wellenform.
Die erste Stufe wird regelmäßig unterschätzt und verursacht die meisten hörbaren Fehler. Ein Betrag wie „1.250,50 EUR" muss zu „eintausendzweihundertfünfzig Euro fünfzig" werden, und eine falsche Regel dafür fällt jedem Hörer sofort auf.
Was die Qualität ausmacht
| Faktor | Wirkung |
|---|---|
| Textnormalisierung | sehr groß, häufigste Fehlerquelle |
| Aussprachewörterbuch | groß bei Fachtexten |
| Betonung und Pausen | groß für die Verständlichkeit |
| Vocoder-Qualität | mittel, heute meist ausreichend |
| Abtastrate | gering über 22 kHz |
Stimmklonen, technisch
Zwei Wege mit sehr unterschiedlichem Aufwand:
| Weg | Material | Aufwand | Güte |
|---|---|---|---|
| Sprecherembedding | 3 bis 30 Sekunden | keine Anpassung nötig | erkennbar, nicht perfekt |
| Feinabstimmung | 10 Minuten bis Stunden | Training nötig | sehr nah am Original |
Beim ersten Weg erzeugt ein Encoder aus einer kurzen Probe einen Vektor, der die Stimme beschreibt, und dieser Vektor steuert das Syntheseverfahren. Es ist genau dieselbe Idee wie bei Bild-Embeddings, siehe Embeddings.
Durchgerechnet: die Mel-Skala und der Echtzeitfaktor
Sprachsynthese erzeugt fast nie direkt eine Wellenform, sondern zuerst ein Mel-Spektrogramm. Die Mel-Skala bildet Frequenzen so ab, wie das Ohr sie auflöst: fein im unteren Bereich, grob im oberen.
Bei 1.000 Hz ergibt sich 2595 · log₁₀(2,4286) ≈ 1000 Mel. Bei 2.000 Hz sind es
2595 · log₁₀(3,8571) ≈ 1521 Mel. Die doppelte Frequenz ist also nicht die
doppelte wahrgenommene Tonhöhe, und genau deshalb wird in Mel gerechnet.
Ein typisches Mel-Spektrogramm nutzt 80 Bänder bei einer Sprungweite von
256 Abtastwerten und 22.050 Hz Abtastrate. Das ergibt
22050 / 256 ≈ 86 Bilder je Sekunde. Eine Sekunde Sprache ist damit eine Matrix
von 80 × 86 = 6.880 Zahlen, die das Modell erzeugen muss.
Ein Modell, das 10 Sekunden Sprache in 0,4 Sekunden erzeugt, hat einen RTF von 0,04. Für ein Dialogsystem zählt aber nicht der RTF, sondern die Zeit bis zum ersten Ton. Wer den ganzen Satz erst fertig rechnet, wartet spürbar; wer abschnittsweise erzeugt und ausgibt, nicht.
Kennzeichnung
- Anbieterpflicht. Ausgaben sind maschinenlesbar als künstlich erzeugt zu kennzeichnen, etwa durch ein Wasserzeichen im Signal oder Angaben in den Metadaten.
- Betreiberpflicht. Wer eine Stimme nachahmt und veröffentlicht, muss das offenlegen. Ausnahmen bestehen für offensichtlich künstlerische oder satirische Werke, mit Einschränkungen.
- Dialogsysteme. Wer mit einem System spricht, muss erkennen können, dass es kein Mensch ist. Diese Pflicht besteht unabhängig von der Stimmqualität.
- Dokumentation. Einwilligung der Stimmgeberin, Umfang der Nutzung, Widerrufsmöglichkeit und Löschung der Stimmdaten gehören schriftlich festgehalten.
Wasserzeichen
Verfahren, die eine unhörbare Markierung in das erzeugte Signal einbetten, sind verfügbar und werden von mehreren Anbietern eingesetzt. Ihre Grenzen sind bekannt:
- Sie überstehen leichte Kompression, aber nicht jede Nachbearbeitung.
- Sie beweisen die Herkunft aus einem bestimmten System, nicht die Abwesenheit einer Manipulation.
- Sie helfen bei kooperativen Anbietern und nicht bei absichtlichem Missbrauch.
Für die Praxis heißt das: Ein Wasserzeichen ist eine Sorgfaltsmaßnahme, kein Schutz. Organisatorische Absicherungen wie Rückrufverfahren bei Zahlungsanweisungen sind gegen Stimmbetrug wirksamer als jede technische Erkennung.
Passende Kurse und Quellen
Hugging Face Audio-Kurs
Vom Signal über Spektrogramme bis zu Erkennung und Synthese, durchgehend mit Code. Die praktische Ergänzung zu den Artikeln über Sprache und Audio.
Für alle, die Sprachtechnik selbst bauen wollen; setzt Python und etwas Signalwissen voraus.