Synthetische Daten
Erzeugte statt erhobene Beispiele: wann das trägt, wo es kippt und warum ein Modell, das nur von Modellen lernt, schlechter wird.
Die Idee
Statt Beispiele zu sammeln, erzeugt man sie: gerenderte Bilder eines Bauteils aus tausend Blickwinkeln, simulierte Sensorverläufe, erzeugte Beispielsätze für eine seltene Kategorie.
Wann es sich lohnt
| Lage | Eignung |
|---|---|
| Seltene Fehlerbilder in der Fertigung | sehr gut, mit CAD und Rendering |
| Randfälle mit bekannter Wahrheit | sehr gut |
| Ausgewogenheit seltener Klassen herstellen | gut, mit Vorsicht |
| Personenbezogene Daten ersetzen | mit Einschränkungen |
| Fachwissen ersetzen, das nicht vorliegt | ungeeignet |
| Testsatz ersetzen | ungeeignet |
Die Wege
| Weg | Prinzip | Typisch für |
|---|---|---|
| Augmentierung | Echte Daten variieren | Bilder, Ton, Text |
| Simulation | Physikalisches Modell rendern | Fertigung, Robotik, Fahrzeuge |
| Generatives Modell | Aus echten Daten lernen und erzeugen | Text, Bilder |
| Regelbasiert | Aus Vorlagen erzeugen | Formulare, strukturierte Texte |
| Zufallsvariation im Rendering | Absichtlich unrealistische Vielfalt | Übertragung auf die Wirklichkeit |
Die letzte Zeile ist kontraintuitiv und gut belegt: Wenn Beleuchtung, Texturen und Hintergründe in der Simulation stark und teils unrealistisch variiert werden, lernt das Modell, diese Faktoren zu ignorieren, und überträgt sich besser auf echte Aufnahmen.
- Immer mit echten Daten mischen, selten ausschließlich synthetisch trainieren.
- Den Anteil synthetischer Daten als Hyperparameter behandeln und messen.
- Synthetische Daten kennzeichnen und getrennt versionieren.
- Der Testsatz bleibt echt, immer.
Modellkollaps
Die praktische Folge ist gravierender, als die Formel vermuten lässt: Der Verlust trifft zuerst die Ränder der Verteilung. Ein Modell, das über mehrere Runden auf erzeugten Texten trainiert wurde, verliert zuerst seltene Formulierungen, Fachbegriffe und ungewöhnliche Fälle: genau das, wofür man es später braucht.
Gegenmittel: Echte Daten in jeder Runde beimischen und ihren Anteil nicht unter etwa ein Drittel fallen lassen.
Anonymität ist nicht automatisch
Ein generatives Modell, das auf echten Datensätzen trainiert wurde, kann einzelne davon fast wörtlich wiedergeben. Zwei Prüfungen sind Mindeststandard:
- Nächster-Nachbar-Abstand. Für jeden erzeugten Datensatz den Abstand zum ähnlichsten echten messen. Eine Häufung nahe null zeigt Auswendiglernen.
- Zugehörigkeitstest. Prüfen, ob sich aus dem Generator ableiten lässt, ob ein bestimmter echter Datensatz im Training war.
Belastbar wird die Aussage erst mit differenzieller Privatheit im Training des Generators:
Nur mit einer solchen Garantie und einem dokumentierten ε lässt sich gegenüber
einer Aufsichtsbehörde begründen, dass die erzeugten Daten keinen Personenbezug
mehr tragen. Ein ε über etwa 10 gilt dabei als schwach.