Datensätze aufbauen
Der Teil, der 80 Prozent der Arbeit ausmacht: Umfang festlegen, Stichproben ziehen, Aufteilen, Versionieren und die Rechtsgrundlage klären.
Die Idee
Ein Modell kann nur so gut sein wie die Beispiele, aus denen es lernt. Diese Beispiele zusammenzustellen ist keine Vorarbeit, sondern die eigentliche Arbeit.
Die vier Fragen am Anfang
- 01
Was genau soll vorhergesagt werden?
Und woran erkennt man später, dass die Antwort richtig war?
- 02
Welche Fälle gehören dazu?
Die Abgrenzung ist wichtiger als der Umfang. Ein klar abgegrenzter Datensatz mit 2.000 Fällen schlägt einen unklaren mit 50.000.
- 03
Woher kommen die Daten?
Herkunft, Zeitraum, Erhebungsweise. Ohne diese Angaben lässt sich später nichts mehr beurteilen.
- 04
Dürfen wir sie verwenden?
Rechtsgrundlage, Zweckbindung, Rechte Dritter. Vor dem ersten Training, nicht danach.
Die Lernkurve als Entscheidungshilfe
import numpy as np
from sklearn.model_selection import learning_curve
anteile = np.array([0.1, 0.25, 0.5, 0.75, 1.0])
# Steigt die Validierungskurve am rechten Rand noch deutlich, lohnen mehr
# Daten. Ist sie flach, hilft nur ein anderes Modell oder bessere Merkmale.Diese Kurve beantwortet die Frage „mehr Daten oder besseres Modell?" empirisch statt durch Vermutung, und spart regelmäßig ein Quartal Annotationsarbeit.
Die Datenkarte
Ein kurzes Dokument je Datensatz, das folgende Punkte beantwortet:
- Zweck: Wofür wurde er zusammengestellt, und wofür ausdrücklich nicht?
- Umfang: Anzahl, Zeitraum, Quellen, Sprache, Regionen.
- Erhebung: Wie ausgewählt? Zufällig, vollständig, gefiltert? Nach welchen Kriterien?
- Etiketten: Wer hat sie vergeben, nach welcher Anleitung, mit welcher Übereinstimmung?
- Bekannte Lücken: Welche Fälle fehlen oder sind unterrepräsentiert?
- Recht: Rechtsgrundlage, personenbezogene Anteile, Aufbewahrung, Löschung.
- Version: Kennung, Prüfsumme, Datum, Änderungen gegenüber der Vorversion.
Stichprobenverfahren
| Verfahren | Wann | Fallstrick |
|---|---|---|
| Einfache Zufallsstichprobe | Homogener Bestand | Seltene Klassen fehlen |
| Geschichtet | Bekannte Untergruppen | Schichtung muss vorher feststehen |
| Zeitlich geblockt | Zeitreihen, Prozesse | Nie mischen |
| Nach Gruppen | Mehrere Fälle je Person | Gruppen dürfen nicht über Splits verteilt sein |
| Gezielt nach schwierigen Fällen | Nachschärfen | Verzerrt die Verteilung, nur für Training |
Die letzte Zeile ist wichtig und wird oft falsch gemacht: Schwierige Fälle gezielt nachzusammeln verbessert das Training, macht den Testsatz aber unbrauchbar, wenn dieselbe Auswahl dort angewendet wird.
Die Aufteilung einfrieren
Der Vorteil gegenüber einer zufälligen Aufteilung mit festem Startwert: Werden neue Fälle hinzugefügt, wandert kein bestehender Fall in einen anderen Teil. Ohne diese Eigenschaft ist ein Vergleich zweier Modellversionen über die Zeit hinweg wertlos.
Der rechtliche Rahmen
- Zweckbindung. Daten, die für die Vertragsabwicklung erhoben wurden, sind damit nicht automatisch für Modelltraining nutzbar. Ein Zweckwechsel ist zu prüfen und zu begründen.
- Art. 10 AI Act. Für Hochrisikosysteme gelten Anforderungen an Trainings-, Validierungs- und Testdaten: Relevanz, Repräsentativität, Fehlerfreiheit soweit möglich, Untersuchung auf Verzerrungen.
- Löschung. Ein Löschbegehren betrifft den Datensatz. Ob das trainierte Modell mit betroffen ist, ist ungeklärt; deshalb gehören personenbezogene Daten vor dem Training entfernt.
- Rechte Dritter. Fremde Texte und Bilder unterliegen dem Urheberrecht; die Text-und-Data-Mining-Schranke greift nur bei rechtmäßigem Zugang und ohne wirksamen Nutzungsvorbehalt.
Siehe Datenschutz-Grundlagen und Urheberrecht.
Passende Kurse und Quellen
Common Crawl
Der offene Abzug des Webs, aus dem ein großer Teil der Trainingsdaten von Sprachmodellen stammt. Zeigt konkret, was in einem Vortraining tatsächlich steckt.
Für alle, die wissen wollen, woher ein Modell sein Wissen hat, und für die Frage nach dem Nutzungsvorbehalt.
Datasheets for Datasets
Herkunft, Zusammensetzung und Einschränkungen eines Datensatzes dokumentieren. Die Vorlage, aus der die heutigen Dokumentationspflichten stammen.
Für alle, die Datensätze dokumentieren müssen; die Vorlage der heutigen Pflichten.
Hugging Face Datensätze
Offene Datensätze mit Beschreibung, Lizenz und Vorschau. Nützlich für Bewertungssätze, riskant als Trainingsgrundlage ohne Herkunftsprüfung.
Für Bewertungssätze gut, als Trainingsgrundlage nur mit Herkunfts- und Lizenzprüfung.
ImageNet
Der Datensatz, an dem sich Bildverarbeitung über ein Jahrzehnt gemessen hat. Historisch wichtig und in seinen Verzerrungen gut dokumentiert.
Für alle, die Benchmarks lesen wollen: fast jede Zahl zur Bilderkennung bezieht sich hierauf.
Kaggle-Datensätze
Echte, unaufgeräumte Daten zum Üben. Genau das macht sie wertvoll, weil aufbereitete Beispiele die eigentliche Arbeit verstecken.
Zum Üben an unaufgeräumten Daten, weil aufbereitete Beispiele die eigentliche Arbeit verstecken.
Training Compute-Optimal Large Language Models
Die Rechnung, die zeigte, dass die meisten großen Modelle mit zu wenig Daten trainiert waren. Seither ist Datenmenge kein Nebenpunkt mehr.
Für alle, die Modellgrößen vergleichen und wissen müssen, warum Datenmenge zählt.