Annotation und Labeling
Wie aus Rohdaten Trainingsdaten werden: Anleitung schreiben, Übereinstimmung messen, Kosten schätzen und Modelle beim Annotieren helfen lassen.
Die Idee
Ein Modell lernt aus Beispielen mit richtiger Antwort. Diese Antworten muss jemand vergeben. Der Vorgang heißt Annotation, und er ist in den meisten Projekten der größte einzelne Kostenblock.
Der Ablauf
- 01
Anleitung schreiben
Mit Beispielen, besonders für Grenzfälle. Definitionen allein reichen nicht.
- 02
Pilotdurchlauf
50 bis 100 Fälle von zwei Personen unabhängig annotieren lassen.
- 03
Übereinstimmung messen
Bei niedriger Übereinstimmung die Anleitung überarbeiten, nicht die Menschen.
- 04
Hauptlauf mit Stichproben
Fünf bis zehn Prozent doppelt annotieren, um die Güte laufend zu überwachen.
Eine brauchbare Anleitung
- Eine Seite pro Klasse: Definition, drei eindeutige Beispiele, drei Grenzfälle mit Begründung.
- Eine Entscheidungsreihenfolge für Fälle, auf die mehrere Klassen zutreffen.
- Eine ausdrückliche Kategorie für „nicht entscheidbar", damit niemand raten muss.
- Ein Änderungsprotokoll. Jede Anpassung während des Laufs betrifft die bereits erhobenen Fälle.
Kosten schätzen
| Aufgabe | Zeit je Einheit | 10.000 Einheiten |
|---|---|---|
| Textklassifikation, 3 Klassen | 5 bis 15 s | 14 bis 42 h |
| Textklassifikation, 20 Klassen | 20 bis 60 s | 56 bis 167 h |
| Entitäten im Text markieren | 1 bis 4 min | 167 bis 667 h |
| Objektrechtecke im Bild | 20 bis 60 s | 56 bis 167 h |
| Instanzsegmentierung | 3 bis 15 min | 500 bis 2.500 h |
Diese Tabelle gehört an den Anfang jedes Projekts. Sie führt häufiger zu einer Änderung der Aufgabenstellung als zu einem Budgetantrag.
Aktives Lernen
Statt zufällig zu annotieren, wählt man die Fälle aus, bei denen das aktuelle Modell am unsichersten ist.
Empirisch erreicht aktives Lernen dieselbe Güte mit 30 bis 60 Prozent der Annotationen. Zwei Vorbehalte:
- Der so erhobene Datensatz ist nicht mehr repräsentativ und taugt nicht als Testsatz. Der Testsatz wird immer zufällig gezogen.
- Reine Unsicherheitsauswahl bevorzugt Randfälle und Ausreißer. Eine Beimischung zufälliger Fälle von 20 bis 30 Prozent hält den Datensatz gesund.
Vorannotieren mit einem Modell
| Schritt | Wirkung |
|---|---|
| Modell schlägt vor, Mensch bestätigt oder korrigiert | Faktor 3 bis 5 schneller |
| Nur Fälle unter einer Konfidenzschwelle vorlegen | Faktor 5 bis 20, mit Risiko |
| Ohne Prüfung übernehmen | Modellfehler werden zu Trainingsdaten |
Die dritte Zeile ist der Fehler, der Projekte still ruiniert: Das Modell lernt seine eigenen Fehler und bestätigt sie. Eine Stichprobenprüfung von mindestens fünf Prozent aller automatisch übernommenen Etikette ist die Untergrenze.
Der Bezug zum AI Act
Für Hochrisikosysteme verlangt Art. 10 unter anderem Angaben zu den Datenerhebungsverfahren, zur Herkunft und zu Annahmen über das, was die Daten darstellen sollen. Die Annotationsanleitung, die gemessene Übereinstimmung und das Änderungsprotokoll sind damit Teil der technischen Dokumentation. Wer sie ohnehin sauber führt, erfüllt diese Pflicht als Nebenprodukt. Siehe Audit vorbereiten.
Passende Kurse und Quellen
Segment Anything
Segmentierung ohne aufgabenspezifisches Training, gesteuert über Punkte und Kästen. Verändert die Vorarbeit in der Bildanalyse deutlich.
Für Bildanalyse mit wenig eigenen Daten; verändert die Vorarbeit spürbar.
spaCy
Bibliothek für klassische Sprachverarbeitung. Für Erkennung von Namen, Wortarten und Struktur oft schneller, billiger und prüfbarer als ein Sprachmodell.
Wenn Namen, Wortarten oder Struktur gebraucht werden: oft schneller, billiger und prüfbarer als ein Sprachmodell.