Verzerrung in Daten
Woher systematische Benachteiligung kommt, wie man sie misst und warum sich mehrere Fairnessmaße nachweislich nicht gleichzeitig erfüllen lassen.
Woher sie kommt
| Quelle | Beispiel |
|---|---|
| Historische Verzerrung | Frühere Entscheidungen waren selbst benachteiligend |
| Stichprobenverzerrung | Eine Gruppe ist in den Daten unterrepräsentiert |
| Messverzerrung | Ein Merkmal wird für eine Gruppe ungenauer erfasst |
| Etikettenverzerrung | Die Bewertung war für Gruppen unterschiedlich streng |
| Rückkopplung | Das Modell beeinflusst die Daten, aus denen es weiterlernt |
Die letzte ist die tückischste: Ein Modell, das bestimmte Bewerbungen nicht weiterleitet, erzeugt nie Daten darüber, wie erfolgreich diese Personen gewesen wären.
Messen statt vermuten
import numpy as np, pandas as pd
def fairness_bericht(y_wahr, y_pred, gruppe):
df = pd.DataFrame({"y": y_wahr, "p": y_pred, "g": gruppe})
zeilen = []
for g, teil in df.groupby("g"):
tp = ((teil.p == 1) & (teil.y == 1)).sum()
fp = ((teil.p == 1) & (teil.y == 0)).sum()
fn = ((teil.p == 0) & (teil.y == 1)).sum()
tn = ((teil.p == 0) & (teil.y == 0)).sum()
zeilen.append({
"Gruppe": g, "n": len(teil),
"Auswahlrate": round((tp + fp) / len(teil), 3),
"Trefferquote": round(tp / max(tp + fn, 1), 3),
"Fehlalarmrate": round(fp / max(fp + tn, 1), 3),
"Genauigkeit der Zusage": round(tp / max(tp + fp, 1), 3),
})
return pd.DataFrame(zeilen)Diese Tabelle je Gruppe ist der Mindeststandard. Eine Gesamtgenauigkeit ohne Aufschlüsselung sagt über Gleichbehandlung nichts aus.
- Gruppen mit weniger als etwa 100 Fällen nicht bewerten, sondern als „zu wenige Daten" ausweisen.
- Auch Schnittmengen prüfen, nicht nur einzelne Merkmale.
- Die Messung wiederholen, wenn sich der Schwellwert ändert.
Die drei gängigen Kriterien
Der Unvereinbarkeitssatz
Sind die tatsächlichen Grundraten zwischen zwei Gruppen verschieden und ist der Klassifikator nicht perfekt, dann können Kalibrierung und ausgeglichene Fehlerraten nicht gleichzeitig gelten. Das ist kein Umsetzungsproblem, sondern ein Ergebnis, das sich aus den Definitionen ergibt.
Praktische Folge: Man wählt ein Kriterium, begründet die Wahl fachlich und rechtlich, dokumentiert sie und weist die verbleibenden Unterschiede in den anderen Kriterien aus. Eine Behauptung, ein System sei „fair", ohne das zugrunde gelegte Kriterium zu nennen, ist inhaltsleer.
Der Vier-Fünftel-Anhaltspunkt
Der Wert stammt aus der US-amerikanischen Praxis und ist im europäischen Recht kein Schwellenwert. Als Auslöser für eine genauere Prüfung ist er trotzdem brauchbar: Ein Verhältnis unter 0,8 sollte nie unkommentiert bleiben.
Was zu tun ist
- 01
Vor dem Modell: die Daten
Unterrepräsentierte Gruppen gezielt nacherheben. Das wirkt stärker als jede algorithmische Korrektur.
- 02
Im Modell: Nebenbedingungen
Fairnessbedingungen in die Optimierung aufnehmen. Wirksam, aber die Wahl des Kriteriums bleibt normativ.
- 03
Nach dem Modell: Schwellwerte
Gruppenspezifische Schwellwerte sind wirksam und rechtlich heikel, weil sie eine unmittelbare Ungleichbehandlung darstellen können.
- 04
Immer: Dokumentation
Gemessene Werte je Gruppe, gewähltes Kriterium, Begründung, verbleibende Unterschiede.
Passende Kurse und Quellen
Common Crawl
Der offene Abzug des Webs, aus dem ein großer Teil der Trainingsdaten von Sprachmodellen stammt. Zeigt konkret, was in einem Vortraining tatsächlich steckt.
Für alle, die wissen wollen, woher ein Modell sein Wissen hat, und für die Frage nach dem Nutzungsvorbehalt.
Datasheets for Datasets
Herkunft, Zusammensetzung und Einschränkungen eines Datensatzes dokumentieren. Die Vorlage, aus der die heutigen Dokumentationspflichten stammen.
Für alle, die Datensätze dokumentieren müssen; die Vorlage der heutigen Pflichten.
Gender Shades
Die Untersuchung, die zeigte, wie stark Gesichtserkennung je nach Hautton und Geschlecht danebenliegt. Der Auslöser der heutigen Regeln.
Für jede Diskussion über Gesichtserkennung: die Untersuchung, die die heutigen Regeln ausgelöst hat.
Hugging Face Datensätze
Offene Datensätze mit Beschreibung, Lizenz und Vorschau. Nützlich für Bewertungssätze, riskant als Trainingsgrundlage ohne Herkunftsprüfung.
Für Bewertungssätze gut, als Trainingsgrundlage nur mit Herkunfts- und Lizenzprüfung.
ImageNet
Der Datensatz, an dem sich Bildverarbeitung über ein Jahrzehnt gemessen hat. Historisch wichtig und in seinen Verzerrungen gut dokumentiert.
Für alle, die Benchmarks lesen wollen: fast jede Zahl zur Bilderkennung bezieht sich hierauf.
Interpretable Machine Learning
Was Verfahren zur Erklärbarkeit leisten und wo sie überinterpretiert werden. Die nüchternste Darstellung des Themas, frei verfügbar.
Für alle, die Erklärbarkeit versprechen müssen und wissen sollten, was Verfahren wirklich leisten.