Statistik für KI

Die Idee#

Wenn Sie zehn Rechnungen prüfen lassen und neun stimmen, ist die Trefferquote 90 Prozent. Prüfen Sie zehn andere, sind es vielleicht 70. Beide Zahlen sind richtig gemessen und beide sagen wenig, weil die Stichprobe zu klein ist.

Statistik ist das Werkzeug, das diese Unsicherheit sichtbar macht, statt sie wegzurunden.

Wozu es gut ist#

Jede Entscheidung über ein KI-System hängt an einem Vergleich: Modell A gegen Modell B, mit KI gegen ohne, Prompt v1 gegen Prompt v2. Ohne Fehlerangabe sind diese Vergleiche Münzwürfe mit Nachkommastellen.

Die Rechnung, die man immer braucht#

Für eine gemessene Quote p aus n Fällen ist der Standardfehler √(p(1−p)/n), das 95-Prozent-Intervall etwa das Doppelte davon.

import math

def ci95(hits, n):
    p = hits / n
    se = math.sqrt(p * (1 - p) / n)
    return round(p - 1.96 * se, 4), round(p + 1.96 * se, 4)

print(ci95(180, 200))    # (0.8584, 0.9416)
print(ci95(900, 1000))   # (0.8814, 0.9186)

Zwei Modelle richtig vergleichen#

1. 01

   Dieselben Fälle

   Beide Modelle auf identischen Eingaben laufen lassen. Getrennte Stichproben verschenken die Hälfte der Aussagekraft.

2. 02

   Nur die Abweichungen zählen

   Fälle, in denen beide gleich abschneiden, tragen nichts bei. Gezählt werden die Fälle, in denen genau eines richtiglag.

3. 03

   McNemar-Test rechnen

   Bei 30 Fällen, die nur A löst, und 15, die nur B löst, ist die Prüfgröße (30−15)²/(30+15) = 5,0: das entspricht p ≈ 0,025 und ist knapp belastbar.

4. 04

   Effektgröße nennen

   Neben der Signifikanz immer die absolute Differenz und ihr Intervall angeben, damit die Entscheidung fachlich und nicht statistisch fällt.

Die Formeln#

Der Faktor √n ist die betriebswirtschaftlich wichtigste Zahl der Statistik: um die Messgenauigkeit zu verdoppeln, braucht man die vierfache Datenmenge.

Bootstrap statt Formel#

Für Metriken ohne geschlossene Fehlerformel, etwa F1, mAP, BLEU oder mittlere Bearbeitungszeit, ist Bootstrapping der pragmatische Weg.

import numpy as np
rng = np.random.default_rng(0)

def bootstrap_ci(scores, reps=10_000):
    scores = np.asarray(scores)
    means = [rng.choice(scores, size=scores.size, replace=True).mean()
             for _ in range(reps)]
    # Perzentilmethode: einfach, robust, ohne Verteilungsannahme.
    return np.percentile(means, [2.5, 97.5])

print(bootstrap_ci(rng.normal(0.83, 0.12, 300)).round(3))

Der Fehler, der Benchmarks unbrauchbar macht#

Mehrfachtestung. Wer 20 Prompt-Varianten auf demselben Testsatz prüft und die beste meldet, hat bei einem Signifikanzniveau von 5 Prozent eine Chance von 1 − 0,95²⁰ ≈ 64 %, rein zufällig einen „signifikanten" Gewinner zu finden. Gegenmittel: ein zurückgehaltener Testsatz, der genau einmal berührt wird, und eine Korrektur nach Bonferroni oder Benjamini-Hochberg für alles davor. Siehe auch Datenlecks im Training.