Benchmarks lesen
Warum Ranglisten wenig über den eigenen Anwendungsfall sagen, welche Fragen man an eine Zahl stellt und wie ein eigener Bewertungssatz aussieht.
Die Idee
Ein Benchmark ist eine Prüfungsaufgabe. Wer sie gut löst, kann diese Aufgabe. Ob er die Arbeit kann, um die es Ihnen geht, steht damit nicht fest.
Die Fragen an jede Zahl
- Welche Aufgabe wird gemessen, und wie ähnlich ist sie meiner?
- Wie viele Fälle, und wie groß ist das Konfidenzintervall?
- Waren die Testdaten möglicherweise im Training enthalten?
- Wie viele Konfigurationen wurden ausprobiert, bevor diese Zahl berichtet wurde?
- Wer hat gemessen, und wer hat ein Interesse am Ergebnis?
Der eigene Bewertungssatz
- 01
Echte Fälle sammeln
50 bis 300 Vorgänge aus dem tatsächlichen Betrieb, nicht erfundene.
- 02
Erwartetes Ergebnis festhalten
Was wäre die richtige Antwort? Bei offenen Aufgaben ein Kriterienkatalog statt eines Wortlauts.
- 03
Schwierige Fälle aufnehmen
Randfälle, mehrdeutige Fälle, und solche, bei denen die richtige Antwort „keine Auskunft" ist.
- 04
Versionieren und einfrieren
Der Satz wird zum Vergleichsmaßstab über Modellwechsel hinweg.
Was ein solcher Satz kostet und bringt
| Aufwand | Ergebnis |
|---|---|
| Zwei bis fünf Personentage einmalig | Vergleichbarkeit über Jahre |
| Eine Stunde je Modellversion | Belastbare Entscheidung statt Bauchgefühl |
| Wiederverwendbar bei jedem Anbieterwechsel | Verhandlungsposition |
Ein Modell als Bewerter
Für offene Aufgaben ist eine automatische Bewertung durch ein Modell die einzige praktikable Skalierung. Die bekannten Verzerrungen und ihre Gegenmittel:
| Verzerrung | Gegenmittel |
|---|---|
| Längere Antworten werden bevorzugt | Länge im Bewertungsmaßstab ausdrücklich ausschließen |
| Der erste Vorschlag gewinnt | Reihenfolge tauschen und beide Läufe mitteln |
| Der eigene Stil wird bevorzugt | Ein anderes Modell als Bewerter einsetzen |
| Selbstsicherheit wird als Richtigkeit gelesen | Bewertung gegen eine Referenzantwort statt frei |
| Zustimmungsneigung | Ausdrücklich nach Fehlern fragen, nicht nach einer Note |
Zusätzlich gilt: Die Übereinstimmung des Modellbewerters mit menschlichen Bewertungen ist auf einer Stichprobe von 50 bis 100 Fällen zu messen, bevor man sich darauf verlässt. Eine Übereinstimmung unter etwa 70 Prozent macht die automatische Bewertung unbrauchbar.
Kontamination erkennen
Ein Rückgang von 82 auf 61 Prozent bei denselben Aufgaben mit anderen Zahlen und anderer Formulierung ist kein Zufall, sondern der übliche Befund bei kontaminierten Benchmarks.
Was in einen Bericht gehört
- Modellname und genaue Version, nicht nur die Familie.
- Datum der Messung. Anbieter aktualisieren Modelle hinter derselben Bezeichnung.
- Alle Parameter: Temperatur, Systemprompt, Kontextlänge, Werkzeugzugriff.
- Anzahl der Fälle und Konfidenzintervall.
- Anzahl der geprüften Varianten, bevor diese berichtet wurde.
- Die Fälle, in denen das Modell versagt hat, mit Beispielen.
Der letzte Punkt ist der wertvollste und fehlt fast immer. Eine Liste der Fehlschläge sagt über die Eignung mehr aus als jede Durchschnittszahl.
Passende Kurse und Quellen
Hugging Face Datensätze
Offene Datensätze mit Beschreibung, Lizenz und Vorschau. Nützlich für Bewertungssätze, riskant als Trainingsgrundlage ohne Herkunftsprüfung.
Für Bewertungssätze gut, als Trainingsgrundlage nur mit Herkunfts- und Lizenzprüfung.
ImageNet
Der Datensatz, an dem sich Bildverarbeitung über ein Jahrzehnt gemessen hat. Historisch wichtig und in seinen Verzerrungen gut dokumentiert.
Für alle, die Benchmarks lesen wollen: fast jede Zahl zur Bilderkennung bezieht sich hierauf.
Model Cards for Model Reporting
Der Vorschlag, zu jedem Modell Zweck, Grenzen und geprüfte Gruppen zu dokumentieren. Heute praktisch Voraussetzung jeder Prüfung.
Für alle, die eine Prüfung vorbereiten; Modellkarten sind faktisch Voraussetzung geworden.