Messgrößen
Welche Zahlen eine Entscheidung tragen, welche nur gut aussehen, und wie man einen Ausgangswert erhebt, bevor es zu spät ist.
·1 Min. Lesezeit·Von Redaktion KI-Kompass
DETAILGRAD3 Abschnitte
Kennzahlen, die tragen
| Kennzahl | Was sie misst | Wie erhoben |
|---|---|---|
| Zeit je Vorgang | Den unmittelbaren Nutzen | Stichprobe vorher und nachher |
| Korrekturquote | Die tatsächliche Güte | Fällt bei jeder Prüfung an |
| Anteil unveränderter Übernahmen | Praktische Brauchbarkeit | Aus dem System |
| Ablehnungsquote | Ob geraten wird | Aus dem System |
| Durchlaufzeit des Gesamtvorgangs | Ob der Engpass verschoben wurde | Aus dem Fachsystem |
| Kosten je erledigtem Vorgang | Die einzige Zahl für den Fachbereich | Rechnung plus Prüfaufwand |
Kennzahlen, die nicht tragen
- Anzahl erzeugter Texte oder Anfragen. Misst Aktivität.
- Zahl der Nutzenden. Misst Neugier, in Woche eins am höchsten.
- Automatisierungsquote. Kann steigen, während die Fehlerquote mitsteigt.
- Zufriedenheitsumfragen ohne Vergleichswert. Misst Stimmung.
- Eine Genauigkeitsangabe ohne Fallzahl und Intervall. Misst nichts.
Die vollständige Wirtschaftlichkeitsrechnung
| Posten | Vorher | Nachher |
|---|---|---|
| Bearbeitungszeit je Vorgang | gemessen | gemessen |
| Prüfzeit je Vorgang | 0 | gemessen |
| Nacharbeit bei Fehlern, mal Fehlerquote | gemessen | gemessen |
| Anfragekosten | 0 | gemessen |
| Einführung, verteilt über die Nutzungsdauer | 0 | geschätzt |
| Laufende Pflege: Vorlagen, Eval-Set, Prüfungen | 0 | geschätzt |
Die letzten beiden Zeilen fehlen in den meisten Rechnungen und sind der Grund, warum ein Vorhaben mit knappem Vorteil in der Praxis keinen hat.
Statistisch belastbar berichten
- Immer mit Fallzahl. Eine Quote ohne Nenner ist keine Information.
- Mit Konfidenzintervall. Bei 200 Fällen liegt es bei rund plus minus vier Punkten.
- Beim Vergleich zweier Verfahren gepaart auswerten, auf denselben Fällen.
- Die Anzahl der geprüften Varianten mit angeben, sonst ist der Gewinner zufällig.
Siehe Statistik für KI.
Die Korrekturquote als Datenschatz
Wenn ein Mensch das Ergebnis ohnehin prüft, ist seine Korrektur ein kostenloses Label. Systematisch gesammelt entsteht daraus in einem halben Jahr ein Datensatz, den kein Anbieter liefern kann: echte Fälle aus dem eigenen Betrieb mit der richtigen Antwort daneben.
- Korrekturen strukturiert erfassen, nicht als Freitext im Kommentarfeld.
- Je Korrektur festhalten: was war falsch, was ist richtig, welche Kategorie.
- Monatlich auswerten: welche Fehlerart nimmt zu, welche ab.
- Den Bestand als Eval-Set weiterverwenden, mit einem eingefrorenen Teil.
Das Kennzahlenblatt
KOSTENLOSES KONTO
Kennzahlenblatt je Vorgang
Ein Blatt für Ausgangswerte, laufende Erhebung und die vollständige Wirtschaftlichkeitsrechnung, einschließlich der Posten, die meist fehlen.
Arbeitsblatt3 Elemente
War diese Seite hilfreich?