Datenqualität messen

Die sechs Dimensionen#

Die letzte Zeile ist die teuerste und die wichtigste.

Ein Prüflauf#

import pandas as pd, numpy as np

def datenreport(df, schluessel=None):
    n = len(df)
    print(f"Zeilen: {n}")
    fehlend = df.isna().mean().sort_values(ascending=False)
    print("\nFehlende Werte, Top 5:")
    print((fehlend[fehlend > 0].head() * 100).round(1))

    if schluessel:
        dupl = df.duplicated(subset=schluessel).sum()
        print(f"\nDoppelte nach Schluessel: {dupl} ({dupl/n:.2%})")
    volldupl = df.duplicated().sum()
    print(f"Vollstaendig doppelte Zeilen: {volldupl} ({volldupl/n:.2%})")

    for spalte in df.select_dtypes("object"):
        # Konstante Spalten tragen nichts bei und kosten nur Rechenzeit.
        if df[spalte].nunique() <= 1:
            print(f"WARNUNG konstante Spalte: {spalte}")
        # Sehr viele Auspraegungen deuten auf eine Kennung hin,
        # die als Merkmal ein Leakage waere.
        if df[spalte].nunique() > 0.9 * n:
            print(f"WARNUNG nahezu eindeutige Spalte: {spalte}")

Übereinstimmung zwischen Annotatoren#

Ein κ von 0,55 bei drei Klassen bedeutet praktisch: Zwei Fachleute sind sich in etwa jedem vierten Fall uneins. Ein Modell kann in einer solchen Aufgabe keine 90 Prozent erreichen, weil es keine 90 Prozent Wahrheit gibt.

Die Obergrenze berechnen#

Praktische Folge: Bevor Zeit in ein besseres Modell fließt, gehört ε geschätzt. Eine Zweitannotation von 300 Fällen kostet einen Tag und beantwortet, ob die angestrebten 95 Prozent überhaupt erreichbar sind.

Duplikate richtig finden#

Exakte Duplikate sind der einfache Fall. Die problematischen sind Nah-Duplikate: dasselbe Dokument mit anderer Kopfzeile, derselbe Vorgang mit anderer Kennung.