Merkmale bauen

Die Idee#

Ein Modell sieht Spalten mit Zahlen. Ein Datum wie 2026-08-25 ist für es zunächst bedeutungslos. Nützlich wird es erst als „Dienstag", „Kalenderwoche 35", „drei Tage vor Monatsende". Merkmalstechnik ist die Übersetzung von Wirklichkeit in solche Spalten.

Die üblichen Umwandlungen#

Die Pipeline, die Leakage verhindert#

import numpy as np, pandas as pd
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import OneHotEncoder, StandardScaler
from sklearn.ensemble import HistGradientBoostingClassifier

num = ["betrag", "tage_seit_letztem_auftrag"]
kat = ["region", "kanal"]

vorbereitung = ColumnTransformer([
    ("num", Pipeline([("imp", SimpleImputer(strategy="median")),
                      ("sc",  StandardScaler())]), num),
    ("kat", OneHotEncoder(handle_unknown="ignore", min_frequency=20), kat),
])

# Alles in einer Pipeline: Median und Kategorienliste werden je Faltung
# nur aus dem Trainingsteil gelernt. Genau das verhindert Leakage.
modell = Pipeline([("vor", vorbereitung),
                   ("clf", HistGradientBoostingClassifier())])

Zielkodierung mit Glättung#

Ohne Glättung bekommt eine Kategorie mit einem einzigen Fall exakt dessen Zielwert und wird damit zu einer verkleideten Kopie des Etiketts. Ohne Kreuzvalidierung innerhalb der Kodierung passiert dasselbe auch bei größeren Kategorien, nur subtiler.

Zyklische Kodierung#

Als schlichte Zahl liegen 23 und 0 maximal weit auseinander, obwohl sie eine Stunde trennt. Für Baumverfahren ist das unerheblich, für lineare Modelle und Netze ist es ein systematischer Fehler.

Was bei Tabellendaten wirklich zählt#

Empirisch schlägt Gradient Boosting auf gut gebauten Merkmalen tiefe Netze auf denselben Daten in der Mehrzahl der Fälle. Die drei ertragreichsten Griffe:

1. Aggregate über Gruppen. Mittelwert, Maximum und Anzahl je Kunde, Standort oder Monat, jeweils nur aus der Vergangenheit gerechnet.
2. Differenzen und Verhältnisse. Betrag geteilt durch den üblichen Betrag desselben Kunden sagt mehr als der Betrag selbst.
3. Zeitabstände. Tage seit dem letzten Vorgang, Tage bis zur Frist.

Alle drei sind anfällig für Leakage über die Zeitachse. Der Aufwand steckt nicht in der Berechnung, sondern in der korrekten Fensterung. Siehe Datenlecks im Training.