Welche Mathematik KI wirklich braucht

Worum es geht#

Ein Sprachmodell ist im Kern eine sehr lange Kette von Multiplikationen und Additionen. Kein Schritt darin ist schwierig. Schwierig ist nur die Menge: ein mittelgroßes Modell führt für jedes einzelne Wort einige Milliarden solcher Rechnungen aus.

Deshalb lohnt sich Mathematik hier anders, als man erwartet. Man braucht sie nicht, um die Rechnungen selbst zu machen, sondern um zu verstehen, welche Größe wovon abhängt. Wer das versteht, kann vorhersagen, was passiert, wenn man ein Modell größer macht, mit anderen Daten füttert oder auf schwächerer Hardware betreibt.

Die vier Gebiete#

Man kann jedes dieser Gebiete für sich lesen. Sie hängen aber in einer festen Reihenfolge zusammen: die lineare Algebra beschreibt den Vorwärtsweg durch das Modell, die Ableitung den Rückweg, die Wahrscheinlichkeit die Ausgabe und die Entropie den Abstand zwischen Ausgabe und Wunsch.

Was man getrost weglassen kann#

Für das Verständnis moderner KI braucht man keine Differentialgeometrie, keine Maßtheorie, keine Funktionalanalysis und keine komplexen Zahlen. Diese Gebiete kommen in der Forschungsliteratur vor, aber nicht in der Erklärung dessen, was ein Modell tut.

Was man mit jedem Gebiet konkret ausrechnen kann#

1. 01

   Lineare Algebra: die Größe eines Modells

   Ein Netz mit 32 Schichten, einer Breite von 4096 und einem Zwischenschichtfaktor von 4 hat rund 32 × (4 × 4096²) ≈ 2,1 Milliarden Parameter allein in den Zwischenschichten. Diese Zahl ist eine reine Matrizenrechnung, und sie sagt Ihnen unmittelbar, wie viel Speicher Sie brauchen.

2. 02

   Ableitungen, warum Training so viel teurer ist

   Der Rückwärtsdurchlauf kostet ungefähr das Doppelte des Vorwärtsdurchlaufs. Training ist damit rund dreimal so teuer wie Inferenz je Token, bevor überhaupt etwas über die Anzahl der Durchläufe gesagt ist.

3. 03

   Wahrscheinlichkeit: was Temperatur tut

   Die Temperatur teilt die Logits, bevor daraus Wahrscheinlichkeiten werden. Bei Temperatur 0 wird immer der wahrscheinlichste Token gewählt, bei Temperatur 1 wird gemäß der Modellverteilung gewürfelt.

4. 04

   Entropie: was Perplexität bedeutet

   Eine Perplexität von 12 heißt sinngemäß: das Modell ist im Mittel so unsicher, als müsste es zwischen zwölf gleich wahrscheinlichen Fortsetzungen wählen.

Ein Lernweg, der funktioniert#

Die vier Gebiete in einer Formelzeile#

Der gesamte Trainingsvorgang eines Sprachmodells lässt sich in einer Zeile zusammenfassen, in der alle vier Gebiete auftauchen.

• f(x; θ) ist lineare Algebra: eine Kette von Matrixmultiplikationen.
• ∇θ ist Analysis: die Kettenregel, angewandt über alle Schichten.
• Die Ausgabe von f ist eine Wahrscheinlichkeitsverteilung.
• L ist Informationstheorie: die Kreuzentropie zwischen Wunsch und Ausgabe.

Aufwandsabschätzung#

Für ein Transformer-Modell mit N Parametern und D Trainingstoken gilt als Faustformel für die Anzahl der Fließkommaoperationen im Training:

Durchgerechnet für ein Modell mit 7 Milliarden Parametern und 2 Billionen Token: C ≈ 6 × 7e9 × 2e12 = 8,4e22 FLOPs. Eine Beschleunigerkarte mit effektiv 400 TFLOP/s (also 4e14 FLOP/s) bräuchte dafür rund 2,1e8 Sekunden, also etwa 6,7 Jahre. Mit 1000 Karten bei 50 % Auslastung sind es knapp fünf Tage. Diese Rechnung erklärt die Struktur des gesamten Marktes.

Was diese Sicht nicht leistet#

Die Faustformeln sagen nichts über Qualität. Zwei Modelle mit identischem Aufwand können sich um Größenordnungen in der Nützlichkeit unterscheiden, weil Datenqualität, Curriculum und Nachtraining nicht in N und D stecken. Die Mathematik begrenzt das Mögliche; sie garantiert nichts.