Wie ein Sprachmodell trainiert wird
Von rohen Textmengen zum nutzbaren Modell: Vortraining, überwachte Feinabstimmung und Ausrichtung, mit den Größenordnungen jeder Stufe.
Die drei Stufen
| Stufe | Was passiert | Datenmenge | Anteil an den Kosten |
|---|---|---|---|
| Vortraining | Nächstes Token vorhersagen | Billionen Token | ~99 % |
| Feinabstimmung | Anweisungen befolgen lernen | 10.000 bis 1 Mio. Beispiele | ~1 % |
| Ausrichtung | Bevorzugtes Verhalten lernen | 10.000 bis 500.000 Vergleiche | unter 1 % |
Was im Vortraining tatsächlich gelernt wird
Die Aufgabe lautet immer gleich: Hier ist ein Textausschnitt, sag das nächste Stück voraus. Um das gut zu können, muss ein Modell Grammatik erfassen, Fakten behalten, Bezüge auflösen und Muster im Argumentieren erkennen. Nichts davon wird eigens beigebracht.
Der Verlust im Vortraining
Bemerkenswert daran ist, dass jedes Token gleichzeitig Eingabe und Ziel ist. Ein Text mit einer Million Token liefert eine Million Trainingsbeispiele, ohne dass jemand etwas annotiert hat. Das ist der Grund, warum diese Aufgabe in dieser Größenordnung überhaupt möglich ist.
Was in den Daten steckt
- Entdoppelung ist der wirksamste einzelne Qualitätsschritt. Mehrfach vorkommende Texte werden auswendig gelernt.
- Filterung nach Qualität schlägt schiere Menge, gemessen an nachgelagerten Aufgaben.
- Die Reihenfolge zählt: hochwertige Daten am Ende des Trainings wirken stärker nach.
- Der Anteil einer Sprache im Training bestimmt die spätere Güte in dieser Sprache fast unmittelbar.
Skalierungsgesetze
Ein Modell mit 7 Milliarden Parametern wäre danach mit 140 Milliarden Token rechenoptimal. Tatsächlich werden solche Modelle mit 2 bis 15 Billionen Token trainiert, also weit jenseits des Optimums.
Der Grund ist eine andere Zielfunktion: Rechenoptimal minimiert die Kosten bis zum fertigen Modell. Wer das Modell danach millionenfach betreiben will, will ein möglichst kleines Modell bei gegebener Güte, und akzeptiert dafür ein Vielfaches an Trainingsaufwand. Die Betriebskosten dominieren die Gesamtrechnung.
Die Feinabstimmung
Wer diese Maskierung vergisst, trainiert das Modell darauf, auch Prompts zu erzeugen. Das Ergebnis sind Antworten, die die Frage wiederholen: ein häufiger und leicht übersehener Fehler.
Größenordnungen für ein eigenes Vorhaben
| Vorhaben | Aufwand | Realistisch für |
|---|---|---|
| Eigenes Vortraining, 7 Mrd. | 10⁵ bis 10⁶ GPU-Stunden | Sehr wenige Organisationen |
| Vollständige Feinabstimmung, 7 Mrd. | 100 bis 1.000 GPU-Stunden | Größere Fachabteilung |
| LoRA-Feinabstimmung, 7 Mrd. | 5 bis 50 GPU-Stunden | Jedes Team |
| Prompt und RAG | 0 GPU-Stunden | Der Normalfall |
Die letzte Zeile ist die richtige Antwort für die überwiegende Mehrheit betrieblicher Aufgaben. Siehe Feinabstimmung, technisch.
Passende Kurse und Quellen
Common Crawl
Der offene Abzug des Webs, aus dem ein großer Teil der Trainingsdaten von Sprachmodellen stammt. Zeigt konkret, was in einem Vortraining tatsächlich steckt.
Für alle, die wissen wollen, woher ein Modell sein Wissen hat, und für die Frage nach dem Nutzungsvorbehalt.
Language Models are Few-Shot Learners
Die Arbeit, die zeigte, dass Beispiele im Prompt eine Feinabstimmung ersetzen können. Der Ursprung dessen, was heute Prompting heißt.
Für das Verständnis, warum Beispiele im Prompt eine Feinabstimmung ersetzen können.
Training Compute-Optimal Large Language Models
Die Rechnung, die zeigte, dass die meisten großen Modelle mit zu wenig Daten trainiert waren. Seither ist Datenmenge kein Nebenpunkt mehr.
Für alle, die Modellgrößen vergleichen und wissen müssen, warum Datenmenge zählt.
Training Language Models to Follow Instructions
Wie aus einem Textfortsetzer ein Assistent wird. Die Arbeit hinter der Ausrichtung durch menschliche Rückmeldung.
Für alle, die wissen wollen, wie aus einem Textfortsetzer ein Assistent wird.