Wie es dazu kam
Von den ersten Regelsystemen über zwei Winter bis zu den Sprachmodellen: die Entwicklungslinie, die erklärt, warum heutige Systeme so aussehen wie sie aussehen.
Die Linie in fünf Schritten
| Zeit | Was passierte | Warum es stockte |
|---|---|---|
| 1950er bis 1960er | Erste Programme, Perzeptron, große Erwartungen | Rechenleistung und Theorie fehlten |
| 1970er bis 1980er | Expertensysteme mit Regeln von Fachleuten | Regeln zu pflegen war teurer als der Nutzen |
| 1990er bis 2000er | Statistische Verfahren, Datenbanken werden groß | Aufgaben mit Bild und Sprache blieben schwer |
| 2012 bis 2017 | Tiefe Netze gewinnen Bildwettbewerbe | Kein Bruch, sondern der Beginn der Skalierung |
| ab 2017 | Transformer, dann Sprachmodelle | läuft |
Was den Unterschied machte
Nicht eine bessere Idee, sondern drei Umstände gleichzeitig: das Internet lieferte Trainingsdaten in einer Größenordnung, die es vorher nicht gab. Grafikkarten machten Matrixrechnungen hundertfach billiger. Und einige technische Kniffe machten tiefe Netze überhaupt erst trainierbar.
Die beiden Winter
Der erste, ab etwa 1974. Die Erwartungen der 1960er an maschinelle Übersetzung und allgemeines Problemlösen erfüllten sich nicht. Berichte an die Geldgeber fielen vernichtend aus, die Förderung brach ein.
Der zweite, ab etwa 1987. Expertensysteme waren kommerziell verbreitet und scheiterten an der Pflege: Jede Regel musste von Fachleuten eingegeben werden, und die Regelwerke wurden schneller widersprüchlich, als sie Nutzen brachten.
Beide Male war nicht die Technik falsch, sondern die Erwartung an ihren Reifegrad. Diese Erfahrung ist der Grund, warum in der Fachwelt der Umgang mit Ankündigungen bis heute reserviert ist.
Was 2012 und 2017 bedeuteten
| Jahr | Ereignis | Folge |
|---|---|---|
| 2012 | Ein tiefes Faltungsnetz gewinnt einen Bildwettbewerb deutlich | Bildverarbeitung wechselt binnen zwei Jahren die Methode |
| 2017 | Die Transformer-Architektur wird veröffentlicht | Sequenzverarbeitung wird parallelisierbar und damit skalierbar |
| 2020 | Skalierungsgesetze werden formuliert | Größe wird eine planbare Investition statt eines Versuchs |
Der Punkt an 2017 ist nicht Intelligenz, sondern Parallelisierbarkeit. Vorherige Verfahren mussten Wort für Wort rechnen. Ein Transformer verarbeitet die ganze Sequenz gleichzeitig und lässt sich damit auf tausende Karten verteilen.
Warum Skalierung funktionierte
Die empirische Beobachtung, die die Entwicklung der letzten Jahre trägt, ist schlicht: Verlust, Parameterzahl und Datenmenge hängen über weite Bereiche in einem Potenzgesetz zusammen. Verdoppelt man Rechenaufwand und Daten gemeinsam, sinkt der Verlust vorhersagbar.
Das machte aus einer Forschungsfrage eine Investitionsentscheidung. Wer wissen will, was ein Modell mit zehnfachem Aufwand leistet, muss es nicht mehr bauen, um es abzuschätzen.
Die offenen Punkte
- Datengrenze. Hochwertiger Text im Netz ist endlich. Ob synthetische Daten das ersetzen können, ist offen, siehe synthetische Daten.
- Energiegrenze. Der Rechenaufwand wächst schneller als die Effizienz der Hardware.
- Verlässlichkeit. Halluzination ist eine Folge der Bauart, nicht ein Fehler, der sich wegtrainieren lässt.
- Bewertung. Benchmarks sind zunehmend kontaminiert; es fehlt an belastbaren Maßstäben.
Was daraus für die Praxis folgt
Zwei Lehren aus der Geschichte tragen bis heute:
- Ein Verfahren wird nützlich, wenn es billig genug wird, nicht wenn es klug genug wird. Expertensysteme scheiterten an Pflegekosten, nicht an Logik.
- Erwartungen an den Reifegrad sind die häufigste Fehlerquelle. Beide Winter folgten auf Zusagen, die die Technik nicht halten konnte. Wer heute plant, tut gut daran, den Nutzen an gemessenen Vorgängen festzumachen und nicht an der Ankündigung des nächsten Modells.
Die Zeitleiste zum Mitnehmen
KOSTENLOSES KONTO
Zeitleiste und Musterkarte
Die Wendepunkte mit Jahr und Wirkung, und das Muster aus Erwartung und Ernüchterung, das sich viermal wiederholt hat.
Arbeitsblatt2 Elemente
Passende Kurse und Quellen
AI Index Report
Jährlicher Bericht mit belegten Zahlen zu Modellen, Kosten, Einsatz und Regulierung. Nützlich, wenn eine Aussage eine Quelle braucht statt eines Eindrucks.
Wenn eine Aussage eine Quelle braucht statt eines Eindrucks.