Tokenisierung

Die Idee#

Ein Modell rechnet mit Zahlen. Bevor Text hineingeht, wird er in Stücke geschnitten, und jedes Stück bekommt eine Nummer. Diese Stücke heißen Token und sind meist kürzer als ein Wort und länger als ein Buchstabe.

„Rechnungsprüfung" wird etwa zu Rech | nungs | prüfung, also drei Token. Das englische „invoice check" ist zwei.

Was daraus folgt#

Byte-Pair-Encoding#

1. 01

   Mit einzelnen Bytes beginnen

   Das Vokabular enthält zunächst alle 256 möglichen Bytes. Damit ist jeder Text darstellbar, auch mit Emoji und fremden Schriften.

2. 02

   Häufigstes Paar suchen

   Über den gesamten Trainingstext das am häufigsten benachbarte Paar finden.

3. 03

   Zusammenfassen

   Dieses Paar wird ein neues Token mit eigener Nummer.

4. 04

   Wiederholen

   Bis die gewünschte Vokabulargröße erreicht ist, meist 32.000 bis 200.000.

# Faustregeln zum Nachrechnen, ohne Bibliothek:
def token_schaetzung(text, sprache="de"):
    zeichen_je_token = 3.2 if sprache == "de" else 4.0
    return round(len(text) / zeichen_je_token)

de = "Die Rechnungsprüfung erfolgt durch die Fachabteilung."
en = "The invoice check is carried out by the department."
print(token_schaetzung(de, "de"), token_schaetzung(en, "en"))   # 16  13

Was das für Kosten heißt#

Bei einem Preis von 3 EUR je Million Eingabetoken und einem Dokument mit 10.000 Zeichen:

Der Aufschlag von 25 bis 43 Prozent ist kein Rundungsfehler, sondern ein struktureller Nachteil, der bei jeder Kostenschätzung eingerechnet gehört.

Warum die Perplexität dadurch unvergleichbar wird#

Perplexität wird je Token gemessen. Ein Tokenizer, der denselben Text in mehr Stücke zerlegt, verteilt dieselbe Information auf mehr Vorhersagen und senkt damit die Perplexität, ohne dass das Modell besser wäre.

Durchgerechnet: Modell A hat PPL = 8 bei 3,2 Zeichen je Token, Modell B hat PPL = 12 bei 4,0 Zeichen je Token.

• A: (1/3,2) × log₂ 8 = 0,3125 × 3 = 0,938 Bit je Zeichen
• B: (1/4,0) × log₂ 12 = 0,25 × 3,585 = 0,896 Bit je Zeichen

Modell B ist trotz der höheren Perplexität das bessere Sprachmodell. Ein reiner Perplexitätsvergleich hätte das Gegenteil nahegelegt.

Praktische Fallen#

Die Vokabulargröße als Kompromiss#

Bei h = 4096 kostet die Ausgabeschicht bei 32.000 Einträgen 131 Millionen Parameter, bei 256.000 bereits 1,05 Milliarden. Ein größeres Vokabular spart Kontext und Rechenzeit je Text, kostet aber Speicher: der Kompromiss, den jede Modellfamilie neu entscheidet.