Prompt-Muster
Wiederkehrende Bauformen für schwierigere Aufgaben: Schritt für Schritt, Rollentrennung, Selbstprüfung, Ausstiegsklausel und Werkzeugnutzung.
Muster 1: Schritt für Schritt
Arbeite in dieser Reihenfolge:
1. Nenne die Angaben, die im Text stehen.
2. Nenne die Angaben, die fehlen.
3. Erst danach: beantworte die Frage, ausschließlich aus 1.
Der Gewinn liegt nicht im Nachdenken, sondern darin, dass Schritt 2 die Lücken sichtbar macht, bevor Schritt 3 sie füllen könnte.
Muster 2: Ausstiegsklausel
Wenn die Antwort nicht aus dem beigefügten Material hervorgeht,
antworte ausschließlich mit: NICHT IM MATERIAL.
Rate niemals.
Die Ablehnungsquote wird zur Kennzahl. Ein System, das in acht Prozent der Fälle ablehnt, ist brauchbarer als eines, das immer antwortet und in acht Prozent falsch liegt.
Muster 3: Rollentrennung
Ein Aufruf erzeugt, ein zweiter prüft, mit anderer Fragestellung:
Aufruf 1: Entwirf eine Antwort auf Grundlage der Quellen.
Aufruf 2: Prüfe, ob jede Aussage des Entwurfs durch die Quellen gedeckt ist.
Liste ungedeckte Aussagen wörtlich auf.
Ein Modell, das seinen eigenen Text im selben Durchlauf bewerten soll, bestätigt ihn meist. Ein getrennter Aufruf mit Prüfauftrag findet deutlich mehr.
Muster 4: Werkzeug statt Rechnen
Rechne nicht selbst. Gib jede Rechnung als Ausdruck aus,
der von einem Rechner ausgewertet wird:
{"berechne": "1250.50 * 0.20"}
Muster 5: Wenige Beispiele
Zwei bis fünf Beispiele der gewünschten Ein- und Ausgabe, darunter mindestens einer, in dem die richtige Antwort eine Ablehnung ist. Ohne dieses Beispiel lernt das Modell, immer zu antworten.
Selbstkonsistenz
Dieselbe Frage mehrfach mit Temperatur über null stellen und die häufigste Antwort nehmen. Der eigentliche Gewinn ist nicht die Antwort, sondern der Anteil der Übereinstimmung: Er ist ein empirisches Konfidenzmaß.
| Übereinstimmung | Auslegung |
|---|---|
| über 90 % | belastbar |
| 60 bis 90 % | verwendbar mit Prüfung |
| unter 60 % | zur menschlichen Bearbeitung |
Kosten: Faktor fünf bis zwanzig. Lohnt sich nur, wo ein Fehler teuer ist.
Was nicht funktioniert
- Beschwörungen. „Sei sehr genau“ und „das ist sehr wichtig“ wirken messbar wenig gegenüber klaren Vorgaben.
- Drohungen und Belohnungen. Der Effekt ist inkonsistent und verschwindet mit dem nächsten Modell.
- Sehr lange Regelwerke. Ab etwa zwanzig Regeln beginnt das Modell, einzelne zu übersehen. Wichtige Regeln gehören an Anfang und Ende.
- Widersprüchliche Vorgaben. „Sei ausführlich“ und „höchstens drei Sätze“ ergibt Zufall.
Der Gedankengang ist kein Nachweis
Wenn ein Modell seinen Rechenweg ausgibt, ist das eine Arbeitshilfe und kein Protokoll. Der ausgegebene Weg muss nicht der tatsächlichen Rechnung entsprechen. Für eine Begründung im rechtlichen Sinn wird das Ergebnis gegen die Quellen geprüft, nicht die Erzählung des Modells. Siehe Modelle, die rechnen bevor sie antworten.
Musterkarten zum Übernehmen
KOSTENLOSES KONTO
Sechs Musterkarten
Sechs Muster mit der Zeile, die sie ausmacht, dem Fall, für den sie taugen, und ihrer Grenze.
Vorlagen3 Elemente
Passende Kurse und Quellen
Chain-of-Thought Prompting
Zwischenschritte im Prompt verbessern mehrstufige Aufgaben deutlich. Die Grundlage der heutigen Modelle mit Denkschritten.
Für alle, die Prompts bauen: die Arbeit hinter dem Muster mit den Zwischenschritten.
Language Models are Few-Shot Learners
Die Arbeit, die zeigte, dass Beispiele im Prompt ein Fine-Tuning ersetzen können. Der Ursprung dessen, was heute Prompting heißt.
Für das Verständnis, warum Beispiele im Prompt ein Fine-Tuning ersetzen können.