Warum ein Prompt scheitert
Die sieben Ursachen, an denen Prompts tatsächlich scheitern, wie man sie auseinanderhält und was man je Ursache ändert.
Die sieben Ursachen
| Ursache | Woran man sie erkennt |
|---|---|
| Die Aufgabe ist unklar | Das Ergebnis ist allgemein und beliebig |
| Der Zusammenhang fehlt | Das Ergebnis passt nicht zur Lage |
| Das Format ist nicht gesagt | Inhalt stimmt, Form ist unbrauchbar |
| Anweisungen widersprechen sich | Ein Teil wird befolgt, ein Teil nicht |
| Die Information fehlt im Material | Es wird erfunden statt abgelehnt |
| Die Aufgabe ist zu groß | Der Anfang stimmt, das Ende zerfällt |
| Es ist die falsche Aufgabe | Rechnen, zählen, aktuelle Fakten |
Was je Ursache zu tun ist
| Ursache | Die Änderung |
|---|---|
| Aufgabe unklar | Ergebnis beschreiben, nicht Tätigkeit: „eine Tabelle mit vier Spalten" statt „fasse zusammen" |
| Zusammenhang fehlt | Wer liest es, wofür, was ist vorher passiert |
| Format nicht gesagt | Format vorgeben, notfalls ein Beispiel der gewünschten Ausgabe |
| Widerspruch | Prompt kürzen, bis nur eine Anweisung je Aspekt bleibt |
| Information fehlt | Regel ergänzen: „Wenn es nicht im Text steht, schreibe: nicht enthalten" |
| Aufgabe zu groß | In Schritte zerlegen, je Schritt ein Aufruf |
| Falsche Aufgabe | Werkzeug wechseln: rechnen lässt man rechnen |
Die Diagnose in drei Schritten
- 01
Dieselbe Anweisung, anderes Material
Gelingt es dort, liegt es am Material und nicht am Prompt.
- 02
Kürzerer Prompt, gleiches Material
Wird es besser, war der Prompt überladen oder widersprüchlich.
- 03
Ein Beispiel der gewünschten Ausgabe
Wird es damit gut, war es ein Formatproblem und kein Verständnisproblem.
Warum die Mitte untergeht
Modelle beachten Anfang und Ende eines langen Eingabetextes zuverlässiger als die Mitte. Bei langen Prompts mit vielen Anweisungen fällt deshalb ausgerechnet das Kriterium weg, das in der Mitte steht.
- Das Wichtigste an den Anfang, die Formatvorgabe ans Ende.
- Anweisungen als kurze Liste statt als Fließtext.
- Material und Anweisung sichtbar trennen, mit einer Markierung, die im Text nicht vorkommt.
- Bei mehr als fünf Anweisungen prüfen, ob zwei Aufrufe besser sind als einer.
Siehe Das Kontextfenster, technisch.
Der Widerspruch, den man selbst nicht sieht
„Fasse kurz zusammen" und „nenne alle Punkte" sind unvereinbar. „Sachlich" und „werblich" ebenso. Das Modell befolgt dann eines von beidem, und welches, ändert sich zwischen zwei Aufrufen.
- Je Aspekt genau eine Anweisung: eine zur Länge, eine zum Ton, eine zum Format.
- Wo ein Zielkonflikt besteht, ihn ausdrücklich auflösen: „Wenn Länge und Vollständigkeit kollidieren, hat Vollständigkeit Vorrang."
- Beispiele schlagen Adjektive. Ein Beispiel des gewünschten Tons wirkt besser als drei Eigenschaftswörter.
Wenn es am Modell liegt
Erst wenn Aufgabe, Zusammenhang, Format und Material geprüft sind, ist das Modell der Verdächtige. Dann hilft:
| Fall | Maßnahme |
|---|---|
| Mehrstufiges Schlussfolgern misslingt | Modell mit Denkschritten, siehe Reasoning-Modelle |
| Zahlen und Einheiten falsch | Rechnung an ein Werkzeug abgeben |
| Fachbegriffe werden verfehlt | Glossar in den Prompt, oder Abruf eigener Quellen |
| Ausgabe schwankt stark | Temperatur senken, siehe Sampling und Temperatur |
| Format wird nicht eingehalten | Schema erzwingen statt darum bitten |
Der Diagnosebogen
KOSTENLOSES KONTO
Diagnosebogen für einen gescheiterten Prompt
Ein Bogen, der in vier Schritten die Ursache eingrenzt, bevor am falschen Ende geändert wird.
Arbeitsblatt2 Elemente