Prompt-Bibliothek
Wie aus verstreuten Prompts ein gepflegter Bestand wird: Aufbau, Freigabe, Messung und Pflege.
Der Eintrag
| Feld | Inhalt |
|---|---|
| Kennung und Version | einkauf-angebot-extrakt v3 |
| Zweck und Abgrenzung | Wofür, und ausdrücklich wofür nicht |
| Verantwortlich | Eine Person, kein Postfach |
| Der Prompt selbst | Mit Platzhaltern in Großbuchstaben |
| Erwartete Ausgabe | Schema oder Beispiel |
| Getestet gegen | Eval-Set mit Kennung und Datum |
| Ergebnis | Trefferquote je Feld, mit Datum |
| Freigegeben für | Modell und Version, Temperatur, Kontextlänge |
| Änderungshistorie | Wer, wann, warum |
Ohne die letzten vier Zeilen ist eine Vorlage nicht belegbar geprüft.
Der Ablauf
- 01
Entwurf
Aus der Praxis, von der Person, die den Vorgang macht.
- 02
Messen
Gegen das Eval-Set des Vorgangs. Ohne Zahl keine Freigabe.
- 03
Freigeben
Durch die verantwortliche Person, mit Datum und Modellbezug.
- 04
Verteilen
Über das Werkzeug, nicht per E-Mail. Sonst laufen Fassungen auseinander.
Warum Modellwechsel die Bibliothek entwerten
Ein neues Modell hält andere Formate ein, wählt andere Standardlängen und weicht bei Grenzfällen anders ab. Eine Vorlage, die auf dem alten Modell 96 Prozent erreichte, kann auf dem neuen bei 88 liegen, ohne dass sich am Text etwas geändert hat.
- Beim Anbieter eine Ankündigungspflicht für Modellwechsel vereinbaren.
- Vor der Umstellung alle Vorlagen gegen ihre Eval-Sets rechnen.
- Vorlagen, die abfallen, überarbeiten oder sperren, nicht stillschweigend weiterlaufen lassen.
- Die alte Modellversion so lange verfügbar halten, bis die Umstellung geprüft ist.
Was die Bibliothek zusätzlich leistet
- Schulung. Eine geprüfte Vorlage zeigt mehr als eine Erklärung, wie ein guter Prompt aussieht.
- Nachweis. Welche Vorlage in welcher Fassung einen Vorgang bearbeitet hat, gehört ins Protokoll.
- Wiederverwendung. Ein Muster, das im Einkauf funktioniert, funktioniert oft in der Buchhaltung mit anderen Feldern.
- Aufräumen. Vorlagen ohne Nutzung über sechs Monate werden geprüft und meist entfernt.
Pflege
| Anlass | Was zu tun ist |
|---|---|
| Modellwechsel | Alles neu messen |
| Neuer Vorgang | Prüfen, ob eine vorhandene Vorlage passt |
| Fehlerhäufung | Vorlage prüfen, bevor das Modell verdächtigt wird |
| Halbjährlich | Bestand durchsehen, Ungenutztes entfernen |
| Rechtliche Änderung | Vorlagen mit Rechtsbezug erneut prüfen lassen |
Die dritte Zeile ist die praktisch wichtigste: Bei einer Verschlechterung ist die Vorlage der erste Verdächtige, nicht das Modell.
Passende Kurse und Quellen
OWASP Top 10 für Anwendungen mit Sprachmodellen
Die Liste der Schwachstellen, die in Systemen mit Sprachmodellen tatsächlich auftreten, von Prompt-Injection bis zu unsicherer Werkzeuganbindung.
Für alle, die selbst bauen. Die Liste ersetzt keine Prüfung, ist aber der beste Ausgangspunkt dafür.