Agenten, technisch
Werkzeugaufruf, Schleifen, Abbruchbedingungen: was ein Agent tatsächlich ist, warum lange Ketten unzuverlässig werden und wie man sie eingrenzt.
Die Idee
Ein Sprachmodell kann nur Text erzeugen. Ein Agent entsteht, wenn man ihm eine Liste von Werkzeugen gibt und sein erzeugter Text als Aufruf eines dieser Werkzeuge gelesen wird: „suche in der Datenbank nach X", „lege einen Termin an", „schicke eine Nachricht".
Das Ergebnis geht zurück an das Modell, das daraufhin entscheidet, was als Nächstes zu tun ist. Diese Schleife ist der ganze Mechanismus.
Wozu es gut ist
- Mehrstufige Recherchen, bei denen der nächste Schritt vom Ergebnis abhängt.
- Vorgänge über mehrere Systeme hinweg zusammenführen.
- Routineaufgaben mit Verzweigungen, die eine feste Automatisierung nicht abbildet.
Die Schleife
- 01
Kontext zusammenstellen
Auftrag, verfügbare Werkzeuge, bisheriger Verlauf.
- 02
Modell entscheiden lassen
Entweder eine Antwort oder ein Werkzeugaufruf mit Parametern.
- 03
Werkzeug ausführen
Mit Rechteprüfung, Zeitgrenze und Fehlerbehandlung.
- 04
Ergebnis anhängen und wiederholen
Bis eine Antwort vorliegt, die Schrittgrenze erreicht ist oder ein Abbruchkriterium greift.
Werkzeuge richtig beschreiben
Die Beschreibung eines Werkzeugs ist ein Prompt und wird oft wie eine API-Dokumentation behandelt. Das ist der häufigste Grund für falsche Aufrufe.
- Nennen, wann das Werkzeug nicht benutzt werden soll, nicht nur wann.
- Einheiten, Formate und Wertebereiche in der Beschreibung, nicht nur im Schema.
- Fehlermeldungen so formulieren, dass das Modell daraus die Korrektur ableiten kann.
- Nicht mehr als etwa fünfzehn Werkzeuge gleichzeitig anbieten; darüber sinkt die Trefferquote der Auswahl deutlich.
Warum lange Ketten scheitern
| p je Schritt | 5 Schritte | 10 Schritte | 20 Schritte |
|---|---|---|---|
| 0,90 | 59 % | 35 % | 12 % |
| 0,95 | 77 % | 60 % | 36 % |
| 0,99 | 95 % | 90 % | 82 % |
Daraus folgt die Entwurfsregel: Ketten kurz halten und Zwischenergebnisse prüfbar machen. Ein Agent mit fünf Schritten und einer Prüfung nach jedem Schritt ist verlässlicher als einer mit zwanzig ungeprüften.
Die Absicherungen, die tatsächlich wirken
| Maßnahme | Wogegen |
|---|---|
| Rechte je Werkzeug, nicht je Agent | Ungewollte Schreibzugriffe |
| Harte Schrittgrenze und Zeitgrenze | Endlosschleifen, Kostenexplosion |
| Bestätigung vor irreversiblen Handlungen | Löschen, Senden, Bezahlen |
| Trockenlauf mit Vorschau | Falsche Massenänderungen |
| Vollständiges Protokoll je Aufruf | Nachvollziehbarkeit, Aufsicht |
| Getrennter Kontext je Auftrag | Vermischung fremder Daten |
Prompt Injection als Betriebsrisiko
Sobald ein Agent fremde Inhalte liest, etwa eine Webseite, ein Dokument oder eine E-Mail, kann darin eine Anweisung stehen, die an ihn gerichtet ist. Das ist kein theoretisches Problem: es ist die praktisch relevanteste Schwachstelle agentischer Systeme.
- Gelesene Inhalte niemals als Anweisung behandeln, sondern ausschließlich als Daten.
- Werkzeuge, die Daten nach außen senden, nur mit ausdrücklicher Bestätigung.
- Empfänger, Ziel-URLs und Endpunkte niemals aus gelesenem Inhalt übernehmen.
- Bei Auffälligkeiten die betreffende Stelle im Protokoll zitieren und den Vorgang anhalten.
Bewertung
Ein Agent wird nicht am Text bewertet, sondern am Ergebnis. Der Bewertungssatz besteht deshalb aus Aufträgen mit einem prüfbaren Endzustand: Ist der Datensatz angelegt? Stimmen die Felder? Wurde kein zweiter angelegt? Erfolgsquote, mittlere Schrittzahl und Kosten je erledigtem Auftrag sind die drei Zahlen, die zählen.
Passende Kurse und Quellen
ENISA-Veröffentlichungen
Berichte der EU-Agentur für Cybersicherheit, unter anderem zur Absicherung von KI-Systemen und zur Bedrohungslage. Kostenlos und in europäischem Bezug.
Für Sicherheitsverantwortliche, die einen europäischen Bezugsrahmen brauchen statt eines amerikanischen.
Hugging Face Agenten-Kurs
Werkzeugaufrufe, Planung und die Absicherungen, ohne die ein Agent im Betrieb nicht tragbar ist. Praktisch, mit lauffähigem Code.
Für alle, die einen Agenten bauen wollen und wissen müssen, welche Absicherungen dazugehören.
Kurzkurse zu KI-Werkzeugen
Einheiten von etwa einer Stunde zu Prompting, Abruf eigener Dokumente, Agenten und Bewertung. Kostenlos und nah an dem, was gerade eingesetzt wird.
Für Praktiker mit einer konkreten Frage; eine Einheit dauert etwa eine Stunde.
LangChain-Dokumentation
Bausteine für Abruf, Werkzeugaufrufe und Agenten. Nützlich als Katalog der Muster, auch wenn man am Ende ohne das Rahmenwerk baut.
Als Musterkatalog nützlich, auch wenn man am Ende ohne das Rahmenwerk baut.
OWASP Top 10 für Anwendungen mit Sprachmodellen
Die Liste der Schwachstellen, die in Systemen mit Sprachmodellen tatsächlich auftreten, von Prompt-Injection bis zu unsicherer Werkzeuganbindung.
Für alle, die selbst bauen. Die Liste ersetzt keine Prüfung, ist aber der beste Ausgangspunkt dafür.