Audit vorbereiten
Was eine Prüfung tatsächlich verlangt, welche acht Unterlagen genügen und woran Organisationen regelmäßig scheitern.
Die acht Unterlagen
| Unterlage | Inhalt |
|---|---|
| Inventar | Alle Systeme mit Rolle, Klasse, Zweck, Verantwortung |
| Einstufungsbegründung | Je System, mit Datum und geprüften Kategorien |
| Zweckbeschreibung und Abgrenzung | Wofür, und ausdrücklich wofür nicht |
| Datenbeschreibung | Herkunft, Kategorien, Repräsentativität, Verzerrungsprüfung |
| Bewertungsergebnisse | Festes Eval-Set, Güte je Kategorie, mit Datum |
| Aufsichtsregelung | Wer, mit welcher Befugnis, auf welcher Grundlage |
| Protokolle | Je Vorgang, mit Modellversion und Prüfvermerk |
| Kompetenznachweise | Wer, bezogen auf welches System, wann |
Der Ablauf einer Prüfung
- 01
Ist bekannt, was eingesetzt wird?
Das Inventar wird gegen die Wirklichkeit gehalten, oft über Netzwerkprotokolle oder Rechnungen.
- 02
Ist die Einstufung nachvollziehbar?
Nicht ob sie stimmt, sondern ob sie begründet und datiert ist.
- 03
Wird der Betrieb beherrscht?
Messung, Aufsicht, Protokolle, Meldewege. Hier fällt die Entscheidung.
- 04
Stimmen Unterlagen und Wirklichkeit überein?
Stichproben aus dem Betrieb gegen die Dokumentation. Der häufigste Befund liegt hier.
Anhang IV, für den Fall der Anbieterrolle
- Allgemeine Beschreibung: Zweck, Version, Interaktion mit anderer Software, Einsatzform.
- Detaillierte Beschreibung: Entwicklungsschritte, Vorentscheidungen, Architektur, Rechenressourcen.
- Überwachung, Funktionsweise und Kontrolle: Genauigkeit, Grenzen, vorhersehbare Fehlanwendung.
- Risikomanagement: identifizierte Risiken und getroffene Maßnahmen.
- Änderungen über den Lebenszyklus.
- Verwendete Normen und Spezifikationen.
- Konformitätserklärung.
- Plan zur Beobachtung nach dem Inverkehrbringen.
Was die Vorbereitung tatsächlich verkürzt
- Datierte Unterlagen. Ohne Datum ist eine Unterlage nicht prüfbar.
- Ein festes Eval-Set. Es macht Güte über Modellwechsel hinweg vergleichbar und ist die einzige Zahl, die trägt.
- Auslöserbasierte Aktualisierung. Modellwechsel, Zweckerweiterung, neue Datenkategorie. Nicht ein Jahresrhythmus.
- Ein Verzeichnis, wo was liegt. Die Suche nach Unterlagen kostet in der Praxis mehr Zeit als ihre Erstellung.
- Benannte Personen. Eine Abteilung kann nicht befragt werden, eine Person schon.
Die Frage, die alles entscheidet
Ein Prüfer fragt selten nach dem Modell. Er fragt: Woran hätten Sie gemerkt, dass es schlechter wird? Wer darauf eine Zahl, einen Schwellwert und einen Meldeweg nennen kann, besteht. Wer antwortet, dass sich niemand beschwert hat, nicht.
Die vollständige Nachweisliste
KOSTENLOSES KONTO
Nachweisliste für eine Prüfung
Vier Blöcke mit den Unterlagen, die eine Prüfung tatsächlich anfordert, jeweils mit Fundstelle und Verantwortlichkeit.
Checkliste4 Elemente
Passende Kurse und Quellen
Fraunhofer IAIS zu künstlicher Intelligenz
Deutschsprachige Leitfäden zu Prüfung, Zertifizierung und Betrieb von KI-Systemen, aus anwendungsnaher Forschung.
Für deutschsprachige Prüf- und Zertifizierungsfragen, wo englische Quellen nicht weiterhelfen.
Interpretable Machine Learning
Was Verfahren zur Erklärbarkeit leisten und wo sie überinterpretiert werden. Die nüchternste Darstellung des Themas, frei verfügbar.
Für alle, die Erklärbarkeit versprechen müssen und wissen sollten, was Verfahren wirklich leisten.
Model Cards for Model Reporting
Der Vorschlag, zu jedem Modell Zweck, Grenzen und geprüfte Gruppen zu dokumentieren. Heute praktisch Voraussetzung jeder Prüfung.
Für alle, die eine Prüfung vorbereiten; Modellkarten sind faktisch Voraussetzung geworden.
NIST AI Risk Management Framework
Ein strukturierter Rahmen für die eigene Risikobetrachtung, unabhängig vom AI Act. Nützlich als Gliederung, wenn intern noch keine besteht.
Für den Aufbau einer eigenen Risikobetrachtung, unabhängig vom AI Act.
NIST AI RMF Playbook
Die praktische Ausarbeitung des Risikorahmens: je Funktion konkrete Vorschläge, was zu tun und zu dokumentieren ist.
Für alle, die eine interne Risikobetrachtung aufbauen und eine Gliederung suchen, die schon durchdacht ist.