Wie KI Bilder versteht
Eine Landkarte der Sehaufgaben: Klassifikation, Erkennung, Segmentierung, Verfolgung. Was jede davon liefert und welche Genauigkeit realistisch ist.
Die Idee
Ein Bild ist für einen Rechner eine Tabelle von Helligkeitswerten. Alles, was wir „sehen" nennen, ist die Übersetzung dieser Tabelle in eine Aussage: Was ist das? Wo ist es? Wie viele sind es? Hat sich etwas verändert?
Die sechs Aufgabentypen
| Aufgabe | Was herauskommt | Beispiel |
|---|---|---|
| Klassifikation | Ein Etikett je Bild | Ist das ein Lieferschein? |
| Objekterkennung | Rechtecke mit Etiketten | Wie viele Paletten stehen im Bild? |
| Segmentierung | Ein Etikett je Pixel | Welche Fläche ist beschädigt? |
| Schlüsselpunkte | Punkte je Objekt | Körperhaltung, Passbildkontrolle |
| Verfolgung | Objekte über die Zeit | Zählt jemanden nicht doppelt |
| Wiedererkennung | Ähnlichkeit zweier Bilder | Gleicher Artikel, gleiche Person |
Die Kosten der Annotation
Der Aufwand steigt drastisch mit der Aufgabe. Grobe Erfahrungswerte je Bild:
| Aufgabe | Zeit je Bild | Für 5.000 Bilder |
|---|---|---|
| Klassifikation | 2 bis 5 Sekunden | 3 bis 7 Stunden |
| Objekterkennung | 20 bis 60 Sekunden | 28 bis 83 Stunden |
| Segmentierung | 3 bis 15 Minuten | 250 bis 1.250 Stunden |
Diese Tabelle beantwortet die meisten Projektfragen vor der ersten Zeile Code. Wenn Segmentierung nicht zwingend ist, ist sie meist die falsche Wahl.
- 01
Die einfachste Aufgabe wählen, die das Problem löst
Muss die Fläche wirklich pixelgenau sein, oder reicht ein Rechteck?
- 02
Aufnahmebedingungen festschreiben
Kamera, Abstand, Beleuchtung, Hintergrund. Das ist wirksamer als jede Modellwahl.
- 03
Klassisch prüfen, bevor gelernt wird
Schwellwert, Kante, Farbmaske. Wenn das reicht, ist es die bessere Lösung.
- 04
Vortrainiertes Modell feinabstimmen
Erst danach, und mit möglichst wenigen eigenen Bildern.
Was sich wirklich ändert
Der Sprung der letzten Jahre liegt nicht in besseren Faltungen, sondern in vortrainierten Repräsentationen. Ein auf hunderten Millionen Bild-Text-Paaren trainiertes Modell liefert Merkmale, mit denen eine neue Aufgabe mit einigen hundert statt einigen hunderttausend Beispielen lösbar wird.
| Ansatz | Nötige eigene Bilder | Typische Güte |
|---|---|---|
| Von Grund auf trainiert | 50.000+ | Hoch, wenn Daten reichen |
| Vortrainiert, letzte Schicht neu | 200 bis 2.000 | Meist besser als von Grund auf |
| Vortrainiert, vollständig feinabgestimmt | 1.000 bis 20.000 | Bestes Ergebnis |
| Zero-Shot über Bild-Text-Modell | 0 | Für grobe Sortierung brauchbar |
Durchgerechnet: was ein Bild an Rechenaufwand kostet
Der Aufwand eines Sehmodells lässt sich vor jeder Beschaffung abschätzen. Für eine Faltungsschicht gilt:
Für eine Schicht mit 224 × 224 Ausgabe, 3 × 3 Kern, 64 Eingangs- und
64 Ausgangskanälen sind das
224 · 224 · 9 · 64 · 64 ≈ 1,85 · 10⁹ Multiplikationen, also rund 3,7 GFLOPs für
eine einzige Schicht. Ein vollständiges Netz mittlerer Größe liegt bei 4 bis
20 GFLOPs je Bild.
Daraus folgt der Durchsatz: eine Karte mit 40 nutzbaren TFLOPs schafft bei
8 GFLOPs je Bild theoretisch 40.000 / 8 = 5.000 Bilder je Sekunde, praktisch
wegen Speicherbandbreite und Vorverarbeitung eher 500 bis 1.500. Für eine
Sichtprüfung mit 20 Teilen je Minute ist das um Größenordnungen zu viel, für eine
Videoanalyse über 50 Kameras zu wenig. Siehe
Speicher und Bandbreite.
Der rechtliche Rahmen
Bildverarbeitung berührt den AI Act an mehreren Stellen zugleich:
- Biometrische Fernidentifizierung in öffentlich zugänglichen Räumen ist grundsätzlich verboten, mit engen Ausnahmen.
- Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen ist verboten.
- Biometrische Kategorisierung nach sensiblen Merkmalen ist verboten.
- Zugangskontrolle, Prüfung sicherheitskritischer Bauteile und Bewerberauswahl fallen regelmäßig unter Hochrisiko nach Anhang III.
- Selbst eine reine Zählung von Personen erhebt personenbezogene Daten, sobald einzelne Personen erkennbar sind.
Die praktische Folge: Bei jedem Kamerasystem steht die Frage nach dem Zweck vor der Frage nach dem Modell. Siehe Risikoklassen und Gesichtserkennung.
Passende Kurse und Quellen
Hugging Face Computer-Vision-Kurs
Von der Bildvorverarbeitung über Faltungsnetze bis zu Vision Transformern, mit lauffähigen Beispielen zu Erkennung und Segmentierung.
Für Entwicklung mit Bilddaten; setzt Python voraus, liefert dafür lauffähige Beispiele.
Teachable Machine
Im Browser ein Bildklassifikationsmodell trainieren, ohne Code, in zehn Minuten. Zeigt Überanpassung schneller als jede Erklärung.
Für die erste Anschauung ohne Code; zeigt Überanpassung in zehn Minuten.
Very Deep Convolutional Networks
Die Arbeit, die zeigte, dass Tiefe mit kleinen Filtern schlägt. Der Aufbau, an dem Faltungsnetze üblicherweise erklärt werden.
Für den Einstieg in Faltungsnetze; der Aufbau, an dem sie üblicherweise erklärt werden.