KI auf dem Gerät
Modelle auf Kameras, Steuerungen und Telefonen: was dort möglich ist, was es kostet und warum die Datenschutzlage dadurch grundlegend anders wird.
Die Idee
Statt ein Bild an einen Server zu schicken und auf die Antwort zu warten, rechnet das Gerät selbst. Eine Kamera erkennt vor Ort, ob eine Schutzbrille getragen wird, und meldet nur „ja" oder „nein". Das Bild verlässt die Kamera nie.
Wozu es gut ist
- Datenschutz: Was nicht übertragen wird, kann nicht abfließen.
- Latenz: Keine Netzlaufzeit, Antwort in Millisekunden.
- Verfügbarkeit: Funktioniert auch ohne Verbindung.
- Kosten: Keine laufenden Gebühren je Anfrage.
Was auf welcher Hardware läuft
| Gerät | Typische Rechenleistung | Realistisch |
|---|---|---|
| Mikrocontroller mit NPU | 0,1 bis 2 TOPS | Schlüsselworterkennung, einfache Sensorik |
| Einplatinenrechner mit Beschleuniger | 4 bis 30 TOPS | Objekterkennung in Echtzeit |
| Aktuelles Smartphone | 15 bis 50 TOPS | Bildmodelle, Sprachmodelle bis ~3 Mrd. in int4 |
| Industrie-PC mit kleiner GPU | 50 bis 200 TOPS | Mehrere Kameraströme, Modelle bis ~7 Mrd. |
Der Weg vom Modell zum Gerät
- 01
Exportieren
Nach ONNX oder in ein herstellereigenes Format. Dabei zeigt sich, welche Operationen nicht unterstützt werden.
- 02
Quantisieren
Meist int8, mit einem Kalibrierdatensatz aus echten Betriebsdaten.
- 03
Übersetzen
In das Format der Zielhardware, mit Optimierung für deren Recheneinheiten.
- 04
Gegenprüfen
Die Ausgaben des Geräts gegen die des ursprünglichen Modells auf demselben Bewertungssatz halten. Abweichungen sind hier die Regel, nicht die Ausnahme.
- Immer mit echten Betriebsdaten kalibrieren, nie mit synthetischen.
- Nach jedem Schritt messen, nicht erst am Ende.
- Die Wärmeentwicklung im Dauerbetrieb prüfen; viele Geräte drosseln nach wenigen Minuten.
Das Energiebudget
Durchgerechnet für eine Sensorkamera: C = 20 Wh, P_idle = 0,15 W,
E_inf = 0,0008 Wh, f = 3.600 je Stunde (also eine je Sekunde):
t = 20 / (0,15 + 2,88) = 6,6 Stunden. Mit einer Inferenz alle zehn Sekunden
statt jeder Sekunde: t = 20/(0,15 + 0,288) = 45,7 Stunden.
Die Auslöseschwelle ist damit der wichtigste Auslegungsparameter, nicht das Modell. Eine Bewegungserkennung vor der eigentlichen Inferenz verlängert die Laufzeit typischerweise um den Faktor fünf bis zwanzig.
Aktualisierung im Feld
- Zwei Speicherbereiche im Gerät, damit ein fehlgeschlagenes Update zurückfällt.
- Version, Prüfsumme und Kalibrierstand je Gerät zentral geführt.
- Stufenweise Verteilung: erst ein Prozent der Geräte, dann zehn, dann alle.
- Ein Weg, ein Gerät im Feld zu prüfen, ohne es auszubauen.
- Signierte Modelldateien; ein Modell ist ausführbarer Code in seinen Wirkungen.
Der rechtliche Vorteil, präzise gefasst
Verarbeitung auf dem Gerät bedeutet nicht automatisch, dass keine Verarbeitung personenbezogener Daten stattfindet. Sie findet statt, nur eben lokal. Was entfällt, sind Übermittlung und Auftragsverarbeitung, zwei der schwierigsten Punkte. Was bleibt:
- Eine Rechtsgrundlage für die Verarbeitung selbst ist weiterhin nötig.
- Informationspflichten nach Art. 13 DSGVO bleiben bestehen.
- Betroffenenrechte gelten, auch wenn die Daten nur kurz im Gerät liegen.
- Sobald ein Ergebnis gespeichert oder übertragen wird, beginnt eine neue Verarbeitung.
Der praktische Unterschied ist trotzdem groß: Eine Zählung ohne Bildübertragung ist regelmäßig verhältnismäßig, dieselbe Zählung mit Bildübertragung an einen Anbieter außerhalb der EU regelmäßig nicht. Siehe Datenresidenz.
Passende Kurse und Quellen
llama.cpp
Ausführung quantisierter Modelle auf gewöhnlicher Hardware, bis hinunter zu einzelnen Karten und Kleinrechnern. Die Referenzimplementierung für den Betrieb ohne Rechenzentrum.
Für den Betrieb ohne Rechenzentrum, bis hinunter zu einzelnen Karten und Kleinrechnern.
Netron
Öffnet eine Modelldatei und zeichnet ihren Aufbau. Die schnellste Art zu sehen, was in einem gelieferten Modell tatsächlich steckt.
Für den schnellen Blick in ein geliefertes Modell, bevor man es in Betrieb nimmt.