Bilder erzeugen
Diffusionsmodelle von innen: wie aus Rauschen ein Bild wird, was Schrittzahl und Führungsstärke tun und welche rechtlichen Fragen offen sind.
Die Idee
Nehmen Sie ein Foto und schütten Sie schrittweise Rauschen darüber, bis nur noch Grieß übrig ist. Ein Modell wird darauf trainiert, jeden dieser Schritte rückgängig zu machen: aus etwas verrauschtem Bild ein etwas weniger verrauschtes.
Zum Erzeugen startet man dann bei reinem Rauschen und lässt das Modell fünfzig Mal ein bisschen entrauschen. Was übrig bleibt, ist ein Bild, das es nie gab.
Die Regler
| Regler | Wirkung |
|---|---|
| Schritte | Mehr Schritte, sauberere Details, längere Rechenzeit |
| Führungsstärke | Wie eng dem Prompt gefolgt wird |
| Startwert | Derselbe Startwert erzeugt dasselbe Bild reproduzierbar |
| Negativer Prompt | Was ausdrücklich nicht erscheinen soll |
Führung steuern
Der wichtigste Kunstgriff heißt klassifikatorfreie Führung: Das Modell rechnet jeden Schritt zweimal, einmal mit und einmal ohne Prompt, und verstärkt die Differenz.
Die Formel erklärt beide Randfälle: bei w = 1 bleibt nur die bedingte
Vorhersage, bei sehr großem w wird die Differenz so verstärkt, dass Farben
übersteuern und Bildinhalte stereotyp werden.
Kontrollierte Erzeugung
| Verfahren | Wozu |
|---|---|
| Bild zu Bild | Ein vorhandenes Bild als Ausgangspunkt, Stärke regelt die Abweichung |
| Inpainting | Nur einen maskierten Bereich neu erzeugen |
| ControlNet | Kanten, Tiefenkarte oder Pose als zusätzliche Vorgabe |
| LoRA | Ein Stil oder ein Objekt wird mit wenigen Bildern angelernt |
Für betriebliche Anwendungen ist ControlNet meist der entscheidende Baustein: Es macht aus einem zufälligen Generator ein Werkzeug, das eine vorgegebene Geometrie einhält.
Der Vorwärtsprozess
Diese Eigenschaft macht das Training überhaupt bezahlbar: Für jeden
Trainingsschritt wird ein zufälliges t gezogen, x_t in einer Zeile berechnet
und das Modell darauf trainiert, das eingemischte ε vorherzusagen.
Warum latente Diffusion
Diffusion direkt auf Pixeln bei 1024 × 1024 bedeutet über eine Million
Dimensionen je Schritt. Latente Diffusion komprimiert das Bild zuvor mit einem
Autoencoder um den Faktor 8 je Kante, also auf 128 × 128 × 4 = 65.536
Dimensionen: ein Faktor 48 weniger Rechenaufwand je Schritt bei kaum sichtbarem
Qualitätsverlust. Das ist der Grund, warum Bildgenerierung auf einer einzelnen
Karte mit 8 GB möglich ist.
Der rechtliche Stand
Zwei Fragen sind sauber zu trennen:
- Training. In der EU stützt sich das Text- und Data-Mining auf Art. 4 der DSM-Richtlinie, umgesetzt in § 44b UrhG in Deutschland und § 42h UrhG in Österreich. Der Vorbehalt des Rechteinhabers ist maschinenlesbar zu erklären. Ob und wie wirksam dieser Vorbehalt greift, ist Gegenstand laufender Verfahren.
- Ergebnis. Ein ohne menschliche schöpferische Gestaltung erzeugtes Bild ist in der EU regelmäßig kein Werk und damit gemeinfrei. Wer es exklusiv nutzen will, braucht andere Mittel als das Urheberrecht.
- Kennzeichnung. Nach Art. 50 AI Act müssen Anbieter Ausgaben maschinenlesbar als künstlich erzeugt kennzeichnen, und Betreiber müssen Deepfakes offenlegen.
Siehe Urheberrecht.
Passende Kurse und Quellen
Denoising Diffusion Probabilistic Models
Rauschen schrittweise entfernen statt Bilder in einem Zug erzeugen. Die Grundlage aller heutigen Bildmodelle.
Für das Verständnis aller heutigen Bildmodelle, vom Rauschen her gedacht.
Generative Adversarial Networks
Zwei Netze, die gegeneinander lernen. Der erste Ansatz, der überzeugende Bilder erzeugte, heute weitgehend abgelöst.
Historisch wichtig; heute weitgehend abgelöst, aber für das Verständnis der Entwicklung nützlich.
High-Resolution Image Synthesis
Diffusion nicht im Bild, sondern in einem kleineren Zwischenraum. Der Schritt, der Bildgenerierung auf gewöhnlicher Hardware möglich machte.
Für alle, die Bildgenerierung selbst betreiben wollen; erklärt, warum es auf üblicher Hardware läuft.