Wie ein neuronales Netz rechnet

Die Idee#

Ein Neuron bekommt mehrere Zahlen, multipliziert jede mit einem eigenen Gewicht, addiert alles zusammen, gibt einen Versatz dazu und schickt das Ergebnis durch eine einfache Funktion, die alles Negative auf null setzt. Das ist alles.

Eine Schicht ist eine Reihe solcher Neuronen nebeneinander. Ein Netz ist eine Folge von Schichten. Die erste Schicht sieht die Rohdaten, jede weitere sieht, was die vorige daraus gemacht hat.

Was Tiefe bewirkt#

Bei einem Bild erkennt die erste Schicht Helligkeitssprünge, die zweite daraus Ecken, die dritte einfache Formen, die vierte Objektteile. Jede Ebene setzt die Bausteine der vorigen zusammen. Deshalb heißt es tiefes Lernen.

Ein Netz von Hand#

import numpy as np
rng = np.random.default_rng(0)

def relu(x): return np.maximum(0, x)

# He-Initialisierung: Standardabweichung sqrt(2/fan_in). Mit falscher
# Initialisierung stirbt das Signal ueber die Schichten hinweg ab.
def schicht(fan_in, fan_out):
    return (rng.normal(0, np.sqrt(2 / fan_in), (fan_in, fan_out)),
            np.zeros(fan_out))

W1, b1 = schicht(784, 256)
W2, b2 = schicht(256, 128)
W3, b3 = schicht(128, 10)

x = rng.normal(size=(32, 784))               # 32 Bilder à 28x28
a1 = relu(x  @ W1 + b1)
a2 = relu(a1 @ W2 + b2)
logits = a2 @ W3 + b3                        # 32 x 10, noch keine Wahrscheinlichkeiten

for name, a in [("a1", a1), ("a2", a2)]:
    print(name, "Mittel", round(float(a.mean()), 3),
          "Anteil null", round(float((a == 0).mean()), 3))

Der Anteil der Nullen ist die wichtigste Diagnose beim Bau eines Netzes. Liegt er über 90 Prozent, sind viele Neuronen tot und tragen nichts mehr bei.

Die Parameterzahl#

Die Formel#

Ohne σ wäre W⁽²⁾(W⁽¹⁾x + b⁽¹⁾) + b⁽²⁾ = (W⁽²⁾W⁽¹⁾)x + (W⁽²⁾b⁽¹⁾ + b⁽²⁾), also wieder eine einzige lineare Abbildung. Zwanzig Schichten hätten exakt dieselbe Ausdruckskraft wie eine.

Initialisierung#

Der Grund ist eine Varianzrechnung: Bei ReLU ist im Mittel die Hälfte der Ausgänge null, was die Varianz halbiert. Der Faktor 2 gleicht das aus. Ohne diese Korrektur fällt die Aktivierungsvarianz je Schicht um die Hälfte und ist nach zwanzig Schichten auf 2⁻²⁰ ≈ 1e-6 gefallen.

Universelle Approximation, richtig gelesen#

Der Satz besagt, dass ein Netz mit einer verborgenen Schicht jede stetige Funktion auf einem kompakten Bereich beliebig genau annähern kann. Was er nicht besagt:

Praktisch ist der Satz deshalb kein Argument für flache Netze. Tiefe Netze erreichen dieselbe Genauigkeit mit exponentiell weniger Neuronen, weil sie Merkmale wiederverwenden statt sie nebeneinander zu stellen.