OpenCV: der Werkzeugkasten

Die Idee#

OpenCV ist eine Sammlung von rund 2.500 optimierten Funktionen für Bilder. Man benutzt selten mehr als dreißig davon, aber diese dreißig deckt fast jede praktische Aufgabe ab: laden, drehen, skalieren, weichzeichnen, Kanten finden, Formen zählen, Text erkennen, Video lesen.

Installation#

pip install opencv-python numpy

Auf einem Server ohne Bildschirm stattdessen opencv-python-headless. Beide Pakete gleichzeitig zu installieren führt zu Abstürzen, die schwer zuzuordnen sind.

Die dreißig Funktionen, die zählen#

Ein vollständiges Beispiel: Belege zählen#

import cv2, numpy as np

img = cv2.imread("belege.jpg")
if img is None:
    raise SystemExit("Bild nicht gefunden - Pfad pruefen")

grau  = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
weich = cv2.GaussianBlur(grau, (7, 7), 0)

# Otsu waehlt den Schwellwert selbst, aus dem Histogramm.
_, bin_ = cv2.threshold(weich, 0, 255,
                        cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)

kern = cv2.getStructuringElement(cv2.MORPH_RECT, (9, 9))
bin_ = cv2.morphologyEx(bin_, cv2.MORPH_CLOSE, kern)   # Loecher schliessen

konturen, _ = cv2.findContours(bin_, cv2.RETR_EXTERNAL,
                               cv2.CHAIN_APPROX_SIMPLE)
gross = [k for k in konturen if cv2.contourArea(k) > 5000]
print("gefundene Belege:", len(gross))

for k in gross:
    x, y, w, h = cv2.boundingRect(k)
    cv2.rectangle(img, (x, y), (x + w, y + h), (0, 255, 0), 3)
cv2.imwrite("belege_markiert.jpg", img)

Dieses Beispiel enthält kein maschinelles Lernen und löst eine Aufgabe, für die oft ein Modell vorgeschlagen wird.

Achsenreihenfolgen#

Die häufigste Ursache für stille Fehler ist, dass drei Bibliotheken drei Konventionen benutzen.

Ein Bild, das nach dem Skalieren gestaucht aussieht, ist praktisch immer eine vertauschte (w, h)-Angabe.

Leistung#

Modelle direkt in OpenCV ausführen#

Das Modul dnn liest ONNX-, Caffe- und Darknet-Modelle und führt sie ohne PyTorch aus. Für Randgeräte und schlanke Container ist das oft die praktischste Lösung, weil eine Installation von 40 Megabyte genügt statt mehrerer Gigabyte.

netz = cv2.dnn.readNetFromONNX("modell.onnx")
blob = cv2.dnn.blobFromImage(img, scalefactor=1/255.0, size=(640, 640),
                             swapRB=True, crop=False)   # swapRB: BGR -> RGB
netz.setInput(blob)
ausgabe = netz.forward()

swapRB=True ist hier nicht optional: fast alle veröffentlichten Modelle wurden auf RGB trainiert, OpenCV liefert aber BGR. Ohne den Tausch sinkt die Güte messbar, ohne dass ein Fehler gemeldet wird.