Computer Vision

Computer Vision wertet Bilder und Videos automatisch aus. Das reicht von der Qualitätsprüfung in der Produktion über das Zählen von Objekten und die Bestandserfassung im Lager bis zur Prüfung von Verpackungen und Etiketten oder der Zustandsbewertung von Anlagen anhand von Fotos. Was früher teure Spezialsysteme erforderte, geht heute oft mit Deep Learning und handelsüblichen Kameras.

Ein Projekt lohnt sich dort, wo Sichtkontrollen vom jeweiligen Prüfer abhängen, Fehler erst beim Kunden auffallen, Inventuren von Hand gezählt werden oder Fotos vom Außendienst und von Baustellen gesammelt, aber nie systematisch ausgewertet werden. Wir begleiten solche Vorhaben von der ersten Machbarkeitsprüfung bis zum Betrieb und achten besonders auf die Bedingungen im Einsatz: wechselndes Licht, Verschmutzung, Vibration und seltene Fehlerbilder.

Welche Aufgabe ist es eigentlich?

Computer Vision ist ein Sammelbegriff, und die Aufgabe bestimmt das Verfahren. Bei der Klassifikation ordnet das Modell ein ganzes Bild einer Klasse zu, etwa „in Ordnung“ oder „Ausschuss“. Die Objekterkennung findet Objekte und markiert sie mit einem Rahmen, was Zählungen, Vollständigkeitsprüfungen und die Bestandserfassung ermöglicht. Die Segmentierung grenzt Objekte oder Fehlstellen pixelgenau ab und ist nötig, wenn Größe, Form oder Fläche eines Defekts gemessen werden sollen. Die Anomalieerkennung lernt, wie ein einwandfreies Teil aussieht, und meldet Abweichungen, was hilft, wenn kaum Bilder von Fehlern vorliegen. Dazu kommen die Verfolgung von Objekten über mehrere Videobilder, etwa auf einem Förderband, und das Lesen von Seriennummern, Chargen und Beschriftungen direkt im Bild. Für ganze Dokumente gibt es einen eigenen Schwerpunkt, die KI-Dokumentenverarbeitung.

Bevor wir etwas bauen, legen wir fest, wie viele übersehene Fehler und wie viele Fehlalarme akzeptabel sind. Ohne diese Zahl lässt sich später nicht beurteilen, ob das System gut genug ist.

Vorhandenes Modell oder eigenes?

Für viele Aufgaben muss ein Modell nicht bei null beginnen. Es gibt frei verfügbare Modelle, die auf großen Bildsammlungen vortrainiert wurden und sich mit relativ wenigen eigenen Bildern anpassen lassen. Bei der Objekterkennung unterscheiden sich die Lizenzen deutlich. Die Ultralytics-YOLO-Modelle stehen unter AGPL-3.0 oder einer kommerziellen Lizenz, kleinere Varianten von RF-DETR unter Apache 2.0. Das sollte vor dem Einsatz geprüft werden, ebenso bei Datensätzen. Foundation-Modelle liefern allgemeine Bildmerkmale, auf denen sich mit wenigen Beispielen eigene Klassifikatoren aufbauen lassen.

Multimodale Sprachmodelle beantworten Fragen zu Bildern und beschreiben Inhalte, ohne dass ein eigenes Training nötig ist. Für Prototypen und seltene Auswertungen ist das ein guter Weg. Für schnelle, wiederholbare Prüfungen im Takt sind sie oft zu langsam und zu teuer. Ein speziell trainiertes Modell brauchen wir meist, wenn die Aufgabe sehr spezifisch ist, etwa feine Oberflächenfehler an einem bestimmten Material, wenn die Prüfung in Echtzeit auf kleiner Hardware laufen soll oder wenn die geforderte Genauigkeit mit vorhandenen Modellen nicht erreicht wird. Wir testen deshalb zuerst mit Bildern aus dem Einsatz, was ein vorhandenes Modell schafft, und entscheiden dann nach den Messwerten.

Das Bild entscheidet mehr als das Modell

Die Qualität der Bilddaten bestimmt das Ergebnis stärker als die Wahl der Architektur. Schon vor dem ersten Training klären wir, wie die Bilder entstehen: Kameraposition, Auflösung, Belichtung, Hintergrund, Auslösung. Wer das später ändert, muss meist neu trainieren. Konstantes Licht und eine feste Kameraposition verbessern die Ergebnisse oft mehr als jede Modelloptimierung. Und Trainingsbilder aus dem Labor helfen nicht, wenn das Modell in der Halle arbeiten soll. Sie müssen aus der echten Umgebung stammen.

Beim Annotieren, also dem Markieren von Objekten und Fehlern, brauchen die Annotierenden klare Regeln. Ab wann ist ein Kratzer ein Fehler, wo endet das Objekt? Ohne gemeinsame Regeln lernt das Modell die Uneinigkeit der Annotierenden mit. Dafür setzen wir Annotationswerkzeuge ein, die sich auch selbst betreiben lassen. Modelle wie Segment Anything von Meta können vorannotieren, sodass Fachleute die Vorschläge nur noch korrigieren. Neuere Versionen finden Objekte auch anhand einer Textbeschreibung und arbeiten in Bildern wie in Videos.

Besondere Aufmerksamkeit brauchen die Randfälle. Seltene Fehler sind in den Daten kaum vertreten, aber oft genau die, die gefunden werden sollen. Tageslicht, Schichtwechsel, eine verschmutzte Linse und neue Chargen verändern das Bild. Und kommen Bilder desselben Teils im Training und im Test vor, wirkt das Modell besser, als es ist. Wir trennen deshalb nach Teil, Charge oder Zeitraum.

An der Maschine oder in der Cloud

In der Cloud lassen sich Modelle leicht aktualisieren und bei Bedarf skalieren. Das passt zu Auswertungen ohne Zeitdruck, etwa Fotos aus dem Außendienst. Direkt an der Maschine, am Rand des Netzes („Edge“), läuft das Modell, wenn die Antwort in Millisekunden vorliegen muss, die Verbindung nicht zuverlässig ist oder Bilder das Gelände nicht verlassen sollen.

Für den Edge-Einsatz gibt es spezielle Rechner mit Grafikbeschleuniger, auch in industriellen Bauformen. Modelle werden dafür häufig in das offene Format ONNX exportiert und mit einer Laufzeitumgebung beschleunigt. Das hält die Wahl der Hardware offen, weil sich das Modell ohne neues Training auf anderer Hardware einsetzen lässt. Bei vielen Standorten muss zusätzlich geklärt sein, wie Updates ausgerollt und Geräte überwacht werden.

Wenn sich im Betrieb etwas ändert

Die Qualität eines Bildmodells kann sinken, obwohl am Modell nichts geändert wurde. Neue Produkte, ein anderer Lieferant, eine umgebaute Halle oder eine verstellte Kamera reichen aus. Wir überwachen deshalb die Eingangsbilder (Helligkeit, Schärfe, Bildausschnitt), die Verteilung der Ergebnisse und die Sicherheit, mit der das Modell entscheidet. Unsichere Fälle gehen an eine Person zur Prüfung, und ihre Entscheidung fließt als neues Trainingsbeispiel zurück. Wie sich Versionierung, Retraining und Monitoring grundsätzlich aufsetzen lassen, beschreibt der Schwerpunkt MLOps.

Sind auf den Bildern Menschen erkennbar, kommen Datenschutzfragen hinzu. Die klären wir früh mit dem Datenschutz und vermeiden Personenaufnahmen, wo es geht. Mehr dazu steht im Schwerpunkt datenschutzkonforme KI.