Latest News

11.02.2021


Klassische Bildverarbeitung versus Machine Learning (ML) – Ein Essay.

 

Momentan etabliert sich der Ansatz eine gegebene Bildverarbeitungsaufgabe zur Qualitätssicherung in der industriellen Fertigung durch ein System bestehend aus Kamera, Optik, Beleuchtung und Recheneinheit mittels Machine Learning lösen zu lassen. In der Qualitätssicherung kommt dabei derzeit überwiegend das überwachte Lernen zum Einsatz, wo zu jedem Trainingsbild ein Label (z.B. gut/schlecht) vorhanden ist was zuvor von einem menschlichen Kontrolleur festgelegt wurde. Die Ansätze zum unüberwachten Lernen (Unsupervised Learning) wie Hauptkomponentenanalyse und Clustering sollen hier nicht betrachtet werden. Auch nicht das bestärkende Lernen (Reinforcement Learning), das halbüberwachte Lernen und das „transfer learning“.

 

Der Ansatz über Supervised Learning kommt momentan tendenziell immer dann zur Anwendung, wenn die klassische BV z.B. über einen Merkmalsvektor an Grenzen stößt, bzw. kein Experte zur Hand ist, der überhaupt einen Merkmalsvektor aufsetzen kann.

 

Beispiel: Es soll eine Schraube im Bereich von Gewinde und Schraubenkopf auf Beschädigungen geprüft werden. Die Klassifizierung der Schraube meldet „gut“, wenn das Gewinde in Ordnung ist UND der Kopf in Ordnung ist.

 

Der klassische, regelbasierte Ansatz könnte folgendermaßen aussehen: Schraube im Bild finden über Pattern-Matching (kantenbasiert, flächenbasiert, Histogramm-gestützt, über Objekte und ihre Merkmale etc.). Dann entweder Schraube über affine Abbildung ausrichten oder gleich im gedrehten Koordinatensystem weiter prüfen. Über Messfenster die Schraube im Bereich Gewinde und Kopf näher betrachten. Bild dazu ggf. über Varianzfilter leiten. Das könnte bedeuten: Standardabweichung der Grauwerte im Gewindebereich kleiner Schwellwert UND keine Objekte im varianzgefilterten Bild mit Grauwert über x und Fläche über y Pixel UND Überwachung Medianwert der Grauwerte UND Überwachung von weiteren Objektmerkmalen je Schraubentyp. Die Vielzahl der zu einem Merkmalsvektor kombinierten Einzelmerkmale, deren Ergebnisse alle innerhalb festzulegender Grenzen liegen müssen, macht diesen Ansatz schwerfällig. Oft erkennt man spät, dass ein weiteres Merkmal einbezogen werden muss, um ganz sicher auch noch den letzten Grenzfall sicher zu klassifizieren. Das System ist am Ende kaum wartbar und reagiert sehr empfindlich auf geringste Änderungen an den Umgebungsbedingungen. Trotzdem soll es paradoxerweise robust und leicht anpassbar sein. Es grenzt an ein Wunder, dass attributive Merkmale wie im Beispiel bisher überhaupt auf diese Weise stabil prüfbar waren mit signifikanter Trennschärfe.

 

Der beispielbasierte ML-Ansatz über ein Deep-Neural-Network wirkt dagegen fast spielerisch: Z.B. 67 Gut-Bilder zuführen und neuronales Netz über die TensorFlow Core API, Pytorch oder alternatives Produkt trainieren lassen. Auf einem i7-10700K Prozessor mit zwei Grafikkarten und jeweils 2000 Streamprozessoren dauert dies knapp 26 Minuten. Neuronales Netz an Testdaten überprüfen und dann produktiv setzen. Fertig! … Fertig?

 

Zunächst liefert das Neuronale Netz selten fertige Klassifikationsergebnisse, sondern wandelt Eingangsbilder zur Prüfung so um, dass Fehler dann in einem künstlichen Ausgangsbild klarer erkennbar sind. Gefunden werden sie dann mit regelbasierter BV – also klassisch. Gelegentlich wird auch ein Wert zwischen 0 und 1 berechnet, der die Wahrscheinlichkeit für einen Fehler darstellt. Wo aber dann die Grenze setzen?

 

Ausführungszeit (Inferenz) pro Schraube auf einem System mit 500€ Grafikkarte: 93ms für eine Drehlage. Schlupfrate bei 0,2 Prozent und Pseudofehlerrate bei 2,4 Prozent. System dann ggf. zur Verbesserung der Ergebnisse Nachtrainieren. Ggf. „data augmentation“ zuschalten, um rotatorisch und translatorisch mehr Varianz in die Eingangsbilder zu rechnen und auch durch Veränderung der Grauwerte und der Skalierung die „invariance“ zu erhöhen. Trainingszeit erhöht sich auf 74 Minuten. Erkennungsrate verbessert sich minimal.

 

Jetzt kommen Fragen auf:
Braucht das System noch mehr Rohdaten, z.B. aus einem Shape-From-Shading-Ansatz, um Defekte besser erkennen zu können? Ist die Sensorik geschickt gewählt? Ist das Netz geschickt gewählt?
Ist das Verhalten der Anwendung vollständig nachvollziehbar?
Können für eine konkrete Einzelentscheidung der Anwendung die wesentlichen Einflussfaktoren aufgezeigt werden, z.B. über eine Heatmap?
Ist das System sicher genug, um z.B. auch Schrauben in der Medizintechnik prüfen zu können?
Wie lässt sich das System validieren?
Ist die Akzeptanz beim Endkunden gegeben, einschließlich der Prüfzeit und der Güte der Ergebnisse?
Lässt sich das System leicht an neue Typen anpassen? Wer kann neue Typen einlernen?
Sind die Erwartungen überhöht?
Braucht es eine stärkere Kombination mit regelbasierter BV?

 

 

 

Fragen Sie hierzu ihren freundlichen BV-Experten von nebenan!

 

26.08.2020


In 3 Tagen zum Experten für Bildverarbeitung - Ihr Einstieg in die industrielle BV

Die Bildverarbeitung ist eine industrielle Schlüsseltechnologie, welche die flexible und sichere Produktion von hochwertigen Gütern erlaubt. Dies wird sich im Rahmen von Industrie 4.0 noch weiter verstärken: 100%-Kontrolle von Produkten oder Verarbeitungsschritten, Optimierung von Prozessparametern auf Basis visueller Inspektion, automatisierte Handhabung mittels Robotik, Mensch-Maschine-Kollaboration, Verbesserung der Produktivität und Flexibilität in der Fertigung. Stehen Sie vor der Herausforderung Bildverarbeitung einzusetzen und möchten daher fundiert in das Thema einsteigen? Dann vermittelt Ihnen dieses Seminar das notwendige Wissen, sensibilisiert auch für mögliche Herausforderung oder Schwierigkeiten und zeigt Ihnen die vielen neuen Möglichkeiten der Bildverarbeitung auf.

 

Sie planen ein Projekt im Bereich der Bildverarbeitung?

Sie benötigen mehr Grundverständnis zum Themengebiet Bildverarbeitung?

Sie wünschen sich eine umfassende Einführung in die digitale Bildverarbeitung?

Dann sind sie mit der hier angebotenen Schulung genau auf dem richtigen Weg!

 

Die Schulung bietet eine ausführliche Einführung in folgende Themenbereiche:

  • Kameratechnik, Objektive, optische Filter, Beleuchtungen, 3D-Sensoren, Lieferanten
  • Auslegung von Kamerakontrollsystemen für typische Anwendungsfälle
  • Auswertung von digitalen Grauwertbildern und Farbbildern
  • 2D- und 3D-Verarbeitung von Bildern inkl. Messtechnik
  • Erstellung von Lastenheft/Pflichtenheft und Durchführung der Systemabnahme

Die 3-tägige Schulung richtet sich an technisch interessierte Personen, z.B. aus den Bereichen Qualitätssicherung, Planung, Produktion, Konstruktion, Automatisierung aber auch an Personen in leitender Position. Grundkenntnisse zur BV sind nicht erforderlich.

Die Wissensvermittlung ist als Vortrag mit Beispielen und Erfahrungen aus der Praxis gestaltet. Die Teilnehmer sind eingeladen, Fragen zu Ihren eigenen Aufgabenstellungen einzubringen und offen zu diskutieren.

 

 

Referent:

Dipl.-Ing. (DH) Oliver Seebach – Vision-Seebach Unternehmensberatung Hamburg

 

Hr. Seebach startete vor über 30 Jahren in der Bildverarbeitung und war zwischenzeitlich als Dozent für digitale Bildverarbeitung tätig. Lange Zeit arbeitete er als Softwareentwickler und Projektleiter für kundenspezifische Lösungen bei verschiedenen Unternehmen der BV-Branche. Details zum Profil finden Sie hier.

 

Ort:

Die 3-tägige Schulung findet wahlweise in ihrer Firma statt oder in einem Tagungsraum in Hamburg.

Es sind maximal 5 Teilnehmer pro Termin möglich.

 

Kosten:

500€ pro Person und Tag zzgl. MwSt. Die Veranstaltung kann ab 2 Personen stattfinden. Verpflegungskosten und Übernachtungskosten der Teilnehmer sind nicht enthalten. Bei der Zimmersuche in Hamburg unterstütze ich gerne. Ab drei Teilnehmern aus der selben Firma erstelle ich gerne ein rabattiertes Angebot.

 

Termine:

Auf Anfrage. Bei Interesse öffne ich einen Doodle mit Terminvorschlägen zur schnellen Koordination.

30.06.2020


So geht Shape-from-Shading – aber richtig

Beispiel: Pharmazeutische Verpackung mit Brailleschrift. Links Texturbild, rechts Höhenbild

 

Oberflächen müssen in zahlreichen Produktionsprozessen nach Defekten wie Kratzern, Pickeln, oder Verschmutzungen überprüft werden. Mit der richtigen Beleuchtung, Beleuchtungssteuerung und Software gelingt das auch zuverlässig.

 

In diesem Artikel soll ein spezieller Shape-From-Shading-Ansatz vorgestellt werden, der zur Lösung von Aufgabenstellungen der Oberflächenkontrolle von bewegten Objekten eingesetzt werden kann.

 

Gegeben sei eine Beleuchtung, die eine Oberfläche aus vier verschiedenen Richtungen getrennt beleuchten kann. Nimmt man vier Bilder derselben Oberfläche mit jeweils einer anderen Beleuchtungsrichtung auf, dann erhält man pro Bild einen Schattenwurf mit entsprechender Schattenrichtung an Erhebungen und Vertiefungen der Oberfläche. Verrechnet man die vier Eingangsbilder in geeigneter Weise, dann können aus den künstlich erzeugten Ausgangsbildern detaillierte Informationen über die Beschaffenheit der Oberfläche gewonnen werden.

 

Unter anderem erkennt man deutlich Kratzer, Pickel, Lunker, Risse, Verschmutzungen, Grate und andere Oberflächendefekte. Neben reinen Texturinformationen stehen eine Vielzahl von Informationen zur Topologie der Oberfläche zur Verfügung. So lassen sich Texturfehler wie Flecke und Rost leicht unterscheiden von Topologiefehlern wie Poren und Kratzern. Je stärker die Oberfläche von Texturinformationen überzogen ist, umso mehr verblüffen die Topologiebilder, die von der Textur nicht beeinflusst werden.

 

Wählt man bei geeigneter Beleuchtungsstärke eine sehr kurze Belichtungszeit, dann muss das Objekt während der Bildaufnahmen nicht stillstehen, sondern kann in der Bewegung aufgenommen werden.

 

Bei einer Belichtungszeit von z.B. 10 Mikrosekunden, kann die Beleuchtung mit einer Frequenz von 100kHz umgeschaltet werden. Inzwischen gibt es Zeilenkameras, die Zeilen mit dieser Frequenz aufnehmen können. So sind dann vier aufeinander folgende Zeilen jeweils aus einer der vier Beleuchtungsrichtungen beleuchtet und können zu vier getrennten Eingangsbildern auseinander kopiert werden. Eine Oberflächenkontrolle im Durchlauf wird möglich.

 

Wir haben auf Basis dieser Technologie bereits in einigen Projekten erfolgreich beraten. Hierzu zählen: Stanzteilkontrollen auf Kratzer, Rost und Geometriefehler; Eine Kontrolle von Stahlstangen auf Poren und Chromfehler; Die Kontrolle von Tiefziehteilen auf Spanabdrücke; Eine Kontrolle von Planflächen auf Randfehler und Lunker.

 

Sollen auf diese Weise Teile auf einem Glasdrehteller gleichzeitig von oben und unten im Durchlauf kontrolliert werden, dann lassen sich die Beleuchtungen in ortsgleicher Anordnung so synchronisieren, dass sie sich gegenseitig nicht stören.

 

Ob auch Ihre Anwendung so gelöst werden kann, können wir gerne gemeinsam und unverbindlich erörtern.

 

21.09.2019


Vielfliegerjahr 2019 mit 2x China - vermutlich noch vor Corona

2019 war für mich und einige Marktbegleiter ein Vielfliegerjahr. Unter anderem sah ich China mal wieder, wo ich seit 2001 nicht mehr war und wo sich in den letzten 20 Jahren enorm viel verändert hat.

 

Reisebeginn ist stets Hamburg - Hier der Hafen, die Elbe und die Alster von oben.

 

Wenn ich bei Langstrecke die Wahl habe zwischen dem A380, dem A350 und dem B777 Dreamliner, dann ziehe ich letzteren vor, weil dort die Businessclass einfach ein klein wenig komfortabler ist. Im Bild die Ausstattung der China Air. Als Lokalpatriot mit Airbus in Finkenwerder vor der Haustür müsste ich ja eigentlich Airbus bevorzugen.

 

In China ging es zunächst nach Dalian, einer überschaubaren Millionenstadt, die bei Chinesen als Urlaubsort sehr beliebt ist. Dalian befindet sich am Gelben Meer unweit der Grenze zu Nordkorea. Erfolgreiche Vorabnahme von sieben kameraüberwachten Montagestationen für Automatikgetriebe.

Ein paar Monate später stand Shanghai auf dem Programm. Der Einsatz endete für mich mit unvergesslichen Eindrücken und der Abnahme von insgesamt 10 kameragestützten Stationen zur Montagekontrolle von Automatikgetrieben.

 

Auch die Zentralschweiz war schön. Hier durfte ich mir neben dem Alpenpanorama die Qualität von Spritzgussteilen ansehen.

Stockholm mal vom Wasser aus zu umrunden war noch spannender als die Vermessung von Polymerteilen.

Selbst die Steiermark ist über Wien recht zügig erreichbar von Hamburg aus. Und dort wird ganz hervorragender Stahl verarbeitet - natürlich mit kameragestützter Qualitätskontrolle.