Software für die Industrielle Bildverarbeitung: 3D-Vision-Aufgaben mithilfe moderner Software bewältigen

Moderne 3D-Vision nutzt 3D-Informationen unter Zuhilfenahme der Industriellen Bildverarbeitung (Machine Vision). Dadurch wird es möglich, Applikationen im Maschinenbau oder in der industriellen Produktion zu lösen, die mit klassischen 2D-Technologien nicht bewältigt werden können. Grund­sätzlich werden mit 3D-Vision zwei Hauptaufgaben gelöst, die beide unterschiedliche Bildverarbeitungstechnologien beinhalten: 1. Das Auffinden von 3D-Position und -Orientierung eines beliebigen Objekts 2. Die 3D-Rekonstruktion der Form eines beliebigen Objekts Die Standard-Softwarebibliothek Halcon 9.0 für die Industrielle Bildverarbeitung von MVTec bietet für 3D-Vision eine schnelle und robuste Lösung. Lösungsansatz Für jedes 3D-Vision-Projekt muss als erstes die Aufgabenstellung eindeutig identifiziert werden. Zu Beginn müssen also einige Fragen geklärt werden: – Was ist bekannt, was möchte ich herausfinden? – Wie genau will ich messen? – Welche Charakteristiken hat mein Objekt? – Welche allgemeine Umgebungsbedingungen liegen vor? Am Beispiel einer Bin-Picking-Applikation könnten die Antworten wie folgt lauten: – Die Form ist bekannt, die Position soll herausgefunden werden. – Die Genauigkeit der Lagebestimmung muss der Genauigkeit der Robotersteuerung entsprechen. – Die Objektgröße beträgt 10 bis 20cm, die Oberfläche ist aus glänzendem Metall. – Teilweise unkontrollierbare Beleuchtungsbedingungen. Diese Analyse ist wichtig, denn auf dieser Grundlage wird die Entscheidung getroffen, welche Bildverarbeitungstechnologie eingesetzt werden soll. Die unterschiedlichen Technologien haben verschiedene Charakteristiken, die zu den Anforderungen der Applikation passen müssen. 3D-Kalibrierung Mit der 3D-Kalibrierung wird das Verhältnis zwischen Kamera und Objekt ermittelt. Für Robotikapplikationen wird außerdem das Verhältnis zwischen Roboter und Kamera ermittelt. Mit dieser Technologie erhält man eine detaillierte und genaue Beschreibung einer Flächen- oder Zeilenkameraumgebung: Sogenannte interne und externe Kameraparameter bilden die Bildkoordinaten auf den realen Weltkoordinaten ab – und umgekehrt. 3D-Kalibrierung wird vor allem zur Korrektur von Linsenverzeichnungen und perspektivischen Verzerrungen eingesetzt. Das kann einerseits durch die Entzerrung des Ergebnisbildes, andererseits durch Messung im verzerrten Bild und anschließende Korrektur des Messergebnisses erfolgen. Außerdem können Messdaten in Weltkoordinaten ausgegeben werden, und die Beziehung zwischen Kamera und Objekt kann eindeutig bestimmt werden, was wichtig für die Robotik ist. Alle 3D-Applikationen bedürfen dieser Technologie. Typische Beispiele sind Bin-Picking und Stereo-Applikationen. Halcon unterstützt sowohl Flächen- als auch Zeilenkameras. Neben der Benutzung einer Kalibrierplatte ist auch die Eigenkalibrierung (also ohne Kalibrierkörper) möglich, wobei die Kameraparameter allein durch das Verkippen der Kamera bestimmt werden. Die 3D-Kalibrierung liefert subpixelgenaue Ergebnisse. 3D-Matching erkennt Objekte Mit 3D-Matching ist es möglich, mit nur einer Kamera die Form und die Lage eines beliebigen, vorher trainierten 3D-Objekts zu erkennen. 3D-Matching eignet sich vor allem, um die 3D-Lage und -Orientierung eines Objekts festzustellen (sogenanntes 3D-Alignment). Diese Daten werden z.B. in der Automobilindustrie und Robotik sowie für Pick-and-Place- und Bin-Picking-Applikationen benötigt. Ist das 3D-Alignment durchgeführt, können weiterhin geometrische Eigenschaften auf komplexen 3D-Objekten gemessen werden. Halcon muss das Objekt bekannt sein. Dies lässt sich über das Einlesen eines entsprechenden CAD-Modells bewerkstelligen. Durch formbasiertes Matching werden unterschiedliche 2D-Ansichten des Objekts generiert und mit der 3D-Objektansicht abgeglichen. Perspektivisches Matching Oft reicht es aus, wenn man das Modell eines Objekts auf einen planaren Teil des Objekts begrenzen kann, um 3D-Objekte mit nur einer Kamera zu erkennen. Pers­pektivisches Matching eignet sich vor allem, um die 3D-Lage und -Orientierung von Objekten festzustellen (3D-Alignment). Solche Beispiele gibt es vor allem in der Automobilindustrie und Robotik sowie für Pick-and-Place- und Bin-Picking-Applikationen. Ist das 3D-Alignment durchgeführt, können ebenfalls durch perspektivisches Matching geometrische Eigenschaften auf komplexen 3D-Objekten gemessen werden. Halcon bietet zwei verschiedene Technologien für perspektivisches Matching an: Weist ein Objekt starke Texturen auf, werden bestimmte Punkte detektiert, deren Grauwerte sich deutlich von ihrer benachbarten Umgebung unterscheiden (durch Helligkeit, Krümmung, Ecken und Flecken). So können planare Objekte wie Druckbilder mit Textur in beliebiger Rotation und Kippung lokalisiert werden. Andererseits gibt es eine Technologie, die Objekte mit ausgeprägten kanten- und flächenbetonten Elementen in hoher Genauigkeit, Zuverlässigkeit und Robustheit erkennt, ebenfalls in beliebiger Rotation und Kippung. Die­se Technologien sind wichtig für die Automobilindustrie, Drucktechnik, Robotik, Bin-Picking und Pick-and-Place-Applikationen. Circle-Pose und Rectangle-Pose Weist ein Objekt eindeutige Kreise wie Bohrlöcher oder Rechteckflächen auf, so reichen diese aus, um die Raumlage von Objekten eindeutig bestimmen zu können. Hier gilt dasselbe wie für das perspektivische Matching: Die 3D-Lage und -Orientierung von Objekten kann festgestellt werden, interessant vor allem für die Automobilindustrie und Robotik sowie für Pick-and-Place- und Bin-Picking-Applikationen. Diese Technologien sind schnell und sehr genau. Halcon arbeitet subpixelgenau, um exakte Ergebnisse zu erzielen, egal ob Kanten oder Linien erfasst werden. Binokulares Stereoverfahren Zwei Bilder mit unterschiedlichen Aufnahmepositionen werden herangezogen. Die 3D-Koordinaten von markanten Punkten auf der Oberfläche eines Objekts können bestimmt werden, indem über die zuvor kalibrierte Kamerakonfiguration aus der Disparität eines jeden Objektpunktes dessen Tiefe ermittelt wird. Das binokulare Stereoverfahren eignet sich vor allem zur 3D-Rekonstruktion unter Bestimmung von 3D-Formen von beliebigen Objekten und ist gut einsetzbar für mittlere bis große 3D-Objekte wie Platinen. Weiterhin eignet sich diese Technologie gut für die Qualitätskontrolle und die Lageerkennung von 3D-Objekten, was z.B. zur Vorverarbeitung für 3D-Matching sehr nützlich ist. Mithilfe eines Zwei-Kamera-Aufbaus kann Halcon 3D-Koordinaten von der Oberfläche eines Objekts bestimmen. Das kann durch eine dichte Höhenkarte oder durch die Ermittlung der Höhe spezieller Punkte oder Kanten erreicht werden. Um Informationslücken wie beim konventionellen Stereoverfahren zu vermeiden, setzt Halcon das sogenannte Mehrgitter-Stereo ein. Bereiche ohne Information werden dadurch interpoliert, und man erhält saubere Kanten. Texturlücken in Stereobildern werden also durch Mehrgitter-Stereo überbrückt. Monokulares 2½D-Verfahren Es gibt mehrere so genannte aktive Technologien zur Gewinnung von Höheninformationen mit nur einer Kamera. Die resultierenden 3D-Informationen sind denen der binokularen Stereomessung sehr ähnlich. Die meist benutzten Methoden sind Depth from Focus (DFF) und das Lichtschnittverfahren. Monokulare 2½D-Technologien werden zur 3D-Rekonstruktion eingesetzt. Depth from Focus wird für kleine Objekte mit feinen Texturen eingesetzt, wie sie in der Elektronikindustrie häufig zu finden sind. Das Lichtschnittverfahren eignet sich für 3D-Objekte ohne Textur. Typische Einsatzgebiete sind die Qualitätskontrolle und Lagebestimmung von 3D-Objekten. Auf der Grundlage von Höhenprofilen, die mittels eines Linien-Laserprojektors erstellt werden, können Halcons Algorithmen Lichtlinien extrahieren, aus denen dann ein 2½D-Modell generiert wird. Beim Depth-from-Focus-Verfahren lässt sich über eine Abstandsveränderung der Kamera aus dem Schärfegrad die dreidimensionale Beschaffenheit des beobachteten Objektpunktes bestimmen.