Sichere Mensch-Roboter-Kooperation durch Auswertung von Bildfolgen

Eine Herausforderung ist die Integration von Sensoren in die Roboterzelle und die Implementierung der dazugehörigen Auswerteverfahren. Durch die Integration von Sensorsystemen soll es den Manipulatoren ermöglicht werden, weitestgehend autonom Probleme zu lösen. Ein wichtiger Trend in der Forschung und Entwicklung komplexer Robotersysteme liegt darin, eine zuverlässige kognitive Industrierobotik zu entwickeln. Diese Arbeit will dazu einen wichtigen Beitrag leisten

Non-invasives Wachstums-Monitoring von Steinbutten bei hoher Populationsdichte in der Aquakultur mittels eines Stereokamerasystems

Ziel dieser Arbeit ist die Entwicklung eines Prototypen zur non-invasiven Vermessung von Steinbutten in Aquakulturanlagen mittels eines Stereokamerasystems unter realen Arbeitsbedingungen. Die zwei Themenschwerpunkte sind die Entwicklung eines Konzeptes für ein Hardwaresystem zur Aufnahme von Bildmaterial unter den gegebenen Umständen sowie die Entwicklung eines Algorithmus zur automatischen Erkennung von Steinbutten im Bildmaterial und deren Vermessung basierend auf Stereometrie. Die bei der Entwicklung von Hardwaresystem und Algorithmus durchgeführten Arbeitsschritte und Untersuchungen werden in dieser Arbeit vorgestellt und deren Ergebnisse präsentiert. Für die Entwicklung des Hardwaresystems wurde zuerst eine Anforderungsanalyse erstellt, basierend auf den Bedingungen, die ein derartiges Arbeitsumfeld an ein solches System stellt. Im Rahmen dieser Arbeit wurde anschließend ermittelt, ob die Verwendung von farbigem Licht und einer bestimmten Farbe des Beckenuntergrundes die softwareseitige Objekterkennung unterstützen kann. Dies wurde anhand der Parameter Belichtungszeit, relativer Kontrast zwischen Untergrund und einem Steinbutt, empirischer Variationskoeffizient der Grauwerte innerhalb eines Steinbuttes, sowie Gradientenstärke im Übergangsbereich zwischen 2 Steinbutten unter Verwendung von 5 unterschiedlichen Lichtfarben, 4 unterschiedlichen Beckenfarben sowie 2 unterschiedlich heller Steinbuttmusterungen untersucht. Bei der Hervorhebung von Strukturen wurden keine signifikanten Unterschiede zwischen den einzelnen Farbkombinationen festgestellt. Weißes Licht zeigte im Vergleich zu den anderen Lichtfarben eindeutig kürzere Belichtungszeiten, und wurde aus diesem Grund für die weitere Verwendung in dieser Arbeit gewählt. Um eine möglichst homogene Ausleuchtung des beobachteten Bereichs zu erreichen, wurden mehrere Grundeinstellungen für die Abstrahlwinkel des Beleuchtungssystems überprüft und ausgewertet. Die Ausrichtung der Leuchtkörper um 20° nach außen gedreht erwies sich als die beste Grundeinstellung der überprüften Varianten. Die Prüfung der Genauigkeit der Kalibrierung des Stereokamerasystems wurde anhand von Testmessungen durchgeführt. Dabei zeigte sich eine Messungenauigkeit von circa 1,7% im mittleren Bildbereich und von circa 2% im Randbereich. Der entwickelte und vorgestellte Algorithmus stellt sich der Aufgabe, einzelne Steinbutte in Bildmaterial zu erkennen, dessen Vorder- als auch Hintergrund vollständig aus Steinbutten besteht und die Aufnahme nicht unter optimalen Bedingungen erfolgen kann. Das Verfahren basiert auf der Erkennung von repräsentativen Konturfragmenten und deren Zuordnung anhand geometrischer Zusammenhänge, die zuvor automatisiert erlernt wurden. Der Schwellwert zur Unterscheidung zwischen repräsentativen und nicht repräsentativer Konturen wird bestimmt, basierend auf den Ergebnissen von mehreren Trainings mit unterschiedlichen Sets an Trainingsdaten. Dabei konnte eindeutig ein Wertebereich identifiziert werden, in dem ein Übergang von repräsentativen zu nicht repräsentativen Konturen stattfindet. Für mehrere unterschiedliche Sets repräsentativer Konturen wurden anhand zweier Sets von Validierungsbildern das Konturen-Matching durchgeführt. Die Ergebnisse zeigten bei allen Varianten sehr geringe Raten an korrekt gematchten und skalierten repräsentativen Konturen, weswegen eine Fortführung des Verfahrens nicht erfolgen konnte. Das Hardwaresystem erwies sich als robust in der Anwendung und von der Konstruktion als flexibel genug, um in verschiedenen Bereichen der Aquakultur als Monitoring-System eingesetzt zu werden. Der entwickelte Algorithmus zur Erkennung von Steinbutten war nicht in der Lage, Steinbutte zuverlässig unter realen Arbeitsbedingungen zu erkennen. In der Diskussion und dem Ausblick werden Gründe hierfür genannt und Möglichkeiten zur Behebung der vorliegenden Probleme diskutiert.Goal of this work is the development of a prototype for the non-invasive measuring of turbots in aquacultural facilities via a stereo camera system under realistic working conditions. The two key subjects are the development of a concept for a hardware system for the recording of image data under the given conditions as well as the development of an algorithm for the automatic recognition of turbots in image data and their measuring based on stereometry. The working steps and researches done in the development of the hardware system and the algorithm are shown and the results are presented in this work. For the development of the hardware system, first a requirement analysis was done, based on the conditions of the actual working area. In this work it was tested, if the usage of colored light and colored material for the basin can support the object recognition algorithm. This was tested based on the parameters exposure time, relative contrast, empirical coefficient of variation and the gradient intensity using 5 different colors of light, 4 different colors of the basin and 2 differently bright patterned turbots. In emphasising the structures of the turbots no significant differences between the combinations of color were found. White light showed the shortest exposure times in comparison with the other colors of light and was therefore chosen for further usage. To reach the most homogenous illumination of the monitored area possible, multiple basic settings for the radiation angles of the lighting system were evaluated. The orientation of the lamps 20° degrees to the outer side proved to be the best basic setting of the examined variations. The testing of the precision of the calibration of the stereo camera system was done using exemplary measurements. A measuring inaccuracy of approximately 1.7% in the image center and of approximately 2% at the image border was reached. The developed and presented algorithm meets the challenge to recognize single turbots in image data, where foreground and background consist completely out of turbots and the shot can not be done under optimized conditions. The algorithm bases on the recognition of representative contour fragments and their assignment based on geometric correlations, that are learned automatically. The threshold to differentiate between representative and non representative contours is determined based on the results of multiple trainings of the algorithm using different sets of training data. A distinct range of values could be identified, where a transition from representative to non representative contours occurs. For multiple sets of representative contours the contour matching was executed using 2 sets of validation images. The results showed for all variations very low rates of correctly matched and scaled representative contours, wherefore a continuation of the algorithm could not be done. The hardware system proved itself as robust in its usage and is constructed flexible enough to be used in different areas of aquaculture as a monitoring system. The developed algorithm to recognise turbots was not able to detect turbots under realistic working conditions reliably. In the discussion and the outlook reasons are mentioned and possible solutions are discussed