Kamerabasierte Egomotion-Bestimmung mit natürlichen Merkmalen zur Unterstützung von Augmented-Reality-Systemen

In dieser Arbeit werden Verfahren zur Eigenbewegungsschätzung mit Stereokamerasystemen und Tiefenbildkameras untersucht. Der erste Teil beschäftigt sich mit Merkmalsextraktion und -Verfolgung in Bildsequenzen zum Gebrauch in Augmented-Reality-Anwendungen. Im zweiten Teil werden Anwendungsgebiete und Verfahren aus dem Bereich der Stereo-Egomotion analysiert und ein eigener Ansatz, der sowohl mit Stereobildsequenzen als auch mit Tiefenbildsequenzen zurechtkommt, vorgestellt

Dichte Objektsegmentierung in Stereobildfolgen

Die in dieser Arbeit vorgestellte Szenensegmentierung zerlegt eine Stereobildsequenz in eine Menge von Bildbereichen, die vom Menschen eindeutig als unabhängig bewegte Verkehrsobjekte interpretierbar sind. Eine Besonderheit des Verfahrens ist die Tatsache, dass die einzelnen Teilaufgaben der dreidimensionalen Rekonstruktion, Bewegungsschätzung und Segmentierung dabei in einem gemeinsamen Modell beschrieben und in verzahnter Reihenfolge gelöst werden

Analyse endoskopischer Bildsequenzen für ein laparoskopisches Assistenzsystem

Rechnergestützte Assistenzsysteme zielen auf eine Minimierung der chirurgischen Belastung und Verbesserung der Operationsqualität ab und werden immer häufiger eingesetzt. Im Fokus der vorliegenden Arbeit steht die Analyse endoskopischer Bildsequenzen für eine Unterstützung eines minimalinvasiven Eingriffs. Zentrale Themen hierbei sind die Vorverarbeitung der endoskopischen Bilder, die dreidimensionale Analyse der Szene und die Klassifikation unterschiedlicher Handlungsaspekte

Ein System zur schnellen Entwicklung von Bildverarbeitungsalgorithmen

Die automatische Auswertung von Bildern ist zu einem wichtigen Instrument sowohl in der Wissenschaft als auch in der Industrie geworden. Durch die benötigte Flexibilität einerseits und die gesteigerte Leistungsfähigkeit moderner Mikroprozessoren andererseits geschieht Bildverarbeitung heute verstärkt auf Multifunktionsrechnern statt auf spezieller Bildverarbeitungshardware. Als Folge dessen werden Software-Werkzeuge zur Entwicklung von Bildverarbeitungsanwendungen benötigt. Die vorliegende Arbeit beschäftigt sich mit einem Softwaresystem zur schnellen Erstellung von Bildverarbeitungsalgorithmen. Mit der Software heurisko wird ein System entwickelt, das dem Anwender durch die Kombination einer problemorientierten Skriptsprache und einer graphischen Entwicklungsumgebung mit einer Bibliothek mit Bildverarbeitungsoperatoren ein effizientes Werkzeug an die Hand gibt. Dazu wurden eine universelle Datenstruktur für die multidimensionale Low- und High-Level-Bildverarbeitung und ein hierarchisches Operatorkonzept eingeführt, das datentypabhängige und unabhängige Operatoren sorgfältig trennt. Der interne hierarchische Aufbau und die sorgfältige Klassenbildung von Bildverarbeitungsalgorithmen erlauben einen hohen Grad an Wiederverwendung von Code und erhöhen die Wirksamkeit von partiellen hardwarenahen Optimierungen. Die Modularität, insbesondere die klare Trennung zwischen Benutzerschnittstelle und Algorithmik, und offene Schnittstellen des Systems für Bildverarbeitungsfunktionen, Datenakquisition und Datenein- und –ausgabe eröffnen dem Anwender die Möglichkeit, eigene Erweiterungen vorzunehmen. Die Portabilität sorgt dafür, dass das System auf vielen Plattformen lauffähig ist. Durch die Erzeugung eines binären Zwischencodes wird der Geschwindigkeitsnachteil des interpretierenden Systems gegenüber einem kompilierenden System praktisch aufgehoben. Mit Anwendungsbeispielen von der Echtzeitbilderfassung bis zur Restaurierung von Bildfolgen wird demonstriert, wie mit dem System verschiedene Aufgaben effektiv gelöst werden können

Methoden zur Reduktion der Messlatenz von GOBO-Projektor-basierten 3D-Sensoren

Genaue, optische 3D-Messverfahren werden vielfältig in der Industrie, der Medizin und der Wissenschaft eingesetzt. Bei etlichen dieser Anwendungen ist eine schnelle Reaktion auf Veränderungen in der Messszene erforderlich. Dies ist z.B. der Fall, wenn eine Maschine aus Sicherheitsgründen abgeschaltet oder angehalten werden muss oder eine direkte Rückmeldung an einen Menschen gegeben werden soll. Steht das 3D-Ergebnis der Messung nach hinreichend kurzer Zeit ab Beginn der Messung zur Verfügung, kann die Reaktion basierend auf diesem Ergebnis angestoßen werden. Das Prinzip des GOBO-Projektor-basierten, aktiven Stereo-Sensors hat sich als genaues, optisches 3D-Messverfahren etabliert. Bei diesem Verfahren wird ein sich zeitlich änderndes, aperiodisches Streifenmuster auf das Messobjekt projiziert, während zwei kalibrierte Kameras jeweils eine Bildsequenz synchron aufnehmen. Innerhalb dieser Bildsequenzen werden anschließend die Abbilder von Objektpunkten, welche in beiden Kameras sichtbar sind, einander zugeordnet. Für jedes solche Paar wird dann die 3D-Koordinate des zugehörenden Objektpunktes trianguliert. Das Verfahren erlaubt auch 3D-Aufnahmen mit speziellen Anforderungen, die von anderen, genauen 3D-Sensorprinzipien nur schwer erreicht werden. Dazu gehört die Messung mit speziellen Lichtwellenlängen, wie z.B. dem Nah-Infrarotbereich, womit blendfreie Vermessung ermöglicht wird, oder die Erfassung sehr schneller Prozesse, wie die Messung von Airbag-Entfaltungen. Bisher war es jedoch nicht möglich, die 3D-Messergebnisse in so kurzer Zeit (z.B. 100 ms), d.h. mit so kurzer Messlatenz, zur Verfügung zu stellen, dass eine unmittelbare Reaktion auf eine Veränderung der Messszene erfolgen kann. Diese Verkürzung der Messlatenz ist das Ziel dieser Arbeit. Es werden Methoden beschrieben und untersucht, mit denen die Messlatenz von GOBO-Projektor-basierten, aktiven Stereo-Sensoren auf unter 100 ms verkürzt werden kann. Die Verbesserungen konzentrieren sich auf zwei Bereiche: die schnelle Rekonstruktion des 3D-Modells aus den aufgenommenen Bildsequenzen und die Reduktion der Aufnahmezeit durch Verkürzung der Bildsequenz-Länge. Letztere wird mittels einer Optimierung der Musterprojektion ermöglicht, welche bei kurzen Bildsequenz-Längen eine erhebliche Reduktion unerwünschter Messartefakte bewirkt. Abschließend werden mehrere Anwendungen gezeigt, die von diesen Verbesserungen profitieren.Accurate, optical 3D measurement techniques are widely used in industry, medicine and science. In some of the applications, a fast response to changes in the measurement scene is required. This is the case, for example, when a machine has to be stopped to avoid collision, or direct feedback to a human being must be provided. If the 3D result of the measurement is available after a sufficiently short time from the start of the measurement, the reaction can be triggered based on this result. Active stereo 3D sensors based on GOBO projection have been established as an accurate optical 3D measurement method. The sensor projects a time-varying, aperiodic fringe pattern onto the measured object, while two calibrated cameras synchronously record an image sequence, each. After the recording, a 3D reconstruction algorithm searches for pixels pairs, which correspond to the same object point within these two image sequences. For each such pair, the algorithm triangulates the 3D coordinate of the associated object point. With this method, special requirements can be accounted for which are difficult to achieve by other accurate 3D measurement principles. These include measurements with special light wavelengths, such as the near-infrared range, thus enabling glarefree, i.e. irritation-free measurement, or the measurement of very fast processes, such as the measurement of airbag inflation. Until now, however, it has not been possible to provide 3D measurement results in such a short time (e.g. 100ms), i.e. with such a short measurement latency, that an immediate reaction to a change in the measurement scene can be made. Therefore, the goal of this dissertation is the reduction of the measurement latency. In this dissertation, the author describes and investigates methods to shorten the measurement latency of GOBO projector-based active stereo sensors to less than 100ms. The improvements focus on two areas: fast reconstruction of the 3D model from the acquired image sequences, and reduction of the acquisition time by shortening the image sequence length. The latter is achieved by means of an optimization of the pattern projection, which results in a significant reduction of unwanted measurement artifacts for short image sequence lengths. Finally, the author shows several applications that benefit from these improvements

Automatische Extraktion von 3D-Baumparametern aus terrestrischen Laserscannerdaten

Ein großes Anwendungsgebiet des Flugzeuglaserscannings ist in Bereichen der Forstwirtschaft und der Forstwissenschaft zu finden. Die Daten dienen flächendeckend zur Ableitung von digitalen Gelände- und Kronenmodellen, aus denen sich die Baumhöhe ableiten lässt. Aufgrund der Aufnahmerichtung aus der Luft lassen sich spezielle bodennahe Baumparameter wie Stammdurchmesser und Kronenansatzhöhe nur durch Modelle schätzen. Der Einsatz terrestrischer Laserscanner bietet auf Grund der hochauflösenden Datenakquisition eine gute Ergänzung zu den Flugzeuglaserscannerdaten. Inventurrelevante Baumparameter wie Brusthöhendurchmesser und Baumhöhe lassen sich ableiten und eine Verdichtung von digitalen Geländemodellen durch die terrestrisch erfassten Daten vornehmen. Aufgrund der dichten, dreidimensionalen Punktwolken ist ein hoher Dokumentationswert gegeben und eine Automatisierung der Ableitung der Geometrieparameter realisierbar. Um den vorhandenen Holzvorrat zu kontrollieren und zu bewirtschaften, werden in periodischen Zeitabständen Forstinventuren auf Stichprobenbasis durchgeführt. Geometrische Baumparameter, wie Baumhöhe, Baumposition und Brusthöhendurchmesser, werden gemessen und dokumentiert. Diese herkömmliche Erfassung ist durch einen hohen Arbeits- und Zeitaufwand gekennzeichnet. Aus diesem Grund wurden im Rahmen dieser Arbeit Algorithmen entwickelt, die eine automatische Ableitung der geometrischen Baumparameter aus terrestrischen Laserscannerpunktwolken ermöglichen. Die Daten haben neben der berührungslosen und lichtunabhängigen Datenaufnahme den Vorteil einer objektiven und schnellen Parameterbestimmung. Letztendlich wurden die Algorithmen in einem Programm zusammengefasst, das neben der Baumdetektion eine Bestimmung der wichtigsten Parameter in einem Schritt realisiert. An Datensätzen von drei verschiedenen Studiengebieten werden die Algorithmen getestet und anhand manuell gewonnener Baumparameter validiert. Aufgrund der natürlich gewachsenen Vegetationsstruktur sind bei Aufnahmen von einem Standpunkt gerade im Kronenraum Abschattungen vorhanden. Durch geeignete Scankonfigurationen können diese Abschattungen minimiert, allerdings nicht vollständig umgangen werden. Zusätzlich ist der Prozess der Registrierung gerade im Wald mit einem zeitlichen Aufwand verbunden. Die größte Schwierigkeit besteht in der effizienten Verteilung der Verknüpfungspunkte bei dichter Bodenvegetation. Deshalb wird ein Ansatz vorgestellt, der eine Registrierung über die berechneten Mittelpunkte der Brusthöhendurchmesser durchführt. Diese Methode verzichtet auf künstliche Verknüpfungspunkte und setzt Mittelpunkte von identischen Stammabschnitten in beiden Datensätzen voraus. Dennoch ist die größte Unsicherheit in der Z-Komponente der Translation zu finden. Eine Methode unter Verwendung der Lage der Baumachsen sowie mit einem identischen Verknüpfungspunkt führt zu besseren Ergebnissen, da die Datensätze an dem homologen Punkt fixiert werden. Anhand eines Studiengebietes werden die Methoden mit den herkömmlichen Registrierungsverfahren über homologe Punkte verglichen und analysiert. Eine Georeferenzierung von terrestrischen Laserscannerpunktwolken von Waldbeständen ist aufgrund der Signalabschattung der Satellitenpositionierungssysteme nur bedingt und mit geringer Genauigkeit möglich. Deshalb wurde ein Ansatz entwickelt, um Flugzeuglaserscannerdaten mit terrestrischen Punktwolken allein über die Kenntnis der Baumposition und des vorliegenden digitalen Geländemodells zu verknüpfen und zusätzlich das Problem der Georeferenzierung zu lösen. Dass ein terrestrischer Laserscanner nicht nur für Forstinventuren gewinnbringend eingesetzt werden kann, wird anhand von drei verschiedenen Beispielen beleuchtet. Neben der Ableitung von statischen Verformungsstrukturen an Einzelbäumen werden beispielsweise auch die Daten zur Bestimmung von Vegetationsmodellen auf Basis von Gitterstrukturen (Voxel) zur Simulation von turbulenten Strömungen in und über Waldbeständen eingesetzt. Das aus Laserscannerdaten abgeleitete Höhenbild einer Rinde führt unter Verwendung von Bildverarbeitungsmethoden (Texturanalyse) zur Klassifizierung der Baumart. Mit dem terrestrischen Laserscanning ist ein interessantes Werkzeug für den Einsatz im Forst gegeben. Bestehende Konzepte der Forstinventur können erweiterte werden und es eröffnen sich neue Felder in forstwirtschaftlichen und forstwissenschaftlichen Anwendungen, wie beispielsweise die Nutzung eines Scanners auf einem Harvester während des Erntevorganges. Mit der stetigen Weiterentwicklung der Laserscannertechnik hinsichtlich Gewicht, Reichweite und Geschwindigkeit wird der Einsatz im Forst immer attraktiver.An important application field of airborne laser scanning is forestry and the science of forestry. The captured data serve as an area-wide determination of digital terrain and canopy models, with a derived tree height. Due to the nadir recording direction, near-ground tree parameters, such as diameter at breast height (dbh) and crown base height, are predicted using forest models. High resolution terrestrial laser scanner data complements the airborne laser scanner data. Forest inventory parameters, such as dbh and tree height can be derived directly and digital terrain models are created. As a result of the dense three dimensional point clouds captured, a high level of detail exists, and a high degree of automation of the determination of the parameters is possible. To control and manage the existing stock of wood, forest inventories are carried out at periodic time intervals, on the base of sample plots. Geometric tree parameters, such as tree height, tree position and dbh are measured and documented. This conventional data acquisition is characterised by a large amount of work and time. Because of this, algorithms are developed to automatically determine geometric tree parameters from terrestrial laser scanner point clouds. The data acquisition enables an objective and fast determination of parameters, remotely, and independent of light conditions. Finally the majority of the algorithms are combined into a single program, allowing tree detection and the determination of relevant parameters in one step. Three different sample plots are used to test the algorithms. Manually measured tree parameters are also used to validate the algorithms. The natural vegetation structure causes occlusions inside the crown when scanning from one position. These scan shadows can be minimized, though not completely avoided, via an appropriate scan configuration. Additional the registration process in forest scenes is time-consuming. The largest problem is to find a suitable distribution of tie points when dense ground vegetation exists. Therefore an approach is introduced that allows data registration with the determined centre points of the dbh. The method removes the need for artificial tie points. However, the centre points of identical stem sections in both datasets are assumed. Nevertheless the biggest uncertainness is found in the Z co-ordinate of the translation. A method using the tree axes and one homologous tie point, which fixes the datasets, shows better results. The methods are compared and analysed with the traditional registration process with tie points, using a single study area. Georeferencing of terrestrial laser scanner data in forest stands is problematic, due to signal shadowing of global navigation satellite systems. Thus an approach was developed to register airborne and terrestrial laser scanner data, taking the tree positions and the available digital terrain model. With the help of three examples the benefits of applying laser scanning to forest applications is shown. Besides the derivation of static deformation structures of single trees, the data is used to determine vegetation models on the basis of a grid structure (voxel space) for simulation of turbulent flows in and over forest stands. In addition, the derived height image of tree bark using image processing methods (texture analysis) can be used to classify the tree species. Terrestrial laser scanning is a valuable tool for forest applications. Existing inventory concepts can be enlarged, and new fields in forestry and the science of forestry are established, e. g. the application of scanners on a harvester. Terrestrial laser scanners are becoming increasingly important for forestry applications, caused by continuous technological enhancements that reduce the weight, whilst increasing the range and the data rate

Verbesserung der Störsicherheit bei der Mimikanalyse in mono- und binokularen Farbbildsequenzen durch Auswertung geometrischer und dynamischer Merkmale

Magdeburg, Univ., Fak. für Elektrotechnik und Informationstechnik, Diss., 2010Robert Nies

Intraoperative Modellierung und Registrierung für ein laparoskopisches Assistenzsystem

Ziel ist die Nutzung einer präoperativen Planung bei laparoskopischen Eingriffen. Ein Problem sind Änderungen des Operationsumfelds während des Eingriffs. Im Rahmen dieser Arbeit wird ein Modell aus Bildern eines Stereoendoskops und Messwerten eines Kraftsensors vorgestellt. Ein Fokus liegt auf einem Verfahren zur Oberflächenrekonstruktion. Weiterhin werden Methoden zur initialen Registrierung von prä- und intraoperativen Modellen und zur Aufrechterhaltung der Registrierung präsentiert

Entwicklung eines Systems zur dreidimensionalen Particle Tracking Velocimetry mit Genauigkeitsuntersuchungen und Anwendung bei Messungen in einem Wind-Wellen Kanal

Die vorliegende Arbeit stellt ein neuartiges Verfahren der dreidimensionalen Particle Tracking Velocimetry vor. Durch die Erweiterung der existierenden zweidimensionalen Particle Tracking Velocimetry auf die dritte Raumdimension sind erstmals dreidimensionale Strömungsmessungen bei hoher räumlicher Auflösung mit lediglich zwei Kameras möglich. Der Schwerpunkt der Arbeit lag in der Entwicklung von Algorithmen zur Korrespondenzanalyse sowie der Kamerakalibrierung. Die Genauigkeit aller Teilalgorithmen des Verfahrens wurde anhand von synthetischen und gemessenen Daten untersucht. Die Abhängigkeit der Kalibrierung von der Positionsgenauigkeit der gefundenen Kalibrierpunkte auf der Bildebene wurde untersucht. Die Stabilität der Kamerakalibrierung konnte durch einen neuen Algorithmus zur Merkmalsextraktion verbessert werden. Dabei konnten die Meßfehler auf die zugrundeliegende zweidimensionale Particle Tracking Velocimetry zurückgeführt werden. Abschließend wurde das Verfahren an Strömungsmessungen im Heidelberger Wind-Wellenkanal eingesetzt. ============================= This thesis presents a novel approach to the area of three dimensional particle tracking velocimetry. In extending existing algorithems for two dimensional particle tracking velocimetry to the third spatial dimension, it becomes feasible for the first time to measure three dimensional flow fields with high spatial accuracy by employing two cameras only. The work of this thesis was mainly focussed on the development of algorithms for correspondence detection and camera system calibration. The accuracy of each step constituting the algorithem was determined using synthetical as well as real world data. The dependence of the quality of the calibration on the accurate determination of the position of the calibration marks on the image plane has been analyzed. Hence it was possible to enhance the precision of the three dimensional particle tracking velocimetry based on the two dimensional counter part. Finally the technique was deployed in the wind/wave facility of the department of environmental physics