Fusion multivariater Bildserien am Beispiel eines Kamera-Arrays

Die automatische Sichtprüfung spielt eine wesentliche Rolle in der Automatisierungstechnik, etwa zur Qualitätssicherung. Dabei müssen oft heterogene Informationen simultan erfasst werden. Eine Lösungsmöglichkeit bieten Kamera-Arrays mit Kameras, deren Aufnahmeparameter sich individuell konfigurieren lassen. Diese Arbeit stellt Methoden vor, um die erhaltenen multivariaten Bildserien zur simultanen Bestimmung der Gestalt und der spektralen Eigenschaften einer Szene zu fusionieren

Ultraschallbasierte Navigation für die minimalinvasive onkologische Nieren- und Leberchirurgie

In der minimalinvasiven onkologischen Nieren- und Leberchirurgie mit vielen Vorteilen für den Pa- tienten wird der Chirurg häufig mit Orientierungsproblemen konfrontiert. Hauptursachen hierfür sind die indirekte Sicht auf die Patientenanatomie, das eingeschränkte Blickfeld und die intra- operative Deformation der Organe. Abhilfe können Navigationssysteme schaffen, welche häufig auf intraoperativem Ultraschall basieren. Durch die Echtzeit-Bildgebung kann die Deformation des Organs bestimmt werden. Da viele Tumore im Schallbild nicht sichtbar sind, wird eine robuste automatische und deformierbare Registrierung mit dem präoperativen CT benötigt. Ferner ist eine permanente Visualisierung auch während der Manipulation am Organ notwendig. Für die Niere wurde die Eignung von Ultraschall-Elastographieaufnahmen für die bildbasierte Re- gistrierung unter Verwendung der Mutual Information evaluiert. Aufgrund schlechter Bildqualität und geringer Ausdehnung der Bilddaten hatte dies jedoch nur mäßigen Erfolg. Die Verzweigungspunkte der Blutgefäße in der Leber werden als natürliche Landmarken für die Registrierung genutzt. Dafür wurden Gefäßsegmentierungsalgorithmen für die beiden häufigsten Arten der Ultraschallbildgebung B-Mode und Power Doppler entwickelt. Die vorgeschlagene Kom- bination beider Modalitäten steigerte die Menge an Gefäßverzweigungen im Mittel um 35 %. Für die rigide Registrierung der Gefäße aus dem Ultraschall und CT werden mithilfe eines bestehen- den Graph Matching Verfahrens [OLD11b] im Mittel 9 bijektive Punktkorrespondenzen definiert. Die mittlere Registrierungsgenauigkeit liegt bei 3,45 mm. Die Menge an Punktkorrespondenzen ist für eine deformierbare Registrierung nicht ausreichend. Das entwickelte Verfahren zur Landmarkenverfeinerung fügt zwischen gematchten Punkte weitere Landmarken entlang der Gefäßmittellinien ein und sucht nach weiteren korrespondierenden Gefäß- segmenten wodurch die Zahl der Punktkorrespondenzen im Mittel auf 70 gesteigert wird. Dies erlaubt die Bestimmung der Organdeformation anhand des unterschiedlichen Gefäßverlaufes. Anhand dieser Punktkorrespondenzen kann mithilfe der Thin-Plate-Splines ein Deformationsfeld für das gesamte Organ berechnet werden. Auf diese Weise wird die Genauigkeit der Registrierung im Mittel um 44 % gesteigert. Die wichtigste Voraussetzung für das Gelingen der deformierbaren Registrierung ist eine möglichst umfassende Segmentierung der Gefäße aus dem Ultraschall. Im Rahmen der Arbeit wurde erstmals der Begriff der Regmentation auf die Segmentierung von Gefäßen und die gefäßbasierte Registrie- rung ausgeweitet. Durch diese Kombination beider Verfahren wurde die extrahierte Gefäßlänge im Mittel um 32 % gesteigert, woraus ein Anstieg der Anzahl korrespondierender Landmarken auf 98 resultiert. Hierdurch lässt sich die Deformation des Organs und somit auch die Lageveränderung des Tumors genauer und mit höherer Sicherheit bestimmen. Mit dem Wissen über die Lage des Tumors im Organ und durch Verwendung eines Markierungs- drahtes kann die Lageveränderung des Tumors während der chirurgischen Manipulation mit einem elektromagnetischen Trackingsystem überwacht werden. Durch dieses Tumortracking wird eine permanente Visualisierung mittels Video Overlay im laparoskopischen Videobild möglich. Die wichtigsten Beiträge dieser Arbeit zur gefäßbasierten Registrierung sind die Gefäßsegmen- tierung aus Ultraschallbilddaten, die Landmarkenverfeinerung zur Gewinnung einer hohen Anzahl bijektiver Punktkorrespondenzen und die Einführung der Regmentation zur Verbesserung der Ge- fäßsegmentierung und der deformierbaren Registrierung. Das Tumortracking für die Navigation ermöglicht die permanente Visualisierung des Tumors während des gesamten Eingriffes

Automatische Extraktion von 3D-Baumparametern aus terrestrischen Laserscannerdaten

Ein großes Anwendungsgebiet des Flugzeuglaserscannings ist in Bereichen der Forstwirtschaft und der Forstwissenschaft zu finden. Die Daten dienen flächendeckend zur Ableitung von digitalen Gelände- und Kronenmodellen, aus denen sich die Baumhöhe ableiten lässt. Aufgrund der Aufnahmerichtung aus der Luft lassen sich spezielle bodennahe Baumparameter wie Stammdurchmesser und Kronenansatzhöhe nur durch Modelle schätzen. Der Einsatz terrestrischer Laserscanner bietet auf Grund der hochauflösenden Datenakquisition eine gute Ergänzung zu den Flugzeuglaserscannerdaten. Inventurrelevante Baumparameter wie Brusthöhendurchmesser und Baumhöhe lassen sich ableiten und eine Verdichtung von digitalen Geländemodellen durch die terrestrisch erfassten Daten vornehmen. Aufgrund der dichten, dreidimensionalen Punktwolken ist ein hoher Dokumentationswert gegeben und eine Automatisierung der Ableitung der Geometrieparameter realisierbar. Um den vorhandenen Holzvorrat zu kontrollieren und zu bewirtschaften, werden in periodischen Zeitabständen Forstinventuren auf Stichprobenbasis durchgeführt. Geometrische Baumparameter, wie Baumhöhe, Baumposition und Brusthöhendurchmesser, werden gemessen und dokumentiert. Diese herkömmliche Erfassung ist durch einen hohen Arbeits- und Zeitaufwand gekennzeichnet. Aus diesem Grund wurden im Rahmen dieser Arbeit Algorithmen entwickelt, die eine automatische Ableitung der geometrischen Baumparameter aus terrestrischen Laserscannerpunktwolken ermöglichen. Die Daten haben neben der berührungslosen und lichtunabhängigen Datenaufnahme den Vorteil einer objektiven und schnellen Parameterbestimmung. Letztendlich wurden die Algorithmen in einem Programm zusammengefasst, das neben der Baumdetektion eine Bestimmung der wichtigsten Parameter in einem Schritt realisiert. An Datensätzen von drei verschiedenen Studiengebieten werden die Algorithmen getestet und anhand manuell gewonnener Baumparameter validiert. Aufgrund der natürlich gewachsenen Vegetationsstruktur sind bei Aufnahmen von einem Standpunkt gerade im Kronenraum Abschattungen vorhanden. Durch geeignete Scankonfigurationen können diese Abschattungen minimiert, allerdings nicht vollständig umgangen werden. Zusätzlich ist der Prozess der Registrierung gerade im Wald mit einem zeitlichen Aufwand verbunden. Die größte Schwierigkeit besteht in der effizienten Verteilung der Verknüpfungspunkte bei dichter Bodenvegetation. Deshalb wird ein Ansatz vorgestellt, der eine Registrierung über die berechneten Mittelpunkte der Brusthöhendurchmesser durchführt. Diese Methode verzichtet auf künstliche Verknüpfungspunkte und setzt Mittelpunkte von identischen Stammabschnitten in beiden Datensätzen voraus. Dennoch ist die größte Unsicherheit in der Z-Komponente der Translation zu finden. Eine Methode unter Verwendung der Lage der Baumachsen sowie mit einem identischen Verknüpfungspunkt führt zu besseren Ergebnissen, da die Datensätze an dem homologen Punkt fixiert werden. Anhand eines Studiengebietes werden die Methoden mit den herkömmlichen Registrierungsverfahren über homologe Punkte verglichen und analysiert. Eine Georeferenzierung von terrestrischen Laserscannerpunktwolken von Waldbeständen ist aufgrund der Signalabschattung der Satellitenpositionierungssysteme nur bedingt und mit geringer Genauigkeit möglich. Deshalb wurde ein Ansatz entwickelt, um Flugzeuglaserscannerdaten mit terrestrischen Punktwolken allein über die Kenntnis der Baumposition und des vorliegenden digitalen Geländemodells zu verknüpfen und zusätzlich das Problem der Georeferenzierung zu lösen. Dass ein terrestrischer Laserscanner nicht nur für Forstinventuren gewinnbringend eingesetzt werden kann, wird anhand von drei verschiedenen Beispielen beleuchtet. Neben der Ableitung von statischen Verformungsstrukturen an Einzelbäumen werden beispielsweise auch die Daten zur Bestimmung von Vegetationsmodellen auf Basis von Gitterstrukturen (Voxel) zur Simulation von turbulenten Strömungen in und über Waldbeständen eingesetzt. Das aus Laserscannerdaten abgeleitete Höhenbild einer Rinde führt unter Verwendung von Bildverarbeitungsmethoden (Texturanalyse) zur Klassifizierung der Baumart. Mit dem terrestrischen Laserscanning ist ein interessantes Werkzeug für den Einsatz im Forst gegeben. Bestehende Konzepte der Forstinventur können erweiterte werden und es eröffnen sich neue Felder in forstwirtschaftlichen und forstwissenschaftlichen Anwendungen, wie beispielsweise die Nutzung eines Scanners auf einem Harvester während des Erntevorganges. Mit der stetigen Weiterentwicklung der Laserscannertechnik hinsichtlich Gewicht, Reichweite und Geschwindigkeit wird der Einsatz im Forst immer attraktiver.An important application field of airborne laser scanning is forestry and the science of forestry. The captured data serve as an area-wide determination of digital terrain and canopy models, with a derived tree height. Due to the nadir recording direction, near-ground tree parameters, such as diameter at breast height (dbh) and crown base height, are predicted using forest models. High resolution terrestrial laser scanner data complements the airborne laser scanner data. Forest inventory parameters, such as dbh and tree height can be derived directly and digital terrain models are created. As a result of the dense three dimensional point clouds captured, a high level of detail exists, and a high degree of automation of the determination of the parameters is possible. To control and manage the existing stock of wood, forest inventories are carried out at periodic time intervals, on the base of sample plots. Geometric tree parameters, such as tree height, tree position and dbh are measured and documented. This conventional data acquisition is characterised by a large amount of work and time. Because of this, algorithms are developed to automatically determine geometric tree parameters from terrestrial laser scanner point clouds. The data acquisition enables an objective and fast determination of parameters, remotely, and independent of light conditions. Finally the majority of the algorithms are combined into a single program, allowing tree detection and the determination of relevant parameters in one step. Three different sample plots are used to test the algorithms. Manually measured tree parameters are also used to validate the algorithms. The natural vegetation structure causes occlusions inside the crown when scanning from one position. These scan shadows can be minimized, though not completely avoided, via an appropriate scan configuration. Additional the registration process in forest scenes is time-consuming. The largest problem is to find a suitable distribution of tie points when dense ground vegetation exists. Therefore an approach is introduced that allows data registration with the determined centre points of the dbh. The method removes the need for artificial tie points. However, the centre points of identical stem sections in both datasets are assumed. Nevertheless the biggest uncertainness is found in the Z co-ordinate of the translation. A method using the tree axes and one homologous tie point, which fixes the datasets, shows better results. The methods are compared and analysed with the traditional registration process with tie points, using a single study area. Georeferencing of terrestrial laser scanner data in forest stands is problematic, due to signal shadowing of global navigation satellite systems. Thus an approach was developed to register airborne and terrestrial laser scanner data, taking the tree positions and the available digital terrain model. With the help of three examples the benefits of applying laser scanning to forest applications is shown. Besides the derivation of static deformation structures of single trees, the data is used to determine vegetation models on the basis of a grid structure (voxel space) for simulation of turbulent flows in and over forest stands. In addition, the derived height image of tree bark using image processing methods (texture analysis) can be used to classify the tree species. Terrestrial laser scanning is a valuable tool for forest applications. Existing inventory concepts can be enlarged, and new fields in forestry and the science of forestry are established, e. g. the application of scanners on a harvester. Terrestrial laser scanners are becoming increasingly important for forestry applications, caused by continuous technological enhancements that reduce the weight, whilst increasing the range and the data rate

Anwendung computertomographischer Daten in Werkzeugen der Produktentwicklung

Die vorliegende Arbeit zeigt einen Prozess zur direkten Anwendung computertomographischer Daten in der Produktentwicklung. Grundlage bilden die nach der Erfassung und einer mathematischen Rekonstruktion generierten Schichtbildsequenzen. Dieser Prozess besteht aus zwei unabhängigen Umgebungen, einer CT- und einer CAD-Umgebung. Beide sind interaktiv über einen dritten Baustein der Überführung und Interpretation miteinander verbunden. Die CT-Umgebung dient zur Initialisierung, Visualisierung und Verwaltung der computertomographischen Daten. Die CAD-Umgebung bildet als etabliertes Werkzeug in der Produktentwicklung die systematische Basis zum modellieren und validieren der analytischen dreidimensionalen Modelldaten. Über eine bidirektionale Kommunikations- und Interaktionsebene ist es möglich, ausgehend vom CAD-System, Informationen aus den CT-Daten gezielt, variabel und nutzerspezifisch für mechanisch konstruktive Modellierungsprozesse zu generieren.:Abkürzungsverzeichnis Symbolverzeichnis 1 Einleitung 1.1 Motivation 1.2 Problemstellung 1.3 Zielstellung 1.4 Aufbau der Arbeit 2 Stand der Technik 2.1 CT-Daten und deren Weiterverarbeitung 2.1.1 Allgemeines 2.1.2 Datenstruktur und Abbildungseigenschaften 2.1.3 Visualisierungsformen 2.1.4 Repräsentationsformen und Datenformate 2.1.5 Segmentierungsverfahren 2.1.6 Bestimmung charakteristischer Objektmerkmale 2.2 Methoden und Werkzeuge der Konstruktion 2.2.1 Übersicht 2.2.2 Modellierung auf Basis diskreter Oberflächen 2.2.3 Flächenrückführung 2.2.4 Direkte und parametrische Modellierung 2.2.5 Modellierung mit Bilddaten 2.3 Prozessuale und technische Analyse 3 Computertomographische Daten in der CAD-Umgebung 3.1 Das Konzept 3.1.1 Definition der Rahmenbedingungen 3.1.2 Anforderungen an die Prozesskette 3.1.3 Objektinformationen aus CT-Daten 3.1.4 Voraussetzungen in CAD-Systemen 3.2 Der Entwurf des Gesamtprozesses 3.3 Die Datenvorbereitung 3.3.1 Eingangsinformationen und Visualisierungsformen 3.3.2 Ausrichtung und Registrierung 3.3.3 Eingrenzen des Betrachtungsbereiches 3.4 Das Prinzip der Datenüberführung und Interpretation 3.5 Die Kommunikations- und Interaktionsebene 3.5.1 Methodenbeschreibung 3.5.2 Ergänzende Schnittansichten 3.5.3 Erstellen eines Freiformschnittes 3.5.4 Kontur- und Geometrieableitung 3.5.5 Partiell oberflächenbasierte Modellerstellung 4 Applikation und exemplarische Anwendung 4.1 Technische Realisierung 4.2 Beschreibung der Systemumgebung 4.3 Neukonstruktion eines individuellen Schädelimplantats 4.3.1 Anatomische Grundlagen 4.3.2 Problemstellung und Analyse 4.3.3 Modellierung 4.4 Anpassungskonstruktion des Räderwerkes einer historischen Taschenuhr 4.4.1 Technische Grundlagen 4.4.2 Problemstellung und Analyse 4.4.3 Modellierung 4.5 Auswertung 5 Zusammenfassung und Ausblick 5.1 Zusammenfassung 5.2 Ausblick Literaturverzeichnis Abbildungsverzeichnis Tabellenverzeichnis Anlage

Level-Set-Segmentierung von Rattenhirn-MRTs

In dieser Arbeit wird die Segmentierung von Gehirngewebe aus magnet-resonanz-tomographischen Kopfaufnahmen von Ratten mittels Level-Set-Methoden vorgestellt. Dieses so genannte Skull-Stripping stellt einen wichtigen Vorverarbeitungsschritt für quantitative, morphometrische Untersuchungen oder aber Visualisierungsaufgaben dar. Ein kontrastbasierter Segmentierungsalgorithmus wird von einem Pseudo-3DAnsatz in einen echt-dreidimensionalen Segmentierer überführt. Die durch die Level-Set-Funktion beschriebene Kontur wird mittels einer partiellen Differentialgleichung iterativ deformiert und den Grenzen des zu segmentierenden Objektes angenähert. Die Geschwindigkeitsfunktion, welche lokale Kontraste auf der Konturnormalen auswertet und so die Oberflächenentwicklung bestimmt, wird untersucht und das lokale Signal adaptiert. Hierzu wird eine Glättung des Signals eingeführt, die sowohl in Richtung der Konturnormalen als auch parallel dazu wirkt. Zusätzlich wird eine varianzbasierte Kontrastverstärkung des lokalen Signals entwickelt. Daraus resultieren insbesondere in Bildbereichen mit geringem Signal-zu-Rausch-Verhältnis erheblich robustere und exaktere Segmentierungsergebnisse. Diese Leistungsfähigkeit wird an vorliegenden Rattenhirn-MRTs demonstriert

Konzeption einer qualitätsgesicherten Implementierung eines Echtzeitassistenzsystems basierend auf einem terrestrischen Long Range Laserscanner

Sich verändernde Rahmenbedingungen des Klimawandels haben einen erheblichen Einfluss auf die Gestaltung der Erdoberfläche. Der Sachverhalt ist anhand unterschiedlicher geomorphologischer Veränderungsprozesse zu beobachten, sei es bei gravitativen Naturgefahren (Felsstürze, Hangrutschungen oder Murereignissen), der Gletscherschmelze in Hochgebirgsregionen oder der Änderungen der Küstendynamik an Sandstränden. Derartige Ereignisse werden durch immer stärker ausgeprägte, extreme Wetterbedingungen verursacht. In diesem Zusammenhang sind präventive Maßnahmen und der Schutz der Bevölkerung im Zuge eines Risikomanagements essentiell. Um mit diesen Gefahren sicher umgehen zu können, sind qualitativ hochwertige drei- und vierdimensionale (3D und 4D) Datensätze der Erdoberfläche erforderlich. Der technische Fortschritt in der Messtechnik und damit verbunden ein Paradigmenwechsel haben die Möglichkeiten in der Erfassung von räumlich als auch zeitlich verdichteten Daten erheblich verbessert. Die Weiterentwicklung von terrestrischen Laserscannern hin zu kommunikationsfähigen, programmierbaren Multisensorsystemen, eine kompakte und robuste Bauweise, hohe Messreichweiten sowie wirtschaftlich attraktive Systeme lassen einen Übergang zu permanentem terrestrischen Laserscanning (PLS) zu. Im Sinne eines adaptiven Monitorings ist PLS für die Integration in echtzeitnahe Assistenz- oder Frühwarnsysteme prädestiniert. Um die Akzeptanz eines solchen Systems zu erreichen sind jedoch transparente, nachvollziehbare Methoden und Prozesse zur Informationsgewinnung und -aufbereitung zu definieren. Ziel dieser Arbeit ist es, PLS als Methode systematisch aufzuarbeiten. Vier wesentliche Schritte entlang der Prozesskette werden identifiziert: (i) Die Datenerfassung einer einzelnen Epoche, (ii) die Bereitstellung eines redundanten Datenmanagements sowie einer sicheren Datenkommunikation zu zentralen Servern, (iii) die multitemporale Datenanalyse und (iv) die Aufbereitung, das Reporting und die Präsentation der Ergebnisse für Stakeholder. Basierend auf dieser Prozesskette ergeben sich zwei Untersuchungsschwerpunkte. Zunächst wird die qualitative Beurteilung der erfassten Punktwolken behandelt. Der Fokus liegt dabei einerseits auf dem Einfluss unterschiedlicher Registrierungsmethoden auf die multitemporalen Punktwolken und andererseits auf dem Einfluss der Atmosphäre auf die Messergebnisse. Es wird nachgewiesen, dass eine Nichtberücksichtigung dieser Einflüsse zu signifikanten Abweichungen führt, welche zu Fehlinterpretationen der abgeleiteten Informationen führen kann. Weiterhin wird gezeigt, dass es an datenbasierten Verfahren zur Berücksichtigung dieser Einflüsse fehlt. Als Grundlage für die Untersuchungen dienen umfangreiche Datensätze aus Noordwijk / Niederlande und Vals / Österreich. Der zweite Schwerpunkt befasst sich mit der Datenanalyse. Die Herausforderung besteht darin, tausende Punktwolken einzelner Messepochen analysieren zu müssen. Bitemporale Methoden sind hier nur eingeschränkt anwendbar. Die vorliegende Arbeit stellt eine zweistufige Methode vor, mit der automatisiert Informationen aus dem umfangreichen Datensatz abgeleitet werden können. Aus der vollumfänglichen 3D-Zeitserie der Szene werden zunächst relevante Merkmale auf Basis von 2D-Rasterbildern durch Clustering extrahiert. Semiautomatisch lassen sich die extrahierten Segmente klassifizieren und so maßgeblichen geomorphologischen Prozessen zuweisen. Dieser Erkenntnisgewinn über den vorliegenden Datensatz wird in einem zweiten Schritt genutzt, um die Szene räumlich zu limitieren und in den Interessensbereichen tiefergehende Analysen durchzuführen. Auf Basis der Methoden «M3C2-EP mit adaptierter Kalman-Filterung» und «4D-Änderungsobjekten» werden zwei Analysetools vorgestellt und auf den Datensatz in Vals angewendet. Die Überwachung topographischer Oberflächenveränderungen mit PLS wird zunehmen und eine große Menge an Daten erzeugen. Diese Datensätze müssen verarbeitet, analysiert und gespeichert werden. Diese Dissertation trägt zum besseren Verständnis der Methodik bei. Anwender bekommen durch die Systematisierung der Methode ein besseres Verständnis über die beeinflussenden Faktoren entlang der Prozesskette von der Datenerfassung bis hin zur Darstellung relevanter Informationen. Mit dieser Dissertation wird eine Toolbox vorgestellt, die es ermöglicht, multitemporale Punktwolken mit Hilfe von unüberwachtem maschinellem Lernen automatisiert auszuwerten und Informationen dem Nutzer zur Verfügung zu stellen. Dieser Ansatz ist einfach und hat ein hohes Potential für die automatische Analyse in zukünftigen Anwendungen.:Kurzfassung i Abstract iii Danksagung v 1. Einleitung 1 2. Deformationsmonitoring mittels terrestrischer Laserscanner: Aktuelle Methoden, Regulierungen und technische Aspekte 5 2.1. Ingenieurgeodätische Überwachungsmessungen . . . . . . . . . . . . . . 5 2.2. Anforderungen an ein integratives Monitoring aus der Sicht eines ganzheitlichen Risikomanagements . . . . . . . . . . . . . . . . . . . . . . . 8 2.2.1. Aktives Monitoring . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.2.2. Ganzheitliches Risikomanagement . . . . . . . . . . . . . . . . . 9 2.2.3. Qualitätsbeurteilung und Qualitätssicherung . . . . . . . . . . . 12 2.2.4. Relevante Normen, Richtlinien und Merkblätter beim Einsatz von permanentem Laserscanning . . . . . . . . . . . . . . . . . 15 2.3. Terrestrisches Laserscanning . . . . . . . . . . . . . . . . . . . . . . . . 17 2.4. Permanentes Laserscanning . . . . . . . . . . . . . . . . . . . . . . . . 22 2.5. Parameter einer permanenten Installation eines Long Range Laserscanners 24 2.5.1. Registrierung und Georeferenzierung . . . . . . . . . . . . . . . 26 2.5.2. Geodätische Refraktion . . . . . . . . . . . . . . . . . . . . . . . 30 2.5.3. Geodätisches Monitoring mittels terrestrischer Laserscanner . . 36 2.6. Zusammenfassende Betrachtungen . . . . . . . . . . . . . . . . . . . . . 39 3. Ziel und abgeleiteter Untersuchungsschwerpunkt dieser Arbeit 41 4. Konzept eines Echtzeitassistenzsystems basierend auf PLS 43 5. Untersuchung von Einflussfaktoren auf die Messergebnisse von permanent installierten terrestrischen Long Range Laserscannern 47 5.1. Fallstudie I: Noordwijk / Niederlande . . . . . . . . . . . . . . . . . . . 47 5.1.1. Beschreibung der Daten . . . . . . . . . . . . . . . . . . . . . . 48 5.1.2. Methoden . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 5.1.3. Resultate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 5.1.4. Zusammenfassung und Diskussion . . . . . . . . . . . . . . . . . 57 5.2. Fallstudie II: Detektion von Corner Cube Prismen und deren Genauigkeit 58 5.2.1. Prismendetektion aus Daten eines TLS . . . . . . . . . . . . . . 59 5.2.2. Genauigkeitsanalyse der Prismendetektion . . . . . . . . . . . . 59 5.3. Fallstudie III: Valsertal (Tirol) / Österreich . . . . . . . . . . . . . . . 67 5.3.1. Beschreibung des Datensatzes . . . . . . . . . . . . . . . . . . . 68 5.3.2. Geodätische Refraktion als Einfluss auf die Messergebnisse eines PLS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 5.3.3. Einfluss von Registrierungsparametern auf die Messergebnisse eines PLS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 6. Informationsextraktion aus multitemporalen Punktwolken 95 6.1. Stufe I: Segmentierung räumlich verteilter Zeitreihen auf Basis von 2DBildrastern als Methode des unüberwachten maschinellen Lernens . . . 96 6.1.1. Extraktion von Zeitreihen aus den Punktwolken . . . . . . . . . 98 6.1.2. Zeitreihensegmentierung mittels k-Means-Algorithmen . . . . . 101 6.1.3. Zeitreihensegmentierung mittels extrahierter Merkmale auf Grundlage Gaußscher Mischmodelle (GMM) . . . . . . . . . . . . . . . 113 6.2. Stufe II: Zeitreihenanalyse von räumlich hochauflösenden 3D-Daten . . 122 6.2.1. M3C2-EP mit adaptiver Kalman-Filterung . . . . . . . . . . . . 122 6.2.2. 4D-Änderungsobjekte (4D-OBC) . . . . . . . . . . . . . . . . . 128 6.2.3. Zusammenfassung und Diskussion . . . . . . . . . . . . . . . . . 132 7. Fazit und Ausblick 135 A. Ergebnisse der Systemuntersuchung in Unna-Hemmerde (21.03.2022) 141 B. Ergebnisse der Zeitreihensegmentierung mittels k-Means 145 B.1. Ergebnistabellen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 B.2. Zeitreihen und räumliche Visualisierung - vollständiger Bereich . . . . . 148 B.3. Zeitreihen und räumliche Visualisierung - limitierter Bereich . . . . . . 161 C. Ergebnisse der Zeitreihensegmentierung mittels GMM 164 C.1. Ergebnistabellen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164 C.2. Zeitreihen und räumliche Visualisierung - vollständiger Bereich . . . . . 166 Literaturverzeichnis 175 Abbildungsverzeichnis 195 Abkürzungsverzeichnis 199 Tabellenverzeichnis 201 Curriculum Vitae 203Climate change has an important impact on the scale and frequency with which the Earths surface is changing. This can be seen in various geomorphological change processes, such as gravitational natural hazards (rockfalls, landslides or debris flows), glacier melt in high mountain regions or the quantification of coastal dynamics on sandy beaches. Such events are triggered by increasingly prominent and extreme meteorological conditions. In this context, it is essential to implement preventive measures to protect the population as part of a risk management system. To safely manage these hazards, high quality three- and four-dimensional (3D and 4D) data sets of the Earth’s surface are required. Technological advances in metrology and the associated paradigm shift have significantly improved the ability to collect spatially and temporally distributed data. Progress from terrestrial laser scanners to communication-enabled, programmable multisensor systems, compact and robust design, long range and economically competitive systems allow a transition to a permanent laser scanning (PLS). PLS enables the acquisition of data from a fixed position to a target area kilometers away at high frequency and over a long period of time. In terms of adaptive monitoring, PLS is suitable for integration into near realtime assistance or early warning systems. However, in order to achieve acceptance of these systems, transparent, reproducible methods and processes for extracting information must be defined. The aim of this thesis is to present a methodological framework for PLS. Four crucial steps along the processing chain are identifiable: (i) collecting single epoch data, (ii) providing redundant data management and secure data communication to central servers, (iii) multi-temporal data analysis and (iv) reporting and presenting results to stakeholders. Two main research topics emerge from this processing chain. First, the qualitative assessment of the acquired point clouds, which focuses on the influence of different registration methods on the multitemporal point clouds and the influence of the atmosphere on the measured data. It is shown that ignoring these influences leads to significant deviations, which in turn can result in a misinterpretation of the derived information. It is also shown that there is still a lack of data-based procedures to account for these influences. The investigations are based on extensive data sets from Noordwijk/Netherlands and Vals/Austria. The second research topic addreses data analysis. The challenge is to analyse thousands of point clouds per measurement epoch. In this case, bitemporal methods are limited in their applicability. The thesis presents a two-step method to automatically extract information from the large data set. In the first step relevant features are extracted from the full 3D time series of the scene based on 2D raster images by clustering. The extracted segments can then be semi-automatically classified and assigned to relevant geomorphological processes. Based on this knowledge, the scene is, in the second step, spatially delimited. Deeper analyses can then be performed in areas of interest. Using the «M3C2-EP method with adapted Kalman filtering» and «4D objects-by-change», two analysis tools are presented and applied to the dataset in Vals. The monitoring of topographic surface changes with PLS will increase and generate large amounts of data. These data sets need to be processed, analysed and stored. This thesis contributes to a better understanding of the methodology. Users will gain a deeper understanding of the influencing factors along the processing chain from data acquisition to reporting of relevant information by applying the method in a systematic way. The dissertation presents a toolbox that enables automated evaluation of multitemporal point clouds using unsupervised machine learning and provides relevant information to the user. The approach is straightforward and simple and has a high potential for automated analysis in future applications.:Kurzfassung i Abstract iii Danksagung v 1. Einleitung 1 2. Deformationsmonitoring mittels terrestrischer Laserscanner: Aktuelle Methoden, Regulierungen und technische Aspekte 5 2.1. Ingenieurgeodätische Überwachungsmessungen . . . . . . . . . . . . . . 5 2.2. Anforderungen an ein integratives Monitoring aus der Sicht eines ganzheitlichen Risikomanagements . . . . . . . . . . . . . . . . . . . . . . . 8 2.2.1. Aktives Monitoring . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.2.2. Ganzheitliches Risikomanagement . . . . . . . . . . . . . . . . . 9 2.2.3. Qualitätsbeurteilung und Qualitätssicherung . . . . . . . . . . . 12 2.2.4. Relevante Normen, Richtlinien und Merkblätter beim Einsatz von permanentem Laserscanning . . . . . . . . . . . . . . . . . 15 2.3. Terrestrisches Laserscanning . . . . . . . . . . . . . . . . . . . . . . . . 17 2.4. Permanentes Laserscanning . . . . . . . . . . . . . . . . . . . . . . . . 22 2.5. Parameter einer permanenten Installation eines Long Range Laserscanners 24 2.5.1. Registrierung und Georeferenzierung . . . . . . . . . . . . . . . 26 2.5.2. Geodätische Refraktion . . . . . . . . . . . . . . . . . . . . . . . 30 2.5.3. Geodätisches Monitoring mittels terrestrischer Laserscanner . . 36 2.6. Zusammenfassende Betrachtungen . . . . . . . . . . . . . . . . . . . . . 39 3. Ziel und abgeleiteter Untersuchungsschwerpunkt dieser Arbeit 41 4. Konzept eines Echtzeitassistenzsystems basierend auf PLS 43 5. Untersuchung von Einflussfaktoren auf die Messergebnisse von permanent installierten terrestrischen Long Range Laserscannern 47 5.1. Fallstudie I: Noordwijk / Niederlande . . . . . . . . . . . . . . . . . . . 47 5.1.1. Beschreibung der Daten . . . . . . . . . . . . . . . . . . . . . . 48 5.1.2. Methoden . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 5.1.3. Resultate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 5.1.4. Zusammenfassung und Diskussion . . . . . . . . . . . . . . . . . 57 5.2. Fallstudie II: Detektion von Corner Cube Prismen und deren Genauigkeit 58 5.2.1. Prismendetektion aus Daten eines TLS . . . . . . . . . . . . . . 59 5.2.2. Genauigkeitsanalyse der Prismendetektion . . . . . . . . . . . . 59 5.3. Fallstudie III: Valsertal (Tirol) / Österreich . . . . . . . . . . . . . . . 67 5.3.1. Beschreibung des Datensatzes . . . . . . . . . . . . . . . . . . . 68 5.3.2. Geodätische Refraktion als Einfluss auf die Messergebnisse eines PLS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 5.3.3. Einfluss von Registrierungsparametern auf die Messergebnisse eines PLS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 6. Informationsextraktion aus multitemporalen Punktwolken 95 6.1. Stufe I: Segmentierung räumlich verteilter Zeitreihen auf Basis von 2DBildrastern als Methode des unüberwachten maschinellen Lernens . . . 96 6.1.1. Extraktion von Zeitreihen aus den Punktwolken . . . . . . . . . 98 6.1.2. Zeitreihensegmentierung mittels k-Means-Algorithmen . . . . . 101 6.1.3. Zeitreihensegmentierung mittels extrahierter Merkmale auf Grundlage Gaußscher Mischmodelle (GMM) . . . . . . . . . . . . . . . 113 6.2. Stufe II: Zeitreihenanalyse von räumlich hochauflösenden 3D-Daten . . 122 6.2.1. M3C2-EP mit adaptiver Kalman-Filterung . . . . . . . . . . . . 122 6.2.2. 4D-Änderungsobjekte (4D-OBC) . . . . . . . . . . . . . . . . . 128 6.2.3. Zusammenfassung und Diskussion . . . . . . . . . . . . . . . . . 132 7. Fazit und Ausblick 135 A. Ergebnisse der Systemuntersuchung in Unna-Hemmerde (21.03.2022) 141 B. Ergebnisse der Zeitreihensegmentierung mittels k-Means 145 B.1. Ergebnistabellen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 B.2. Zeitreihen und räumliche Visualisierung - vollständiger Bereich . . . . . 148 B.3. Zeitreihen und räumliche Visualisierung - limitierter Bereich . . . . . . 161 C. Ergebnisse der Zeitreihensegmentierung mittels GMM 164 C.1. Ergebnistabellen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164 C.2. Zeitreihen und räumliche Visualisierung - vollständiger Bereich . . . . . 166 Literaturverzeichnis 175 Abbildungsverzeichnis 195 Abkürzungsverzeichnis 199 Tabellenverzeichnis 201 Curriculum Vitae 20

Bildbasierte Weichgeweberegistrierung in der Laparoskopie

Die minimal-invasive Chirurgie bietet viele Vorteile für den Patienten. Durch die Reduzierung des Operationstraumas und der damit beschleunigten Rekonvaleszenz des Patienten können zudem die Zeit der stationären Behandlung und damit auch die Kosten für das Gesundheitssystem reduziert werden. Dem gegenüber steht die höhere Belastung der Chirurgen während der Operation. Erst nach jahrelangem Training sind Ärzte in der Lage, die Herausforderungen dieser speziellen Operationstechnik zu meistern. Um Chirurgen bei dieser schwierigen Aufgabe zu unterstützen, wurden in den letzten Jahren durch die Verfügbarkeit von neuen Technologien verstärkt computergestützte Assistenzsysteme entwickelt. Während beispielsweise in der Neurochirurgie schon kommerzielle Assistenzsysteme existieren, gibt es in der Laparoskopie ein großes ungelöstes Problem: die Weichgeweberegistrierung. Um die detaillierten Organmodelle aus präoperativen Planungsdaten (bspw. aus der Computertomografie) während der Operation nutzen zu können, müssen diese an die Position, Ausrichtung und Form des intraoperativen Organs angeglichen werden. Diese nicht-rigide Anpassung des Modells wird als Weichgeweberegistrierung bezeichnet. Dabei werden die Verschiebungen und Deformationen der Organe des Patienten sowohl durch zuvor verursache Änderungen, wie der Lagerung des Patienten oder dem Anlegen des Pneumoperitoneums (Füllen und Aufblähen des Bauchraums mit CO$_2$-Gas), als auch durch dynamische Ereignisse während der Operation, wie der Atmung des Patienten oder Manipulationen der chirurgischen Instrumente, verursacht. Im Rahmen dieser Arbeit wurden die verschiedenen Bestandteile und Schritte für die laparoskopischen Weichgeweberegistrierung untersucht. Zur Erzeugung von intraoperativen 3D-Modellen wurde ein auf Convolutional Neuronalen Netzen basiertes Stereorekonstruktionsverfahren entwickelt, welches Disparitäten endoskopischer Bilddaten durch das Training mit domänenspezifischen Trainingsdaten bestimmt. Da für endoskopische Bilddaten nur sehr schwer eine Referenz für die Tiefendaten bestimmt werden kann, wurde ein mehrstufiger Trainingsprozess entwickelt. Aufgrund der speziellen Endoskop-Optik und den Eigenheiten dieser Bildgebung, bspw. Glanzlichter und texturarme, kantenfreie Oberflächen, sind endoskopische Trainingsdaten jedoch unverzichtbar, um bestmögliche Resultate zu erzielen. Hierzu wurden einerseits virtuelle Stereobilder von endoskopischen Simulationen erzeugt, andererseits wurden vorhandene reale Aufnahmen genutzt, um daraus durch die Erkennung von Landmarken, vollautomatisch dünnbesetzte Referenzkarten zu erzeugen. Das Verfahren wurde mit einem öffentlichen Datensatz evaluiert und konnte eine hohe Genauigkeit bei geringer Laufzeit demonstrieren. Für den eigentlichen Registrierungsprozess wurde ein zweistufiges Verfahren entwickelt. Im ersten Schritt wird zu Beginn der Operation eine initiale Weichgeweberegistrierung durchgeführt. Da die Verschiebungen, Rotationen und Deformationen zwischen präoperativer Aufnahme und Operation sehr groß sein können, ist hier ein möglichst umfangreiches intraoperatives Modell des betrachteten Organs wünschenswert. Mit dem in dieser Arbeit entwickelten Mosaikverfahren kann ein globales Oberflächenmodell aus mehreren Rekonstruktionsfragmenten der einzelnen Aufnahmen erzeugt werden. Die Evaluation zeigt eine starke Verringerung des Registrierungsfehlers, im Vergleich zur Nutzung von einzelnen Oberflächenfragmenten. Um dynamische Deformationen während der Operation auf das präoperative Modell zu übertragen, wurde ein Verfahren zur dynamischen Registrierung entwickelt. Dabei werden die präoperativen Daten durch ein biomechanisches Modell repräsentiert. Dieses Modell wird durch die Projektion in das aktuelle Kamerabild mit den Punkten der intraoperativen 3D-Rekonstruktion verknüpft. Diese Verknüpfungen dienen anschließend als Randbedingungen für eine FEM-Simulation, die das biomechanische Modell in jedem Zeitschritt an das intraoperative Organ anpasst. In einer in silico Evaluation und einem ersten Tierversuch konnte das Verfahren vielversprechende Ergebnisse vorweisen. Neben den eigentlichen Verfahren zur Weichgeweberegistrierung ist auch deren Evaluation von Bedeutung. Hier zeigt sich, dass künstliche Organmodelle ein wichtiges Bindeglied zwischen Simulationen und Tierversuchen darstellen. Für die Evaluation von Registrierungsalgorithmen sind vor allem die mechanischen Eigenschaften des Organmodells von Bedeutung. Der Guss von Silikonorganen ist einfach und kostengünstig, hat aufgrund des verwendeten Silikons allerdings den Nachteil, dass die Modelle deutlich härter als vergleichbares Weichgewebe sind. Um ein weiches Organmodell zu erstellen und gleichzeitig die Vorteile des Silikongusses beizubehalten, wurde in dieser Arbeit ein spezielles 3D-Druckverfahren erforscht. Dabei wird ein Negativgussmodell des Organs aus wasserlöslichem Material mit einem 3D-Drucker hergestellt. Die Besonderheit ist eine Gitterstruktur, die sich durch das ganze Gussmodell zieht. Nach dem Einfüllen und Aushärten des Silikons kann die Gussform mitsamt der innen liegenden Gitterstruktur aufgelöst werden. Dadurch entstehen überall im Silikonmodell kleine Hohlräume, welche die Struktur des Modells schwächen. In dem die Gitterstruktur vor dem Druckprozess angepasst wird kann der Härtegrad des späteren Modells in einem Rahmen von 30-100% des Silikon-Vollmodells eingestellt werden. Mechanische Experimente konnten die zuvor in der Simulation berechneten Kennwerte bestätigen