LIDAR data classification and compression

Airborne Laser Detection and Ranging (LIDAR) data has a wide range of applications in agriculture, archaeology, biology, geology, meteorology, military and transportation, etc. LIDAR data consumes hundreds of gigabytes in a typical day of acquisition, and the amount of data collected will continue to grow as sensors improve in resolution and functionality. LIDAR data classification and compression are therefore very important for managing, visualizing, analyzing and using this huge amount of data. Among the existing LIDAR data classification schemes, supervised learning has been used and can obtain up to 96% of accuracy. However some of the features used are not readily available, and the training data is also not always available in practice. In existing LIDAR data compression schemes, the compressed size can be 5%-23% of the original size, but still could be in the order of gigabyte, which is impractical for many applications. The objectives of this dissertation are (1) to develop LIDAR classification schemes that can classify airborne LIDAR data more accurately without some features or training data that existing work requires; (2) to explore lossy compression schemes that can compress LIDAR data at a much higher compression rate than is currently available. We first investigate two independent ways to classify LIDAR data depending on the availability of training data: when training data is available, we use supervised machine learning techniques such as support vector machine (SVM); when training data is not readily available, we develop an unsupervised classification method that can classify LIDAR data as good as supervised classification methods. Experimental results show that the accuracy of our classification results are over 99%. We then present two new lossy LIDAR data compression methods and compare their performance. The first one is a wavelet based compression scheme while the second one is geometry based. Our new geometry based compression is a geometry and statistics driven LIDAR point-cloud compression method which combines both application knowledge and scene content to enable fast transmission from the sensor platform while preserving the geometric properties of objects within a scene. The new algorithm is based on the idea of compression by classification. It utilizes the unique height function simplicity as well as the local spatial coherence and linearity of the aerial LIDAR data and can automatically compress the data to the desired level-of-details defined by the user. Either of the two developed classification methods can be used to automatically detect regions that are not locally linear such as vegetations or trees. In those regions, the local statistics descriptions, such as mean, variance, expectation, etc., are stored to efficiently represent the region and restore the geometry in the decompression phase. The new geometry-based compression schemes for building and ground data can compress efficiently and significantly reduce the file size, while retaining a good fit for the scalable "zoom in" requirements. Experimental results show that compared with existing LIDAR lossy compression work, our proposed approach achieves two orders of magnitude lower bit rate with the same quality, making it feasible for applications that were not practical before. The ability to store information into a database and query them efficiently becomes possible with the proposed highly efficient compression scheme.Includes bibliographical references (pages 106-116)

Visualisation of ATM network connectivity and topology

Bibliography: leaves 110-113.ATM and dynamic reconfiguration allow for rapid changes in a virtual path network depending on traffic load and future demands. This technology improves the utilisation, lowers the call blocking probability and increases the overall performance of a network. However, it poses several management difficulties when user intervention is required to resolve complex routing problems. In this dissertation, we describe a visualisation approach which uses a network metaphor to aid administrators in managing dynamic ATM networks. Our metaphor scales well for networks of varying size, addresses the cluttering problem experienced by past metaphors and maintains the overall network context while providing additional support for navigation and interaction

Querying and managing complex networks

Orientador: André SantanchèTese (doutorado) - Universidade Estadual de Campinas, Instituto de ComputaçãoResumo: Compreender e quantificar as propriedades emergentes de redes naturais e de redes construídas pelo homem, tais como cadeias alimentares, interações sociais e infra-estruturas de transporte é uma tarefa desafiadora. O campo de redes complexas foi desenvolvido para agregar medições, algoritmos e técnicas para lidar com tais tópicos. Embora as pesquisas em redes complexas tenham sido aplicadas com sucesso em várias áreas de atividade humana, ainda há uma falta de infra-estruturas comuns para tarefas rotineiras, especialmente aquelas relacionadas à gestão de dados. Por outro lado, o campo de bancos de dados tem se concentrado em questões de gestão de dados desde o seu início, há várias décadas. Sistemas de banco de dados, no entanto, oferecem suporte reduzido à análise de redes. Para prover um melhor suporte para tarefas de análise de redes complexas, um sistema de banco de dados deve oferecer recursos de consulta e gerenciamento de dados adequados. Esta tese defende uma maior integração entre as áreas e apresenta nossos esforços para atingir este objetivo. Aqui nós descrevemos o Sistema de Gerenciamento de Dados Complexos (CDMS), que permite consultas exploratórias sobre redes complexas através de uma linguagem de consulta declarativa. Os resultados da consulta são classificados com base em medições de rede avaliadas no momento da consulta. Para suportar o processamento de consultas, nós introduzimos a Beta-álgebra, que oferece um operador capaz de representar diversas medições típicas de análise de redes complexas. A álgebra oferece oportunidades para otimizações transparentes de consulta baseadas em reescritas, propostas e discutidas aqui. Também introduzimos o mecanismo mapper de gestão de relacionamentos, que está integrado à linguagem de consulta. Os mecanismos de consulta e gerenciamento de dados flexíveis propostos são também úteis em cenários além da análise de redes complexas. Nós demonstramos o uso do CDMS em aplicações tais como integração de dados institucionais, recuperação de informação, classificação e recomendação. Todos os aspectos da proposta foram implementadas e testados com dados reais e sintéticosAbstract: Understanding and quantifying the emergent properties of natural and man-made networks such as food webs, social interactions, and transportation infrastructures is a challenging task. The complex networks field was developed to encompass measurements, algorithms, and techniques to tackle such topics. Although complex networks research has been successfully applied to several areas of human activity, there is still a lack of common infrastructures for routine tasks, especially those related to data management. On the other hand, the databases field has focused on mastering data management issues since its beginnings, several decades ago. Database systems, however, offer limited network analysis capabilities. To enable a better support for complex network analysis tasks, a database system must offer adequate querying and data management capabilities. This thesis advocates for a tighter integration between the areas and presents our efforts towards this goal. Here we describe the Complex Data Management System (CDMS), which enables explorative querying of complex networks through a declarative query language. Query results are ranked based on network measurements assessed at query time. To support query processing, we introduce the Beta-algebra, which offers an operator capable of representing diverse measurements typical of complex network analysis. The algebra offers opportunities for transparent query optimization through query rewritings, proposed and discussed here. We also introduce the mapper mechanism for relationship management, which is integrated in the query language. The flexible query language and data management mechanisms are useful in scenarios other than complex network analysis. We demonstrate the use of the CDMS in applications such as institutional data integration, information retrieval, classification and recommendation. All aspects of the proposal are implemented and have been tested with real and synthetic dataDoutoradoCiência da ComputaçãoDoutor em Ciência da Computação2012/15988-9FAPESPCAPE

Auf metrischen und differentialgeometrischen Konzepten basierende neue mathematische Algorithmen zur Sensordatenfusion mit Anwendungen in der Faser-Bragg-Gitter-Formsensorik

In dieser Arbeit wird ein Faser-Bragg-Gitter(FBG)-Formsensor zur Erfassung der Form fexibler Strukturen vorgestellt. Verwendung finden solche Sensoren besonders in der Medizintechnik. Obwohl die Thematik der FBG-Sensorik seit Anfang des 21. Jahrhunderts von Forschungsgruppen weltweit untersucht und vorangebracht wird, hat sich bisher noch kein Konzept auf dem Markt durchsetzen können. Diese Arbeit beschäftigt sich mit der Herleitung neuer Algorithmen zur Verbesserung der Formsensorik

Auf metrischen und differentialgeometrischen Konzepten basierende neue mathematische Algorithmen zur Sensordatenfusion mit Anwendungen in der Faser-Bragg-Gitter-Formsensorik

Der Bedarf an Sensoren zur zeitkontinuierlichen Erfassung der Form flexibler Strukturen ist in verschiedenen Anwendungsfeldern vorhanden. Besonders in der Medizintechnik findet sich eine Vielzahl an Einsatzmöglichkeiten. Beispielsweise stellen die Vermessung von flexiblen Endoskopen, Biopsienadeln oder Kathetern Anwendungen für die Formerkennung dar. Um schwer erreichbare Operationsstrukturen zugänglich zu machen, geht ein aktueller Trend in der robotergestützten Chirurgie hin zu flexiblen, sehr filigranen Robotern. Beispielhaft sind hier Kontinuumsroboter zu nennen. Diese bestehen nicht aus einzelnen Gelenken und starren Verbindungen, sondern bilden eine flexible Struktur, die sich sehr frei im Raum verformen kann. Herkömmliche kinematische Modelle können bei diesen Robotern nicht angewendet werden, um die Position des Endeffektors zu erfassen und basierend darauf die Ansteuerung des Roboters zu regeln. Auch die Ansteuerung solcher Roboter bedarf demnach einer dynamischen Formerfassung des jeweils aktuellen Deformationszustandes. Faser-Bragg-Gitter(FBG)-Formsensorik stellt eine vielversprechende Lösung zur Formerkennung flexibler Objekte dar. FBG-Formsensoren bestehen aus einem flexiblen Sensorträgerkörper in Schlangenform, in den FBG-Glasfasern eingegossen sind. In die FBG-Glasfasern sind an mehreren Stellen Strukturen eingeschrieben, die sogenannten Faser- Bragg-Gitter (FBGs). Die physikalischen Eigenschaften dieser FBGs ändern sich bei Dehnung des Gitters, somit kann die Faser als Dehnungsmessstreifen auf optischer Basis eingesetzt werden. An diskreten Stellen des Sensorträgerkörpers wird mittels der FBG-Glasfasern die durch Sensorverformung hervorgerufene Materialdehnung gemessen. Über Datenfusionsalgorithmen kann aus diesen Dehnungsinformationen die Sensorform geschätzt werden. Wird ein Formsensor innerhalb eines flexiblen schlangenförmigen Objektes integriert, so wird die Verformung des Objektes und insbesondere die Position und Ausrichtung der Objektspitze über den Sensor messbar. Die eingesetzten FBG-Glasfasern eignen sich durch den geringen Durchmesser im Mikrometerbereich insbesondere zur Integration in kleine, filigrane Manipulatoren.Weitere Eigenschaften der FBG-Glasfasern, wie elektromagnetische Verträglichkeit, Sterilisierbarkeit oder Biokompatibilität sind vorteilhaft für den Einsatz in der Medizin. Obwohl die Thematik der FBG-Sensorik seit Anfang des 21. Jahrhunderts von Forschungsgruppen weltweit untersucht und vorangebracht wird, hat sich bisher noch kein Konzept auf dem Markt durchsetzen können. Dies liegt nach Ermessen der Autorin an einer bisher nicht ausreichenden Sensorgenauigkeit, hervorgerufen durch Schwierigkeiten in der praktischen Realisierung der Sensorik. In dieser Arbeit wird eine alternative Herangehensweise in der FBG-Formsensorik erforscht. Das neue Konzept wird als innovative FBG-Formsensorik bezeichnet. Ziel der innovativen FBG-Formsensorik ist die Lösung der bisher bestehenden Schwierigkeiten in der praktischen Realisierung der betrachteten Sensorik. Aus den Grundlagen der FBG-Formsensorik und dem aktuellen Stand der Technik wird der Bedarf an einer neuen Lösung in der FBG-Formsensorik herausgestellt. Darauf aufbauend wird das Konzept der innovativen FBG-Formsensorik hergeleitet. Bisher wurden FBG-Formsensoren unter der Einhaltung von bestimmten Restriktionen hergestellt. Die Anordnung der in den Trägerkörper integrierten FBGs ist dabei vorgegeben. Dabei müssen jeweils mindestens drei FBGs auf einem Querschnitt des Sensors liegen, um dreidimensionale Verformungen unter Anwendung der bisher bekannten Datenfusionsalgorithmen berechnen zu können. Eine parallele Faserführung ist üblicherweise vorgenommen. Die Einhaltung dieser Restriktionen ist in der Praxis schwer exakt realisierbar. Zudem ist die Deformationsflexibilität des Sensors wegen der parallelen Faserführung eingeschränkt. In der innovativen FBG-Formsensorik soll nun eine freie FBG-Verteilung ermöglicht werden. Eine helikale Faserführung um die Sensorachse ist dabei eine Realisierungsmöglichkeit. Durch die helikale Wicklung der Fasern ist deren Belastung bei Sensordeformation reduziert. Folglich ist eine höhere Deformationsflexibilität gegeben. Die uneingeschränkte FBG-Verteilung erleichtert die Sensorherstellung und führt zu einem kontrollierteren Faserverhalten bei Sensordeformation. Bessere Ergebnisse in der Formschätzung sind zu erwarten. Herkömmliche FBG-Formsensoren messen die Form der Sensorachse. Aus dieser können die Position und Ausrichtung der Sensorspitze berechnet werden. Diese Information ist besonders wichtig; sind die zu vermessenden Objekte an der Objektspitze mit Werkzeugen ausgestattet, so ist insbesondere die Lage dieser Werkzeuge zu beobachten. Die innovative FBG-Formsensorik ermöglicht zusätzlich zu der freien FBG-Verteilung eine Erweiterung der erfassbaren Form. Neben der Sensorachse soll auch die Sensoroberfläche erfasst werden. Damit ist eine Art taktile Sensorhaut vorhanden. Die Konzeptumsetzung der innovativen FBG-Formsensorik erfordert neue Algorithmen zur Fusion der Messdaten und zur Rekonstruktion von Deformationen. Die theoretische Erarbeitung dieser Algorithmen ist der Hauptteil dieser Arbeit. Die mathematische Problemformulierung der innovativen FBG-Formsensorik wird als verallgemeinernde Erweiterung der konventionellen Problemformulierung aufgestellt. Die Problemdarstellung unter Verwendung von Tensoren und Mannigfaltigkeiten erlaubt das Anwenden von bekannten Methoden aus der Mathematik. Metrische und differentialgeometrische Konzepte werden zur Formberechnung herangezogen. Insbesondere die Approximation der Sensoroberfläche über einen geometrischen Ansatz von Charles Fefferman et al. (vorgestellt in dem Artikel ’Reconstruction and interpolation of manifolds I: The geometric Whitney problem’ [Fef15]) ermöglicht die Nutzung bekannter topologischer Eigenschaften der zu erfassenden Objekte. Das Resultat des theoretischen Teils dieser Arbeit ist ein Algorithmus in verschiedenen Varianten, der anwendungsabhängig in unterschiedlicher Ausführung eingesetzt werden kann. Die freie FBG-Verteilung führt auf Grund der helikale Faserführung zu einer Reduktion der Faserbelastung. Dies ist ein Vorteil, der eine höhere Deformationsflexibilität der Fasern mit sich bringt. Allerdings ist zu evaluieren, ob die bei Dehnung des Trägerkörpers produzierten aterialdehnungen bei der helikalen Faserwicklung noch messbar sind. Ein modellkonformes Verhalten muss in den Messdaten erkennbar sein. Dies wird in einem praktischen Teil der Arbeit experimentell nachgewiesen werden. Bei den Tests geht es hauptsächlich um die grundlegende Analyse der Messdaten und um den Nachweis, dass gemessene Dehnungen zu dem vorher theoretisch hergeleiteten Deformationsverhalten passen. In einem zweiten Testteil wird abschließend eine erste prototypische Formsensorrealisierung nach dem innovativen Konzept demonstriert. Grundformen, wie C- und S-Formen sind über den Sensor erfassbar. Die theoretischen und praktischen Ergebnisse dieser Arbeit bilden die Basis der innovativen FBG-Formsensorik. Die erzielten Resultate versprechen eine grundlegende Verbesserung der FBG-Formsensorik. Es sind allerdings noch eine Vielzahl an Aspekten in Zukunft zu erarbeiten, um zu einem Formsensor nach innovativem Konzept mit einer hohen Genauigkeit zu gelangen. Insbesondere auf der praktischen Seite sind neue Forschungsthemen aufgedeckt, die zukünftig zu betrachten sind. Im Ausblick dieser Arbeit sind die zukünftigen, auf dieser Dissertation aufbauenden Themen abschließend aufgezeigt