Advance in optimal design and deployment of ambient intelligence systems

[SPA]Se ha pronosticado un futuro excepcional para los sistemas de Inteligencia Ambiental (AmI). Dichos sistemas comprenden aquellos entornos capaces de anticiparse a las necesidades de la gente, y reaccionar inteligentemente en su ayuda. La inteligencia de estos sistemas proviene de los procesos de toma de decisión, cuyo funcionamiento resulta transparente al usuario. Algunos de estos entornos previstos pertenecen al ámbito de los hogares inteligentes, monitorización de la salud, educación, lugares de trabajo, deportes, soporte en actividades cotidianas, etc. La creciente complejidad de estos entornos hace cada vez más difícil la labor de tomar las decisiones correctas que sirvan de ayuda a los usuarios. Por tanto, la toma de decisiones resulta una parte esencial de estos sistemas. Diversas técnicas pueden utilizarse de forma eficaz en los sistemas AmI para resolver los problemas derivados de la toma de decisiones. Entre ellas están las técnicas de clasificación, y las herramientas matemáticas de programación. En la primera parte de este trabajo presentamos dos entornos AmI donde la toma de decisiones juega un papel fundamental: • Un sistema AmI para el entrenamiento de atletas. Este sistema monitoriza variables ambientales y biométricas de los atletas, tomando decisiones durante la sesión de entrenamiento, que al atleta le ayudan a conseguir un determinado objetivo. Varias técnicas han sido utilizadas para probar diferentes generadores de decisión: interpolación mediante (m, s)-splines, k-Nearest-Neighbors, y programación dinámica mediante Procesos de Decisión de Markov. • Un sistema AmI para detección de caza furtiva. En este caso, el objetivo consiste en localizar el origen de un disparo utilizando, para ello, una red de sensores acústicos. La localización se realiza utilizando el método de multilateración hiperbólica. Además, la calidad de las decisiones generadas está directamente relacionada con la calidad de la información disponible. Por lo tanto, es necesario que los nodos de la infraestructura AmI encargados de la obtención de datos relevantes del usuario y del ambiente, estén en red y situados correctamente. De hecho, el problema de posicionamiento tiene dos partes: los nodos deben ubicarse cerca de los lugares donde ocurren sucesos de interés, y deben estar conectados para que los datos capturados sean transmitidos y tengan utilidad. Adicionalmente, pueden considerarse otras restricciones, tales como el coste de despliegue de red. Por tanto, en el posicionamiento de los nodos es habitual que existan compromisos entre las capacidades de sensorización y de comunicación. Son posibles dos tipos de posicionamiento. Posicionamiento determinista donde puede seleccionarse de forma precisa la posición de cada nodo, y, aleatorio donde debido a la gran cantidad de nodos o a lo inaccesible del terreno de depliegue, sólo resulta posible la distribución aleatoria de los nodos. Esta tesis aborda tres problemas de posicionamiento de red. Los dos primeros problemas se han planteado de forma general, siendo de aplicación a cualquier tipo de escenario AmI. El objetivo es seleccionar las mejores posiciones para los nodos y mantener los nodos de la red conectados. Las opciones estudiadas son un posicionamiento determinista resuelto mediante el metaheurístico Ant Colony Optimization para dominios continuos, y un posicionamiento aleatorio, donde se realiza un despliegue cuasi-controlado mediante varios clusters de red. En cada clúster podemos determinar tanto el punto objetivo de despliegue, como la dispersión de los nodos alrededor de dicho punto. En este caso, el problema planteado tiene naturaleza estocástica y se resuelve descomponiéndolo en fases de despliegue, una por clúster. Finalmente, el tercer escenario de despliegue de red está estrechamente ligado al entorno AmI para la detección de caza furtiva. En este caso, utilizamos el método matemático de descenso sin derivadas. El objetivo consiste en maximizar la cobertura, minimizando a la vez el coste de despliegue. Debido a que los dos objetivos son opuestos, se utiliza un frente Pareto para que el diseñador seleccione un punto de operación. [ENG] A brilliant future is forecasted for Ambient Intelligence (AmI) systems. These comprise sensitive environments able to anticipate people’s actions, and to react intelligently supporting them. AmI relies on decision-making processes, which are usually hidden to the users, giving rise to the so-called smart environments. Some of those envisioned environments include smart homes, health monitoring, education, workspaces, sports, assisted living, and so forth. Moreover, the complexity of these environments is continuously growing, thereby increasing the difficulty of making suitable decisions in support of human activity. Therefore, decision-making is one of the critical parts of these systems. Several techniques can be efficiently combined with AmI environments and may help to alleviate decisionmaking issues. These include classification techniques, as well as mathematical programming tools. In the first part of this work we introduce two AmI environments where decisionmaking plays a primary role: • An AmI system for athletes’ training. This system is in charge of monitoring ambient variables, as well as athletes’ biometry and making decisions during a training session to meet the training goals. Several techniques have been used to test different decision engines: interpolation by means of (m, s)-splines, k-Nearest-Neighbors and dynamic programming based on Markov Decision Processes. • An AmI system for furtive hunting detection. In this case, the aim is to locate gunshots using a network of acoustic sensors. The location is performed by means of a hyperbolic multilateration method. Moreover, the quality of the decisions is directly related to the quality of the information available. Therefore, is necessary that nodes in charge of sensing and networking tasks of the AmI infrastructure must be placed correctly. In fact, the placement problem is twofold: nodes must be near important places, where valuable events occur, and network connectivity is also mandatory. In addition, some other constraints, such as network deployment cost could be considered. Therefore, there are usually tradeoffs between sensing capacity and communication capabilities. Two kinds of placement options are possible. Deterministic placements, where the position for each node can be precisely selected, and random deployments where, due to the large number of nodes, or the inaccessibility of the terrain, the only suitable option for deployment is a random scattering of the nodes. This thesis addresses three problems of network placement. The first two problems are not tied to a particular case, but are applicable to a general AmI scenario. The goal is to select the best positions for the nodes, while connectivity constraints are met. The options examined are a deterministic placement, which is solved by means of an Ant Colony Optimization metaheuristic for continuous domains, and a random placement, where partially controlled deployments of clustered networks take place. For each cluster, both the target point and dispersion can be selected, leading to a stochastic problem, which is solved by decomposing it in several steps, one per cluster. Finally, the third network placement scenario is tightly related to the furtive hunting detection AmI environment. Using a derivate-free descent methodology, the goal is to select the placement with maximal sensing coverage and minimal cost. Since both goals are contrary, the Pareto front is constructed to enable the designer to select the desired operational point.Universidad Politécnica de Cartagen

A window to the past through modern urban environments: Developing a photogrammetric workflow for the orientation parameter estimation of historical images

The ongoing process of digitization in archives is providing access to ever-increasing historical image collections. In many of these repositories, images can typically be viewed in a list or gallery view. Due to the growing number of digitized objects, this type of visualization is becoming increasingly complex. Among other things, it is difficult to determine how many photographs show a particular object and spatial information can only be communicated via metadata. Within the scope of this thesis, research is conducted on the automated determination and provision of this spatial data. Enhanced visualization options make this information more eas- ily accessible to scientists as well as citizens. Different types of visualizations can be presented in three-dimensional (3D), Virtual Reality (VR) or Augmented Reality (AR) applications. However, applications of this type require the estimation of the photographer’s point of view. In the photogrammetric context, this is referred to as estimating the interior and exterior orientation parameters of the camera. For determination of orientation parameters for single images, there are the established methods of Direct Linear Transformation (DLT) or photogrammetric space resection. Using these methods requires the assignment of measured object points to their homologue image points. This is feasible for single images, but quickly becomes impractical due to the large amount of images available in archives. Thus, for larger image collections, usually the Structure-from-Motion (SfM) method is chosen, which allows the simultaneous estimation of the interior as well as the exterior orientation of the cameras. While this method yields good results especially for sequential, contemporary image data, its application to unsorted historical photographs poses a major challenge. In the context of this work, which is mainly limited to scenarios of urban terrestrial photographs, the reasons for failure of the SfM process are identified. In contrast to sequential image collections, pairs of images from different points in time or from varying viewpoints show huge differences in terms of scene representation such as deviations in the lighting situation, building state, or seasonal changes. Since homologue image points have to be found automatically in image pairs or image sequences in the feature matching procedure of SfM, these image differences pose the most complex problem. In order to test different feature matching methods, it is necessary to use a pre-oriented historical dataset. Since such a benchmark dataset did not exist yet, eight historical image triples (corresponding to 24 image pairs) are oriented in this work by manual selection of homologue image points. This dataset allows the evaluation of frequently new published methods in feature matching. The initial methods used, which are based on algorithmic procedures for feature matching (e.g., Scale Invariant Feature Transform (SIFT)), provide satisfactory results for only few of the image pairs in this dataset. By introducing methods that use neural networks for feature detection and feature description, homologue features can be reliably found for a large fraction of image pairs in the benchmark dataset. In addition to a successful feature matching strategy, determining camera orientation requires an initial estimate of the principal distance. Hence for historical images, the principal distance cannot be directly determined as the camera information is usually lost during the process of digitizing the analog original. A possible solution to this problem is to use three vanishing points that are automatically detected in the historical image and from which the principal distance can then be determined. The combination of principal distance estimation and robust feature matching is integrated into the SfM process and allows the determination of the interior and exterior camera orientation parameters of historical images. Based on these results, a workflow is designed that allows archives to be directly connected to 3D applications. A search query in archives is usually performed using keywords, which have to be assigned to the corresponding object as metadata. Therefore, a keyword search for a specific building also results in hits on drawings, paintings, events, interior or detailed views directly connected to this building. However, for the successful application of SfM in an urban context, primarily the photographic exterior view of the building is of interest. While the images for a single building can be sorted by hand, this process is too time-consuming for multiple buildings. Therefore, in collaboration with the Competence Center for Scalable Data Services and Solutions (ScaDS), an approach is developed to filter historical photographs by image similarities. This method reliably enables the search for content-similar views via the selection of one or more query images. By linking this content-based image retrieval with the SfM approach, automatic determination of camera parameters for a large number of historical photographs is possible. The developed method represents a significant improvement over commercial and open-source SfM standard solutions. The result of this work is a complete workflow from archive to application that automatically filters images and calculates the camera parameters. The expected accuracy of a few meters for the camera position is sufficient for the presented applications in this work, but offer further potential for improvement. A connection to archives, which will automatically exchange photographs and positions via interfaces, is currently under development. This makes it possible to retrieve interior and exterior orientation parameters directly from historical photography as metadata which opens up new fields of research.:1 Introduction 1 1.1 Thesis structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 Historical image data and archives . . . . . . . . . . . . . . . . . . . . . . . . 2 1.3 Structure-from-Motion for historical images . . . . . . . . . . . . . . . . . . . 4 1.3.1 Terminology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.3.2 Selection of images and preprocessing . . . . . . . . . . . . . . . . . . 5 1.3.3 Feature detection, feature description and feature matching . . . . . . 6 1.3.3.1 Feature detection . . . . . . . . . . . . . . . . . . . . . . . . 7 1.3.3.2 Feature description . . . . . . . . . . . . . . . . . . . . . . . 9 1.3.3.3 Feature matching . . . . . . . . . . . . . . . . . . . . . . . . 10 1.3.3.4 Geometric verification and robust estimators . . . . . . . . . 13 1.3.3.5 Joint methods . . . . . . . . . . . . . . . . . . . . . . . . . . 16 1.3.4 Initial parameterization . . . . . . . . . . . . . . . . . . . . . . . . . . 19 1.3.5 Bundle adjustment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 1.3.6 Dense reconstruction . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 1.3.7 Georeferencing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 1.4 Research objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 2 Generation of a benchmark dataset using historical photographs for the evaluation of feature matching methods 29 2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 2.1.1 Image differences based on digitization and image medium . . . . . . . 30 2.1.2 Image differences based on different cameras and acquisition technique 31 2.1.3 Object differences based on different dates of acquisition . . . . . . . . 31 2.2 Related work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 2.3 The image dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 2.4 Comparison of different feature detection and description methods . . . . . . 35 2.4.1 Oriented FAST and Rotated BRIEF (ORB) . . . . . . . . . . . . . . . 36 2.4.2 Maximally Stable Extremal Region Detector (MSER) . . . . . . . . . 36 2.4.3 Radiation-invariant Feature Transform (RIFT) . . . . . . . . . . . . . 36 2.4.4 Feature matching and outlier removal . . . . . . . . . . . . . . . . . . 36 2.5 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 2.6 Conclusions and future work . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 3 Photogrammetry as a link between image repository and 4D applications 45 3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 IX Contents 3.2 Multimodal access on repositories . . . . . . . . . . . . . . . . . . . . . . . . . 47 3.2.1 Conventional access . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 3.2.2 Virtual access using online collections . . . . . . . . . . . . . . . . . . 48 3.2.3 Virtual museums . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 3.3 Workflow and access strategies . . . . . . . . . . . . . . . . . . . . . . . . . . 52 3.3.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 3.3.2 Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 3.3.3 Photogrammetry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 3.3.4 Browser access . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 3.3.5 VR and AR access . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 3.4 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 4 An adapted Structure-from-Motion Workflow for the orientation of historical images 69 4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 4.2 Related Research . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 4.2.1 Historical images for 3D reconstruction . . . . . . . . . . . . . . . . . 72 4.2.2 Algorithmic Feature Detection and Matching . . . . . . . . . . . . . . 73 4.2.3 Feature Detection and Matching using Convolutional Neural Networks 74 4.3 Feature Matching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 4.4 Workflow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 4.4.1 Step 1: Data preparation . . . . . . . . . . . . . . . . . . . . . . . . . 78 4.4.2 Step 2.1: Feature Detection and Matching . . . . . . . . . . . . . . . . 78 4.4.3 Step 2.2: Vanishing Point Detection and Principal Distance Estimation 80 4.4.4 Step 3: Scene Reconstruction . . . . . . . . . . . . . . . . . . . . . . . 80 4.4.5 Comparison with Three Other State-of-the-Art SfM Workflows . . . . 81 4.5 Datasets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 4.6 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 4.7 Conclusions and Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 4.8 Acknowledgements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 4.A Appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 5 Fully automated pose estimation of historical images 97 5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 5.2 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 5.2.1 Image Retrieval . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 5.2.2 Feature Detection and Matching . . . . . . . . . . . . . . . . . . . . . 101 5.3 Data Preparation: Image Retrieval . . . . . . . . . . . . . . . . . . . . . . . . 102 5.3.1 Experiment and Data . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 5.3.2 Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104 5.3.2.1 Layer Extraction Approach (LEA) . . . . . . . . . . . . . . . 104 5.3.2.2 Attentive Deep Local Features (DELF) Approach . . . . . . 105 5.3.3 Results and Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . 106 5.4 Camera Pose Estimation of Historical Images Using Photogrammetric Methods 110 5.4.1 Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 5.4.1.1 Benchmark Datasets . . . . . . . . . . . . . . . . . . . . . . . 111 5.4.1.2 Retrieval Datasets . . . . . . . . . . . . . . . . . . . . . . . . 113 5.4.2 Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 5.4.2.1 Feature Detection and Matching . . . . . . . . . . . . . . . . 115 5.4.2.2 Geometric Verification and Camera Pose Estimation . . . . . 116 5.4.3 Results and Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . 117 5.5 Conclusions and Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 5.A Appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124 6 Related publications 129 6.1 Photogrammetric analysis of historical image repositores for virtual reconstruction in the field of digital humanities . . . . . . . . . . . . . . . . . . . . . . . 130 6.2 Feature matching of historical images based on geometry of quadrilaterals . . 131 6.3 Geo-information technologies for a multimodal access on historical photographs and maps for research and communication in urban history . . . . . . . . . . 132 6.4 An automated pipeline for a browser-based, city-scale mobile 4D VR application based on historical images . . . . . . . . . . . . . . . . . . . . . . . . . . 133 6.5 Software and content design of a browser-based mobile 4D VR application to explore historical city architecture . . . . . . . . . . . . . . . . . . . . . . . . 134 7 Synthesis 135 7.1 Summary of the developed workflows . . . . . . . . . . . . . . . . . . . . . . . 135 7.1.1 Error assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 7.1.2 Accuracy estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 7.1.3 Transfer of the workflow . . . . . . . . . . . . . . . . . . . . . . . . . . 141 7.2 Developments and Outlook . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 8 Appendix 149 8.1 Setup for the feature matching evaluation . . . . . . . . . . . . . . . . . . . . 149 8.2 Transformation from COLMAP coordinate system to OpenGL . . . . . . . . 150 References 151 List of Figures 165 List of Tables 167 List of Abbreviations 169Der andauernde Prozess der Digitalisierung in Archiven ermöglicht den Zugriff auf immer größer werdende historische Bildbestände. In vielen Repositorien können die Bilder typischerweise in einer Listen- oder Gallerieansicht betrachtet werden. Aufgrund der steigenden Zahl an digitalisierten Objekten wird diese Art der Visualisierung zunehmend unübersichtlicher. Es kann u.a. nur noch schwierig bestimmt werden, wie viele Fotografien ein bestimmtes Motiv zeigen. Des Weiteren können räumliche Informationen bisher nur über Metadaten vermittelt werden. Im Rahmen der Arbeit wird an der automatisierten Ermittlung und Bereitstellung dieser räumlichen Daten geforscht. Erweiterte Visualisierungsmöglichkeiten machen diese Informationen Wissenschaftlern sowie Bürgern einfacher zugänglich. Diese Visualisierungen können u.a. in drei-dimensionalen (3D), Virtual Reality (VR) oder Augmented Reality (AR) Anwendungen präsentiert werden. Allerdings erfordern Anwendungen dieser Art die Schätzung des Standpunktes des Fotografen. Im photogrammetrischen Kontext spricht man dabei von der Schätzung der inneren und äußeren Orientierungsparameter der Kamera. Zur Bestimmung der Orientierungsparameter für Einzelbilder existieren die etablierten Verfahren der direkten linearen Transformation oder des photogrammetrischen Rückwärtsschnittes. Dazu muss eine Zuordnung von gemessenen Objektpunkten zu ihren homologen Bildpunkten erfolgen. Das ist für einzelne Bilder realisierbar, wird aber aufgrund der großen Menge an Bildern in Archiven schnell nicht mehr praktikabel. Für größere Bildverbände wird im photogrammetrischen Kontext somit üblicherweise das Verfahren Structure-from-Motion (SfM) gewählt, das die simultane Schätzung der inneren sowie der äußeren Orientierung der Kameras ermöglicht. Während diese Methode vor allem für sequenzielle, gegenwärtige Bildverbände gute Ergebnisse liefert, stellt die Anwendung auf unsortierten historischen Fotografien eine große Herausforderung dar. Im Rahmen der Arbeit, die sich größtenteils auf Szenarien stadträumlicher terrestrischer Fotografien beschränkt, werden zuerst die Gründe für das Scheitern des SfM Prozesses identifiziert. Im Gegensatz zu sequenziellen Bildverbänden zeigen Bildpaare aus unterschiedlichen zeitlichen Epochen oder von unterschiedlichen Standpunkten enorme Differenzen hinsichtlich der Szenendarstellung. Dies können u.a. Unterschiede in der Beleuchtungssituation, des Aufnahmezeitpunktes oder Schäden am originalen analogen Medium sein. Da für die Merkmalszuordnung in SfM automatisiert homologe Bildpunkte in Bildpaaren bzw. Bildsequenzen gefunden werden müssen, stellen diese Bilddifferenzen die größte Schwierigkeit dar. Um verschiedene Verfahren der Merkmalszuordnung testen zu können, ist es notwendig einen vororientierten historischen Datensatz zu verwenden. Da solch ein Benchmark-Datensatz noch nicht existierte, werden im Rahmen der Arbeit durch manuelle Selektion homologer Bildpunkte acht historische Bildtripel (entspricht 24 Bildpaaren) orientiert, die anschließend genutzt werden, um neu publizierte Verfahren bei der Merkmalszuordnung zu evaluieren. Die ersten verwendeten Methoden, die algorithmische Verfahren zur Merkmalszuordnung nutzen (z.B. Scale Invariant Feature Transform (SIFT)), liefern nur für wenige Bildpaare des Datensatzes zufriedenstellende Ergebnisse. Erst durch die Verwendung von Verfahren, die neuronale Netze zur Merkmalsdetektion und Merkmalsbeschreibung einsetzen, können für einen großen Teil der historischen Bilder des Benchmark-Datensatzes zuverlässig homologe Bildpunkte gefunden werden. Die Bestimmung der Kameraorientierung erfordert zusätzlich zur Merkmalszuordnung eine initiale Schätzung der Kamerakonstante, die jedoch im Zuge der Digitalisierung des analogen Bildes nicht mehr direkt zu ermitteln ist. Eine mögliche Lösung dieses Problems ist die Verwendung von drei Fluchtpunkten, die automatisiert im historischen Bild detektiert werden und aus denen dann die Kamerakonstante bestimmt werden kann. Die Kombination aus Schätzung der Kamerakonstante und robuster Merkmalszuordnung wird in den SfM Prozess integriert und erlaubt die Bestimmung der Kameraorientierung historischer Bilder. Auf Grundlage dieser Ergebnisse wird ein Arbeitsablauf konzipiert, der es ermöglicht, Archive mittels dieses photogrammetrischen Verfahrens direkt an 3D-Anwendungen anzubinden. Eine Suchanfrage in Archiven erfolgt üblicherweise über Schlagworte, die dann als Metadaten dem entsprechenden Objekt zugeordnet sein müssen. Eine Suche nach einem bestimmten Gebäude generiert deshalb u.a. Treffer zu Zeichnungen, Gemälden, Veranstaltungen, Innen- oder Detailansichten. Für die erfolgreiche Anwendung von SfM im stadträumlichen Kontext interessiert jedoch v.a. die fotografische Außenansicht des Gebäudes. Während die Bilder für ein einzelnes Gebäude von Hand sortiert werden können, ist dieser Prozess für mehrere Gebäude zu zeitaufwendig. Daher wird in Zusammenarbeit mit dem Competence Center for Scalable Data Services and Solutions (ScaDS) ein Ansatz entwickelt, um historische Fotografien über Bildähnlichkeiten zu filtern. Dieser ermöglicht zuverlässig über die Auswahl eines oder mehrerer Suchbilder die Suche nach inhaltsähnlichen Ansichten. Durch die Verknüpfung der inhaltsbasierten Suche mit dem SfM Ansatz ist es möglich, automatisiert für eine große Anzahl historischer Fotografien die Kameraparameter zu bestimmen. Das entwickelte Verfahren stellt eine deutliche Verbesserung im Vergleich zu kommerziellen und open-source SfM Standardlösungen dar. Das Ergebnis dieser Arbeit ist ein kompletter Arbeitsablauf vom Archiv bis zur Applikation, der automatisch Bilder filtert und diese orientiert. Die zu erwartende Genauigkeit von wenigen Metern für die Kameraposition sind ausreichend für die dargestellten Anwendungen in dieser Arbeit, bieten aber weiteres Verbesserungspotential. Eine Anbindung an Archive, die über Schnittstellen automatisch Fotografien und Positionen austauschen soll, befindet sich bereits in der Entwicklung. Dadurch ist es möglich, innere und äußere Orientierungsparameter direkt von der historischen Fotografie als Metadaten abzurufen, was neue Forschungsfelder eröffnet.:1 Introduction 1 1.1 Thesis structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 Historical image data and archives . . . . . . . . . . . . . . . . . . . . . . . . 2 1.3 Structure-from-Motion for historical images . . . . . . . . . . . . . . . . . . . 4 1.3.1 Terminology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.3.2 Selection of images and preprocessing . . . . . . . . . . . . . . . . . . 5 1.3.3 Feature detection, feature description and feature matching . . . . . . 6 1.3.3.1 Feature detection . . . . . . . . . . . . . . . . . . . . . . . . 7 1.3.3.2 Feature description . . . . . . . . . . . . . . . . . . . . . . . 9 1.3.3.3 Feature matching . . . . . . . . . . . . . . . . . . . . . . . . 10 1.3.3.4 Geometric verification and robust estimators . . . . . . . . . 13 1.3.3.5 Joint methods . . . . . . . . . . . . . . . .

Air Force Institute of Technology Research Report 2019

This Research Report presents the FY19 research statistics and contributions of the Graduate School of Engineering and Management (EN) at AFIT. AFIT research interests and faculty expertise cover a broad spectrum of technical areas related to USAF needs, as reflected by the range of topics addressed in the faculty and student publications listed in this report. In most cases, the research work reported herein is directly sponsored by one or more USAF or DOD agencies. AFIT welcomes the opportunity to conduct research on additional topics of interest to the USAF, DOD, and other federal organizations when adequate manpower and financial resources are available and/or provided by a sponsor. In addition, AFIT provides research collaboration and technology transfer benefits to the public through Cooperative Research and Development Agreements (CRADAs). Interested individuals may discuss ideas for new research collaborations, potential CRADAs, or research proposals with individual faculty using the contact information in this document

Smart Technologies for Precision Assembly

This open access book constitutes the refereed post-conference proceedings of the 9th IFIP WG 5.5 International Precision Assembly Seminar, IPAS 2020, held virtually in December 2020. The 16 revised full papers and 10 revised short papers presented together with 1 keynote paper were carefully reviewed and selected from numerous submissions. The papers address topics such as assembly design and planning; assembly operations; assembly cells and systems; human centred assembly; and assistance methods in assembly

On discovering and learning structure under limited supervision

Les formes, les surfaces, les événements et les objets (vivants et non vivants) constituent le monde. L'intelligence des agents naturels, tels que les humains, va au-delà de la simple reconnaissance de formes. Nous excellons à construire des représentations et à distiller des connaissances pour comprendre et déduire la structure du monde. Spécifiquement, le développement de telles capacités de raisonnement peut se produire même avec une supervision limitée. D'autre part, malgré son développement phénoménal, les succès majeurs de l'apprentissage automatique, en particulier des modèles d'apprentissage profond, se situent principalement dans les tâches qui ont accès à de grands ensembles de données annotées. Dans cette thèse, nous proposons de nouvelles solutions pour aider à combler cette lacune en permettant aux modèles d'apprentissage automatique d'apprendre la structure et de permettre un raisonnement efficace en présence de tâches faiblement supervisés. Le thème récurrent de la thèse tente de s'articuler autour de la question « Comment un système perceptif peut-il apprendre à organiser des informations sensorielles en connaissances utiles sous une supervision limitée ? » Et il aborde les thèmes de la géométrie, de la composition et des associations dans quatre articles distincts avec des applications à la vision par ordinateur (CV) et à l'apprentissage par renforcement (RL). Notre première contribution ---Pix2Shape---présente une approche basée sur l'analyse par synthèse pour la perception. Pix2Shape exploite des modèles génératifs probabilistes pour apprendre des représentations 3D à partir d'images 2D uniques. Le formalisme qui en résulte nous offre une nouvelle façon de distiller l'information d'une scène ainsi qu'une représentation puissantes des images. Nous y parvenons en augmentant l'apprentissage profond non supervisé avec des biais inductifs basés sur la physique pour décomposer la structure causale des images en géométrie, orientation, pose, réflectance et éclairage. Notre deuxième contribution ---MILe--- aborde les problèmes d'ambiguïté dans les ensembles de données à label unique tels que ImageNet. Il est souvent inapproprié de décrire une image avec un seul label lorsqu'il est composé de plus d'un objet proéminent. Nous montrons que l'intégration d'idées issues de la littérature linguistique cognitive et l'imposition de biais inductifs appropriés aident à distiller de multiples descriptions possibles à l'aide d'ensembles de données aussi faiblement étiquetés. Ensuite, nous passons au paradigme d'apprentissage par renforcement, et considérons un agent interagissant avec son environnement sans signal de récompense. Notre troisième contribution ---HaC--- est une approche non supervisée basée sur la curiosité pour apprendre les associations entre les modalités visuelles et tactiles. Cela aide l'agent à explorer l'environnement de manière autonome et à utiliser davantage ses connaissances pour s'adapter aux tâches en aval. La supervision dense des récompenses n'est pas toujours disponible (ou n'est pas facile à concevoir), dans de tels cas, une exploration efficace est utile pour générer un comportement significatif de manière auto-supervisée. Pour notre contribution finale, nous abordons l'information limitée contenue dans les représentations obtenues par des agents RL non supervisés. Ceci peut avoir un effet néfaste sur la performance des agents lorsque leur perception est basée sur des images de haute dimension. Notre approche a base de modèles combine l'exploration et la planification sans récompense pour affiner efficacement les modèles pré-formés non supervisés, obtenant des résultats comparables à un agent entraîné spécifiquement sur ces tâches. Il s'agit d'une étape vers la création d'agents capables de généraliser rapidement à plusieurs tâches en utilisant uniquement des images comme perception.Shapes, surfaces, events, and objects (living and non-living) constitute the world. The intelligence of natural agents, such as humans is beyond pattern recognition. We excel at building representations and distilling knowledge to understand and infer the structure of the world. Critically, the development of such reasoning capabilities can occur even with limited supervision. On the other hand, despite its phenomenal development, the major successes of machine learning, in particular, deep learning models are primarily in tasks that have access to large annotated datasets. In this dissertation, we propose novel solutions to help address this gap by enabling machine learning models to learn the structure and enable effective reasoning in the presence of weakly supervised settings. The recurring theme of the thesis tries to revolve around the question of "How can a perceptual system learn to organize sensory information into useful knowledge under limited supervision?" And it discusses the themes of geometry, compositions, and associations in four separate articles with applications to computer vision (CV) and reinforcement learning (RL). Our first contribution ---Pix2Shape---presents an analysis-by-synthesis based approach(also referred to as inverse graphics) for perception. Pix2Shape leverages probabilistic generative models to learn 3D-aware representations from single 2D images. The resulting formalism allows us to perform a novel view synthesis of a scene and produce powerful representations of images. We achieve this by augmenting unsupervised learning with physically based inductive biases to decompose a scene structure into geometry, pose, reflectance and lighting. Our Second contribution ---MILe--- addresses the ambiguity issues in single-labeled datasets such as ImageNet. It is often inappropriate to describe an image with a single label when it is composed of more than one prominent object. We show that integrating ideas from Cognitive linguistic literature and imposing appropriate inductive biases helps in distilling multiple possible descriptions using such weakly labeled datasets. Next, moving into the RL setting, we consider an agent interacting with its environment without a reward signal. Our third Contribution ---HaC--- is a curiosity based unsupervised approach to learning associations between visual and tactile modalities. This aids the agent to explore the environment in an analogous self-guided fashion and further use this knowledge to adapt to downstream tasks. In the absence of reward supervision, intrinsic movitivation is useful to generate meaningful behavior in a self-supervised manner. In our final contribution, we address the representation learning bottleneck in unsupervised RL agents that has detrimental effect on the performance on high-dimensional pixel based inputs. Our model-based approach combines reward-free exploration and planning to efficiently fine-tune unsupervised pre-trained models, achieving comparable results to task-specific baselines. This is a step towards building agents that can generalize quickly on more than a single task using image inputs alone

Urban green spaces enhance carbon sequestration and conserve biodiversity in cities of the Global South : case of Kumasi, Ghana

Urbanization has the propensity to alter ecosystems, enervate ecosystem function and possibly jeopardise human wellbeing. While adequate integration of nature into the city landscape can pragmatically ameliorate urban environmental challenges, particularly those related to climate change and ecosystem degradation, in the developing regions, especially in Africa, urban green spaces (UGS) are hardly planned for and their ecosystem services unquantified and hence misappropriated. This study analyses 1) the spatio-temporal dynamics and distributional equity, 2) carbon sequestration potential, and 3) biodiversity patterns of UGS in Kumasi metropolis, Ghana. Direct ecosystem assessment (inventory and survey) and remote sensing techniques were adopted in this study. The vegetation cover of Kumasi is about 33 % and is declining fourfold faster in recent years (2009 – 2014) than previously (986 – 2001). Per capita UGS area for 2009 and 2014 are significantly correlated with the socio-economic conditions of submetropolis. The green area stores about 3758.1 Gg C: equivalent to 270±22 t C/ha per UGS cover or 125.7 ± 8 t C/ha for the entire study area in both soil and vegetation. Exactly 176 tree species in 46 families of both native and exotic origins occur in the city. Carbon stocks and species richness differ significantly across UGS types. Natural forest, public parks, cemeteries and institutional compounds stored more carbon in vegetation whereas soil organic carbon storage was highest in the home gardens, farmlands, plantations, and grasslands. The outer fringes of the city support more species and carbon stocks than the core urban area. Species and trait diversity are important drivers of urban ecosystem productivity (carbon storage). UGS species richness correlated strongly with vegetation carbon storage in the city. UGS are carbon sinks and biodiversity reservoirs which can be relevant to climate change mitigation and adaptation as well as the overall wellbeing of urbanites. However, UGS cover is currently plummeting and is threatened by further urbanization processes including rise in population. Maintenance, expansion, and uniform distribution of green spaces in cities should be a priority for planners, national and local governments as well as traditional leaders. It is recommended that urban biodiversity and carbon stocks be integrated into national and regional biodiversity and carbon stock assessments in Africa.Durch Verstädterung besteht die Tendenz, dass Ökosysteme verändert werden, die Funktion von Ökosystemen geschwächt wird und möglicherweise das menschliche Wohlergehen gefährdet wird. Während eine angemessene Integration von Grünflächen in die Stadtlandschaft bei der Bewältigung der städtischen ökologischen Herausforderungen, besonders in Bezug auf Klimawandel und die Beeinträchtigung des Ökosystems, pragmatisch helfen kann, werden in Entwicklungsgebieten, vor allem in Afrika, kaum städtische Grünflächen (urban green spaces - UGS) geplant. Des Weiteren werden die von UGS geleisteten Ökosystemdienstleistungen zumeist nicht beziffert und demnach in globalen Analysen nicht erfasst. Diese Studie analysiert 1) die räumlich-zeitliche Dynamik und das Verteilungsmuster, 2) das Potential von Kohlenstoffbindung und 3) die biologische Vielfalt und Funktion von UGS im städtischen Großraum von Kumasi, Ghana. In dieser Studie wurden Methoden zur direkten Bewertung des Ökosystems und Fernerkundungstechniken verwandt. UGS in Kumasi umfassen z.Z. etwa 33 % des städtischen Großraum von Kumasi und diese Fläche schrumpfte in den letzten Jahren (2009 – 2014) viermal schneller als zuvor (1986 – 2001). Die pro Kopf Verteilung von UGS in Kumasi korreliert signifikant mit den dortigen sozioökonomischen Bedingungen. Die Grünflächen speichern etwa 3758,1 Gg Kohlenstoff; im Durchschnitt entspricht dies 270 ± 22 t Kohlenstoff / ha UGS oder 125,7 t Kohlenstoff / ha im gesamten Untersuchungsgebiet, sowohl in Form von Böden als auch Vegetation. Im Großraum Kumasi kommen 176 verschiedene Baumarten aus 46 heimischen und nicht-heimischen Familien vor. Kohlenstoffbestände und Artenvielfalt unterscheiden sich strak in Abhängigkeit des Typus von UGS. Reste natürlichen Waldbestandes, öffentliche Parks, Friedhöfe und Bäume auf dem Gelände von öffentlichen Institutionen speicherten mehr Kohlenstoff in der Vegetation, wobei der organische Kohlenstoffspeicher in privaten Gärten, auf Feldern, Plantagen und Grasflächen am höchsten war. Stadtrandgebiete haben eine höhere Biodiversität und speichern mehr Biomasse als der innenstädtische Bereich. Arten- und phenotypische Vielfalt haben einen grossen Einfluß auf die Funktion städtischer Ökosysteme. Das Ausmaß der Artenvielfalt in städtischen Grünflächen steht im engen Zusammenhang mit dem Kohlenstoffbestand in der städtischen Vegetation. Städtische Grünflächen sind wichtige Kohlenstoffspeicher und Quellen der biologischen Vielfalt, die für die Vermeidung von und Anpassung an Klimawandelfolgen und das allgemeine Wohlergehen von Städten sehr relevant sind. Allerdings gefährdet das rapide Bevölkerungswachstum und die zunehmende Urbaniserung die existierenden städtischem Grünflächen in Afrika. Instandhaltung, Erweiterung und auch eine verbesserte und gerechtere Verteilung von städtischen Grünflächen sollten für Städteplaner, Landesregierungen, Lokalverwaltungen und traditionelle Führer eine Priorität darstellen

Towards a sustainable urban expansion: a case study of cities in Bangladesh

The economic growth of Bangladesh over the last several decades has subsequently been followed by the rapid expansion of urban areas. Unfortunately, this expansion of the urban footprint has mostly occurred in an unplanned and chaotic manner through the conversion of natural areas to urban landscape due to the lack of regulation and policies guiding the country’s urban planning. This has raised concerns about the sustainability and livability of these cities and urged the need for a robust planning framework targeted at promoting sustainable urban expansion. A well-x and enhancing the quality of life for everyone while minimizing environmental degradation and other potential adverse impacts of a growing number of city dwellers. This dissertation examines the extent of unevenness in urban growth patterns in Bangladesh and explores the application of Urban Growth Boundaries (UGB) as a mechanism to control and direct the growth of built-up urban areas to promote sustainable urban expansion of these cities. The first part of the dissertation examines the unevenness in the urban expansion in Bangladesh by comparing the urban footprint of the cities and municipalities in Bangladesh extracted using Google Earth Engine (GEE) and census population data for these areas. While a greater proportion of the population has been increasingly concentrated in the smaller and mid-sized cities over the last three decades, built-up urban areas, on the other hand, have been mostly clustered in the two largest cities— Dhaka and Chattogram—accounting for nearly 60 percent of the total built-up urban areas. These results shed light on the magnitude of continued spatial inequalities in urban development amongst cities and municipalities in Bangladesh despite there being an overall increase of evenness in the distribution of population over time. The second part of the dissertation explores the application of UGB delineation using Support Vector Machine (SVM) supervised machine learning algorithm as an urban growth restriction mechanism for the city of Chattogram, one of the world's largest port cities and the second-largest metropolitan areas in Bangladesh, as a case study. The application of the Support Vector Machine (SVM) supervised machine learning algorithm is a novel approach to the delineation of UGB and this model was used to simulate future built-up urban areas up to 2040 for Chattogram and to determine the UGB for the city. Although the delineation of the UGB is a crucial step for the adoption and implementation process of UGB for Chattogram, the overall success of the UGB policy is dependent on external factors that directly or indirectly impact the policy. The third part of the dissertation, thus, investigates the key considerations essential for the successful adoption and implementation of UGB for Chattogram. Through a systematic review of literature on UGB and planning policies on Chattogram, along with a web-based survey and unstructured interview with city officials, it examines the stakeholders’ perceptions on current growth patterns, the potential application of UGB as an urban growth containment strategy, and concerns and support regarding the application of UGB. While there has been an overall positive response regarding a potential adoption of UGB for Chattogram, this paper identifies five key concerns that would need to be addressed for the successful adoption and implementation of UGB for the city of Chattogram. These key challenges are namely: policy and regulatory consideration, civic engagement and stakeholder input, bureaucratic consensus and coordination, institutional capacity, and external influences. While distinct, these concerns are highly interrelated and can be expected to have a substantial influence on one another and need to be addressed for the successful adoption of UGB. These key challenges including policy and regulatory consideration, civic engagement and stakeholder input, bureaucratic consensus and coordination, institutional capacity, and external influences. While parts III and IV of this dissertation specifically focuses on the city of Chattogram as a testbed for the application of UGB, a similar methodological approach could potentially be implemented for other cities in Bangladesh with the goal to promote sustainable urban expansion

Aeronautical engineering: A continuing bibliography with indexes (supplement 247)

This bibliography lists 437 reports, articles, and other documents introduced into the NASA scientific and technical information system in December, 1989. Subject coverage includes: design, construction and testing of aircraft and aircraft engines; aircraft components, equipment and systems; ground support systems; and theoretical and applied aspects of aerodynamics and general fluid dynamics