Learning geometric and lighting priors from natural images

Comprendre les images est d’une importance cruciale pour une pléthore de tâches, de la composition numérique au ré-éclairage d’une image, en passant par la reconstruction 3D d’objets. Ces tâches permettent aux artistes visuels de réaliser des chef-d’oeuvres ou d’aider des opérateurs à prendre des décisions de façon sécuritaire en fonction de stimulis visuels. Pour beaucoup de ces tâches, les modèles physiques et géométriques que la communauté scientifique a développés donnent lieu à des problèmes mal posés possédant plusieurs solutions, dont généralement une seule est raisonnable. Pour résoudre ces indéterminations, le raisonnement sur le contexte visuel et sémantique d’une scène est habituellement relayé à un artiste ou un expert qui emploie son expérience pour réaliser son travail. Ceci est dû au fait qu’il est généralement nécessaire de raisonner sur la scène de façon globale afin d’obtenir des résultats plausibles et appréciables. Serait-il possible de modéliser l’expérience à partir de données visuelles et d’automatiser en partie ou en totalité ces tâches ? Le sujet de cette thèse est celui-ci : la modélisation d’a priori par apprentissage automatique profond pour permettre la résolution de problèmes typiquement mal posés. Plus spécifiquement, nous couvrirons trois axes de recherche, soient : 1) la reconstruction de surface par photométrie, 2) l’estimation d’illumination extérieure à partir d’une seule image et 3) l’estimation de calibration de caméra à partir d’une seule image avec un contenu générique. Ces trois sujets seront abordés avec une perspective axée sur les données. Chacun de ces axes comporte des analyses de performance approfondies et, malgré la réputation d’opacité des algorithmes d’apprentissage machine profonds, nous proposons des études sur les indices visuels captés par nos méthodes.Understanding images is needed for a plethora of tasks, from compositing to image relighting, including 3D object reconstruction. These tasks allow artists to realize masterpieces or help operators to safely make decisions based on visual stimuli. For many of these tasks, the physical and geometric models that the scientific community has developed give rise to ill-posed problems with several solutions, only one of which is generally reasonable. To resolve these indeterminations, the reasoning about the visual and semantic context of a scene is usually relayed to an artist or an expert who uses his experience to carry out his work. This is because humans are able to reason globally on the scene in order to obtain plausible and appreciable results. Would it be possible to model this experience from visual data and partly or totally automate tasks? This is the topic of this thesis: modeling priors using deep machine learning to solve typically ill-posed problems. More specifically, we will cover three research axes: 1) surface reconstruction using photometric cues, 2) outdoor illumination estimation from a single image and 3) camera calibration estimation from a single image with generic content. These three topics will be addressed from a data-driven perspective. Each of these axes includes in-depth performance analyses and, despite the reputation of opacity of deep machine learning algorithms, we offer studies on the visual cues captured by our methods

Deep Upright Adjustment of 360 Panoramas using Multiple Roll Estimations

1

Human estimation of slope, distance, and height of terrain in simulated lunar conditions

Thesis (S.M.)--Massachusetts Institute of Technology, Dept. of Aeronautics and Astronautics, 2009.Includes bibliographical references (p. 161-166).As NASA's Vision for Space Exploration seeks to explore mountainous regions near the southern pole through frequent, long excursions, astronauts will require accurate navigational assistance. Current and future technology, including LIDAR data, laser rangefinders, and path planning programs will likely be available; however, the human's own perception of the terrain may affect their confidence in these instruments and be necessary during emergency situations. These unique lunar conditions are expected to affect human perception: the lack of an atmosphere (inhibiting the use of aerial perspective as a distance cue and causing the formation of deep cast shadows), the non-Lambertian regolith reflectance properties, the lack of familiar objects, and the physiological effects of reduced gravity. This project examines the inherent errors humans make when judging the slope, distance, and height of terrain, both on the Earth in a lunar-like environment and on the Moon using photographs from the Apollo missions. Five experiments were conducted in field and Virtual Reality (VR) environments. The effects of true slope, true distance, and sun elevation on slope estimates were determined using visual and motor responses in a lunar-like Utah environment and reproduced in a VR environment using synoptically viewed images in two body positions, under normal and lunar Gz loading conditions. The effects of true slope, distance, and body position on slope, distance, and height estimates of synoptically viewed Apollo panoramic images were measured and compared to measurements obtained from topographical maps. Systematic and random errors were determined for all estimates. Slope estimate comparisons were made between lunar-like and lunar terrain and also between lunar hills and craters. Slope was significantly overestimated in the field study by 130 - 230 with large between-subject errors.(cont.) Lunar-like field and VR slope estimates were not significantly different from each other. Slope estimates were significantly greater at lower sun elevations and closer distances in the Lunar-like VR Study. Both slope and distance estimates were significantly greater from a lunar Gz supine position. Lunar distance estimates varied largely and slope estimation errors were significantly greater for craters than for hills. A new relationsihp between hill shape and perceived steepness was also discovered. The recommendations of this study include the development of a VR training tool to calibrate an astronaut's slope, distance, and height perception prior to lunar missions and future field studies at Devon Island to determine the effect of hill shape on estimates and to determine the regression coefficients of sun elevation and distance variables to be used in a model integrated with rangefinding devices in a Heads-Up-Display (HUD).by Christopher Oravetz.S.M

On the use of smartphones as novel photogrammetric water gauging instruments: Developing tools for crowdsourcing water levels

The term global climate change is omnipresent since the beginning of the last decade. Changes in the global climate are associated with an increase in heavy rainfalls that can cause nearly unpredictable flash floods. Consequently, spatio-temporally high-resolution monitoring of rivers becomes increasingly important. Water gauging stations continuously and precisely measure water levels. However, they are rather expensive in purchase and maintenance and are preferably installed at water bodies relevant for water management. Small-scale catchments remain often ungauged. In order to increase the data density of hydrometric monitoring networks and thus to improve the prediction quality of flood events, new, flexible and cost-effective water level measurement technologies are required. They should be oriented towards the accuracy requirements of conventional measurement systems and facilitate the observation of water levels at virtually any time, even at the smallest rivers. A possible solution is the development of a photogrammetric smartphone application (app) for crowdsourcing water levels, which merely requires voluntary users to take pictures of a river section to determine the water level. Today’s smartphones integrate high-resolution cameras, a variety of sensors, powerful processors, and mass storage. However, they are designed for the mass market and use low-cost hardware that cannot comply with the quality of geodetic measurement technology. In order to investigate the potential for mobile measurement applications, research was conducted on the smartphone as a photogrammetric measurement instrument as part of the doctoral project. The studies deal with the geometric stability of smartphone cameras regarding device-internal temperature changes and with the accuracy potential of rotation parameters measured with smartphone sensors. The results show a high, temperature-related variability of the interior orientation parameters, which is why the calibration of the camera should be carried out during the immediate measurement. The results of the sensor investigations show considerable inaccuracies when measuring rotation parameters, especially the compass angle (errors up to 90° were observed). The same applies to position parameters measured by global navigation satellite system (GNSS) receivers built into smartphones. According to the literature, positional accuracies of about 5 m are possible in best conditions. Otherwise, errors of several 10 m are to be expected. As a result, direct georeferencing of image measurements using current smartphone technology should be discouraged. In consideration of the results, the water gauging app Open Water Levels (OWL) was developed, whose methodological development and implementation constituted the core of the thesis project. OWL enables the flexible measurement of water levels via crowdsourcing without requiring additional equipment or being limited to specific river sections. Data acquisition and processing take place directly in the field, so that the water level information is immediately available. In practice, the user captures a short time-lapse sequence of a river bank with OWL, which is used to calculate a spatio-temporal texture that enables the detection of the water line. In order to translate the image measurement into 3D object space, a synthetic, photo-realistic image of the situation is created from existing 3D data of the river section to be investigated. Necessary approximations of the image orientation parameters are measured by smartphone sensors and GNSS. The assignment of camera image and synthetic image allows for the determination of the interior and exterior orientation parameters by means of space resection and finally the transfer of the image-measured 2D water line into the 3D object space to derive the prevalent water level in the reference system of the 3D data. In comparison with conventionally measured water levels, OWL reveals an accuracy potential of 2 cm on average, provided that synthetic image and camera image exhibit consistent image contents and that the water line can be reliably detected. In the present dissertation, related geometric and radiometric problems are comprehensively discussed. Furthermore, possible solutions, based on advancing developments in smartphone technology and image processing as well as the increasing availability of 3D reference data, are presented in the synthesis of the work. The app Open Water Levels, which is currently available as a beta version and has been tested on selected devices, provides a basis, which, with continuous further development, aims to achieve a final release for crowdsourcing water levels towards the establishment of new and the expansion of existing monitoring networks.Der Begriff des globalen Klimawandels ist seit Beginn des letzten Jahrzehnts allgegenwärtig. Die Veränderung des Weltklimas ist mit einer Zunahme von Starkregenereignissen verbunden, die nahezu unvorhersehbare Sturzfluten verursachen können. Folglich gewinnt die raumzeitlich hochaufgelöste Überwachung von Fließgewässern zunehmend an Bedeutung. Pegelmessstationen erfassen kontinuierlich und präzise Wasserstände, sind jedoch in Anschaffung und Wartung sehr teuer und werden vorzugsweise an wasserwirtschaftlich-relevanten Gewässern installiert. Kleinere Gewässer bleiben häufig unbeobachtet. Um die Datendichte hydrometrischer Messnetze zu erhöhen und somit die Vorhersagequalität von Hochwasserereignissen zu verbessern, sind neue, kostengünstige und flexibel einsetzbare Wasserstandsmesstechnologien erforderlich. Diese sollten sich an den Genauigkeitsanforderungen konventioneller Messsysteme orientieren und die Beobachtung von Wasserständen zu praktisch jedem Zeitpunkt, selbst an den kleinsten Flüssen, ermöglichen. Ein Lösungsvorschlag ist die Entwicklung einer photogrammetrischen Smartphone-Anwendung (App) zum Crowdsourcing von Wasserständen mit welcher freiwillige Nutzer lediglich Bilder eines Flussabschnitts aufnehmen müssen, um daraus den Wasserstand zu bestimmen. Heutige Smartphones integrieren hochauflösende Kameras, eine Vielzahl von Sensoren, leistungsfähige Prozessoren und Massenspeicher. Sie sind jedoch für den Massenmarkt konzipiert und verwenden kostengünstige Hardware, die nicht der Qualität geodätischer Messtechnik entsprechen kann. Um das Einsatzpotential in mobilen Messanwendungen zu eruieren, sind Untersuchungen zum Smartphone als photogrammetrisches Messinstrument im Rahmen des Promotionsprojekts durchgeführt worden. Die Studien befassen sich mit der geometrischen Stabilität von Smartphone-Kameras bezüglich geräteinterner Temperaturänderungen und mit dem Genauigkeitspotential von mit Smartphone-Sensoren gemessenen Rotationsparametern. Die Ergebnisse zeigen eine starke, temperaturbedingte Variabilität der inneren Orientierungsparameter, weshalb die Kalibrierung der Kamera zum unmittelbaren Messzeitpunkt erfolgen sollte. Die Ergebnisse der Sensoruntersuchungen zeigen große Ungenauigkeiten bei der Messung der Rotationsparameter, insbesondere des Kompasswinkels (Fehler von bis zu 90° festgestellt). Selbiges gilt auch für Positionsparameter, gemessen durch in Smartphones eingebaute Empfänger für Signale globaler Navigationssatellitensysteme (GNSS). Wie aus der Literatur zu entnehmen ist, lassen sich unter besten Bedingungen Lagegenauigkeiten von etwa 5 m erreichen. Abseits davon sind Fehler von mehreren 10 m zu erwarten. Infolgedessen ist von einer direkten Georeferenzierung von Bildmessungen mittels aktueller Smartphone-Technologie abzusehen. Unter Berücksichtigung der gewonnenen Erkenntnisse wurde die Pegel-App Open Water Levels (OWL) entwickelt, deren methodische Entwicklung und Implementierung den Kern der Arbeit bildete. OWL ermöglicht die flexible Messung von Wasserständen via Crowdsourcing, ohne dabei zusätzliche Ausrüstung zu verlangen oder auf spezifische Flussabschnitte beschränkt zu sein. Datenaufnahme und Verarbeitung erfolgen direkt im Feld, so dass die Pegelinformationen sofort verfügbar sind. Praktisch nimmt der Anwender mit OWL eine kurze Zeitraffersequenz eines Flussufers auf, die zur Berechnung einer Raum-Zeit-Textur dient und die Erkennung der Wasserlinie ermöglicht. Zur Übersetzung der Bildmessung in den 3D-Objektraum wird aus vorhandenen 3D-Daten des zu untersuchenden Flussabschnittes ein synthetisches, photorealistisches Abbild der Aufnahmesituation erstellt. Erforderliche Näherungen der Bildorientierungsparameter werden von Smartphone-Sensoren und GNSS gemessen. Die Zuordnung von Kamerabild und synthetischem Bild erlaubt die Bestimmung der inneren und äußeren Orientierungsparameter mittels räumlichen Rückwärtsschnitt. Nach Rekonstruktion der Aufnahmesituation lässt sich die im Bild gemessene 2D-Wasserlinie in den 3D-Objektraum projizieren und der vorherrschende Wasserstand im Referenzsystem der 3D-Daten ableiten. Im Soll-Ist-Vergleich mit konventionell gemessenen Pegeldaten zeigt OWL ein erreichbares Genauigkeitspotential von durchschnittlich 2 cm, insofern synthetisches und reales Kamerabild einen möglichst konsistenten Bildinhalt aufweisen und die Wasserlinie zuverlässig detektiert werden kann. In der vorliegenden Dissertation werden damit verbundene geometrische und radiometrische Probleme ausführlich diskutiert sowie Lösungsansätze, auf der Basis fortschreitender Entwicklungen von Smartphone-Technologie und Bildverarbeitung sowie der zunehmenden Verfügbarkeit von 3D-Referenzdaten, in der Synthese der Arbeit vorgestellt. Mit der gegenwärtig als Betaversion vorliegenden und auf ausgewählten Geräten getesteten App Open Water Levels wurde eine Basis geschaffen, die mit kontinuierlicher Weiterentwicklung eine finale Freigabe für das Crowdsourcing von Wasserständen und damit den Aufbau neuer und die Erweiterung bestehender Monitoring-Netzwerke anstrebt

Design of broadband antireflective layer stacks with low surface energy prepared by sol-gel method on glass for photovoltaic application

236 p.En el Capítulo 1 de este trabajo de investigación, se introducen los aspectos relevantes relativos la tecnología fotovoltaica, tales como los tipos de células solares, así como la forma en la que estas células se integran en el módulo, y algunos requerimientos de los materiales. A continuación, se introducen los materiales, tecnologías y rutas de síntesis más prometedoras que permiten depositar recubrimientos anti-reflectantes mecánicamente robustos, con propiedades combinadas de anti-ensuciamiento. Las técnicas experimentales, sus fundamentos físicos, y el equipamiento utilizado para el desarrollo del trabajo se describen en el Capítulo 2. En el Capítulo 3, se presenta el diseño óptico teórico del sistema de recubrimientos que permiten maximizar la transmitancia óptica, en el rango de longitudes de onda en los que determinados tipos de células solares son activas. A continuación, se presenta el método experimental de síntesis de los recubrimientos cuyas cualidades objetivo has sido obtenidas en el cálculo teórico. En el Capítulo 4 se han preparado recubrimientos ó funcionalizaciones para obtener superficies con baja energía libre superficial que potencialmente repelan el agua, contaminantes y polvo. En el Capítulo 5, los sistemas de recubrimiento más prometedores se han sometido a una batería más completa ensayos de fiabilidad, algunos de ellos utilizados por la industria fotovoltaica para validar los materiales y componentes utilizados en la fabricación de módulos fotovoltaicos. Este trabajo de investigación se concluye con un Capitulo 6 que contiene conclusiones generales, líneas futuras y producción científica

Design of broadband antireflective layer stacks with low surface energy prepared by sol-gel method on glass for photovoltaic application

236 p.En el Capítulo 1 de este trabajo de investigación, se introducen los aspectos relevantes relativos la tecnología fotovoltaica, tales como los tipos de células solares, así como la forma en la que estas células se integran en el módulo, y algunos requerimientos de los materiales. A continuación, se introducen los materiales, tecnologías y rutas de síntesis más prometedoras que permiten depositar recubrimientos anti-reflectantes mecánicamente robustos, con propiedades combinadas de anti-ensuciamiento. Las técnicas experimentales, sus fundamentos físicos, y el equipamiento utilizado para el desarrollo del trabajo se describen en el Capítulo 2. En el Capítulo 3, se presenta el diseño óptico teórico del sistema de recubrimientos que permiten maximizar la transmitancia óptica, en el rango de longitudes de onda en los que determinados tipos de células solares son activas. A continuación, se presenta el método experimental de síntesis de los recubrimientos cuyas cualidades objetivo has sido obtenidas en el cálculo teórico. En el Capítulo 4 se han preparado recubrimientos ó funcionalizaciones para obtener superficies con baja energía libre superficial que potencialmente repelan el agua, contaminantes y polvo. En el Capítulo 5, los sistemas de recubrimiento más prometedores se han sometido a una batería más completa ensayos de fiabilidad, algunos de ellos utilizados por la industria fotovoltaica para validar los materiales y componentes utilizados en la fabricación de módulos fotovoltaicos. Este trabajo de investigación se concluye con un Capitulo 6 que contiene conclusiones generales, líneas futuras y producción científica