3D reconstruction and motion estimation using forward looking sonar

Autonomous Underwater Vehicles (AUVs) are increasingly used in different domains including archaeology, oil and gas industry, coral reef monitoring, harbour’s security, and mine countermeasure missions. As electromagnetic signals do not penetrate underwater environment, GPS signals cannot be used for AUV navigation, and optical cameras have very short range underwater which limits their use in most underwater environments. Motion estimation for AUVs is a critical requirement for successful vehicle recovery and meaningful data collection. Classical inertial sensors, usually used for AUV motion estimation, suffer from large drift error. On the other hand, accurate inertial sensors are very expensive which limits their deployment to costly AUVs. Furthermore, acoustic positioning systems (APS) used for AUV navigation require costly installation and calibration. Moreover, they have poor performance in terms of the inferred resolution. Underwater 3D imaging is another challenge in AUV industry as 3D information is increasingly demanded to accomplish different AUV missions. Different systems have been proposed for underwater 3D imaging, such as planar-array sonar and T-configured 3D sonar. While the former features good resolution in general, it is very expensive and requires huge computational power, the later is cheaper implementation but requires long time for full 3D scan even in short ranges. In this thesis, we aim to tackle AUV motion estimation and underwater 3D imaging by proposing relatively affordable methodologies and study different parameters affecting their performance. We introduce a new motion estimation framework for AUVs which relies on the successive acoustic images to infer AUV ego-motion. Also, we propose an Acoustic Stereo Imaging (ASI) system for underwater 3D reconstruction based on forward looking sonars; the proposed system features cheaper implementation than planar array sonars and solves the delay problem in T configured 3D sonars

Reconstruction tridimensionnelle de scènes sous- marines à partir de séquences d'images acquises par des caméras acoustiques

According to recent studies, climate change is having a significant impact on our marine environment inducing temperature increases, chemistry changes, ocean circulation influencing both population dynamics and underwater structure stability. Environmental change is thus a growing scientific concern requiring a regular monitoring of the evolution of underwater ecosystems with appropriate studies combined with accurate and relevant detailed information extraction and preservation. Tracking and modeling such changes in a marine environment is one of the current challenges for underwater exploration. The most common technique used to observe underwater environment, relies on vision-based systems either acoustical or optical. Optical cameras are widely used for acquiring images of the seafloor/underwater structures as they can provide information about the physical properties of the image that will enable the description of the observed scene (color, reflection, geometry). However, the range limitation and non-ideal underwater conditions (dark and turbid waters) make acoustic imaging the most reliable means of sight inside the underwater environment. Traditional sonar systems cannot provide an acoustic image sequences like optical cameras. To overcome those drawbacks, acoustic camera was built. They can produce real time high resolution underwater image sequences, with high refresh rate. Moreover, compared to optical devices, they can acquire acoustic images in turbid, deep and dark water making acoustic camera imaging a reliable means for observing underwater environment. However, although acoustic cameras can provide 2-D resolution of the order of centimeters, they do not resolve the altitude of observed scene. Thus they offer a 2D environment representation which provides incomplete information about the underwater environment. Hence, it would be very interesting to have a system which can provide height information as well as a high resolution. This is the purpose of this thesis where we developed a methodology that enables 3D reconstruction of underwater scenes using sequences of acoustic images. The proposed methodology is inspired from stereovision techniques that allow 3D information computation from image sequences. It consists of two main steps. In the first step, we propose an approach that enables the extraction of relevant salient points from several images. In the second step, two different methods have been proposed (curvilinear approach and volumetric approach) in order to reconstruct the observed scene using images acquired from different viewpoints. The Covariance Matrix Adaptation Evolution Strategy algorithm (CMA-ES) has been used to compute camera movement between images. This movement has been then used to retrieve 3D information. The methodology performances have been evaluated: feature extraction approach has been assessed using criteria of good detection, repeatability and good localization and 3D reconstruction approach has been assessed by comparison between estimated camera movement and 3D information with real data.Depuis que les études des impacts des changements climatiques ont montré que le milieu marin pourrait être énormément fragilisé par la disparition de certaines espèces de sa faune et de sa flore, ainsi que par le vieillissement rapide de son infrastructure sous-marine, la recherche de systèmes d'observation robustes et continus est classée parmi les sujets de recherche les plus prioritaires des scientifiques. Généralement, l'observation de l'environnement et l'inspection des infrastructures sous-marines se font au moyen des capteurs imageurs tels que les capteurs optiques ou les systèmes acoustiques. Toutefois, ces outils souffrent de certaines limitations lors de leur utilisation. Les caméras optiques fournissent des données caractérisées par une bonne résolution permettant une interprétation facile des scènes observées mais aussi par des problèmes techniques lors de l'acquisition liés aux conditions du milieu marin (e.g. manque de visibilité) empêchant une observation continue du milieu. Les sonars traditionnels produisent aussi des images mais ils n'offrent pas de séquences d'images de haute cadence tels que les capteurs optiques, et leur utilisation est parfois contrainte dans les milieux portuaires et de faible profondeur. C'est pour pallier ces problèmes que les caméras acoustiques ont été conçues. Elles ont la capacité d'acquérir des séquences d'images multi-vues avec une haute cadence et de fonctionner dans des milieux très turbides. Néanmoins, ces caméras ne produisent que des images en 2D où l'élévation de la scène observée est inconnue. Or, une représentation 2D de l'environnement ne peut présenter qu'une partie des informations, elle n'est pas en mesure de représenter "fidèlement" le milieu où le phénomène est observé. Ceci n'est possible qu'à travers une représentation 3D. L'objectif de cette thèse est donc de développer une approche de reconstruction 3D de scènes sous-marines à partir de séquences d'images acquises par des caméras acoustiques. Pour ce faire, nous nous sommes inspirés du principe de la stéréovision pour une reconstruction 3D à partir de points saillants. Néanmoins, la géométrie et la nature bruitée des images acoustiques ne permettent pas une application directe du principe de la stéréovision. Ainsi nous proposons dans cette thèse, une méthodologie de reconstruction 3D qui répond aux problématiques posées par les images des caméras acoustiques. Elle se base, en première partie, sur la conception d'un processus d'extraction de points saillants pertinents sur lesquels, en deuxième partie, va pouvoir s'appuyer la reconstruction 3D de la scène observée. Pour la reconstruction 3D, nous proposons deux approches différentes : une approche curviligne et une approche volumique. Dans ces deux approches, l'algorithme d'optimisation CMA-ES issu de la famille des stratégies d'évolution intervient dans le calcul du mouvement de la caméra entre les images, la détermination de ce mouvement permettant par la suite, l'estimation des informations 3D. La performance de l'approche d'extraction de primitives ainsi que celle des approches de reconstruction 3D ont été évaluées: la première au travers de critères de bonne détection, de répétabilité et de bonne localisation et la deuxième au travers de la comparaison du mouvement et des informations 3D estimés avec des données réelles