Creating a Synthetic Underwater Dataset for Egomotion Estimation and 3D Reconstruction

Denne oppgaven har som mål å lage et dataset fra et virituelt undervannsmiljø som inneholder bilder, sensordata og korrekt refereansedata. Dette gjøres i samarbeid med NTNUs "Autonomous Robots for Ocean Sustainability" (AROS) gruppe, og deres undergruppe AROS Vision Group som fokuserer på bruke et eller flere kamera ombord i roboten til 3D rekonstruksjon og til å spore hvor roboten er og har vært. Når denne oppgaven ble skrevet finnes det ingen undervanns dataset laget med syntetiske bilder som både gir tilgang til fysisk korrekte bilder, sensor data og komplett referanse data. Derfor håper vi at dette vil være et nyttig verktøy for undervannsmiljøet som helhet. For å lage dette datasettet trenger må et rammeverk for generering av kjøretøyets bane i miljøet og sensor målinger lages. For å generere en bane gjennom det virituelle miljøet brukes en fysisk modell av kjøretøyet sammen med et styresystem som bruker en grov bane gjennom miljøet som referanse. Dataen fra styresystemet brukes så til å generere syntetiske målinger for akselerasjon, vinkel hastighet og kjøretøyets dybde i havet. Dersom bildene skal være realistiske er det påkrevd med et 3D miljø som gjenspeiler det som kan forventes å finne under vann. Vi benytter 3D modeller som er rekonstruert fra bilder, hvor teksturene blir tilpasset det som kan forventes for et undervannsmiljø. I tillegg til dette legges ulike 3D modeller til undervannsmiljøet, slik at det inneholder områder med alt fra kun en enkel sandbunn til vertikale steinformasjoner, til områder med kompleks geometri. Resultatet av denne oppgaven er et rammeverk som er klar til å generere lengre sekvenser, hvor alle de ulike områdene i undervannsmiljøet er utforsket. Fra denne oppgaven er det planlagt å skrive to artikler, en som tar for seg datasettet og inkludert data, og en som beskriver simuleringsrammeverket vi har brukt for å generere denne dataen

The VAROS Synthetic Underwater Data Set: Towards realistic multi-sensor underwater data with ground truth

Underwater visual perception requires being able to deal with bad and rapidly varying illumination and with reduced visibility due to water turbidity. The verification of such algorithms is crucial for safe and efficient underwater exploration and intervention operations. Ground truth data play an important role in evaluating vision algorithms. However, obtaining ground truth from real underwater environments is in general very hard, if possible at all.In a synthetic underwater 3D environment, however, (nearly) all parameters are known and controllable, and ground truth data can be absolutely accurate in terms of geometry. In this paper, we present the VAROS environment, our approach to generating highly realistic under-water video and auxiliary sensor data with precise ground truth, built around the Blender modeling and rendering environment. VAROS allows for physically realistic motion of the simulated underwater (UW) vehicle including moving illumination. Pose sequences are created by first defining waypoints for the simulated underwater vehicle which are expanded into a smooth vehicle course sampled at IMU data rate (200 Hz). This expansion uses a vehicle dynamics model and a discrete-time controller algorithm that simulates the sequential following of the waypoints.The scenes are rendered using the raytracing method, which generates realistic images, integrating direct light, and indirect volumetric scattering. The VAROS dataset version 1 provides images, inertial measurement unit (IMU) and depth gauge data, as well as ground truth poses, depth images and surface normal images