Streaming Scene Maps for Co-Robotic Exploration in Bandwidth Limited Environments

This paper proposes a bandwidth tunable technique for real-time probabilistic scene modeling and mapping to enable co-robotic exploration in communication constrained environments such as the deep sea. The parameters of the system enable the user to characterize the scene complexity represented by the map, which in turn determines the bandwidth requirements. The approach is demonstrated using an underwater robot that learns an unsupervised scene model of the environment and then uses this scene model to communicate the spatial distribution of various high-level semantic scene constructs to a human operator. Preliminary experiments in an artificially constructed tank environment as well as simulated missions over a 10m$\times$10m coral reef using real data show the tunability of the maps to different bandwidth constraints and science interests. To our knowledge this is the first paper to quantify how the free parameters of the unsupervised scene model impact both the scientific utility of and bandwidth required to communicate the resulting scene model.Comment: 8 pages, 6 figures, accepted for presentation in IEEE Int. Conf. on Robotics and Automation, ICRA '19, Montreal, Canada, May 201

Detection of unanticipated faults for autonomous underwater vehicles using online topic models

© The Author(s), 2017. This article is distributed under the terms of the Creative Commons Attribution License. The definitive version was published in Journal of Field Robotics 35 (2018): 705-716, doi:10.1002/rob.21771.For robots to succeed in complex missions, they must be reliable in the face of subsystem failures and environmental challenges. In this paper, we focus on autonomous underwater vehicle (AUV) autonomy as it pertains to self‐perception and health monitoring, and we argue that automatic classification of state‐sensor data represents an important enabling capability. We apply an online Bayesian nonparametric topic modeling technique to AUV sensor data in order to automatically characterize its performance patterns, then demonstrate how in combination with operator‐supplied semantic labels these patterns can be used for fault detection and diagnosis by means of a nearest‐neighbor classifier. The method is evaluated using data collected by the Monterey Bay Aquarium Research Institute's Tethys long‐range AUV in three separate field deployments. Our results show that the proposed method is able to accurately identify and characterize patterns that correspond to various states of the AUV, and classify faults at a high rate of correct detection with a very low false detection rate.Office of Naval Research Grant Number: N00014‐14‐1‐0199; David and Lucile Packard Foundatio

Toward autonomous underwater mapping in partially structured 3D environments

Submitted in partial fulfillment of the requirements for the degree of Master of Science at the Massachusetts Institute of Technology and the Woods Hole Oceanographic Institution February 2014Motivated by inspection of complex underwater environments, we have developed a system for multi-sensor SLAM utilizing both structured and unstructured environmental features. We present a system for deriving planar constraints from sonar data, and jointly optimizing the vehicle and plane positions as nodes in a factor graph. We also present a system for outlier rejection and smoothing of 3D sonar data, and for generating loop closure constraints based on the alignment of smoothed submaps. Our factor graph SLAM backend combines loop closure constraints from sonar data with detections of visual fiducial markers from camera imagery, and produces an online estimate of the full vehicle trajectory and landmark positions. We evaluate our technique on an inspection of a decomissioned aircraft carrier, as well as synthetic data and controlled indoor experiments, demonstrating improved trajectory estimates and reduced reprojection error in the final 3D map

Wissensbasierte Tagesrhythmenerfassung und -auswertung in ubiquitären Umgebungen

Ein an geregelte Tagesablaeufe angepasstes Leben erhoeht nicht nur das allgemeine Wohlbefinden, sondern wirkt proaktiv auf Gesundheit und Stresslevel. Feste Rhythmen in Aktivitaeten im Tagesverlauf bieten Menschen Sicherheit, Struktur und Orientierung im Alltag. Eine wiederholte oder permanente Missachtung dieser Rhythmen kann zu Schlafproblemen bis hin zu chronischer Depression fuehren. Personen, die ihren festen Rhythmen nachkommen, sind hingegen weniger von diesen Krankheiten betroffen. Um diese Folgen praeventiv zu vermeiden oder zu loesen, kann der eigene Tagesablauf manuell erfasst und ausgewertet werden. Dieser aufwendige Prozess erfolgt bislang nur mit wenig, automatisierter Assistenz und kann durch computergestuetzte Verfahren erleichtert werden. Dabei ist sowohl ein lueckenloser Datensatz an Aktivitaeten, als auch das Vorhandensein von moeglichst heterogener Sensorik von Bedeutung. Durch eine entsprechende automatisierte Erkennung von Tagesrhythmen kann der Tagesablauf assistiert komplettiert werden und die heterogene Sensorik macht Abweichungen in den Routinen des Nutzers deutlich. Diese Informationen werden dann zur aktiven Lebensunterstuetzung genutzt, indem Metriken aus diesen abgeleitet oder Anomalien erkannt werden. Einen moeglichen Loesungsansatz zur automatisierten Assistenz bieten dafuer sogenannte Human Activity Recognizer Algorithms (HARA) aus dem Bereich Ambient Assisted Living (AAL). Das Ziel dieser HARA ist es, auf Basis sensorischer Werte und individuellen Vergleichsmustern die aktuelle Aktivitaet eines Nutzers zu erkennen. Da diese Systeme haeufig im Bereich pflegebeduerftiger Personen eingesetzt werden, ist die Auswahl der erkannten Aktivitaeten jedoch sehr eingeschraenkt und bezieht sich im Regelfall auf nicht-erweiterbare, innerhaeusliche Aktivitaeten aus der Pflege. Darueber hinaus erfolgt bei diesen Systemen eine Auswertung unter der Voraussetzung, dass sich einzelne Tage in ihrem Ablauf nur wenig unterscheiden, was in anderen Anwendungsdomaenen zu Problemen fuehrt. Um zu einer weitergehenden Erfassung des Tagesablaufs zu kommen, muss neben der Auswertung sensorischer Werte auch weiteres Wissen einbezogen werden. Externe Wissensquellen maschinenauswertbar zu formalisieren, kombinieren und bestmoeglich auszuwerten, stellt eine Herausforderung dieser Arbeit dar, denn heterogene Datenquellen, unvollstaendige oder informationslose Daten erschweren dem HARA die Auswertung. Dazu muessen Methoden des maschinellen Lernens, semantischer Modellierung und Analyse untersucht und weiterentwickelt werden