A Multiagent Approach to Qualitative Navigation in Robotics

Navigation in unknown unstructured environments is still a difficult open problem in the field of robotics. In this PhD thesis we present a novel approach for robot navigation based on the combination of landmark-based navigation, fuzzy distances and angles representation and multiagent coordination based on a bidding mechanism. The objective has been to have a robust navigation system with orientation sense for unstructured environments using visual information. To achieve such objective we have focused our efforts on two main threads: navigation and mapping methods, and control architectures for autonomous robots. Regarding the navigation and mapping task, we have extended the work presented by Prescott, so that it can be used with fuzzy information about the locations of landmarks in the environment. Together with this extension, we have also developed methods to compute diverting targets, needed by the robot when it gets blocked. Regarding the control architecture, we have proposed a general architecture that uses a bidding mechanism to coordinate a group of systems that control the robot. This mechanism can be used at different levels of the control architecture. In our case, we have used it to coordinate the three systems of the robot (Navigation, Pilot and Vision systems) and also to coordinate the agents that compose the Navigation system itself. Using this bidding mechanism the action actually being executed by the robot is the most valued one at each point in time, so, given that the agents bid rationally, the dynamics of the biddings would lead the robot to execute the necessary actions in order to reach a given target. The advantage of using such mechanism is that there is no need to create a hierarchy, such in the subsumption architecture, but it is dynamically changing depending on the specific situation of the robot and the characteristics of the environment. We have obtained successful results, both on simulation and on real experimentation, showing that the mapping system is capable of building a map of an unknown environment and use this information to move the robot from a starting point to a given target. The experimentation also showed that the bidding mechanism we designed for controlling the robot produces the overall behavior of executing the proper action at each moment in order to reach the target

Artificial Intelligence Applications for Drones Navigation in GPS-denied or degraded Environments

L'abstract è presente nell'allegato / the abstract is in the attachmen

Multi-objective reinforcement learning framework for unknown stochastic & uncertain environments

This dissertation focuses on the problem of uncertainty handling during learning, by agents dealing in stochastic environments by means of Multi Objective Reinforcement Learning (MORL). Most previous investigations into multi objective reinforcement learning have proposed algorithms to deal with the learning performance issues but have neglected the uncertainty present in stochastic environments. The realisation that multiple long term objectives are exhibited in many risky and uncertain real-world decision making problems forms the principle motivation of this research.This dissertation proposes a novel modification to the single objective GPFRL algorithm (Hinojosa et al, 2008) where, the implementation of a linear scalarisation methodology provides a way to automatically find an optimal policy for multiple objectives under different kinds of uncertainty. The proposed Generalised Probabilistic Fuzzy Multi Objective Reinforcement Learning (GPFMORL) algorithm is further enhanced by the introduction of prospect theory to guarantee convergence by the means of risk evaluation. The simulated grid world increased in complexity as a further two complementary and conflicting objectives were specified whilst also introducing uncertainty in the form of stochastic cross winds. Results obtained from the GPFMORL grid world simulations were compared against two more classical multi objective algorithms, MOQ and MOSARSA, showing not only a stronger convergence but also a much faster one. Experiments performed on an actual Quad-Copter/Drone demonstrated that the proposed algorithm and developed framework are both feasible and promising for the control of Artificially Intelligent (AI) Unmanned Aerial Vehicles (UAV) in a variety of real-world multi objective applications such as; autonomous landing/delivery or search and rescue. Furthermore, the observed results of this work showed that the GPFMORL method can find its major real world application in the un-calibrated control of non-linear, multiple inputs, and multiple output systems, especially in multi objective situations with high uncertainty. Proposed novel case study research prototype examples include: Controlled Environment Agriculture for optimising Hydroponic Crop Growth by the proposed “Automated Solar Powered Environmental Controller” (ASPEC). Finally the “Robotic Dementia Medication Administration System” (RDMAS) attempts to optimise liquid medication dispensing via intelligent scheduling to more appropriate times of the day when the patient is more likely to remember to take their medication, based upon previous learned knowledge and experience

Design of a strategy for the planning of autonomous navigation routes of a mobile robot in indoor environments using a machine learning algorithm

The problem of autonomous robot navigation in internal environments must overcome various difficulties such as the dimensionality of the data, the computational cost and the possible presence of mobile objects. This thesis is oriented to the design of a planning strategy of routes for autonomous navigation of robots in interior environments based on automatic learning, for which it characterizes some strategies that the literature reports, The DQN machine learning algorithm is specified, to be implemented on the Turtlebot robotic platform of the Gazebo simulator. In addition, a series of Experiments changing the parameters of the algorithm to validate the strategy that shows how the robotic platform through the exploration of the environment and the subsequent exploitation of knowledge makes effective route planning. Video of Experiment can be found at https://youtu.be/5ehdh-BvY7E.El problema de la navegación autónoma de los robots en entornos internos debe superar varias dificultades como la dimensionalidad de los datos, el costo computacional y la posible presencia de objetos móviles. Esta tesis se orienta al diseño de una estrategia de planeación de rutas para la navegación autónoma de robots en entornos interiores con base en el aprendizaje automático. Para lo cual se caracteriza algunas estrategias que reporta la literatura, se especifica el algoritmo de aprendizaje automático DQN, para luego ser implementado en la plataforma robótica Turtlebot del simulador Gazebo. Además, se realizó una serie de experimentos cambiando los parámetros del algoritmo para hacer la validación de la estrategia que muestra como la plataforma robótica por medio de la exploración del ambiente y la posterior explotación de conocimiento hace una planeación de la ruta eficaz. Vídeo del experimento puede ser encontrado en https://youtu.be/5ehdh-BvY7E.Línea de Investigación: RobóticaMaestrí

Mobile Robots Navigation

Mobile robots navigation includes different interrelated activities: (i) perception, as obtaining and interpreting sensory information; (ii) exploration, as the strategy that guides the robot to select the next direction to go; (iii) mapping, involving the construction of a spatial representation by using the sensory information perceived; (iv) localization, as the strategy to estimate the robot position within the spatial map; (v) path planning, as the strategy to find a path towards a goal location being optimal or not; and (vi) path execution, where motor actions are determined and adapted to environmental changes. The book addresses those activities by integrating results from the research work of several authors all over the world. Research cases are documented in 32 chapters organized within 7 categories next described

Qualitative Spatial and Temporal Reasoning based on And/Or Linear Programming An approach to partially grounded qualitative spatial reasoning

Acting intelligently in dynamic environments involves anticipating surrounding processes, for example to foresee a dangerous situation or acceptable social behavior. Knowledge about spatial configurations and how they develop over time enables intelligent robots to safely navigate by reasoning about possible actions. The seamless connection of high-level deliberative processes to perception and action selection remains a challenge though. Moreover, an integration should allow the robot to build awareness of these processes as in reality there will be misunderstandings a robot should be able to respond to. My aim is to verify that actions selected by the robot do not violate navigation or safety regulations and thereby endanger the robot or others. Navigation rules specified qualitatively allow an autonomous agent to consistently combine all rules applicable in a context. Within this thesis, I develop a formal, symbolic representation of right-of-way-rules based on a qualitative spatial representation. This cumulative dissertation consists of 5 peer-reviewed papers and 1 manuscript under review. The contribution of this thesis is an approach to represent navigation patterns based on qualitative spatio-temporal representation and the development of corresponding effective sound reasoning techniques. The approach is based on a spatial logic in the sense of Aiello, Pratt-Hartmann, and van Benthem. This logic has clear spatial and temporal semantics and I demonstrate how it allows various navigation rules and social conventions to be represented. I demonstrate the applicability of the developed method in three different areas, an autonomous robotic system in an industrial setting, an autonomous sailing boat, and a robot that should act politely by adhering to social conventions. In all three settings, the navigation behavior is specified by logic formulas. Temporal reasoning is performed via model checking. An important aspect is that a logic symbol, such as \emph{turn left}, comprises a family of movement behaviors rather than a single pre-specified movement command. This enables to incorporate the current spatial context, the possible changing kinematics of the robotic system, and so on without changing a single formula. Additionally, I show that the developed approach can be integrated into various robotic software architectures. Further, an answer to three long standing questions in the field of qualitative spatial reasoning is presented. Using generalized linear programming as a unifying basis for reasoning, one can jointly reason about relations from different qualitative calculi. Also, concrete entities (fixed points, regions fixed in shape and/or position, etc.) can be mixed with free variables. In addition, a realization of qualitative spatial description can be calculated, i.e., a specific instance/example. All three features are important for applications but cannot be handled by other techniques. I advocate the use of And/Or trees to facilitate efficient reasoning and I show the feasibility of my approach. Last but not least, I investigate a fourth question, how to integrate And/Or trees with linear temporal logic, to enable spatio-temporal reasoning

Nutzerorientierte Evaluation zweier altersgerechter Assistenzroboter zur Unterstützung von Alltagsaktivitäten („Ambient Assisted Living-Roboter“) bei älteren Menschen mit funktionellen Einschränkungen: MOBOT-Rollator und I-SUPPORT-Duschroboter

Ziel der vorliegenden Arbeit ist die nutzerorientierte Evaluation zweier Prototypen für altersgerechte Assistenzroboter zur Unterstützung von Alltagsaktivitäten („Ambient Assisted Living“ [AAL]-Roboter) bei älteren Menschen mit funktionellen Einschränkungen. Bei den Prototypen handelt es sich dabei um (1) einen robotergestützten Rollator zur Unterstützung der Mobilität (MOBOT) und (2) einen Assistenzroboter zur Unterstützung von Duschaktivitäten (I-SUPPORT). Manuskript I dokumentiert eine systematische Literaturanalyse des methodischen Vorgehens bisheriger Studien zur Evaluation robotergestützter Rollatoren aus der Nutzerperspektive. Die meisten Studien zeigen erhebliche methodische Mängel, wie unzureichende Stichprobengrößen/-beschreibungen; Teilnehmer nicht repräsentativ für die Nutzergruppe der robotergestützten Rollatoren; keine geeigneten, standardisierten und validierten Assessmentmethoden und/oder keine Inferenzstatistik. Ein generisches methodisches Vorgehen für die Evaluation robotergestützter Rollatoren konnte nicht identifiziert werden. Für die Konzeption und Durchführung zukünftiger Studien zur Evaluation robotergestützter Rollatoren, aber auch anderer AAL-Systeme werden in Manuskript I abschließend Handlungsempfehlungen formuliert. Manuskript II analysiert die Untersuchungsergebnisse der in Manuskript I identifizierten Studien. Es zeigen sich sehr heterogene Ergebnisse hinsichtlich des Mehrwerts der innovativen Assistenzfunktionen von robotergestützten Rollatoren. Im Allgemeinen werden sie jedoch als positiv von den Nutzern wahrgenommen. Die große Heterogenität und methodischen Mängel der Studien schränken die Interpretierbarkeit ihre Untersuchungsergebnisse stark ein. Insgesamt verdeutlicht Manuskript II, dass die Evidenz zur Effektivität und positiven Wahrnehmung robotergestützter Rollatoren aus der Nutzerperspektive noch unzureichend ist. Basierend auf den Erkenntnissen und Handlungsempfehlungen der systematischen Literaturanalysen aus Manuskript I und II wurden die nutzerorientierten Evaluationsstudien des MOBOT-Rollators konzipiert und durchgeführt (Manuskript III-VI). Manuskript III überprüft die Effektivität des in den MOBOT-Rollator integrierten Navigationssystems bei potentiellen Nutzern (= ältere Personen mit Gangstörungen bzw. Rollator als Gehhilfe im Alltag). Es liefert erstmals einen statistischen Nachweis dafür, dass eine solche Assistenzfunktion effektiv ist, um die Navigationsleistung der Nutzer (z. B. geringer Stoppzeit, kürzere Wegstrecke) – insbesondere derjenigen mit kognitiven Einschränkungen – in einem realitätsnahen Anwendungsszenario zu verbessern. Manuskript IV untersucht die konkurrente Validität des MOBOT-integrierten Ganganalysesystems bei potentiellen Nutzern. Im Vergleich zu einem etablierten Referenzstandard (GAITRite®-System) zeigt es eine hohe konkurrente Validität für die Erfassung zeitlicher, nicht jedoch raumbezogener Gangparameter. Diese können zwar ebenfalls mit hoher Konsistenz gemessen werden, aber lediglich mit einer begrenzten absoluten Genauigkeit. Manuskript V umfasst die nutzerorientierte Evaluation der im MOBOT-Rollator integrierten Assistenzfunktion zur Hindernisvermeidung und belegt erstmals die Effektivität einer solchen Funktionen bei potentiellen Nutzern. Unter Verwendung des für den MOBOT-Rollator neu entwickelten technischen Ansatzes für die Hindernisvermeidung zeigten die Teilnehmer signifikante Verbesserungen bei der Bewältigung eines Hindernisparcours (weniger Kollisionen und geringere Annäherungsgeschwindigkeit an die Hindernisse). Manuskript VI dokumentiert die Effektivität und Zufriedenheit mit der Aufstehhilfe des MOBOT-Rollators von potentiellen Nutzern. Es wird gezeigt, dass die Erfolgsrate für den Sitzen-Stehen-Transfer älterer Personen mit motorischen Einschränkungen durch die Aufstehhilfe signifikant verbessert werden kann. Die Ergebnisse belegen zudem eine hohe Nutzerzufriedenheit mit dieser Assistenzfunktion, insbesondere bei Personen mit höherem Body-Mass-Index. Manuskript VII untersucht die Mensch-Roboter-Interaktion zwischen dem I-SUPPORT-Duschroboter und seiner potentiellen Nutzer (= ältere Personen mit Problemen bei Baden/Duschen) und überprüft deren Effektivität sowie Zufriedenheit mit drei unterschiedlich autonomen Betriebsmodi. Die Studienergebnisse dokumentieren, dass sich mit zunehmender Kontrolle des Nutzers (= abnehmende Autonomie des Duschroboters) nicht nur die Effektivität für das Abduschen eines definierten Körperbereichs verringert, sondern auch die Nutzerzufriedenheit sinkt. Manuskript VIII umfasst die Evaluation eines spezifischen Nutzertrainings auf die gestenbasierte Mensch-Roboter-Interaktion mit dem I-SUPPORT-Duschroboter. Es wird gezeigt, dass ein solches Training die Ausführung der Gesten potentieller Nutzer und sowie die Gestenerkennungsrate des Duschroboters signifikant verbessern, was insgesamt auf eine optimierte Mensch-Roboter-Interaktion in Folge des Trainings schließen lässt. Teilnehmer mit der schlechtesten Ausgangsleistung in der Ausführung der Gesten und mit der größten Angst vor Technologien profitierten am meisten vom Nutzertraining. Insgesamt belegen die Studienergebnisse zur nutzerorientierten Evaluation des MOBOT-Rollators die Effektivität und Gültigkeit seiner innovativen Teilfunktionen. Sie weisen auf ein hohes Potential der Assistenzfunktionen (Navigationssystem, Hindernisvermeidung, Aufstehhilfe) zur Verbesserung der Mobilität älterer Menschen mit motorischen Einschränkungen hin. Vor dem Hintergrund der methodischen Mängel und unzureichenden evidenzbasierten Datenlage hierzu, liefert diese Dissertationsschrift erstmals statistische Belege für den Mehrwert solcher Teilfunktionen bei potentiellen Nutzern und leistet somit einen wichtigen Beitrag zur Schließung der bisherigen Forschungslücke hinsichtlich des nutzerorientierten Wirksamkeits- und Gültigkeitsnachweises robotergestützter Rollatoren und ihrer innovativen Teilfunktionen. Die Ergebnisse der Studien des I-SUPPORT-Duschroboters liefern wichtige Erkenntnisse hinsichtlich der Mensch-Roboter-Interaktion im höheren Alter. Sie zeigen, dass bei älteren Nutzern für eine effektive Interaktion Betriebsmodi mit einem hohen Maß an Autonomie des Duschroboters notwendig sind. Trotz ihrer eingeschränkten Kontrolle über den Roboter, waren die Nutzer mit dem autonomsten Betriebsmodus sogar am zufriedensten. Darüber hinaus unterstreichen die Ergebnisse hinsichtlich der gestenbasierten Interaktion mit dem I-SUPPORT-Duschroboter, dass zukünftige Entwicklungen von altersgerechten Assistenzrobotern mit gestenbasierter Interaktion nicht nur die Verbesserungen technischer Aspekte, sondern auch die Sicherstellung und Verbesserungen der Qualität der Nutzergesten für die Mensch-Roboter-Interaktion durch geeignete Trainings- oder Schulungsmaßnahmen berücksichtigen sollten. Das vorgestellte Nutzertraining könnte hierfür ein mögliches Modell darstellen