DESIGNING A MULTI-AGENT FRAMEWORK FOR UNMANNED AERIAL/GROUND VEHICLES

Ph.DDOCTOR OF PHILOSOPH

Reactive plan execution in multi-agent environments

[ES] Uno de los desafı́os de la robótica es desarrollar sistemas de control capaces de obtener rápidamente respuestas adecuadas e inteligentes para los cambios constantes que tienen lugar en entornos dinámicos. Esta respuesta debe ofrecerse almomento con el objetivo de reanudar la ejecución del plan siempre que se produzca un fallo en el mismo.El término planificación reactiva aborda todos los mecanismos que, directa o indirectamente, promueven la resolución de fallos durante la ejecución del plan. Los sistemas de planificación reactiva funcionan bajo un enfoque de planificación y ejecución continua, es decir, se intercala planificación y ejecución en entornos dinámicos. Muchas de las investigaciones actuales se centran en desarrollar planificadores reactivos que trabajan en escenarios de un único agente para recuperarse rápidamente de los fallos producidos durante la ejecución del plan, pero, si esto no es posible, pueden requerirse arquitecturas de múltiples agentes y métodos de recuperación más complejos donde varios agentes puedan participar para solucionar el fallo. Por lo tanto, los sistemas de planificación y ejecución continua generalmente generan soluciones para un solo agente. La complejidad de establecer comunicaciones entre los agentes en entornos dinámicos y con restricciones de tiempo ha desanimado a los investigadores a implementar soluciones reactivas donde colaboren varios agentes. En línea con esta investigación, la presente tesis doctoral intenta superar esta brecha y presenta un modelo de ejecución y planificación reactiva multiagente que realiza un seguimiento de la ejecución de un agente para reparar los fallos con ayuda de otros agentes. En primer lugar, proponemos una arquitectura que comprende un modelo general reactivo de planificación y ejecución que otorga a un agente capacidades de monitorización y ejecución. El modelo también incorpora un planificador reactivo que proporciona al agente respuestas rápidas para recuperarse de los fallos que se pueden producir durante la ejecución del plan. Por lo tanto, la misión de un agente de ejecución es monitorizar, ejecutar y reparar un plan, si ocurre un fallo durante su ejecución. El planificador reactivo está construido sobre un proceso de busqueda limitada en el tiempo que busca soluciones de recuperación para posibles fallos que pueden ocurrir. El agente genera los espacios de búsqueda en tiempo de ejecución con una construcción iterativa limitada en el tiempo que garantiza que el modelo siempre tendrá un espacio de búsqueda disponible para atender un fallo inmediato del plan. Por lo tanto, la única operación que debe hacerse es buscar en el espacio de búsqueda hasta que se encuentre una solución de recuperación. Evaluamos el rendimiento y la reactividad de nuestro planificador reactivo mediante la realización de dos experimentos. Evaluamos la reactividad del planificador para construir espacios de búsqueda dentro de un tiempo disponible dado, asi como támbien, evaluamos el rendimiento y calidad de encontrar soluciones con otros dos métodos deliberativos de planificación. Luego de las investigaciones de un solo agente, propusimos extender el modelo a un contexto de múltiples agentes para la reparación colaborativa donde al menos dos agentes participan en la solución final. El objetivo era idear un modelo de ejecución y planificación reactiva multiagente que garantice el flujo continuo e ininterrumpido de los agentes de ejecución. El modelo reactivo multiagente proporciona un mecanismo de colaboración para reparar una tarea cuando un agente no puede reparar la falla por sí mismo. Para evaluar nuestro sistema, diseñamos diferentes situaciones en tres dominios de planificación del mundo real. Finalmente, el documento presenta algunas conclusiones y también propone futuras lı́neas de investigación posibles.[CA] Un dels desafiaments de la robòtica és desenvolupar sistemes de control capaços d'obtindre ràpidament respostes adequades i intel·ligents per als canvis constants que tenen lloc en entorns dinàmics. Aquesta resposta ha d'oferir-se al moment amb l'objectiu de reprendre l'execució del pla sempre que es produı̈sca una fallada en aquest. El terme planificació reactiva aborda tots els mecanismes que, directa o indirectament, promouen la resolució de fallades durant l'execució del pla. Els sistemes de planificació reactiva funcionen sota un enfocament de planificació i execució contı́nua, és a dir, s'intercala planificació i execució en entorns dinàmics. Moltes de les investigacions actuals se centren en desenvolupar planificadors reactius que treballen en escenaris d'un únic agent per a recuperar-se ràpidament de les fallades produı̈des durant l'execució del pla, però, si això no és possible, poden requerir-se arquitectures de múltiples agents i mètodes de recuperació més complexos on diversos agents puguen participar per a solucionar la fallada. Per tant, els sistemes de planificació i execució contı́nua generalment generen solucions per a un sol agent. La complexitat d'establir comunicacions entre els agents en entorns dinàmics i amb restriccions de temps ha desanimat als investigadors a implementar solucions reactives on col·laboren diversos agents. En lı́nia amb aquesta investigació, la present tesi doctoral intenta superar aquesta bretxa i presenta un model d'execució i planificació reactiva multiagent que realitza un seguiment de l'execució d'un agent per a reparar les fallades amb ajuda d'altres agents. En primer lloc, proposem una arquitectura que comprén un model general reactiu de planificació i execució que atorga a un agent capacitats de monitoratge i execució. El model també incorpora un planificador reactiu que proporciona a l'agent respostes ràpides per a recuperar-se de les fallades que es poden produir durant l'execució del pla. Per tant, la missió d'un agent d'execució és monitorar, executar i reparar un pla, si ocorre una fallada durant la seua execució. El planificador reactiu està construı̈t sobre un procés de cerca limitada en el temps que busca solucions de recuperació per a possibles fallades que poden ocórrer. L'agent genera els espais de cerca en temps d'execució amb una construcció iterativa limitada en el temps que garanteix que el model sempre tindrà un espai de cerca disponible per a atendre una fallada immediata del pla. Per tant, l'única operació que ha de fer-se és buscar en l'espai de cerca fins que es trobe una solució de recuperació. Avaluem el rendiment i la reactivitat del nostre planificador reactiu mitjançant la realització de dos experiments. Avaluem la reactivitat del planificador per a construir espais de cerca dins d'un temps disponible donat, aixı́ com també, avaluem el rendiment i qualitat de trobar solucions amb altres dos mètodes deliberatius de planificació. Després de les investigacions d'un sol agent, vam proposar estendre el model a un context de múltiples agents per a la reparació col·laborativa on almenys dos agents participen en la solució final. L'objectiu era idear un model d'execució i planificació reactiva multiagent que garantisca el flux continu i ininterromput dels agents d'execució. El model reactiu multiagent proporciona un mecanisme de col·laboració per a reparar una tasca quan un agent no pot reparar la falla per si mateix. Explota les capacitats de planificació reactiva dels agents en temps d'execució per a trobar una solució en la qual dos agents participen junts, evitant aixı́ que els agents hagen de recórrer a mecanismes deliberatius. Per a avaluar el nostre sistema, dissenyem diferents situacions en tres dominis de planificació del món real. Finalment, el document presenta algunes conclusions i tam[EN] One of the challenges of robotics is to develop control systems capable of quickly obtaining intelligent, suitable responses for the regularly changing that take place in dynamic environments. This response should be offered at runtime with the aim of resume the plan execution whenever a failure occurs. The term reactive planning addresses all the mechanisms that, directly or indirectly, promote the resolution of failures during the plan execution. Reactive planning systems work under a continual planning and execution approach, i.e., interleaving planning and execution in dynamic environments. Most of the current research puts the focus on developing reactive planning system that works on single-agent scenarios to recover quickly plan failures, but, if this is not possible, we may require more complex multi-agent architectures where several agents may participate to solve the failures. Therefore, continual planning and execution systems have usually conceived solutions for individual agents. The complexity of establishing agent communications in dynamic and time-restricted environments has discouraged researchers from implementing multi-agent collaborative reactive solutions. In line with this research, this Ph.D. dissertation attempts to overcome this gap and presents a multi-agent reactive planning and execution model that keeps track of the execution of an agent to recover from incoming failures. Firstly, we propose an architecture that comprises a general reactive planning and execution model that endows a single-agent with monitoring and execution capabilities. The model also comprises a reactive planner module that provides the agent with fast responsiveness to recover from plan failures. Thus, the mission of an execution agent is to monitor, execute and repair a plan, if a failure occurs during the plan execution. The reactive planner builds on a time-bounded search process that seeks a recovery plan in a solution space that encodes potential fixes for a failure. The agent generates the search space at runtime with an iterative time-bounded construction that guarantees that a solution space will always be available for attending an immediate plan failure. Thus, the only operation that needs to be done when a failure occurs is to search over the solution space until a recovery path is found. We evaluated theperformance and reactiveness of our single-agent reactive planner by conducting two experiments. We have evaluated the reactiveness of the single-agent reactive planner when building solution spaces within a given time limit as well as the performance and quality of the found solutions when compared with two deliberative planning methods. Following the investigations for the single-agent scenario, our proposal is to extend the single model to a multi-agent context for collaborative repair where at least two agents participate in the final solution. The aim is to come up with a multi-agent reactive planning and execution model that ensures the continuous and uninterruptedly flow of the execution agents. The multi-agent reactive model provides a collaborative mechanism for repairing a task when an agent is not able to repair the failure by itself. It exploits the reactive planning capabilities of the agents at runtime to come up with a solution in which two agents participate together, thus preventing agents from having to resort to a deliberative solution. Throughout the thesis document, we motivate the application of the proposed model to the control of autonomous space vehicles in a Planetary Mars scenario. To evaluate our system, we designed different problem situations from three real-world planning domains. Finally, the document presents some conclusions and also outlines future research directions.Gúzman Álvarez, CA. (2019). Reactive plan execution in multi-agent environments [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/12045

Interaktive Verhaltenssteuerung für Robot Companions

Kleinehagenbrock M. Interaktive Verhaltenssteuerung für Robot Companions. Bielefeld (Germany): Bielefeld University; 2004.Das Bestreben in der Robotikforschung, Roboter zu entwickeln, die dem Menschen gewisse Dienste erweisen, ist nach wie vor ungebrochen. Dabei konzentriert sich die aktuelle Entwicklung zunehmend auf den Privatgebrauch: Es ist das Ziel, persönliche Roboter zu entwickeln, die in Zukunft mit Menschen, einem Kameraden ähnlich, das Zuhause teilen können. Damit Menschen geneigt sind, sich einen solchen Robot Companion zuzulegen, muss er nützlich und einfach zugänglich sein. Somit sind einerseits Fähigkeiten, wie z.B. "Tisch abräumen" und "Blumen gießen", zu realisieren. Andererseits sind die wenigsten Menschen Experten für Robotik. Daher sollte der Roboter intuitiv bedienbar sein, so dass ein natürlicher Umgang zwischen Mensch und Robot Companion entsteht. Folglich muss der Roboter Dialoge in natürlicher Sprache führen können und Zeigegesten erkennen. Da solche Interaktionen in Privatwohnungen stattfinden, kann der Roboter weder die Umgebung noch alle dort denkbaren Gegenstände im Voraus kennen. Somit muss er dieses Wissen erlernen, um es in weiteren Interaktionen nutzen zu können. Um diese Herausforderungen zu lösen, war es ein Ziel dieser Arbeit, eine Software-Architektur für Robot Companions zu entwickeln. Das Konzept der Architektur sollte möglichst flexibel und erweiterbar sein, um diverse Interaktionsfähigkeiten integrieren zu können. Als weiteres Ziel sollte die Basis zur Interaktion mit Menschen geschaffen werden. Dazu wurde ein neuartiges multimodales Personen-Tracking entwickelt, das mit weiteren Interaktionsmodulen in der realisierten Architektur zu integrieren war. Das entwickelte Personen-Tracking ist multimodal, da es Daten von drei verschiedenen Sensorsystemen verarbeitet, um vor dem Roboter anwesende Personen robust zu verfolgen. Zur Sensordatenfusion wurde das "Multimodale Anchoring" entwickelt. Dieser neuartige Ansatz erlaubt es, gleichzeitig mehrere Personen anhand ihrer Gesichter, Oberkörper, Stimmen und Beine zu verfolgen, und sie auch voneinander zu unterscheiden. Somit kann eine Person bevorzugt betrachtet werden, indem die Sensoren auf sie gerichtet werden. Durch zugehörige Experimente wird die Leistungsfähigkeit des multimodalen Verfahrens belegt. Neben dem Personen-Tracking werden jeweils eine Aufmerksamkeitssteuerung für Personen und Objekte und eine Dialogsteuerung vorgestellt. Diese Module sind im Rahmen anderer Promotionsvorhaben entwickelt worden und es galt, sie ebenfalls im Gesamtsystem zu integrieren. Die Aufmerksamkeitssteuerung für Personen setzt auf dem Personen-Tracking auf und bestimmt den Interaktionspartner des Roboters. Zur sprachlichen Kommunikation mit dem Benutzer ist die Dialogsteuerung verantwortlich. Für das Erfassen von zu lernenden Gegenständen dient die Aufmerksamkeitssteuerung für Objekte, die sprachliche und gestische Informationen kombiniert. Zur Entwicklung der Software-Architektur wurden Architekturen bestehender Robotersysteme untersucht und funktionale und strukturelle Anforderungen an einen Robot Companion formuliert. Das daraus entwickelte Architekturkonzept ist eine besonders flexible Drei-Ebenen-Architektur, die zur Koordination des Systems einen zentralen "Execution Supervisor" (ESV) besitzt und per XML kommuniziert. Der ESV empfängt von angebundenen Modulen Nachrichten, die Aktionen auslösen, wie z.B. das Weiterleiten von Daten an andere Module und das Rekonfigurieren des Systems. Dieses Konzept wurde schließlich für den Roboter BIRON umgesetzt. Dabei wurde der ESV so implementiert, dass er äußerst generisch ist: Um ihn zu modifizieren, muss nur eine Konfigurationsdatei angepasst werden, die ebenfalls in XML spezifiziert ist. Die Kommunikation basiert dabei auf dem "XML enabled Communication Framework" und ist somit äußerst transparent. Außerdem wurden Benutzerexperimente mit BIRON durchgeführt, wobei dessen Interaktionsfähigkeiten als recht natürlich eingestuft wurden. Da für eine flüssige Interaktion das System nicht zu langsam reagieren darf, wurden auch gewisse Zeitmessungen vorgenommen. Diese zeigen, dass der Zeitaufwand, der durch die Architektur verursacht wird, im Vergleich zu den Berechnungen der integrierten Module gering ist und somit eine flüssige Interaktion erlaubt. Das System wurde außerdem auf der IST 2004 in Den Haag präsentiert, wo zwei BIRONs an drei Tagen insgesamt 24 Stunden lang erfolgreich präsentiert wurden. Folglich bietet das präsentierte Architekturkonzept eine hervorragende Basis zur Entwicklung von Robot Companions. Durch die Integration der vorgestellten Modulen ergibt sich bereits ein grundlegendes System zur natürlichen Mensch-Roboter-Interaktion. Da es auf Erweiterbarkeit ausgelegt ist, können andere Funktionalitäten einfach hinzugefügt werden. Diese Generizität wird insbesondere durch XML ermöglicht. XML wird zur Konfiguration des ESV und zur Kommunikation mit den angebundenen Modulen verwendet. Nur so kann das bereits umfangreiche System auch in Zukunft noch umfangreich erweitert werden

NASA Tech Briefs, September 1990

Topics covered include: New Product Ideas; NASA TU Services; Electronic Components and Circuits; Electronic Systems; Physical Sciences; Materials; Computer Programs; Mechanics; Machinery; Fabrication Technology; Mathematics and Information Sciences; Life Sciences