Empirical control system development for intelligent mobile robot based on the elements of the reinforcement machine learning and axiomatic design theory

Ovaj rad predstavlja istraživanje autora u domenu koncepcijskog projektovanja upravljačkog sistema koji može da uči na osnovu sopstvenog iskustva. Sposobnost adaptivnog ponašanja pri izvršavanju postavljenog zadatka u realnim, nepredvidivim uslovima, jedan je od ključnih zadataka svakog inteligentnog robotskog sistema. U funkciji rešavanja ovog problema, predlaže se pristup baziran na učenju, i to kombinovanjem empirijske upravljačke strategije, mašinskog učenja ojačavanjem i aksiomatske teorije projektovanja. Predloženi koncept koristi najbolje osobine pomenutih teorijskih pristupa u cilju ostvarivanja optimalne odluke mobilnog robota za trenutno stanje sistema. Empirijska upravljačka teorija se, u ovom radu, a priori koristi u utvrđivanju idejnog rešenja za rešavanje problema navigacije mobilnog robota. Učenje ojačavanjem realizuje mehanizme koji memorišu i ažuriraju odgovore okruženja, a u kombinaciji sa empirijskom upravljačkom teorijom određuje najbolju moguću odluku u skladu sa trenutnim okolnostima. Aksiomatska teorija projektovanja se koristi pri definisanju upravljačkog problema, kao i pri uspostavljanju koncepcijskog rešenja za dati zadatak, sa aspekta primene pomenutih pristupa. Deo predloženog algoritma empirijskog upravljanja realizovan je pomoću LEGO Mindstorms NXT mobilnog robota, tretirajući problem navigacije u nepoznatom okruženju. Ostvareni eksperimentalni rezultati nagoveštavaju dobru perspektivu za realizaciju efikasnog upravljanja baziranog na iskustvu, čiji dalji razvoj može da dovede do ostvarenja autonomnog ponašanja mobilnog robota pri izbegavanju prepreka u tehnološkom okruženju, što je i očekivani naučni cilj.This paper presents the authors' efforts to conceptual design of control system that can learn from its own experience. The ability of adaptive behaviour regarding the given task in real, unpredictable conditions is one of the main demands for every intelligent robotic system. To solve this problem, the authors suggest a learning approach that combines empirical control strategy, reinforcement learning and axiomatic design theory. The proposed concept uses best features of mentioned theoretical approaches to produce optimal action in the current state of the mobile robot. In this paper empirical control theory imparts the basis of conceptual solution for the navigation problem of mobile robot. Reinforcement learning enables the mechanisms that memorize and update environment responses, and combining with the empirical control theory determines best possible action according to the present circumstances. Axiomatic design theory accurately defines the problem and possible solution for the given task in terms of the elements defined by two previously mentioned approaches. Part of the proposed algorithm was implemented on the LEGO Mindstorms NXT mobile robot for the navigation task in an unknown manufacturing environment. Experimental results have shown good perspective for development of efficient and adaptable control system, which could lead to autonomous mobile robot behaviour

Empirical control system development for intelligent mobile robot based on the elements of the reinforcement machine learning and axiomatic design theory

Ovaj rad predstavlja istraživanje autora u domenu koncepcijskog projektovanja upravljačkog sistema koji može da uči na osnovu sopstvenog iskustva. Sposobnost adaptivnog ponašanja pri izvršavanju postavljenog zadatka u realnim, nepredvidivim uslovima, jedan je od ključnih zadataka svakog inteligentnog robotskog sistema. U funkciji rešavanja ovog problema, predlaže se pristup baziran na učenju, i to kombinovanjem empirijske upravljačke strategije, mašinskog učenja ojačavanjem i aksiomatske teorije projektovanja. Predloženi koncept koristi najbolje osobine pomenutih teorijskih pristupa u cilju ostvarivanja optimalne odluke mobilnog robota za trenutno stanje sistema. Empirijska upravljačka teorija se, u ovom radu, a priori koristi u utvrđivanju idejnog rešenja za rešavanje problema navigacije mobilnog robota. Učenje ojačavanjem realizuje mehanizme koji memorišu i ažuriraju odgovore okruženja, a u kombinaciji sa empirijskom upravljačkom teorijom određuje najbolju moguću odluku u skladu sa trenutnim okolnostima. Aksiomatska teorija projektovanja se koristi pri definisanju upravljačkog problema, kao i pri uspostavljanju koncepcijskog rešenja za dati zadatak, sa aspekta primene pomenutih pristupa. Deo predloženog algoritma empirijskog upravljanja realizovan je pomoću LEGO Mindstorms NXT mobilnog robota, tretirajući problem navigacije u nepoznatom okruženju. Ostvareni eksperimentalni rezultati nagoveštavaju dobru perspektivu za realizaciju efikasnog upravljanja baziranog na iskustvu, čiji dalji razvoj može da dovede do ostvarenja autonomnog ponašanja mobilnog robota pri izbegavanju prepreka u tehnološkom okruženju, što je i očekivani naučni cilj.This paper presents the authors' efforts to conceptual design of control system that can learn from its own experience. The ability of adaptive behaviour regarding the given task in real, unpredictable conditions is one of the main demands for every intelligent robotic system. To solve this problem, the authors suggest a learning approach that combines empirical control strategy, reinforcement learning and axiomatic design theory. The proposed concept uses best features of mentioned theoretical approaches to produce optimal action in the current state of the mobile robot. In this paper empirical control theory imparts the basis of conceptual solution for the navigation problem of mobile robot. Reinforcement learning enables the mechanisms that memorize and update environment responses, and combining with the empirical control theory determines best possible action according to the present circumstances. Axiomatic design theory accurately defines the problem and possible solution for the given task in terms of the elements defined by two previously mentioned approaches. Part of the proposed algorithm was implemented on the LEGO Mindstorms NXT mobile robot for the navigation task in an unknown manufacturing environment. Experimental results have shown good perspective for development of efficient and adaptable control system, which could lead to autonomous mobile robot behaviour

Empirical Control System Development for Intelligent Mobile Robot Based on the Elements of the Reinforcement Machine Learning and Axiomatic Design Theory

This paper presents the authors’ efforts to conceptual design of control system that can learn from its own experience. The ability of adaptive behaviour regarding the given task in real, unpredictable conditions is one of the main demands for every intelligent robotic system. To solve this problem, the authors suggest a learning approach that combines empirical control strategy, reinforcement learning and axiomatic design theory. The proposed concept uses best features of mentioned theoretical approaches to produce optimal action in the current state of the mobile robot. In this paper empirical control theory imparts the basis of conceptual solution for the navigation problem of mobile robot. Reinforcement learning enables the mechanisms that memorize and update environment responses, and combining with the empirical control theory determines best possible action according to the present circumstances. Axiomatic design theory accurately defines the problem and possible solution for the given task in terms of the elements defined by two previously mentioned approaches. Part of the proposed algorithm was implemented on the LEGO Mindstorms NXT mobile robot for the navigation task in an unknown manufacturing environment. Experimental results have shown good perspective for development of efficient and adaptable control system, which could lead to autonomous mobile robot behaviour

Empirical Control System Development for Intelligent Mobile Robot Based on the Elements of the Reinforcement Machine Learning and Axiomatic Design Theory

This paper presents the authors’ efforts to conceptual design of control system that can learn from its own experience. The ability of adaptive behaviour regarding the given task in real, unpredictable conditions is one of the main demands for every intelligent robotic system. To solve this problem, the authors suggest a learning approach that combines empirical control strategy, reinforcement learning and axiomatic design theory. The proposed concept uses best features of mentioned theoretical approaches to produce optimal action in the current state of the mobile robot. In this paper empirical control theory imparts the basis of conceptual solution for the navigation problem of mobile robot. Reinforcement learning enables the mechanisms that memorize and update environment responses, and combining with the empirical control theory determines best possible action according to the present circumstances. Axiomatic design theory accurately defines the problem and possible solution for the given task in terms of the elements defined by two previously mentioned approaches. Part of the proposed algorithm was implemented on the LEGO Mindstorms NXT mobile robot for the navigation task in an unknown manufacturing environment. Experimental results have shown good perspective for development of efficient and adaptable control system, which could lead to autonomous mobile robot behaviour

Estrategia de enrutamiento para la maniobra del enlace a un convoy de vehículos en entornos urbanos, robusta a la incertidumbre en los tiempos de recorrido

Esta tesis propone una estrategia de enrutamiento óptima para unidades de transporte inteligente que se mueven de manera autónoma por un entorno urbano conocido. El entorno está definido por un conjunto de calles y cruces (nodos), y en su interior un grupo de unidades móviles independientes se encuentran realizando tareas específicas. Dicho entorno está rodeado por una ruta periférica por la que se mueve continuamente un convoy compuesto por un líder y un número determinado de unidades seguidoras, sin enlace mecánico entre ellos. La misión del convoy es concentrar las unidades independientes antes y después de que hayan realizado, de forma independiente, su tarea. Básicamente, el trabajo se centra en dar solución a la maniobra de enlace consistente en lograr que la unidad independiente (perseguidora), partiendo de su ubicación actual en el interior del mapa, logre alcanzar el nodo periférico idóneo para unirse al convoy. Considerando que este último está limitado a circular por la ruta externa y por tanto no tiene acceso al interior del entorno, el enlace se realizará en uno de los nodos periféricos. El convoy sigue indefinidamente su trayectoria, por lo que la maniobra se considera exitosa siempre que la unidad independiente alcance el nodo de enlace antes que el convoy. El primer objetivo es resolver la maniobra de enlace considerando conocidos los tiempos de recorrido entre los nodos del mapa. Objetivo que incluye dos fases: cálculo del nodo óptimo de enlace y de la ruta que lleve a la unidad perseguidora hasta el mismo. Se entiende por nodo óptimo de enlace aquél que garantiza un tiempo mínimo de maniobra. Además, se ha diseñado un algoritmo de enrutamiento que explora el menor número de nodos posibles lo que garantiza su eficiencia computacional y su idoneidad para su ejecución en tiempo real, de especial interés en entornos complejos. El segundo objetivo es extender estos algoritmos a un entorno donde los tiempos de recorrido entre nodos no son conocidos. Esta incertidumbre, inherente a los tiempos de recorrido de todas las unidades, es propia de escenarios de transporte reales y tiene su origen en diversas fuentes como densidad variable de tráfico, condiciones meteorológicas, momento del día, etc. Para caracterizarla se ha propuesto un modelo gaussiano, donde los tiempos de recorrido son tratados como variables aleatorias parametrizadas por su valor medio y varianza. Por otra parte, este comportamiento no determinista impide garantizar de forma absoluta el éxito seguridad la maniobra de enlace. Por ello, se introduce el parámetro de diseño "Factor de Riesgo", que limita la probabilidad de fallo de la maniobra de enlace. Este factor condiciona además el tiempo de maniobra y el número de re-planificaciones intermedias hasta llegar al nodo final. En la solución propuesta se incluye un centro remoto al que están conectadas de forma inalámbrica todas las unidades de transporte. En el centro remoto se registran los tiempos de recorrido entre nodos consecutivos proporcionados por las unidades de transporte y se estiman los parámetros estadísticos temporales entre nodos no consecutivos mediante técnicas recursivas de Programación Dinámica. Finalmente, se ha procedido a la validación experimental de la propuesta global. En una primera fase se ha recurrido a la herramienta Player/Stage para validar mediante simulación los cálculos desarrollados a partir de un mapa diseñado al efecto. Superada esta, se ha utilizado un demostrador real donde la función de unidad líder y unidad perseguidora ha sido desarrollada por robots Pioneer P3-DX

Intelligent Control and Path Planning of Multiple Mobile Robots Using Hybrid Ai Techniques

This work reports the problem of intelligent control and path planning of multiple mobile robots. Soft computing methods, based on three main approaches i.e. 1) Bacterial Foraging Optimization Algorithm, 2) Radial Basis Function Network and 3) Bees Algorithm are presented. Initially, Bacterial foraging Optimization Algorithm (BFOA) with constant step size is analyzed for the navigation of mobile robots. Then the step size has been made adaptive to develop an Adaptive Bacterial Foraging Optimization (ABFO) controller. Further, another controller using radial basis function neural network has been developed for the mobile robot navigation. Number of training patterns are intended to train the RBFN controller for different conditions arises during the navigation. Moreover, Bees Algorithm has been used for the path planning of the mobile robots in unknown environments. A new fitness function has been used to perform the essential navigational tasks effectively and efficiently. In addition to the selected standalone approaches, hybrid models are also proposed to improve the ability of independent navigation. Five hybrid models have been presented and analyzed for navigation of one, two and four mobile robots in various scenarios. Comparisons have been made for the distance travelled and time taken by the robots in simulation and real time. Further, all the proposed approaches are found capable of solving the basic issues of path planning for mobile robots while doing navigation. The controllers have been designed, developed and analyzed for various situations analogous to possible applications of the robots in indoor environments. Computer simulations are presented for all cases with single and multiple mobile robots in different environments to show the effectiveness of the proposed controllers. Furthermore, various exercises have been performed, analyzed and compared in physical environments to exhibit the effectiveness of the developed controllers

Estrategia de enrutamiento para la maniobra del enlace a un convoy de vehículos en entornos urbanos, robusta a la incertidumbre en los tiempos de recorrido

Esta tesis propone una estrategia de enrutamiento óptima para unidades de transporte inteligente que se mueven de manera autónoma por un entorno urbano conocido. El entorno está definido por un conjunto de calles y cruces (nodos), y en su interior un grupo de unidades móviles independientes se encuentran realizando tareas específicas. Dicho entorno está rodeado por una ruta periférica por la que se mueve continuamente un convoy compuesto por un líder y un número determinado de unidades seguidoras, sin enlace mecánico entre ellos. La misión del convoy es concentrar las unidades independientes antes y después de que hayan realizado, de forma independiente, su tarea. Básicamente, el trabajo se centra en dar solución a la maniobra de enlace consistente en lograr que la unidad independiente (perseguidora), partiendo de su ubicación actual en el interior del mapa, logre alcanzar el nodo periférico idóneo para unirse al convoy. Considerando que este último está limitado a circular por la ruta externa y por tanto no tiene acceso al interior del entorno, el enlace se realizará en uno de los nodos periféricos. El convoy sigue indefinidamente su trayectoria, por lo que la maniobra se considera exitosa siempre que la unidad independiente alcance el nodo de enlace antes que el convoy. El primer objetivo es resolver la maniobra de enlace considerando conocidos los tiempos de recorrido entre los nodos del mapa. Objetivo que incluye dos fases: cálculo del nodo óptimo de enlace y de la ruta que lleve a la unidad perseguidora hasta el mismo. Se entiende por nodo óptimo de enlace aquél que garantiza un tiempo mínimo de maniobra. Además, se ha diseñado un algoritmo de enrutamiento que explora el menor número de nodos posibles lo que garantiza su eficiencia computacional y su idoneidad para su ejecución en tiempo real, de especial interés en entornos complejos. El segundo objetivo es extender estos algoritmos a un entorno donde los tiempos de recorrido entre nodos no son conocidos. Esta incertidumbre, inherente a los tiempos de recorrido de todas las unidades, es propia de escenarios de transporte reales y tiene su origen en diversas fuentes como densidad variable de tráfico, condiciones meteorológicas, momento del día, etc. Para caracterizarla se ha propuesto un modelo gaussiano, donde los tiempos de recorrido son tratados como variables aleatorias parametrizadas por su valor medio y varianza. Por otra parte, este comportamiento no determinista impide garantizar de forma absoluta el éxito seguridad la maniobra de enlace. Por ello, se introduce el parámetro de diseño "Factor de Riesgo", que limita la probabilidad de fallo de la maniobra de enlace. Este factor condiciona además el tiempo de maniobra y el número de re-planificaciones intermedias hasta llegar al nodo final. En la solución propuesta se incluye un centro remoto al que están conectadas de forma inalámbrica todas las unidades de transporte. En el centro remoto se registran los tiempos de recorrido entre nodos consecutivos proporcionados por las unidades de transporte y se estiman los parámetros estadísticos temporales entre nodos no consecutivos mediante técnicas recursivas de Programación Dinámica. Finalmente, se ha procedido a la validación experimental de la propuesta global. En una primera fase se ha recurrido a la herramienta Player/Stage para validar mediante simulación los cálculos desarrollados a partir de un mapa diseñado al efecto. Superada esta, se ha utilizado un demostrador real donde la función de unidad líder y unidad perseguidora ha sido desarrollada por robots Pioneer P3-DX

Empirical Control for Intelligent Robotic Systems – State-of-the-Art

Емпиријско управљање представља нов приступ у концепцијском пројектовању управљачких система мобилних робота и робота вертикалне зглобне конфигурације. У односу на конвенционалне приступе, емпиријски системи имају способност машинског учења на основу прикупљених информација из технолошког окружења, перманентно унапређујући своје понашање сходно постављеном задатку. У раду је дат детаљан преглед истраживања у овој области са посебним освртом на развој и имплеметацију емпиријских управљачких система на бази машинског Q-учења ојачавањем и soft computing техника вештачке интелигенције. Извршена је анализа актуелних праваца истраживања са становишта карактеристичних проблема управљања роботских система (проблем навигације, избегавања препрека, праћења зида технолошког окружења, и/или визуелног навођења). Сваки од презентованих истраживачких резултата је укратко описан, са јасно наглашеном предношћу примене теорије емпиријског управљања у процесу концепцијског пројектовања управљачких система.Empirical control presents a new approach in the domain of the conceptual design of the control systems for mobile robots and robot manipulators. Compared to the conventional design methods, empirical control systems have the ability to learn based on the information obtained from the environment, continuously improving robot’s behaviour. This paper presents a review on current research results, with emphasis on control systems based on the Q-learning algorithm and soft computing techniques. Comparative analysis has been conducted in terms of common robot-based and vision-based tasks. Described algorithms and experimental evaluations in real world clearly points out the advantages of implementation of the empirical theory in the conceptual design process of the control systems

Empirical Control for Intelligent Robotic Systems – State-of-the-Art

Емпиријско управљање представља нов приступ у концепцијском пројектовању управљачких система мобилних робота и робота вертикалне зглобне конфигурације. У односу на конвенционалне приступе, емпиријски системи имају способност машинског учења на основу прикупљених информација из технолошког окружења, перманентно унапређујући своје понашање сходно постављеном задатку. У раду је дат детаљан преглед истраживања у овој области са посебним освртом на развој и имплеметацију емпиријских управљачких система на бази машинског Q-учења ојачавањем и soft computing техника вештачке интелигенције. Извршена је анализа актуелних праваца истраживања са становишта карактеристичних проблема управљања роботских система (проблем навигације, избегавања препрека, праћења зида технолошког окружења, и/или визуелног навођења). Сваки од презентованих истраживачких резултата је укратко описан, са јасно наглашеном предношћу примене теорије емпиријског управљања у процесу концепцијског пројектовања управљачких система.Empirical control presents a new approach in the domain of the conceptual design of the control systems for mobile robots and robot manipulators. Compared to the conventional design methods, empirical control systems have the ability to learn based on the information obtained from the environment, continuously improving robot’s behaviour. This paper presents a review on current research results, with emphasis on control systems based on the Q-learning algorithm and soft computing techniques. Comparative analysis has been conducted in terms of common robot-based and vision-based tasks. Described algorithms and experimental evaluations in real world clearly points out the advantages of implementation of the empirical theory in the conceptual design process of the control systems