Robot docking based on omnidirectional vision and reinforcement learning

We present a system for visual robotic docking using an omnidirectional camera coupled with the actor critic reinforcement learning algorithm. The system enables a PeopleBot robot to locate and approach a table so that it can pick an object from it using the pan-tilt camera mounted on the robot. We use a staged approach to solve this problem as there are distinct sub tasks and different sensors used. Starting with random wandering of the robot until the table is located via a landmark, and then a network trained via reinforcement allows the robot to turn to and approach the table. Once at the table the robot is to pick the object from it. We argue that our approach has a lot of potential allowing the learning of robot control for navigation removing the need for internal maps of the environment. This is achieved by allowing the robot to learn couplings between motor actions and the position of a landmark

Advances in Reinforcement Learning

Reinforcement Learning (RL) is a very dynamic area in terms of theory and application. This book brings together many different aspects of the current research on several fields associated to RL which has been growing rapidly, producing a wide variety of learning algorithms for different applications. Based on 24 Chapters, it covers a very broad variety of topics in RL and their application in autonomous systems. A set of chapters in this book provide a general overview of RL while other chapters focus mostly on the applications of RL paradigms: Game Theory, Multi-Agent Theory, Robotic, Networking Technologies, Vehicular Navigation, Medicine and Industrial Logistic

Empirical Control for Intelligent Robotic Systems – State-of-the-Art

Емпиријско управљање представља нов приступ у концепцијском пројектовању управљачких система мобилних робота и робота вертикалне зглобне конфигурације. У односу на конвенционалне приступе, емпиријски системи имају способност машинског учења на основу прикупљених информација из технолошког окружења, перманентно унапређујући своје понашање сходно постављеном задатку. У раду је дат детаљан преглед истраживања у овој области са посебним освртом на развој и имплеметацију емпиријских управљачких система на бази машинског Q-учења ојачавањем и soft computing техника вештачке интелигенције. Извршена је анализа актуелних праваца истраживања са становишта карактеристичних проблема управљања роботских система (проблем навигације, избегавања препрека, праћења зида технолошког окружења, и/или визуелног навођења). Сваки од презентованих истраживачких резултата је укратко описан, са јасно наглашеном предношћу примене теорије емпиријског управљања у процесу концепцијског пројектовања управљачких система.Empirical control presents a new approach in the domain of the conceptual design of the control systems for mobile robots and robot manipulators. Compared to the conventional design methods, empirical control systems have the ability to learn based on the information obtained from the environment, continuously improving robot’s behaviour. This paper presents a review on current research results, with emphasis on control systems based on the Q-learning algorithm and soft computing techniques. Comparative analysis has been conducted in terms of common robot-based and vision-based tasks. Described algorithms and experimental evaluations in real world clearly points out the advantages of implementation of the empirical theory in the conceptual design process of the control systems

Empirical Control for Intelligent Robotic Systems – State-of-the-Art

Емпиријско управљање представља нов приступ у концепцијском пројектовању управљачких система мобилних робота и робота вертикалне зглобне конфигурације. У односу на конвенционалне приступе, емпиријски системи имају способност машинског учења на основу прикупљених информација из технолошког окружења, перманентно унапређујући своје понашање сходно постављеном задатку. У раду је дат детаљан преглед истраживања у овој области са посебним освртом на развој и имплеметацију емпиријских управљачких система на бази машинског Q-учења ојачавањем и soft computing техника вештачке интелигенције. Извршена је анализа актуелних праваца истраживања са становишта карактеристичних проблема управљања роботских система (проблем навигације, избегавања препрека, праћења зида технолошког окружења, и/или визуелног навођења). Сваки од презентованих истраживачких резултата је укратко описан, са јасно наглашеном предношћу примене теорије емпиријског управљања у процесу концепцијског пројектовања управљачких система.Empirical control presents a new approach in the domain of the conceptual design of the control systems for mobile robots and robot manipulators. Compared to the conventional design methods, empirical control systems have the ability to learn based on the information obtained from the environment, continuously improving robot’s behaviour. This paper presents a review on current research results, with emphasis on control systems based on the Q-learning algorithm and soft computing techniques. Comparative analysis has been conducted in terms of common robot-based and vision-based tasks. Described algorithms and experimental evaluations in real world clearly points out the advantages of implementation of the empirical theory in the conceptual design process of the control systems

pllication of the Ecologically Based Approaches to Implementation of Intelligent Manufacturing Systems for Production of Sheet Metal Parts – Overview of Research Results within the Project TR-35004

У раду је представљен део резултата који су настали током прве године истраживања на пројекту „Иновативни приступ у примени интелигентних технолошких система за производњу делова од лима заснован на еколошким принципима“ (евид. бр. ТР-35004) Министарства просвете и науке Републике Србије. Пројектним активностима су обухваћена два основна правца истраживања: испитивање трења у микро подручју применом метода скенирајуће микроскопије и развој алгоритама за управљање интелигентних робота, са акцентом на примени еколошких принципа који подразумевају уштеду енергије, материјала и средстава за подмазивање. Приказани резултати су укључени у предавања и лабораторијске вежбе на предметима Катедре за производно машинство, а њихова применљивост верификована је и кроз сарадњу са корисницима из домаће индустрије, ФМП д.о.о. из Београда и OPTIX д.о.о. из Земуна.This paper presents a part of results conducted within the project „An innovative ecologically based approach to implementation of intelligent manufacturing systems for production of sheet metal parts“(TR35004), supported by the Serbian Government - the Ministry of Education and Science. The two primary areas of research covered by the project activities are: an examination of friction in micro area by using scanning microscopy method and development of algorithms for intelligent robots control, prioritizing ecological principles of energy, material, and lubricant saving. The presented results are included in lectures and laboratory exercises at the Production Engineering Department courses and verified through the collaboration with participants from the domestic industry, FMP d.o.o. Belgrade and OPTIX d.о.о. Zemun

pllication of the Ecologically Based Approaches to Implementation of Intelligent Manufacturing Systems for Production of Sheet Metal Parts – Overview of Research Results within the Project TR-35004

У раду је представљен део резултата који су настали током прве године истраживања на пројекту „Иновативни приступ у примени интелигентних технолошких система за производњу делова од лима заснован на еколошким принципима“ (евид. бр. ТР-35004) Министарства просвете и науке Републике Србије. Пројектним активностима су обухваћена два основна правца истраживања: испитивање трења у микро подручју применом метода скенирајуће микроскопије и развој алгоритама за управљање интелигентних робота, са акцентом на примени еколошких принципа који подразумевају уштеду енергије, материјала и средстава за подмазивање. Приказани резултати су укључени у предавања и лабораторијске вежбе на предметима Катедре за производно машинство, а њихова применљивост верификована је и кроз сарадњу са корисницима из домаће индустрије, ФМП д.о.о. из Београда и OPTIX д.о.о. из Земуна.This paper presents a part of results conducted within the project „An innovative ecologically based approach to implementation of intelligent manufacturing systems for production of sheet metal parts“(TR35004), supported by the Serbian Government - the Ministry of Education and Science. The two primary areas of research covered by the project activities are: an examination of friction in micro area by using scanning microscopy method and development of algorithms for intelligent robots control, prioritizing ecological principles of energy, material, and lubricant saving. The presented results are included in lectures and laboratory exercises at the Production Engineering Department courses and verified through the collaboration with participants from the domestic industry, FMP d.o.o. Belgrade and OPTIX d.о.о. Zemun