Aprendizado e controle de robôs móveis autônomos utilizando atenção visual

Este artigo descreve um modelo de aprendizado por reforço capaz de aprender tarefas de controle complexas utilizando ações e estados contínuos. Este modelo, que é baseado no ator-crítico contínuo, utiliza redes de funções de base radial normalizadas para aprender o valor dos estados e das ações, sendo capaz de configurar a estrutura destas redes de forma automática durante o aprendizado. Além disso, um mecanismo de atenção visual seletiva é utilizado para perceber o ambiente e os estados. Para a validação do modelo proposto, foi utilizada uma tarefa relativamente complexa para os algoritmos de aprendizado por reforço: conduzir uma bola até o gol em um ambiente de futebol de robôs simulado. Os experimentos realizados demonstram que o modelo proposto é capaz realizar a tarefa em questão com bastante sucesso utilizando somente informações visuais.This paper describes a reinforcement learning model which is able to learn complex control tasks using continuous states and actions. This model, which is based on continuous actor-critic model, uses normalized radial basis function networks to learn the value function of states and actions, and is able to configure the network structure in an automatic way during the learning process. Besides, a visual selective attention mechanism is used to perceive the environment and the states. To validate the proposed model, a relatively complex task for reinforcement learning algorithms was used: to guide a ball to the goal in a robot soccer simulated environment. The described experiments shows that the proposed model is able to accomplish the task in a very successful way using visual information only

Aprendizado e Controle de Robôs Móveis Autônomos Utilizando Atenção Visual

Este artigo descreve um modelo de aprendizado por reforço capaz de aprender tarefas de controle complexas utilizando ações e estados contínuos. Este modelo, que é baseado no ator-crítico contínuo, utiliza redes de funções de base radial normalizadas para aprender o valor dos estados e das ações, sendo capaz de configurar a estrutura destas redes de forma automática durante o aprendizado. Além disso, um mecanismo de atenção visual seletiva é utilizado para perceber o ambiente e os estados. Para a validação do modelo proposto, foi utilizada uma tarefa relativamente complexa para os algoritmos de aprendizado por reforço: conduzir uma bola até o gol em um ambiente de futebol de robôs simulado. Os experimentos realizados demonstram que o modelo proposto é capaz realizar a tarefa em questão com bastante sucesso utilizando somente informações visuais

Ferramentas computacionais para robos moveis autonomos

Orientador : Luiz Marcos Garcia GonçalvesDissertação (mestrado) - Universidade Estadual de Campinas, Instituto de ComputaçãoResumo: Robôs móveis autônomos são plataformas com poder de processamento embarcado, capazes de tomar decisões de forma independente frente a situações diversas impostas pelo ambiente sobre o qual operam. Têm sido muito usados em pesquisa e ensino, permitindo o desenvolvimento de aplicativos, experimentos e aprimoramento de conhecimentos. Programar um robô para que ele haja de forma autônoma, geralmente envolve a definição de estados de predicado, a partir dos quais ele possa inferir alguma ação dentro das suas possibilidades e limitações, que responda de melhor forma à situação que o ambiente lhe proporcionou. O desenvolvimento de ferramentas para comunicação, controle e navegação (esta, incluindo posicionamento, orientação e deslocamentos no ambiente), torna-se essencial para que um robô possa realizar, de forma autônoma, missões em ambientes adversos, geralmente hostis, onde mobilidade seja uma necessidade inerente. Neste contexto, o presente trabalho discute e propõe ferramentas computacionais para robôs móveis autônomos, que podem ser utilizadas, principalmente, no contexto multi-robôs, incluindo detalhes das implementações e uma série de experimentos e testes. São apresentados os conceitos e a arquitetura da plataforma LEGO, ressaltando suas potencialidades e problemas, bem como uma análise detalhada de alguns de seus compiladores e outros softwares. Foi desenvolvido um protocolo de controle (ou de comandos), ou seja, uma ferramenta que permita que programas escritos em linguagem 'C' (executando em um PC), possam escrever nas saídas e ler as entradas de uma unidade de controle localizada no robô. É apresentado um estudo e análise do tempo de comunicação do referido protocolo de comandos. Foi desenvolvida uma ferramenta para determinação da localização atual do robô, composta por odometria e por um sistema de localização visual. Esta ferramenta usa medidas esparsas da localização absoluta dadas pelo sistema de localização visual, para corrigir o sistema de odometria do robô. Finalmente, foi implementada e testada uma segunda ferramenta de localização, a qual utiliza-se somente de um sistema de localização visual baseado em marcos. Como principais contribuições deste trabalho, podem ser citadas essas ferramentas desenvolvidas, os conhecimentos adquiridos e disponibilizados à comunidade, a partir das pesquisas realizadas no intuito de formalizar conceitos e metodologias para a linha LEGO de mini-robôs. Os conhecimentos, bem como as ferramentas estão sendo essenciais à realização de vários trabalhos e aplicações, tendo gerado publicações em eventos nacionais e internacionais de qualidade, além de uma publicação em revista nacional sobre o potencial e limitações da plataforma usada para os desenvolvimentosAbstract: Autonomous mobile robots are hardware platforms with embedded processing power, which are able to take decisions, independently, in front of several situations imposed by the environment where they operate. They have been most used in research and education, allowing the development of applications, experiments and improvement of knowledge. Programming a robot to act in autonomous way generally involves the definition of predicate states, from which it can infer some action, regarding its possibilities and limitations, in order to give the best answer to the situation imposed by its environment. The development of tools for communication, control and navigation, the last inc1uding positioning, orientation and movements in the environment, becomes essential for a robot to realize missions in autonomous way in adverse environments, generally hostile, where mobility is an inherent necessity. In this context, the present work discusses and proposes computational tools for autonomous mobile robots, that can be used mainly in the context of multi-robots, inc1uding details of the implementations, experiments and tests. The concepts and the architecture of LEGO platform are presented standing out its potentialities and problems as well as a detailed analysis of some of its compilers and others softwares. A control (or commands) protocol was developed. That is, a tool that allows programs written in 'C' language running in a PC to write in the outputs and to read from the inputs of a control unit located in the robot. It is presented a study and analysis of the communication time of this commands protocol. A tool for determination of the actual localization of the robot was also developed, composed of odometry and of a visual localization system. This tool uses sparse measurements of the absolute localization given by the visual system to correct the odometry system of the robot. Finally, it was implemented and tested a second tool for localization, which uses a visual localization system based on landmarks. As main contributions of this work, we cite these developed tools and the knowledge acquired and made available to the community through the research carried with intention to formalize the concepts and methodologies of LEGO line mini-robots. The knowledge as well as the tools are being essential in the development of some works and applications, having generated publications in national and international events, besides a publication in a national magazine about the potential and limitations of the platform used for the developmentsMestradoMestre em Ciência da Computaçã

Aprendizado automático utilizando um modelo LSTM aplicado como auxiliar no controle de orientação e velocidade de robô móvel

Trabalho de conclusão de curso (graduação)—Universidade de Brasília, Faculdade de Tecnologia, Curso de Graduação em Engenharia de Controle e Automação, 2019.Nos últimos anos, aconteceu uma grande popularização da robótica. Muitos robôs, autônomos ou teleoperados, são usados diariamente em operações repetitivas ou que ofereçam risco aos seres humanos. Entretanto, uma desvantagem dos robôs teleoperados com relação aos robôs autônomos é a necessidade de capacitação de um operador. Assim como houve uma popularização da robótica, recentemente também ocorreu uma grande popularização das redes neurais profundas, abrindo-se assim um espaço para pesquisas em inteligência artificial aplicada à robótica. Sabendo que as redes LSTM têm boa capacidade em aprender sequências e sabendo também que perfil de pilotagem de um operador pode ser visto como uma sequência temporal de comandos, este trabalho propõe o treinamento de uma LSTM profunda a fim de criar um módulo de auxílio de direção a partir de dados de pilotagem coletados de um operador experiente. Mais especificamente, este trabalho tem três objetivos. O primeiro objetivo é criar uma base de dados com dados de pilotagem de um operador experiente, considerada como sendo a pilotagem ideal, para o robô Pioneer 3-AT. O segundo objetivo é propor, treinar e validar arquiteturas de LSTM profunda que consigam aprender os padrões da pilotagem ideal. Por fim, o terceiro objetivo é propor e validar um algoritmo que faça correções em tempo real na pilotagem de um usuário que nunca pilotou o Pioneer. Depois de vários experimentos, construiu-se uma base de dados composta de dados de odometria e dos comandos de velocidade de um operador experiente com o robô, e as arquiteturas propostas foram treinadas e validadas. Isso por sua vez mostrou que uma LSTM profunda consegue aprender os padrões da pilotagem ideal. Os melhores modelos obtidos foram então testados no algoritmo de correção, que consistiu em escolher entre o comando do usuário e o comando da rede com base na diferença entre os dois. Com isto, o algoritmo foi validado em testes e entrevistas com usuários sem experiência de pilotagem do robô. Destas entrevistas e do acompanhamento dos testes, pôde-se verificar que as correções feitas pelo algoritmo impuseram movimentos mais suaves aos usuários, ainda que algumas pessoas não se sentissem confortáveis com as correções impostas.Over the last years, there was a massive popularization of robotics. Many robots, autonomous or teleoperated, are used daily for tasks too dangerous or too repetitive for humans. However, one disadvantage of teleoperated robots against autonomous robots is the need to train an operator. Just as there was a popularization of robotics, in recent years there was algo a massive popularization of deep neural networks, opening the way for research in artificial intelligence applied to robotics. Knowing that LSTM networks have the potential to learn sequences and also knowing that a pilot’s driving profile can be seen as a temporal sequence of commands, this thesis proposes the use of a deep LSTM network in order to create a steering assistance module from data collected from an experienced pilot. More specifically, this thesis has three obcjetives. The first objective is to create a database composed of driving data from an experienced pilot, considered as the ideal driving, for the Pioneer 3-AT robot. The second obcjetive is to propose, train and validate deep LSTM networks that can learn the patterns of the ideal driving. Lastly, the third objective is to propose and validate an algorithm that corrects the driving of an inexperienced user in real time. After many experiments, a database was constructed, composed of data from the robots’ odometry and the experienced operator’s commands, and the proposed architectures were trained and validated. This in turn showed that a deep LSTM network can learn the patterns of the ideal driving. The best models obtained were then tested on the real time correction algorithm, which consists of choosing between the pilot’s command and the network’s suggestion based on the difference of the two. Thus, the algorithm was validated on tests and interviews with people inexperienced in driving the robot. From these interviews and test follow-up, is was verified that the corrections made by the algorithm imposed smoother movements on the users’ driving, although some people did not feel comfortable with the imposed corrections

Navegação de um robô móvel baseado em um modelo de consciência artificial

This work presents a study about a the Baars-Franklin architecture, which defines a model of computational consciousness, and use it in a mobile robot navigation task. The insertion of mobile robots in dynamic environments carries a high complexity in navigation tasks, in order to deal with the constant environment changes, it is essential that the robot can adapt to this dynamism. The approach utilized in this work is to make the execution of these tasks closer to how human beings react to the same conditions by means of a model of computational consci-ousness. The LIDA architecture (Learning Intelligent Distribution Agent) is a cognitive system that seeks tomodel some of the human cognitive aspects, from low-level perceptions to decision making, as well as attention mechanism and episodic memory. In the present work, a computa-tional implementation of the LIDA architecture was evaluated by means of a case study, aiming to evaluate the capabilities of a cognitive approach to navigation of a mobile robot in dynamic and unknown environments, using experiments both with virtual environments (simulation) and a real robot in a realistic environment. This study concluded that it is possible to obtain benefits by using conscious cognitive models in mobile robot navigation tasks, presenting the positive and negative aspects of this approach.O presente trabalho tem por objetivo realizar um estudo sobre a arquitetura Baars-Franklin, a qual define um modelo de consciência artificial, e aplicá-la a uma tarefa da navegação em um robô móvel autônomo. A inserção de robôs móveis em ambientes dinâmicos acarreta uma alta complexidade nas tarefas de navegação, visto que para lidar com a constante mudança no ambi-ente, é essencial que o robô seja capaz de se adaptar a este dinamismo. A abordagem utilizada neste trabalho é de realizar a execução destas tarefas de uma maneira mais próxima da utilizada por seres humanos quando reagem às mesmas condições, por meio de um modelo de cons-ciência computacional. A arquitetura LIDA (Learning Intelligent Distribution Agent) é uma proposta de sistema cognitivo que procura modelar alguns dos aspectos cognitivos humanos, desde as percepções sensoriais (aspectos cognitivos de baixo nível) até o processo de tomada de decisão, os mecanismos de atenção e a memória episódica (considerados aspectos cogniti-vos de alto nível). Neste trabalho é utilizada uma implementação computacional da arquitetura LIDA, sendo apresentada a realização de um estudo de caso que visa avaliar a aplicabilidade e o desempenho de uma proposta de navegação cognitiva a robô móvel em ambientes dinâmicos e desconhecidos. São realizados experimento utilizando tanto um ambiente virtual (simulação) quanto um ambiente e robô reais. Este estudo concluiu que pode se obter benefícios na utili-zação de modelos cognitivos conscientes na tarefa de navegação de robôs móveis, apontando pontos positivos e negativos desta abordagem

Análise e programação de robôs móveis autônomos da plataforma Eyebot

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Engenharia Elétrica.A utilização de robôs móveis autônomos em pesquisas de Inteligência Artificial despertou o interesse de muitos grupos ao redor do mundo. O futebol robótico transformou-se numa área de estudo capaz de congregar diversas outras. Trata-se de um campo riquíssimo para a pesquisa e o ensino. Neste trabalho apresentamos, inicialmente, capítulos introdutórios nas áreas que dão suporte ao tópico futebol robótico, como Sistemas Especialistas, Sistemas Multiagentes e Lógica Nebulosa. A seguir traçamos um histórico do desenvolvimento do tema futebol de robôs. Organizações, regras, categorias, tudo é apresentado e explicado com o objetivo de familiarizar o leitor. O núcleo da pesquisa é composto pela análise feita dos robôs móveis da plataforma EyeBot. Foram escritos programas com o objetivo de explorar todas as potencialidades, ou seja, todos os sub-sistemas do robô foram estudados e compreendidos. Também desenvolvemos um programa chamado Xcameraviewer capaz de enviar imagens do robô para uma estação de trabalho remota via enlace de rádio. A versão existente não contemplava sistemas Unices, apenas a plataforma MS-Windows. Outros experimentos foram feitos envolvendo, principalmente, a câmera embarcada do robô. Por fim, resultados e conclusões são apresentados a fim de direcionar futuros trabalhos nesta área

Arquitetura neural cognitiva para controle inteligente de robôs móveis em labirintos dinâmicos

Tese (doutorado) - Universidade Federal de Santa Catarina, Centro de Tecnológico, Programa de Pós-Graduação em Engenharia Elétrica, Florianópolis, 2010Este trabalho propõe uma arquitetura de controle inteligente para navegação de robôs móveis que foi resultante de uma série de construções prévias cuja evolução é descrita. A fim de prover maior flexibilidade e um menor custo computacional ao modelo de navegação proposto, foram estudadas técnicas de Inteligência Artificial, tais como, Redes Neurais Artificiais e Aprendizagem por Reforço, com o foco na questão do aprendizado em tempo de operação para ambos os níveis da arquitetura. A arquitetura final integra de maneira eficiente os níveis deliberativo e reativo, dispondo de um método de aprendizado adaptativo de mapa topológico no nível mais alto, suportado por um processo de aprendizado de mapeamento percepção ação no nível mais baixo. As implementações e resultados das simulações mostram o desenvolvimento progressivo do sistema de navegação proposto,capaz de prover a um robô móvel, com limitados recursos de sensores, memória e processamento, a habilidade de executar tarefas de navegação em labirintos do tipo T desconhecidos e modificáveis durante seu tempo de operação. Uma outra contribuição deste trabalho refere-se a uma nova descrição proposta para o dilema conhecido como "exploration versus exploitation", no contexto da integração entre os níveis reativo e deliberativo e como medida de desempenho

Synthesis of autonomous controllers in mobile robotics through bio-inspired computing

Orientador: Fernando Jose Von ZubenAcompanha CD-ROMTese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de ComputaçãoResumo: Novas técnicas de navegação autônoma de robôs móveis visam suprir a crescente demanda pelo emprego de robôs em diversos setores da sociedade e junto a uma ampla gama de tarefas. Os desafios envolvidos no desenvolvimento do sistema que controla o robô permitem afirmar que a inteligência embarcada em robôs atuais ainda encontra-se em um nível incipiente e limitado. Neste trabalho, cinco frentes de pesquisa complementares são propostas visando estudar, teórica e praticamente, aspectos fundamentais de projeto e implementação de controladores autônomos inteligentes para robótica móvel. Metodologias de computação bio-inspirada e de robótica evolutiva provêem os conceitos e ferramentas que fundamentam as cinco propostas, as quais são validadas com base em sistemas de navegação concebidos e aplicados a problemas relevantes da área. Uma série de simulações computacionais em ambientes virtuais e experimentos com robôs reais é realizada, permitindo medir o alcance das contribuições e apontar as principais frentes de atuação que se abrem como perspectivas futuras da pesquisa.Abstract: Novel techniques for autonomous robot navigation aim at fulfilling the growing demand for mobile robots in multiple segments of society and in a plethora of tasks. The challenges involved in developing the system which controls the robot allow to say that the intelligence embedded in the current robots is found to be still incipient and limited. In this work, five complementary research fronts are proposed intending to study, theoretical and practically, aspects which are fundamental to the design and implementation of intelligent autonomous controllers for mobile robotics. Bio-inspired computing and evolutionary robotics methodologies provide the concepts and tools underlying the five proposals, which are validated through navigation systems devised and applied to important problems. Numerous real robot experiments as well as computational simulations taking place in virtual environments are carried out, allowing for the evaluation of contributions and also the discussion of future possibilities.DoutoradoEngenharia de ComputaçãoDoutor em Engenharia Elétric

Aprendizado de comportamentos reativos utilizando redes neurais convolucionais em robôs móveis

Trabalho de conclusão de curso (graduação)—Universidade de Brasília, Faculdade de Tecnologia, Curso de Graduação em Engenharia de Controle e Automação, 2019.A robótica, juntamente com a Inteligência artificial, tem apresentado diversas soluções ino- vadoras para o auxiliar o homem em suas tarefas. Nas implementações em robótica móvel, que envolvem a exploração de ambientes, existem muitos desafios e que são difíceis de serem alcançados sem fazer uso de técnicas de machine learning. Esses desafios são solucionados com o uso de redes neurais, no ritmo que também evoluem em complexidade, e possibilitam que a tarefa de programar tome um rumo mais associado a orientar e ensinar máquinas a realizarem tarefas. Com isso, esse trabalho apresenta uma implementação utilizando uma rede neural convolucional para reproduzir comportamentos reativos em um robô móvel, a partir da estimativa do ângulo de esterçamento, ou sentido de orientação. Esses comportamentos se traduzem em reações ao que foi percebido, com a ajuda de imagens, e com os treinamentos realizados para a rede proposta foi obtido um resultado que orientou o robô satisfatoriamente (de forma reativa) durante sua navegação autônoma.Robotics, along with Artificial Intelligence, has presented several innovative solutions to assist man in his tasks. In mobile robotic implementations that involve the exploration of environments, there are many challenges that are difficult to achieve without using machine learning techniques. These challenges are solved with the use of neural networks, in the rhythm that also evolve in complexity, and allow the task of programming to take a more associated course to guide and teach machines to perform tasks. Thus, this work presents an implementation using a convolutional neural network to reproduce reactive behaviors in a mobile robot, from the estimation of the steer angle, or direction orientation. These behaviors translate into reactions to what was perceived, with the help of images, and with the trainings performed for the proposed network, a result was obtained that guided the robot satisfactorily (in a reactive mode) during its autonomous navigation

Aprendizado Autônomo Para Robôs Móveis Baseado em Emoções Artificiais

Especialistas da área de neurofisiologia têm proposto a consideração dos sentimentos como parte dos processos cognitivos, e não de uma alma imaterial: tem sido defendido que as emoções não devem mais ser entendidas como opostas às decisões inteligentes, mas sim como parte e elemento decisivo para estas. Consequentemente se tornaram defensáveis a introdução de emoções artificiais no aprendizado de agentes artificiais, bem como a construção de modelos homeostáticos computacionais para estes. Nesta dissertação são relatados experimentos sobre uma arquitetura de controle baseado em comportamento e fundamentada sobre a simulação de processos hormonais e emocionais. São apresentadas e discutidas a arquitetura e modificações sobre esta, ou seja, a separação, da estrutura de aprendizado baseado em emoções, em diferentes redes neurais artificiais, uma rede para cada emoção. Os resultados mostraram que é razoável considerar modelos computacionais para processos emocionais que possam sustentar seleção de comportamento autônomo inteligente