Melhoria na converg?ncia do algoritmo Q-Learning na aplica??o de sistemas tutores inteligentes

O uso sistemas computacionais como complemento ou substitui??o da sala de aula ? cada vez mais comum na educa??o e os Sistemas Tutores Inteligentes (STIs) s?o uma dessas alternativas. Portanto ? fundamental desenvolver STIs capazes tanto de ensinar quanto aprender informa??es relevantes sobre o aluno atrav?s de t?cnicas de intelig?ncia artificial. Esse aprendizado acontece por meio da intera??o direta entre o STI e o aluno que ? geralmente demorada. Esta disserta??o apresenta a inser??o da metaheur?sticas Lista Tabu e GRASP com o objetivo de acelerar esse aprendizado. Para avaliar o desempenho dessa modifica??o, foi desenvolvido um simulador de STI. Nesse sistema, foram realizadas simula??es computacionais para comparar o desempenho da tradicional pol?tica de explora??o aleat?ria e as metaheur?sticas propostas Lista Tabu e GRASP. Os resultados obtidos atrav?s dessas simula??es e os testes estat?sticos aplicados indicam fortemente que a introdu??o de meta-heur?sticas adequadas melhoram o desempenho do algoritmo de aprendizado em STIs.Disserta??o (Mestrado Profissional) ? Programa de P?s-Gradua??o em Educa??o, Universidade Federal dos Vales do Jequitinhonha e Mucuri, 2016.Using computer systems as a complement or replacement for the classroom experience is an increasingly common practice in education and Intelligent Tutoring Systems (ITS) are one of these alternatives. Therefore, it is crucial to develop ITS that are capable of both teaching and learning relevant information about the student through artificial intelligence techniques. This learning process occurs by means of direct, and generally slow, interaction between the ITS and the student. This dissertation presents the insertion of meta-heuristic Tabu search and GRASP with the purpose of accelera ting learning. An ITS simulator was developed to evaluate the performance of this change. Computer simulations were conducted in order to compare the performance of traditional randomized search methods with the meta-heuristic Tabu search. Results obtained from these simulations and statistical tests strongly indicate that the introduction of meta-heuristics in exploration policy improves the performance of the learning algorithm in ITS

Combinando Modelos de Interação para Melhorar a Coordenação em Sistemas Multiagente

A contribuição principal deste artigo é a implementação de um método híbrido de coordenação a partir da combinação de modelos de interação desenvolvidos anteriormente. Os modelos de interação são baseados no compartilhamento de recompensas para aprendizagem com múltiplos agentes, no intuito de descobrir de maneira interativa políticas de boa qualidade. A troca de recompensas entre os agentes durante a interação é uma tarefa complexa e se realizada de forma inadequada pode ocasionar atrasos no aprendizado ou até mesmo causar comportamentos inesperados, tornando a cooperação ineficiente e convergindo para uma política não-satisfatória. A partir desses conceitos, o método híbrido utiliza as particularidades de cada modelo, reduzindo possíveis conflitos entre ações com recompensas de políticas diferentes, melhorando a coordenação dos agentes em problemas de aprendizagem por reforço. Resultados experimentais mostram que o método híbrido é capaz de acelerar a convergência, conquistando rapidamente políticas ótimas mesmo em grandes espaços de estados, superando os resultados de abordagens clássicas de aprendizagem por reforço

Mapas Cognitivos Fuzzy Dinâmicos Hierárquicos para arquitetura cooperativa de robótica móvel autônoma inspirada por SLAM e ACO/ Hierarchical Dynamic Fuzzy Cognitive Maps for autonomous mobile robotics cooperative architecture inspired by SLAM and ACO

Este trabalho apresenta uma arquitetura de navegação robótica construída através de Mapas Cognitivos Fuzzy Dinâmicos e Hierárquicos (HD-FCM), uma evolução dos Mapas Cognitivos Fuzzy, aplicadas em navegação autônoma, em especial navegação autônoma cooperativa. A arquitetura proposta é inspirada na arquitetura de subsunção de Brooks devido ao gerenciamento hierárquico de funções e processamento paralelo, e em conceitos de técnicas de SLAM como Landmarks artificiais e recuperação de informações. Entretanto, a logística de operação é inspirada em Robótica Coletiva, em especial no comportamento de formigas para otimização de trajetória. Uma arquitetura de um controlador baseado HD-FCM é desenvolvida com vários níveis de funcionalidades, desde ações de baixo nível até o nível mais alto de gerenciamento, planejamento de ações, sintonia dinâmica do modelo. No último nível é inserido no modelo um compartilhamento de trajetória entre uma sequência agentes, através de uma memória de tráfego baseado em sistemas multiagentes, técnicas de SLAM e algoritmos bioinpirados

Contribuições de aprendizado por reforço em escolha de rota e controle semafórico

A área de sistemas inteligentes de transporte há muito investiga como empregar tecnologias da informação e comunicação a fim de melhorar a eficiência do sistema como um todo. Isso se traduz basicamente em monitorar e gerenciar a oferta (rede viária, semáforos etc.) e a demanda (deslocamentos de pessoas e mercadorias). A esse esforço, mais recentemente, estão sendo adicionadas técnicas de inteligência artificial. Essa tem o potencial de melhorar a utilização da infraestrutura existente, a fim de melhor atender a demanda. Neste trabalho é fornecido um panorama focado especificamente em duas tarefas onde a inteligência artificial tem contribuições relevantes, a saber, controle semafórico e escolha de rotas. Os trabalhos aqui discutidos objetivam otimizar a oferta e/ou distribuir a demanda.The field of of intelligent transportation systems has long investigated how to employ information and communication technologies to improve the efficiency of the system as a whole. This basically means to monitor and manage both supply (traffic network, traffic signals etc.) and demand (vehicles, people and goods). More recently, artificial intelligence techniques are being added to this effort, as they have the potential to improve the usage of existing infrastructure to meet the corresponding demand. In this paper, an overview is given, focusing specifically on two tasks where artificial intelligence has made relevant contributions, namely, traffic signal controls and route choices. The works discussed here aim at optimize the supply and/or distribute the demand

Sistema de detecção e reconhecimento de números baseado em cascata de classificadores e redes neurais

Trabalho de Conclusão Curso (graduação)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2018.Grandes avanços tem sido observados nos processadores modernos nas últimas décadas. Ano após ano a capacidade de processamento de computadores e dispositivos eletrônicos aumenta em ritmo exponencial. Este aumento no poder de processamento acelera a execução de algoritmos de aprendizado de máquina e viabiliza seu uso em novos campos como na segurança, robótica e saúde. Além disso, a introdução e massificação dos chamados dispositivos móveis, ou smartphones, contribuíram para o barateamento e acessibilidade à tecnologia fotográfica e de gravação de vídeos com qualidade. Neste contexto, estudos de visão computacional como detecção de texto passam a ser viáveis. Detecção de texto é um problema complexo, porém sua solução permite aplicações interessantes como OCR em documentos impressos e alternativas de automação para a robótica. Este trabalho apresenta um sistema de detecção e reconhecimento exclusivo para números, tanto escritos como impressos. A implementação da detecção de números foi alcançada por meio da associação das técnicas de visão computacional “cascata de classificadores”, “pirâmide de imagens”, “método da janela móvel” e “geração manual de características Haar”. A classificação dos números detectados foi realizada utilizando-se duas alternativas, um modelo de rede neural multi-camada e um modelo de convolução. A detecção de números foi validada com um grupo de exemplos criados manualmente. Foram extraídos parâmetros da matriz de confusão do detector e também foi calculada sua nota F1, atingindo o máximo de 0.4194. A classificação foi validada por meio do grupo de exemplos da base de dados MNIST, em que o melhor desempenho foi registrado no valor 97.5% e 99% para o modelo de rede multi-camada e convolucional respectivamente. O sistema completo também foi validado em um grupo de exemplos criado à mão, em que o melhor desempenho teve acurácia de 90%.Big advancements have been happening on modern computing hardware within the last decades. Year after year processors and electronic devices have been rising their speed and capabilities, all of this at an exponencial level. This rising on processing power accelerates the execution of complex algorithms from the machine learning field, and this enables their use in new fields of robotics, surveillance and healthcare. Besides all stated about processors, the introduction and wide adoption of mobile devices, or smartphones, contributed the decrease in costs and improvements on accessibility to high quality video recording technology. In this scenario, there has been a surge in studies about computer vision and its applications under these conditions. Text detection is a complex problem related to computer vision, and solutions to it could enable interesting applications such as photo optical character recognition on printed documents as well as new ways to automate processes in robotics. This work presents a system for detecting and recognizing numbers, both written and printed. Number detection was implemented by making use of computer vision techniques like cascade classifiers, image pyramids, the sliding window method along with manual feature generation method “Haar”. Number recognition was done by training two different machine learning classifiers, a multi-layer neural network and a convolutional neural network. The digit detection system was validated with a group of hand crafted examples. A confusion matrix was extracted from the detector’s performance on the set and its f1 score was calculated, achieving a maximum value of 0.4194. Classification was validated by making use of the MNIST dataset, on which each classifier’s accuracy was registered, reaching a maximum of 97.5% for the multi-layer neural net and 99% for the convolutional model. Validation for the system as a whole was also performed by making use of a hand crafted dataset, to which the system achieved a best accuracy of 90%

Análise da influência da taxa de aprendizado e do fator de desconto sobre o desempenho dos algoritmos Q-learning e SARSA: aplicação do aprendizado por reforço na navegação autônoma

Nos algoritmos de aprendizado por reforço, a taxa de aprendizado (alpha) e o fator de desconto (gamma) podem ser definidos entre qualquer valor no intervalo entre 0 e 1. Assim, adotando os conceitos de regressão logística, é proposta uma metodologia estatística para a análise da influência da variação de \alpha e \gamma nos algoritmos Q-learning e SARSA. Como estudo de caso, o aprendizado por reforço foi aplicado em experimentos de navegação autônoma. A análise de resultados mostrou que simples variações em \alpha e \gamma podem interferir diretamente no desempenho do aprendizado por reforço

Limites legais ao uso da inteligência artificial na magistratura

Este trabalho tem como objetivo descobrir se o uso da Inteligência Artificial como autora, coautor ou substituta do trabalho intelectual do magistrado pode ser considerado legal e constitucional segundo o ordenamento jurídico brasileiro. A fim de se atingir o objetivo almejado, levantou-se a conceituação básica a respeito da tecnologia envolvida na Inteligência Artificial, pesquisou-se, nos autores relevantes, e em artigos científicos, as reflexões a respeito dos limites legais relevantes, e, por fim, foi analisado se o uso da Inteligência Artificial como entidade julgadora afronta os direitos, garantias e princípios constitucionais. O método utilizado na realização da pesquisa foi o hipotético-dedutivo, partindo da hipótese de que o ordenamento jurídico brasileiro não dá suporte a esse tipo de aplicação da Inteligência Artificial. Confrontando essa hipótese com a legislação pertinente ao assunto, e com os princípios aplicáveis, por meio dos métodos de interpretação jurídica, chegou-se à conclusão de que, apesar de não existir regulamentação explícita acerca da matéria, a substituição das atividades do magistrado por um sistema de Inteligência Artificial configura-se inconstitucional por afrontar diversos princípios da Lei Maior

Ajuste Dinâmico de Dificuldade pelo desempenho e perfil de jogador em jogo de plataforma

Dissertação (Mestrado em Informática) — Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, Brasília, 2022.O Ajuste Dinâmico de Dificuldade (ADD) dos jogos pode desempenhar um papel importante para aumentar o envolvimento e a diversão do jogador. A dificuldade de jogo pode ser adaptada de acordo com o desempenho do jogador, seu estado afetivo ou usando um modelo híbrido que combina as duas abordagens. Ademais, pode adaptar configurações ou componentes do jogo e utilizar métricas pré-estabelecidas ou aprendizado de máquina para análise do que será adaptado. Este trabalho investiga os distintos mecanismos de um sistema de ADD para um jogo de plataforma adaptar adequadamente seu nível de dificuldade e manter o jogador em um estado de fluxo. Este trabalho contribui com a definição de um método que estima a dificuldade do jogo a partir de características específicas de componentes comuns ao gênero de plataforma. Também são revisadas métricas para medição do estado do fluxo e do perfil do jogador e propostas regras para criação de níveis ao testar modelos de ADD. O ajuste proposto varia o tamanho da plataforma e a altura do salto, comparando distintas abordagens a partir de sistemas do jogo e verificando a eficiência de cada uma em relação ao monitoramento e análise dos dados e ao controle da adaptação dos componentes. Um jogo de plataforma de código aberto foi adaptado para suportar os algoritmos de ADD e para execução de testes com grupos de amostra, nos quais os participantes respondiam a questionários e tiveram seus dados coletados para fins de investigação. Os resultados indicaram que a dificuldade de jogos de plataforma pode ser estimada pelos componentes dos níveis, incluindo correlação entre a dificuldade e os dados de desempenho dos jogadores. Além disso, perfis de jogadores foram previstos a partir de dados brutos da sessão do jogo e utilizados com métodos de aprendizado de máquina para definir a progressão de dificuldade. Por fim, os modelos de ADD foram capazes de ajustar a dificuldade do jogo aos jogadores, diminuindo a dispersão entre os dados de desempenho e mantendo o jogador em estado de fluxo, especialmente ao utilizar redes neurais diretas para predição da dificuldade experienciada e do perfil do jogador.The Dynamic Difficulty Adjustment (DDA) of games can play an important role in increasing the player engagement and fun. Gameplay difficulty can be adapted according to the player’s performance, its affective state or by using a hybrid model that combines both approaches. In addition, you can adapt game settings or components and use pre-established metrics or machine learning to analyze what will be adapted. This work investigates the different mechanisms of an DDA system for a platform game to adequately adapt its difficulty level and keep the player in a state of flow. This work contributes with the definition of a method that estimates the game’s difficulty based on specific characteristics of components common to the platform genre. Metrics for measuring the flow state and player profile are also reviewed, and rules for creating levels when testing ADD models are proposed. The proposed adjustment varies the size of the platform and the height of the jump, comparing different approaches from the game systems and verifying the efficiency of each one in relation to the monitoring and analysis of the data and the control of the components adaptation. An open source platform game was adapted to support the ADD algorithms and to run tests with sample groups, in which participants answered questionnaires and had their data collected for research purposes. The results indicated that the difficulty of platform games can be estimated by the components of the levels, including correlation between the difficulty and player performance data. In addition, player profiles were predicted from raw game session data and used with machine learning methods to define difficulty progression. Finally, the DDA models were able to adjust the game difficulty to the players, decreasing the dispersion between the performance data and keeping the player in a state of flow, especially when using feedforward neural networks to predict the difficulty experienced and the player’s profile

Estratégias de Atualização de Políticas para a Coordenação de Agentes Baseados em Enxames

Neste artigo é analisada a influência dos parâmetros de aprendizagem de algoritmos de enxames e propostas estratégias de atualização de políticas geradas por recompensas (feromônios) para ambientes dinâmicos. Nós verificamos que quando os parâmetros de algoritmos baseados em recompensas são ajustados inadequadamente pode ocorrer atrasos no aprendizado e convergência para uma solução não-satisfatória. Além disso, esse problema é agravado em ambientes dinâmicos, pois o ajuste dos parâmetros de tais algoritmos não é suficiente para garantir convergência. Para solucionar tal problema, nós desenvolvemos estratégias que modificam valores de feromônio, melhorando a coordenação entre os agentes e permitindo convergência mesmo quando o ambiente é alterado dinamicamente. Para isso, um framework capaz de demonstrar de maneira iterativa a influência dos parâmetros e das estratégias foi desenvolvido. Resultados experimentais mostram que é possível acelerar a convergência para uma política global consistente, superando os resultados de abordagens clássicas de algoritmos baseados em enxames