36 research outputs found
Aplicando a neuroevolução para obter NPCs de alta qualidade
Monografia (graduação)—Universidade de Brasília, Faculdade UnB Gama, Curso de Engenharia de Software, 2014.Este documento descreve a proposta para a implementação de um modelo de inteligência artificial baseado na neuroevolução a fim de obter personagens controlados pelo computador que fossem de alta qualidade. Para isso, foram estudados os conceitos da inteligência artificial, a fim de entender as técnicas clássicas que são usadas em jogos, e da inteligência computacional, para focar nas técnicas que apresentem adaptabilidade. Além disso, foi feita uma análise de como algumas técnicas e algoritmos de inteligência artificial são usadas em jogos eletrônicos e como elas afetam o gameplay. Essa análise servirá de referencial para a produção de um protótipo e condução de uma survey. Adicionalmente, o documento traz detalhes sobre o algoritmo Neuro-Evolving Augmenting Topologies (NEAT) usado para implementar a neuroevolução. Por fim, o trabalho apresenta os resultados obtidos no desenvolvimento do protótipo desenvolvido assim como na condução da survey analisa os resultados obtidos.This document describes the proposal for implementation of a artificial intelligence model based on multimodal neuroevolution in order to achieve high quality non-player characters. For this it was studied the concepts of artificial intelligence, to understand the classical techniques that are used in games, and computational intelligence techniques, to focus on showing adaptability. Also an analysis of how some of the artificial intelligence’s techniques and algorithms are used in eletronic games and how they affect the gameplay. This analysis will serve as a reference for the production of a prototype and conduct a survey. Additionally, the document provides details about the Neuro-Evolving augmenting Topologies (NEAT) algorithm used to implement the neuroevolution. Finally, the paper presents the results obtained in the development of the prototype as well as in the conduct of the survey and analyzes the results
Algoritmo Neuroevolucionário que implementa comportamentos inatos por meio de agentes autônomos / A Neuroevolutionary Algorithm that implements innate behaviors through autonomous agents
Este artigo apresenta um Sistema Inspirado Biologicamente, capaz de implementar comportamentos inatos através de agentes autônomos. Considerações são feitas sobre os paradigmas biológicos utilizados, como mecanismos evolutivos e comportamentos inatos dos animais, tentando encontrar soluções que, uma vez aplicadas ao desenvolvimento de dispositivos artificiais, forneçam agentes autônomos mais robustos e úteis para operar no mundo real. Para ter maior probabilidade de sobreviver, os seres vivos devem ter desenvolvido comportamentos mais complexos, como reativos e motivados internamente, nos quais a ação do agente deve depender da história passada de valores sensoriais para ser eficaz. Após a descrição desse sistema híbrido, realizamos simulações de duas tarefas utilizando o aprendizado por reforço: Taxies e Reflexos, comportamentos reativos e instintivos. Os resultados indicam a eficiência da técnica na seleção de arquiteturas econômicas de RNAs para todos os problemas, tendo em vista que a capacidade de generalização dos mesmos foi em média 99% com os seguintes erros médios quadráticos (EMQ) 0,00025 e 0,00012 respectivamente para os dois problemas estudados. Finalmente, as conclusões são dadas
APRENDIZADO BASEADO EM CURRÍCULO APLICADO À ROBÓTICA ADAPTATIVA
TCC(graduação) - Universidade Federal de Santa Catarina. Centro Tecnológico. Sistemas de Informação.Este trabalho explora métodos neuroevolutivos de treinamento associados ao
aprendizado baseado em currículo, com o intuito de treinar agentes robóticos de forma mais
eficiente. Utiliza-se aqui uma RNA classificadora auxiliar para estimar a dificuldade e ordenar
de as tarefas utilizadas no treinamento da rede neuroevolutiva. Assim, currículo é o resultado
de um processo que seleciona e ordena as variáveis da camada de entrada de uma rede neural.
O método automatizado de geração de currículo proposto amplia a escalabilidade para tarefas
mais complexas e com resultados que superam os métodos convencionais de aprendizado. /This article explores neuroevolutionary training methods associated with curriculum based learning, in order to train robotic agents more efficiently, since, according to recent
research, the curriculum, in this case, the learning trajectory or ordering of the set of tasks, is
directly related to the speed and efficiency of learning. An auxiliary artificial neural network is
used here to estimate the difficulty and order the tasks used in the training of the
neuroevolutionary network. The proposed automated curriculum generation method extends
scalability to more complex tasks and with results that surpass conventional learning methods
Exploring neuroevolution fitness landscapes for optimization and generalization
Tese de mestrado, Engenharia Informática (Interação e Conhecimento) Universidade de Lisboa, Faculdade de Ciências, 2020Paisagens de aptidão (fitness landscapes) são um conceito útil e largamente investigado para estudar as dinâmicas de meta-heurísticas. Nas últimas duas décadas têm sido utilizadas com sucesso para estimar as capacidades de otimização de diversos tipos de algoritmos evolutivos, tal como algoritmos genéticos e programação genética. No entanto, até à data nunca foram utilizadas para estudar o desempenho de algoritmos de aprendizagem automática em dados nunca vistos durante o treino, e nunca foram aplicadas para estudar as paisagens geradas por neuroevolução. Coincidentemente, apesar de já existir há quase três décadas e ainda ser uma área de investigação com um crescimento rápido e dinâmico, a neuroevolução ainda tem falta de fundações teóricas e metodológicas, fundações essas que podem ser dadas através da aplicação de paisagens de aptidão. Esta dissertação tem como objetivo preencher estas lacunas ao aplicar paisagens de aptidão à neuroevolução, usando este conceito para inferir informação útil sobre a capacidade de aprendizagem e generalização deste método de aprendizagem automática. De forma a realizar esta tarefa, desenvolvemos e usámos um algoritmo de neuroevolução baseado em gramáticas que gera redes neuronais convolucionais, e estudámos a dinâmica de três operadores de mutação distintos usados para evoluir múltiplos aspetos das redes neuronais. De forma a caracterizar as paisagens de aptidão, estudámos a autocorrelação (autocorrelation), medida entrópica de rugosidade (entropic measure of ruggedness), nuvens de aptidão (fitness clouds), medidas de gradiente (gradient measures) e o coeficiente de declive negativo (negative slope coefficient), e ao mesmo tempo discutimos porque é que apesar de não usarmos outras medidas, tais como redes de ótimos locais (local óptima networks) e correlação aptidão distância (fitness distance correlation), estas podem providenciar resultados interessantes. Também propomos o uso de duas novas medidas de avaliação: nuvens de densidade, uma nova medida desenvolvida nesta tese com capacidade de dar informação visual sobre a distribuição de amostras, e a medida de sobreajustamento (overfitting), que é derivada de uma medida já existente e usada em programação genética. Os resultados demonstram que as medidas usadas são apropriadas e produzem resultados precisos no que toca a estimar tanto a capacidade de aprendizagem como a habilidade de generalização das configuração de neuroevolução consideradas.Fitness landscapes are a useful and widely investigated concept for studying the dynamics of meta-heuristics. In the last two decades, they have been successfully used for estimating the optimization capabilities of different flavors of evolutionary algorithms, including genetic algorithms and genetic programming. However, so far they have not been used for studying the performance of Machine Learning (ML) algorithms on unseen data, and they have not been applied to study neuroevolution landscapes. Coincidentally, despite having existed for almost three decades and still being a dynamic and rapidly growing research field, neuroevolution still lacks theoretical and methodological foundations, which could be provided by the application of fitness landscapes. This thesis aims to fill these gaps by applying fitness landscapes to neuroevolution, using this concept to infer useful information about the learning and generalization ability of the ML method. For this task, we developed and used a grammar-based neuroevolution approach to generate convolutional neural networks, and studied the dynamics of three different mutation operators used to evolve multiple aspects of the networks. To characterize fitness landscapes, we studied autocorrelation, entropic measure of ruggedness, fitness clouds, gradient measures and negative slope coefficient, while also discussing why other measures such as local optima networks and fitness distance correlation, despite not being used, could provide interesting results. Also, we propose the use of two additional evaluation measures: density clouds, a new measure developed in this thesis that can provide visual information regarding the distribution of samples, and overfitting measure, which is derived from a measure used in genetic programming. The results show that the used measures are appropriate and produce accurate results when estimating both the learning capability and the generalization ability of the considered neuroevolution configurations
Towards The Deep Semantic Learning Machine Neuroevolution Algorithm: An exploration on the CIFAR-10 problem task
Dissertation presented as the partial requirement for obtaining a Master's degree in Data Science and Advanced AnalyticsSelecting the topology and parameters of Convolutional Neural Network (CNN) for a given supervised machine learning task is a non-trivial problem. The Deep Semantic Learning Machine (Deep-SLM) deals with this problem by automatically constructing CNNs without the use of the Backpropagation algorithm. The Deep-SLM is a novel neuroevolution technique and functions as stochastic semantic hill-climbing algorithm searching over the space of CNN topologies and parameters. The geometric semantic properties of the Deep-SLM induce a unimodel error space and eliminate the existence of local optimal solutions. This makes the Deep-SLM potentially favorable in terms of search efficiency and effectiveness.
This thesis provides an exploration of a variant of the Deep-SLM algorithm on the CIFAR-10 problem task, and a validation of its proof of concept. This specific variant only forms mutation node ! mutation node connections in the non-convolutional part of the constructed CNNs. Furthermore, a comparative study between the Deep-SLM and the Semantic Learning Machine (SLM) algorithms was conducted. It was observed that sparse connections can be an effective way to prevent overfitting. Additionally, it was shown that a single 2D convolution layer initialized with random weights does not result in well-generalizing features for the Deep-SLM directly, but, in combination with a 2D max-pooling down sampling layer, effective improvements in performance and generalization of the Deep-SLM could be achieved. These results constitute to the hypothesis that convolution and pooling layers can improve performance and generalization of the Deep-SLM, unless the components are properly optimized.Selecionar a topologia e os parâmetros da Rede Neural Convolucional (CNN) para uma tarefa de aprendizado automático supervisionada não é um problema trivial. A Deep Semantic Learning Machine (Deep-SLM) lida com este problema construindo automaticamente CNNs sem recorrer ao uso do algoritmo de Retro-propagação. A Deep-SLM é uma nova técnica de neuroevolução que funciona enquanto um algoritmo de
escalada estocástico semântico na pesquisa de topologias e de parâmetros CNN. As propriedades geométrico-semânticas da Deep-SLM induzem um unimodel error space que elimina a existência de soluções ótimas locais, favorecendo, potencialmente, a Deep-SLM em termos de eficiência e eficácia.
Esta tese providencia uma exploração de uma variante do algoritmo da Deep-SLM no problemo de CIFAR-10, assim como uma validação do seu conceito de prova. Esta variante específica apenas forma conexões nó de mutação!nó de mutação na parte non convolucional da CNN construída. Mais ainda, foi conduzido um estudo comparativo entre a Deep-SLM e o algoritmo da Semantic Learning Machine (SLM). Tendo sido observado
que as conexões esparsas poderão tratar-se de uma forma eficiente de prevenir o overfitting. Adicionalmente, mostrou-se que uma singular camada de convolução 2D, iniciada com valores aleatórios, não resulta, directamente, em características generalizadas para a Deep-SLM, mas, em combinação com uma camada de 2D max-pooling, melhorias efectivas na performance e na generalização da Deep-SLM poderão ser concretizadas.
Estes resultados constituem, assim, a hipótese de que as camadas de convolução e pooling poderão melhorar a performance e a generalização da Deep-SLM, a não ser que os componentes sejam adequadamente otimizados
Neuroevolutionary learning in nonstationary environments
This work presents a new neuro-evolutionary model, called NEVE (Neuroevolutionary Ensemble), based on an ensemble of Multi-Layer Perceptron (MLP) neural networks for learning in nonstationary environments. NEVE makes use of quantum-inspired evolutionary models to automatically configure the ensemble members and combine their output. The quantum-inspired evolutionary models identify the most appropriate topology for each MLP network, select the most relevant input variables, determine the neural network weights and calculate the voting weight of each ensemble member. Four different approaches of NEVE are developed, varying the mechanism for detecting and treating concepts drifts, including proactive drift detection approaches. The proposed models were evaluated in real and artificial datasets, comparing the results obtained with other consolidated models in the literature. The results show that the accuracy of NEVE is higher in most cases and the best configurations are obtained using some mechanism for drift detection. These results reinforce that the neuroevolutionary ensemble approach is a robust choice for situations in which the datasets are subject to sudden changes in behaviour
TORCS Training Interface : uma ferramenta auxiliar ao desenvolvimento de pilotos do TORCS
Monografia (graduação)—Universidade de Brasília, Brasília, 2013.A ineficiente maneira como os pilotos são testados e desenvolvidos para jogo e simulador de corrida TORCS é um problema relevante por conta das limitações impostas sobre trabalhos de desenvolvimento de pilotos, i.e., algoritmos que determinam o comportamento dos carros não controlados por jogadores humanos. Porque este software tem um papel de plataforma para benchmark de diferentes abordagens de Inteligência Articial, é importante que se procure mitigar tal problema. Aqui desenvolveu-se a TORCS Training Interface, uma ferramenta que oferece automatizações para melhorar a eficiência das chamadas desimulações e retornar dados mais completos – ambos fatores importantes para as necessárias avaliações que têm como objetivo estimar habilidades de pilotos. Os resultados dos testes comparativos realizados indicam que ousoda ferramenta é uma alternativa viável às abordagens observadas na literatura, apresentando vantagens que podem torná-la a forma mais adequada para processos similares aos considerados neste trabalho. _____________________________________________________________________ ABSTRACT: The inefficient manner in which drivers are tested and developed for the racing game and simulator TORCS is a relevant problem because of the limitations imposed over projects of development of drivers, i.e., algorith ms that determine the behavior of cars that are not controlled by human players. Because this software has a role of benchmark for different techniques of Articial Intelligence, it is important to work on mitigating this problem. The TORCS Training Interface was developed, a tool that offers automatizations in order to improve the efficiency of simulation calls and return more complete data-both of which are important for the necessary evaluations that have as a goal estimating the fitness of drivers. Results of the comparative tests performed indicate that the use of the tool is a viable alternative to the approaches seen in the literature, presentin g advantages that can make it the most fitting to processes that are similar to the ones considered here
Diplegia Espástica: Abordagem Neuroevolutiva Centrada na Mobilidade Pélvica – Relato de Caso
Introdução: a Encefalopatia Crônica não Progressiva na Infância (ECNPI), conhecida como paralisia cerebral, é caracterizada por uma lesão ao sistema nervoso central, durante o período pré, peri ou pós-natal, que acarreta disfunções corporais subdivididas de acordo com os membros afetados. Uma delas é a ECNPI espástica, que acomete em grande parte os membros inferiores, podendo haver comprometimento de membros superiores. Objetivo: este estudo buscou descrever os efeitos de um protocolo de atendimento centrado na mobilidade pélvica. Metodologia: trata-se de um estudo de caso, do tipo intencional tendo como foco um portador de ECNPI espástica, sendo aplicada as escalas de Medida da Função Motora Grossa (GMFM) e Medida de Independência Funcional (MIF) na pré e pós intervenção, onde as informações foram organizadas em uma planilha e tabuladas de forma descritiva através do software Microsoft ® Excel 2010. uma análise descritiva. Resultados: pôde-se notar que as medidas realizadas na pré-intervenção apresentaram valores menores em relação às medidas realizadas pós-intervenção, demonstrando que houve aumento da função motora grossa e da independência funcional. Conclusão: a pesquisa mostrou que o protocolo elaborado e aplicado foi eficaz principalmente em três dimensões, que são deitar/rolar, em pé e sentar, condizendo com os objetivos do presente estudo