Aplicando a neuroevolução para obter NPCs de alta qualidade

Monografia (graduação)—Universidade de Brasília, Faculdade UnB Gama, Curso de Engenharia de Software, 2014.Este documento descreve a proposta para a implementação de um modelo de inteligência artificial baseado na neuroevolução a fim de obter personagens controlados pelo computador que fossem de alta qualidade. Para isso, foram estudados os conceitos da inteligência artificial, a fim de entender as técnicas clássicas que são usadas em jogos, e da inteligência computacional, para focar nas técnicas que apresentem adaptabilidade. Além disso, foi feita uma análise de como algumas técnicas e algoritmos de inteligência artificial são usadas em jogos eletrônicos e como elas afetam o gameplay. Essa análise servirá de referencial para a produção de um protótipo e condução de uma survey. Adicionalmente, o documento traz detalhes sobre o algoritmo Neuro-Evolving Augmenting Topologies (NEAT) usado para implementar a neuroevolução. Por fim, o trabalho apresenta os resultados obtidos no desenvolvimento do protótipo desenvolvido assim como na condução da survey analisa os resultados obtidos.This document describes the proposal for implementation of a artificial intelligence model based on multimodal neuroevolution in order to achieve high quality non-player characters. For this it was studied the concepts of artificial intelligence, to understand the classical techniques that are used in games, and computational intelligence techniques, to focus on showing adaptability. Also an analysis of how some of the artificial intelligence’s techniques and algorithms are used in eletronic games and how they affect the gameplay. This analysis will serve as a reference for the production of a prototype and conduct a survey. Additionally, the document provides details about the Neuro-Evolving augmenting Topologies (NEAT) algorithm used to implement the neuroevolution. Finally, the paper presents the results obtained in the development of the prototype as well as in the conduct of the survey and analyzes the results

PREDIÇÃO DA FLEXIBILIDADE CONFORMACIONAL DE RESÍDUOS DE AMINOÁCIDOS ATRAVÉS DE NEUROEVOLUÇÃO

1

APRENDIZADO BASEADO EM CURRÍCULO APLICADO À ROBÓTICA ADAPTATIVA

TCC(graduação) - Universidade Federal de Santa Catarina. Centro Tecnológico. Sistemas de Informação.Este trabalho explora métodos neuroevolutivos de treinamento associados ao aprendizado baseado em currículo, com o intuito de treinar agentes robóticos de forma mais eficiente. Utiliza-se aqui uma RNA classificadora auxiliar para estimar a dificuldade e ordenar de as tarefas utilizadas no treinamento da rede neuroevolutiva. Assim, currículo é o resultado de um processo que seleciona e ordena as variáveis da camada de entrada de uma rede neural. O método automatizado de geração de currículo proposto amplia a escalabilidade para tarefas mais complexas e com resultados que superam os métodos convencionais de aprendizado. /This article explores neuroevolutionary training methods associated with curriculum based learning, in order to train robotic agents more efficiently, since, according to recent research, the curriculum, in this case, the learning trajectory or ordering of the set of tasks, is directly related to the speed and efficiency of learning. An auxiliary artificial neural network is used here to estimate the difficulty and order the tasks used in the training of the neuroevolutionary network. The proposed automated curriculum generation method extends scalability to more complex tasks and with results that surpass conventional learning methods

Exploring neuroevolution fitness landscapes for optimization and generalization

Tese de mestrado, Engenharia Informática (Interação e Conhecimento) Universidade de Lisboa, Faculdade de Ciências, 2020Paisagens de aptidão (fitness landscapes) são um conceito útil e largamente investigado para estudar as dinâmicas de meta-heurísticas. Nas últimas duas décadas têm sido utilizadas com sucesso para estimar as capacidades de otimização de diversos tipos de algoritmos evolutivos, tal como algoritmos genéticos e programação genética. No entanto, até à data nunca foram utilizadas para estudar o desempenho de algoritmos de aprendizagem automática em dados nunca vistos durante o treino, e nunca foram aplicadas para estudar as paisagens geradas por neuroevolução. Coincidentemente, apesar de já existir há quase três décadas e ainda ser uma área de investigação com um crescimento rápido e dinâmico, a neuroevolução ainda tem falta de fundações teóricas e metodológicas, fundações essas que podem ser dadas através da aplicação de paisagens de aptidão. Esta dissertação tem como objetivo preencher estas lacunas ao aplicar paisagens de aptidão à neuroevolução, usando este conceito para inferir informação útil sobre a capacidade de aprendizagem e generalização deste método de aprendizagem automática. De forma a realizar esta tarefa, desenvolvemos e usámos um algoritmo de neuroevolução baseado em gramáticas que gera redes neuronais convolucionais, e estudámos a dinâmica de três operadores de mutação distintos usados para evoluir múltiplos aspetos das redes neuronais. De forma a caracterizar as paisagens de aptidão, estudámos a autocorrelação (autocorrelation), medida entrópica de rugosidade (entropic measure of ruggedness), nuvens de aptidão (fitness clouds), medidas de gradiente (gradient measures) e o coeficiente de declive negativo (negative slope coefficient), e ao mesmo tempo discutimos porque é que apesar de não usarmos outras medidas, tais como redes de ótimos locais (local óptima networks) e correlação aptidão distância (fitness distance correlation), estas podem providenciar resultados interessantes. Também propomos o uso de duas novas medidas de avaliação: nuvens de densidade, uma nova medida desenvolvida nesta tese com capacidade de dar informação visual sobre a distribuição de amostras, e a medida de sobreajustamento (overfitting), que é derivada de uma medida já existente e usada em programação genética. Os resultados demonstram que as medidas usadas são apropriadas e produzem resultados precisos no que toca a estimar tanto a capacidade de aprendizagem como a habilidade de generalização das configuração de neuroevolução consideradas.Fitness landscapes are a useful and widely investigated concept for studying the dynamics of meta-heuristics. In the last two decades, they have been successfully used for estimating the optimization capabilities of different flavors of evolutionary algorithms, including genetic algorithms and genetic programming. However, so far they have not been used for studying the performance of Machine Learning (ML) algorithms on unseen data, and they have not been applied to study neuroevolution landscapes. Coincidentally, despite having existed for almost three decades and still being a dynamic and rapidly growing research field, neuroevolution still lacks theoretical and methodological foundations, which could be provided by the application of fitness landscapes. This thesis aims to fill these gaps by applying fitness landscapes to neuroevolution, using this concept to infer useful information about the learning and generalization ability of the ML method. For this task, we developed and used a grammar-based neuroevolution approach to generate convolutional neural networks, and studied the dynamics of three different mutation operators used to evolve multiple aspects of the networks. To characterize fitness landscapes, we studied autocorrelation, entropic measure of ruggedness, fitness clouds, gradient measures and negative slope coefficient, while also discussing why other measures such as local optima networks and fitness distance correlation, despite not being used, could provide interesting results. Also, we propose the use of two additional evaluation measures: density clouds, a new measure developed in this thesis that can provide visual information regarding the distribution of samples, and overfitting measure, which is derived from a measure used in genetic programming. The results show that the used measures are appropriate and produce accurate results when estimating both the learning capability and the generalization ability of the considered neuroevolution configurations

Towards The Deep Semantic Learning Machine Neuroevolution Algorithm: An exploration on the CIFAR-10 problem task

Dissertation presented as the partial requirement for obtaining a Master's degree in Data Science and Advanced AnalyticsSelecting the topology and parameters of Convolutional Neural Network (CNN) for a given supervised machine learning task is a non-trivial problem. The Deep Semantic Learning Machine (Deep-SLM) deals with this problem by automatically constructing CNNs without the use of the Backpropagation algorithm. The Deep-SLM is a novel neuroevolution technique and functions as stochastic semantic hill-climbing algorithm searching over the space of CNN topologies and parameters. The geometric semantic properties of the Deep-SLM induce a unimodel error space and eliminate the existence of local optimal solutions. This makes the Deep-SLM potentially favorable in terms of search efficiency and effectiveness. This thesis provides an exploration of a variant of the Deep-SLM algorithm on the CIFAR-10 problem task, and a validation of its proof of concept. This specific variant only forms mutation node ! mutation node connections in the non-convolutional part of the constructed CNNs. Furthermore, a comparative study between the Deep-SLM and the Semantic Learning Machine (SLM) algorithms was conducted. It was observed that sparse connections can be an effective way to prevent overfitting. Additionally, it was shown that a single 2D convolution layer initialized with random weights does not result in well-generalizing features for the Deep-SLM directly, but, in combination with a 2D max-pooling down sampling layer, effective improvements in performance and generalization of the Deep-SLM could be achieved. These results constitute to the hypothesis that convolution and pooling layers can improve performance and generalization of the Deep-SLM, unless the components are properly optimized.Selecionar a topologia e os parâmetros da Rede Neural Convolucional (CNN) para uma tarefa de aprendizado automático supervisionada não é um problema trivial. A Deep Semantic Learning Machine (Deep-SLM) lida com este problema construindo automaticamente CNNs sem recorrer ao uso do algoritmo de Retro-propagação. A Deep-SLM é uma nova técnica de neuroevolução que funciona enquanto um algoritmo de escalada estocástico semântico na pesquisa de topologias e de parâmetros CNN. As propriedades geométrico-semânticas da Deep-SLM induzem um unimodel error space que elimina a existência de soluções ótimas locais, favorecendo, potencialmente, a Deep-SLM em termos de eficiência e eficácia. Esta tese providencia uma exploração de uma variante do algoritmo da Deep-SLM no problemo de CIFAR-10, assim como uma validação do seu conceito de prova. Esta variante específica apenas forma conexões nó de mutação!nó de mutação na parte non convolucional da CNN construída. Mais ainda, foi conduzido um estudo comparativo entre a Deep-SLM e o algoritmo da Semantic Learning Machine (SLM). Tendo sido observado que as conexões esparsas poderão tratar-se de uma forma eficiente de prevenir o overfitting. Adicionalmente, mostrou-se que uma singular camada de convolução 2D, iniciada com valores aleatórios, não resulta, directamente, em características generalizadas para a Deep-SLM, mas, em combinação com uma camada de 2D max-pooling, melhorias efectivas na performance e na generalização da Deep-SLM poderão ser concretizadas. Estes resultados constituem, assim, a hipótese de que as camadas de convolução e pooling poderão melhorar a performance e a generalização da Deep-SLM, a não ser que os componentes sejam adequadamente otimizados

Neuroevolutionary learning in nonstationary environments

This work presents a new neuro-evolutionary model, called NEVE (Neuroevolutionary Ensemble), based on an ensemble of Multi-Layer Perceptron (MLP) neural networks for learning in nonstationary environments. NEVE makes use of quantum-inspired evolutionary models to automatically configure the ensemble members and combine their output. The quantum-inspired evolutionary models identify the most appropriate topology for each MLP network, select the most relevant input variables, determine the neural network weights and calculate the voting weight of each ensemble member. Four different approaches of NEVE are developed, varying the mechanism for detecting and treating concepts drifts, including proactive drift detection approaches. The proposed models were evaluated in real and artificial datasets, comparing the results obtained with other consolidated models in the literature. The results show that the accuracy of NEVE is higher in most cases and the best configurations are obtained using some mechanism for drift detection. These results reinforce that the neuroevolutionary ensemble approach is a robust choice for situations in which the datasets are subject to sudden changes in behaviour

TORCS Training Interface : uma ferramenta auxiliar ao desenvolvimento de pilotos do TORCS

Monografia (graduação)—Universidade de Brasília, Brasília, 2013.A ineficiente maneira como os pilotos são testados e desenvolvidos para jogo e simulador de corrida TORCS é um problema relevante por conta das limitações impostas sobre trabalhos de desenvolvimento de pilotos, i.e., algoritmos que determinam o comportamento dos carros não controlados por jogadores humanos. Porque este software tem um papel de plataforma para benchmark de diferentes abordagens de Inteligência Articial, é importante que se procure mitigar tal problema. Aqui desenvolveu-se a TORCS Training Interface, uma ferramenta que oferece automatizações para melhorar a eficiência das chamadas desimulações e retornar dados mais completos – ambos fatores importantes para as necessárias avaliações que têm como objetivo estimar habilidades de pilotos. Os resultados dos testes comparativos realizados indicam que ousoda ferramenta é uma alternativa viável às abordagens observadas na literatura, apresentando vantagens que podem torná-la a forma mais adequada para processos similares aos considerados neste trabalho. _____________________________________________________________________ ABSTRACT: The inefficient manner in which drivers are tested and developed for the racing game and simulator TORCS is a relevant problem because of the limitations imposed over projects of development of drivers, i.e., algorith ms that determine the behavior of cars that are not controlled by human players. Because this software has a role of benchmark for different techniques of Articial Intelligence, it is important to work on mitigating this problem. The TORCS Training Interface was developed, a tool that offers automatizations in order to improve the efficiency of simulation calls and return more complete data-both of which are important for the necessary evaluations that have as a goal estimating the fitness of drivers. Results of the comparative tests performed indicate that the use of the tool is a viable alternative to the approaches seen in the literature, presentin g advantages that can make it the most fitting to processes that are similar to the ones considered here

Diplegia Espástica: Abordagem Neuroevolutiva Centrada na Mobilidade Pélvica – Relato de Caso

Introdução: a Encefalopatia Crônica não Progressiva na Infância (ECNPI), conhecida como paralisia cerebral, é caracterizada por uma lesão ao sistema nervoso central, durante o período pré, peri ou pós-natal, que acarreta disfunções corporais subdivididas de acordo com os membros afetados. Uma delas é a ECNPI espástica, que acomete em grande parte os membros inferiores, podendo haver comprometimento de membros superiores. Objetivo: este estudo buscou descrever os efeitos de um protocolo de atendimento centrado na mobilidade pélvica. Metodologia: trata-se de um estudo de caso, do tipo intencional tendo como foco um portador de ECNPI espástica, sendo aplicada as escalas de Medida da Função Motora Grossa (GMFM) e Medida de Independência Funcional (MIF) na pré e pós intervenção, onde as informações foram organizadas em uma planilha e tabuladas de forma descritiva através do software Microsoft ® Excel 2010. uma análise descritiva. Resultados: pôde-se notar que as medidas realizadas na pré-intervenção apresentaram valores menores em relação às medidas realizadas pós-intervenção, demonstrando que houve aumento da função motora grossa e da independência funcional. Conclusão: a pesquisa mostrou que o protocolo elaborado e aplicado foi eficaz principalmente em três dimensões, que são deitar/rolar, em pé e sentar, condizendo com os objetivos do presente estudo

Antspicbreeder: arte evolutiva produzida por formigas artificiais

Tese de mestrado em Informática, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2013Os insetos sociais são conhecidos pelas suas extraordinárias capacidades auto-organizativas e cooperativas, que se traduzem em comportamentos coletivos complexos, mesmo quando a nível individual existe um acesso limitado a informação. As formigas da espécie Temnothorax albipennis constroem um dos ninhos mais simples encontrados entre os insetos sociais. Os seus ninhos têm propriedades específicas no que respeita à sua dinâmica, dado que se baseiam num template que adapta o tamanho do ninho de acordo com o número de indivíduos pertencentes à colónia. O template não é implementado fisicamente, mas é uma força que orienta a construção. No presente modelo, é concretizada uma representação de um sistema computacional evolucionário interativo, semelhante ao Picbreeder original, mas que contempla um nível de opacidades sobre as imagens originais. Estes pontos têm como principal intuito ocultar sua visibilidade das imagens e promover a emergência de designs compostos pelos trilhos de cores das formigas. Este parâmetro é fixo ao longo da evolução de cada geração. Cada espécie de formigas é definida por uma cor central e um intervalo de tolerância centrado nessa cor. O efeito de template para cada uma das espécies é dado pelas zonas de cores da imagem que coincidam com os respetivos intervalos de tolerância cor. Estes templates podem ser parcialmente visíveis logo desde o início da evolução, no momento em que as formigas partem para a sua atividade transformadora. Neste sistema as colónias de formigas têm capacidades comportamentais dinâmicas que lhes permite adaptar o seu trabalho de acordo com as alterações morfológicas de um template.Social insects are known for their extraordinary capabilities of self-organizing and cooperative behaviors, which are reflected through complex collective behaviors, even when individuals are limited in accessing local information. Ants of Temnothorax albipennis specie build one of the simplest nests found among social insects. The nests have specific properties regarding to its dynamic, since they are based on a template the size of the nest is adjusted in accordance with the number of individuals of the colony. The template is not implemented physically, but it is a driving force behind the construction. In this model, we achieved a representation of an interactive evolutionary system, similar to the original Picbreeder but which includes a level of opacities above the original images with the purpose to hide its visibility and promote the emergence of designs composed by the color rails made by the involved artificial ants. This parameter is fixed throughout the evolution of each generation. A center color and a range of tolerance define each species of ants. The areas of the image colors that match the respective color tolerance give the effect of template. These templates can be partially visible from the very beginning of evolution, when ants start their transforming activity. In this system, ant’s colonies have a dynamic behavioral capability that allows them to adapt their work according to the morphological changes of the template