Metaheuristic design of feedforward neural networks: a review of two decades of research

Over the past two decades, the feedforward neural network (FNN) optimization has been a key interest among the researchers and practitioners of multiple disciplines. The FNN optimization is often viewed from the various perspectives: the optimization of weights, network architecture, activation nodes, learning parameters, learning environment, etc. Researchers adopted such different viewpoints mainly to improve the FNN's generalization ability. The gradient-descent algorithm such as backpropagation has been widely applied to optimize the FNNs. Its success is evident from the FNN's application to numerous real-world problems. However, due to the limitations of the gradient-based optimization methods, the metaheuristic algorithms including the evolutionary algorithms, swarm intelligence, etc., are still being widely explored by the researchers aiming to obtain generalized FNN for a given problem. This article attempts to summarize a broad spectrum of FNN optimization methodologies including conventional and metaheuristic approaches. This article also tries to connect various research directions emerged out of the FNN optimization practices, such as evolving neural network (NN), cooperative coevolution NN, complex-valued NN, deep learning, extreme learning machine, quantum NN, etc. Additionally, it provides interesting research challenges for future research to cope-up with the present information processing era

Adaptação automática de algoritmos de otimização metaheurística

A maioria dos problemas do mundo real tem uma multiplicidade de possíveis soluções. Além disso, usualmente, são encontradas limitações de recursos e tempo na resolução de problemas reais complexos e, por isso, frequentemente, não é possível aplicar um método determinístico na resolução desses problemas. Por este motivo, as meta-heurísticas têm ganho uma relevância significativa sobre os métodos determinísticos na resolução de problemas de otimização com múltiplas combinações. Ainda que as abordagens meta-heurísticas sejam agnósticas ao problema, os resultados da otimização são fortemente influenciados pelos parâmetros que estas meta-heurísticos necessitam para a sua configuração. Por sua vez, as melhores parametrizações são fortemente influenciadas pela meta-heurística e pela função objetivo. Por este motivo, a cada novo desenvolvimento é necessária uma otimização dos parâmetros das metas heurísticas praticamente partindo do zero. Assim, e, atendendo ao aumento da complexidade das meta-heurísticas e dos problemas aos quais estassão normalmente aplicadas, tem-se vindo a observar um crescente interesse no problema da configuração ótima destes algoritmos. Neste projeto é apresentada uma nova abordagem de otimização automática dos parâmetros de algoritmos meta-heurísticos. Esta abordagem não consiste numa pré-seleção estática de um único conjunto de parâmetros que será utilizado ao longo da pesquisa, como é a abordagem comum, mas sim na criação de um processo dinâmico, em que a parametrização é alterada ao longo da otimização. Esta solução consiste na divisão do processo de otimização em três etapas, forçando, numa primeira etapa um nível alto de exploração do espaço de procura, seguida de uma exploração intermédia e, na última etapa, privilegiando a pesquisa local focada nos pontos de maior potencial. De forma a permitir uma solução eficiente e eficaz, foram desenvolvidos dois módulos um Módulo de Treino e um Módulo de Otimização. No Módulo de Treino, o processo de fine-tuning é automatizado e, consequentemente, o processo de integração de uma nova meta-heurística ou uma nova função objetivo é facilitado. No Módulo de Otimização é usado um sistema multiagente para a otimização de uma dada função seguindo a abordagem de pesquisa proposta. Com base nos resultados obtidos através da aplicação de otimização por enxame de partículas e algoritmos genéticos a várias funções benchmark e a um problema real na área dos sistemas de energia, o Módulo de Treino permitiu automatizar o processo de fine-tuning e, consequentemente, facilitar o processo de introdução no sistema de uma nova meta-heurística ou de uma nova função relativa a um novo problema a resolver. Utilizando a abordagem de otimização proposta através do Módulo de Otimização, obtém-se uma maior generalização e os resultados são melhorados sem comprometer o tempo máximo para a otimização.Most real-word problems have a large solution space. Due to resource and time constraints, it is often not possible to apply a deterministic method to solve such problems. For this reason, metaheuristic optimization algorithm has earned increased popularity over the deterministic methods in solving complex combination optimization problems. However, despite being problem-agnostic techniques, metaheuristic’s optimization results are highly impacted by the defined parameters. The best parameterizations are highly impacted by the metaheuristic version and by the addressed objective function. For this reason, with each new development it is necessary to optimize the metaheuristic parameters practically from scratch. Thus, and given the increasing complexity of metaheuristics and the problems to which they are normally applied, there has been a growing interest in the problem of optimal configuration of these algorithms. In this work, a new approach for automatic optimization of metaheuristic algorithms parameters is presented. This approach does not consist in a static pre-selection of a single set of parameters that will be used throughout the search process, as is the common approach, but in the creation of a dynamic process, in which the parameterization is changed during the optimization. This solution consists of dividing the optimization process into three stages, forcing, in a first stage, a high level of exploration of the search space, followed by an intermediate exploration and, in the last stage, fostering local search focused on the points of greatest potential. In order to allow an efficient and effective solution, two modules are developed, a Training Module and an Optimization Module. In the Training Module, the finetuning process is automated and, consequently, the process of integrating a new metaheuristic or a new objective function is facilitated. In the Optimization Module, a multi-agent system is used to optimize a given function following the proposed research approach. Based on the results obtained using particle swarm optimization and genetic algorithms to solve several benchmark functions and a real problem in the area of power and energy systems, the Training Module made it possible to automate the fine-tuning process and, consequently, facilitate the process of introducing in the system a new metaheuristic or a new function related to a new problem to be solved. Using the proposed optimization approach through the Optimization Module, a greater generalization is obtained, and the results are improved without compromising the maximum time for the optimization

A new Taxonomy of Continuous Global Optimization Algorithms

Surrogate-based optimization, nature-inspired metaheuristics, and hybrid combinations have become state of the art in algorithm design for solving real-world optimization problems. Still, it is difficult for practitioners to get an overview that explains their advantages in comparison to a large number of available methods in the scope of optimization. Available taxonomies lack the embedding of current approaches in the larger context of this broad field. This article presents a taxonomy of the field, which explores and matches algorithm strategies by extracting similarities and differences in their search strategies. A particular focus lies on algorithms using surrogates, nature-inspired designs, and those created by design optimization. The extracted features of components or operators allow us to create a set of classification indicators to distinguish between a small number of classes. The features allow a deeper understanding of components of the search strategies and further indicate the close connections between the different algorithm designs. We present intuitive analogies to explain the basic principles of the search algorithms, particularly useful for novices in this research field. Furthermore, this taxonomy allows recommendations for the applicability of the corresponding algorithms.Comment: 35 pages total, 28 written pages, 4 figures, 2019 Reworked Versio