Particle swarm optimization with state-based adaptive velocity limit strategy

Velocity limit (VL) has been widely adopted in many variants of particle swarm optimization (PSO) to prevent particles from searching outside the solution space. Several adaptive VL strategies have been introduced with which the performance of PSO can be improved. However, the existing adaptive VL strategies simply adjust their VL based on iterations, leading to unsatisfactory optimization results because of the incompatibility between VL and the current searching state of particles. To deal with this problem, a novel PSO variant with state-based adaptive velocity limit strategy (PSO-SAVL) is proposed. In the proposed PSO-SAVL, VL is adaptively adjusted based on the evolutionary state estimation (ESE) in which a high value of VL is set for global searching state and a low value of VL is set for local searching state. Besides that, limit handling strategies have been modified and adopted to improve the capability of avoiding local optima. The good performance of PSO-SAVL has been experimentally validated on a wide range of benchmark functions with 50 dimensions. The satisfactory scalability of PSO-SAVL in high-dimension and large-scale problems is also verified. Besides, the merits of the strategies in PSO-SAVL are verified in experiments. Sensitivity analysis for the relevant hyper-parameters in state-based adaptive VL strategy is conducted, and insights in how to select these hyper-parameters are also discussed.Comment: 33 pages, 8 figure

Modelos polinomiais narx obtidos através de metaheurísticas com codificação binária

Orientador: Prof. Dr. Gideon Villar LeandroDissertação (mestrado) - Universidade Federal do Paraná, Setor de Tecnologia, Programa de Pós-Graduação em Engenharia Elétrica. Defesa : Curitiba, 24/06/2020Inclui referências: p. 126-137Resumo: Dentro do contexto da identificação de sistemas, a etapa de seleção de estrutura representa uma tarefa complexa por se tratar de um problema de otimização combinatória do tipo binária. Para solucionar este problema, diversas técnicas vêm sendo aplicadas, dentre elas a seleção por meio de metaheurísticas. Entretanto, devido à grande diversidade de metaheurísticas existentes na literatura, a escolha daquela mais adequada para cumprir esta tarefa pode ser algo desafiador para o projetista. Neste trabalho, é realizada uma análise do comportamento de metaheurísticas aplicadas ao problema de seleção de estrutura, além de ser apresentado um novo método de codificação binária, chamado de Modulação em Ângulo Modificada (MAM), que tende a melhorar o desempenho das metaheurísticas neste tipo de problema. Normalmente as metaheurísticas atuam na seleção de estrutura originalmente manipulando soluções binárias ou através de associação com alguma técnica de codificação binária. Foram avaliados os desempenhos das metaheurísticas Algoritmo Genético, Evolução Diferencial e Algoritmo do Morcego aplicadas ao problema de seleção de estrutura de modelos não lineares autorregressivos com entrada externa (NARX, do inglês Nonlinear AutoRegressive with eXogenous input). O Algoritmo Genético já consiste em uma metaheurística projetada para manipular soluções binárias. A Evolução Diferencial e o Algoritmo do Morcego, por sua vez, tiveram suas versões binárias implementadas através das codificações Função de Transferência (TF), Prioridade de Maior Valor (GVP) e Modulação em Ângulo (AM). Além disso, a forma de associação entre as metaheurísticas e a codificação AM foi modificada, dando origem à codificação MAM. Dois estudos de caso foram conduzidos utilizando dados de um conversor buck e de um aquecedor elétrico. Os resultados das simulações mostram que as versões binárias da Evolução Diferencial obtidas com as codificações TF, GVP e MAM foram as que apresentaram melhores desempenho, superando o Algoritmo Genético e o Algoritmo do Morcego. Além disso, levando em conta a convergência das soluções e a capacidade de localizar bons modelos, em todos os cenários analisados o desempenho da Evolução Diferencial codificada com MAM melhorou substancialmente em relação à sua versão original codificada com AM. Os melhores modelos encontrados neste trabalho apresentaram bom desempenho ao serem aplicados métodos de validação (simulação livre e análise de resíduos) e ao serem comparados com modelos da literatura. Palavras-chave: Identificação de sistemas. Seleção de estrutura. Modelo NARX. Metaheurísticas. Codificação binária.Abstract: During a system identification procedure, structure selection represents a complex task because it is a binary combinatorial optimization problem. To solve this problem, several techniques have been applied, the metaheuristics is one of them. However, there is a great diversity of metaheuristics, thus choosing the most suitable one to perform the task is difficult for the designer. In this study, we performed a performance analysis of metaheuristics applied to a structure selection problem. In addition, we present a new binarization technique, called Modified Angle Modulation (MAM), which tends to improve the performance of metaheuristics. Usually, metaheuristics perform the structure selection taking binary solutions directly or through the association with a binarization technique. We evaluated the performances of three metaheuristic techniques, being the Genetic Algorithm, Differential Evolution and Bat Algorithm, all working at a structure selection problem for nonlinear autoregressive models with exogenous input (NARX). The Genetic Algorithm is originally a binary metaheuristics. Binary versions of the Differential Evolution and the Bat Algorithm were developed through the Transfer Function (TF), Great Value Priority (GVP) and Angle Modulation (AM) binarizations. In addition, the form of association between metaheuristics and AM binarization has been modified, originating the MAM binarization. We conducted two case studies using data from a buck converter and an electric heater. Binary versions of the Differential Evolution developed through TF, GVP and MAM binarizations performed better than the Genetic Algorithm and Bat Algorithm. Furthermore, considering the convergence of solutions and the ability to locate good models, the performance of the binary version of the Differential Evolution developed with MAM substantially improved in relation to its original version developed with AM. Finally, the best estimated models performed well not only during validation tests (free run simulation and statistical validation), but also when compared with other models available in the literature. Keywords: System identification. Structure selection. NARX models. Metaheuristics. Binarization