Otimização multi-objetivo envolvendo aproximadores de função via processos gaussianos e algoritmos híbridos que empregam otimização direta do hipervolume

Orientador: Fernando José Von ZubenTese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de ComputaçãoResumo: O principal propósito desta tese é reduzir a lacuna entre otimização mono-objetivo e multiobjetivo e mostrar que conectar técnicas de lados opostos pode gerar melhores resultados. Para atingir esta meta, nós fornecemos contribuições em três direções. Primeiro, mostra-se a conexão entre otimalidade da perda média e do hipervolume quando avaliando uma única solução, provando limites de otimalidade quando a solução de um é aplicada ao outro. Ademais, uma avaliação do gradiente do hipervolume mostra que ele pode ser interpretado como um caso particular da perda média ponderada, onde os pesos aumentam conforme as perdas associadas aumentam. Levantou-se a hipótese de que isto pode ajudar a treinar modelos de aprendizado de máquina, uma vez que amostras com erro alto também terão peso alto. Um experimento com uma rede neural valida a hipótese, mostrando melhor desempenho. Segundo, avaliaram-se tentativas anteriores de usar otimização do hipervolume baseada em gradiente para resolver problemas multi-objetivo e por que elas falharam. Baseado na análise, foi proposto um algoritmo híbrido que combina otimização evolutiva e baseada em gradiente. Experimentos nas funções de benchmark ZDT mostram melhor desempenho e convergência mais rápida comparado a algoritmos evolutivos de referência. Finalmente, foram apresentadas condições necessárias e suficientes para que uma função descreva uma fronteira de Pareto válida. Com base nestes resultados, adaptou-se um processo Gaussiano para penalizar violações das condições e mostrou-se que ele fornece melhores estimativas do que outros algoritmos de aproximação. Em particular, ele cria uma curva que não viola as restrições tanto quanto algoritmos que não consideram as condições, sendo mais confiável como um indicador de performance. Foi também demonstrado que uma métrica de otimização comum, quando aproximando funções com processos Gaussianos, é uma boa indicadora das regiões que um algoritmo deveria explorar para encontrar a fronteira de ParetoAbstract: The main purpose of this thesis is to bridge the gap between single-objective and multi- objective optimization and to show that connecting techniques from both ends can lead to improved results. To reach this goal, we provide contributions in three directions. First, we show the connection between optimality of a mean loss and the hypervolume when evaluating a single solution, proving optimality bounds when the solution from one is applied to the other. Furthermore, an evaluation of the gradient of the hypervolume shows that it can be interpreted as a particular case of the weighted mean loss, where the weights increase as their associated losses increases. We hypothesize that this can help to train a machine learning model, since samples with high error will also have high weight. An experiment with a neural network validates the hypothesis, showing improved performance. Second, we evaluate previous attempts at using gradient-based hypervolume optimization to solve multi-objective problems and why they have failed. Based on the analysis, we propose a hybrid algorithm that combines gradient-based and evolutionary optimization. Experiments on the benchmark functions ZDT show improved performance and faster convergence compared with reference evolutionary algorithms. Finally, we prove necessary and sufficient conditions for a function to describe a valid Pareto frontier. Based on this result, we adapt a Gaussian process to penalize violation of the conditions and show that it provides better estimates than other approximation algorithms. In particular, it creates a curve that does not violate the constraints as much as done by algorithms that do not consider the restrictions, being a more reliable performance indicator. We also show that a common optimization metric when approximating functions with Gaussian processes is a good indicator of the regions an algorithm should explore to find the Pareto frontierDoutoradoEngenharia de ComputaçãoDoutor em Engenharia Elétrica2015/09199-0CAPESFAPES

Understanding Complexity in Multiobjective Optimization

This report documents the program and outcomes of the Dagstuhl Seminar 15031 Understanding Complexity in Multiobjective Optimization. This seminar carried on the series of four previous Dagstuhl Seminars (04461, 06501, 09041 and 12041) that were focused on Multiobjective Optimization, and strengthening the links between the Evolutionary Multiobjective Optimization (EMO) and Multiple Criteria Decision Making (MCDM) communities. The purpose of the seminar was to bring together researchers from the two communities to take part in a wide-ranging discussion about the different sources and impacts of complexity in multiobjective optimization. The outcome was a clarified viewpoint of complexity in the various facets of multiobjective optimization, leading to several research initiatives with innovative approaches for coping with complexity

Designing screws for polymer compounding in twin-screw extruders

Tese de doutoramento em Ciência e Engenharia de Polímeros e CompósitosConsidering its modular construction, co-rotating twin screw extruders can be easily adapted to work with polymeric systems with more stringent specifications. However, their geometrical flexibility makes the performance of these machines strongly dependent on the screw configuration. Therefore, the definition of the adequate screw geometry to use in a specific polymer system is an important process requirement which is currently achieved empirically or using a trial-and-error basis. The aim of this work is to develop an automatic optimization methodology able to define the best screw geometry/configuration to use in a specific compounding/reactive extrusion operation, reducing both cost and time. This constitutes an optimization problem where a set of different screw elements are to be sequentially positioned along the screw in order to maximize the extruder performance. For that, a global modeling program considering the most important physical, thermal and rheological phenomena developing along the axis of an intermeshing co-rotating twin screw extruder was initially developed. The accuracy and sensitivity of the software to changes in the input parameters was tested for different operating conditions and screw configurations using a laboratorial Leistritz LSM 30.34 extruder. Then, this modeling software was integrated into an optimization methodology in order to be possible solving the Twin Screw Configuration Problem. Multi-objective versions of local search algorithms (Two Phase Local Search and Pareto Local Search) and Ant Colony Optimization algorithms were implemented and adapted to deal with the combinatorial, discrete and multi-objective nature of the problem. Their performance was studied making use of the hypervolume indicator and Empirical Attainment Function, and compared with the Reduced Pareto Search Genetic Algorithm (RPSGA) previously developed and applied to this problem. In order to improve the quality of the results and/or to decrease the computational cost required by the optimization methodology, different hybrid algorithms were tested. The approaches developed considers the use of local search procedures (TPLS and PLS algorithms) into population based metaheuristics, as MOACO and MOEA algorithms. Finally, the optimization methodology developed was applied to the optimization of a starch cationization reaction. Several starch cationization case studies, involving different screw elements screw lengths and conflicting objectives, were tested in order to validate this technique and to prove the potential of this automatic optimization methodology.Devido à sua construção modular, as extrusoras de duplo-fuso co-rotativas podem ser facilmente adaptadas a sistemas poliméricos que requerem especificações mais rigorosas. No entanto, esta flexibilidade geométrica torna o seu desempenho fortemente dependente da configuração do parafuso. Por isso, a tarefa de definir a melhor configuração do parafuso para usar num determinado sistema polimérico é um requisito importante do processo que é actualmente realizada empiricamente ou utilizando um processo de tentativa erro. O objectivo principal deste trabalho é desenvolver uma metodologia automática de optimização que seja capaz de definir a melhor configuração/geometria do parafuso a usar num determinado sistema de extrusão, reduzindo custos e tempo. Este problema é um problema de optimização, onde os vários elementos do parafuso têm que ser sequencialmente posicionados ao longo do eixo do parafuso de forma a maximizar o desempenho da extrusora. Para isso, foi inicialmente desenvolvido um programa de modelação que considera os mais importantes fenómenos físicos, térmicos e reológicos que ocorrem ao longo da extrusora de duplo fuso co-rotativa. De forma a testar a precisão e a sensibilidade do software às alterações dos parâmetros, diversas condições operativas e configurações de parafuso foram testadas tendo como base uma extrusora laboratorial Leistritz LSM 30.34. Seguidamente, este software de modelação foi integrado numa metodologia de optimização com vista à resolução do problema de configuração da extrusora de duplo-fuso. Para lidar com a natureza combinatorial, discreta e multi-objectiva do problema em estudo, foram adaptadas e implementadas versões multi-objectivas de algoritmos de procura local (Two-Phase Local Search and Pareto Local Search) e Ant Colony Optimization. O desempenho dos diversos algoritmos foi estudado usando o hipervolume e as Empirical Attainment Functions. Os resultados foram comparados com os resultados obtidos com o algoritmo genético Reduced Pareto Search Genetic Algorithm (RPSGA) desenvolvido e aplicado anteriormente a este problema. Com o objectivo de melhorar a qualidade dos resultados e/ou diminuir o esforço computacional exigido pela metodologia de optimização, foram testadas diversas hibridizações. Os algoritmos híbridos desenvolvidos consideram a integração de algoritmos de procura local (TPLS e PLS) noutras metheuristicas, como MOACO e MOEA. Por fim, a metodologia de optimização desenvolvida neste trabalho foi testada na optimização de uma reacção de cationização do amido. Para validar esta técnica e provar o seu potencial, foram realizados vários estudos envolvendo diferentes elementos e comprimentos de parafusos, bem como, a optimização de objectivos em conflito