Otimização multi-objetivo em aprendizado de máquina

Orientador: Fernando José Von ZubenTese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de ComputaçãoResumo: Regressão logística multinomial regularizada, classificação multi-rótulo e aprendizado multi-tarefa são exemplos de problemas de aprendizado de máquina em que objetivos conflitantes, como funções de perda e penalidades que promovem regularização, devem ser simultaneamente minimizadas. Portanto, a perspectiva simplista de procurar o modelo de aprendizado com o melhor desempenho deve ser substituída pela proposição e subsequente exploração de múltiplos modelos de aprendizado eficientes, cada um caracterizado por um compromisso (trade-off) distinto entre os objetivos conflitantes. Comitês de máquinas e preferências a posteriori do tomador de decisão podem ser implementadas visando explorar adequadamente este conjunto diverso de modelos de aprendizado eficientes, em busca de melhoria de desempenho. A estrutura conceitual multi-objetivo para aprendizado de máquina é suportada por três etapas: (1) Modelagem multi-objetivo de cada problema de aprendizado, destacando explicitamente os objetivos conflitantes envolvidos; (2) Dada a formulação multi-objetivo do problema de aprendizado, por exemplo, considerando funções de perda e termos de penalização como objetivos conflitantes, soluções eficientes e bem distribuídas ao longo da fronteira de Pareto são obtidas por um solver determinístico e exato denominado NISE (do inglês Non-Inferior Set Estimation); (3) Esses modelos de aprendizado eficientes são então submetidos a um processo de seleção de modelos que opera com preferências a posteriori, ou a filtragem e agregação para a síntese de ensembles. Como o NISE é restrito a problemas de dois objetivos, uma extensão do NISE capaz de lidar com mais de dois objetivos, denominada MONISE (do inglês Many-Objective NISE), também é proposta aqui, sendo uma contribuição adicional que expande a aplicabilidade da estrutura conceitual proposta. Para atestar adequadamente o mérito da nossa abordagem multi-objetivo, foram realizadas investigações mais específicas, restritas à aprendizagem de modelos lineares regularizados: (1) Qual é o mérito relativo da seleção a posteriori de um único modelo de aprendizado, entre os produzidos pela nossa proposta, quando comparado com outras abordagens de modelo único na literatura? (2) O nível de diversidade dos modelos de aprendizado produzidos pela nossa proposta é superior àquele alcançado por abordagens alternativas dedicadas à geração de múltiplos modelos de aprendizado? (3) E quanto à qualidade de predição da filtragem e agregação dos modelos de aprendizado produzidos pela nossa proposta quando aplicados a: (i) classificação multi-classe, (ii) classificação desbalanceada, (iii) classificação multi-rótulo, (iv) aprendizado multi-tarefa, (v) aprendizado com multiplos conjuntos de atributos? A natureza determinística de NISE e MONISE, sua capacidade de lidar adequadamente com a forma da fronteira de Pareto em cada problema de aprendizado, e a garantia de sempre obter modelos de aprendizado eficientes são aqui pleiteados como responsáveis pelos resultados promissores alcançados em todas essas três frentes de investigação específicasAbstract: Regularized multinomial logistic regression, multi-label classification, and multi-task learning are examples of machine learning problems in which conflicting objectives, such as losses and regularization penalties, should be simultaneously minimized. Therefore, the narrow perspective of looking for the learning model with the best performance should be replaced by the proposition and further exploration of multiple efficient learning models, each one characterized by a distinct trade-off among the conflicting objectives. Committee machines and a posteriori preferences of the decision-maker may be implemented to properly explore this diverse set of efficient learning models toward performance improvement. The whole multi-objective framework for machine learning is supported by three stages: (1) The multi-objective modelling of each learning problem, explicitly highlighting the conflicting objectives involved; (2) Given the multi-objective formulation of the learning problem, for instance, considering loss functions and penalty terms as conflicting objective functions, efficient solutions well-distributed along the Pareto front are obtained by a deterministic and exact solver named NISE (Non-Inferior Set Estimation); (3) Those efficient learning models are then subject to a posteriori model selection, or to ensemble filtering and aggregation. Given that NISE is restricted to two objective functions, an extension for many objectives, named MONISE (Many Objective NISE), is also proposed here, being an additional contribution and expanding the applicability of the proposed framework. To properly access the merit of our multi-objective approach, more specific investigations were conducted, restricted to regularized linear learning models: (1) What is the relative merit of the a posteriori selection of a single learning model, among the ones produced by our proposal, when compared with other single-model approaches in the literature? (2) Is the diversity level of the learning models produced by our proposal higher than the diversity level achieved by alternative approaches devoted to generating multiple learning models? (3) What about the prediction quality of ensemble filtering and aggregation of the learning models produced by our proposal on: (i) multi-class classification, (ii) unbalanced classification, (iii) multi-label classification, (iv) multi-task learning, (v) multi-view learning? The deterministic nature of NISE and MONISE, their ability to properly deal with the shape of the Pareto front in each learning problem, and the guarantee of always obtaining efficient learning models are advocated here as being responsible for the promising results achieved in all those three specific investigationsDoutoradoEngenharia de ComputaçãoDoutor em Engenharia Elétrica2014/13533-0FAPES

An extension to the inventory routing problem

Orientador: Fernando José Von ZubenDissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de ComputaçãoResumo: O gerenciamento de cadeias de suprimento no mundo corporativo é de grande relevância prática e uma de suas versões é conhecida como problema de roteamento e estoque. Este trabalho propõe uma formulação linear-inteira genérica e flexível para este problema de otimização, assim como uma metodologia de solução. Nesta nova formulação proposta, algumas peculiaridades da rede de suprimentos podem ser especificadas como parâmetros de entrada, permitindo assim que o usuário seja capaz de realizar modificações na estrutura, na hierarquia e no elenco de restrições da cadeia de suprimentos, sem precisar refazer a formulação matemática associada. Com isso, é possível resolver uma grande diversidade de configurações do problema, sem a necessidade de adaptações junto à metodologia de solução. A natureza genérica e flexível da formulação linear-inteira se deve às seguintes propriedades, todas elas passíveis de serem definidas como parâmetros de entrada: (1) Todo nó da rede pode produzir ou consumir produtos; (2) Todo nó da rede pode enviar e receber produtos; (3) Decorrente das propriedades (1) e (2), a hierarquia de entrega fica generalizada, com o produto podendo passar por vários nós antes de ser consumido; (4) Restrições presentes na formulação garantem consistência, por exemplo, entre quantidade de produto entregue pelos fornecedores e recebida pelos consumidores; (5) Restrições presentes na formulação estão associadas a especificações que podem ser ativadas, como intervalo de tempo entre entregas. Os resultados experimentais contemplam soluções para múltiplas configurações do problema, todas representáveis pela formulação proposta e, portanto, todas resolvidas pela mesma metodologia de solução. Essas múltiplas configurações trabalhadas nos experimentos evidenciam os benefícios do emprego de uma formulação estendida para o problema de roteamento e estoque. Além disso, visando comparação com propostas alternativas disponíveis na literatura, tomou-se uma configuração específica e bem-estabelecida do problema, para a qual existe uma formulação própria e uma metodologia de solução dedicada. Neste experimento comparativo, chegou-se às mesmas soluções e, em algumas parametrizações, até a soluções de melhor qualidadeAbstract: Managing supply chains in the corporate world is of great practical relevance and one of its versions is named inventory routing problem. This work proposes a more generic and flexible linear-integer formulation for this optimization problem, together with a solution methodology. In the novel formulation proposed here, some peculiarities of the supply network can be specified as input parameters, thus allowing the user to make modifications to the structure, the hierarchy and the set of constraints in the supply chain, without having to rebuild the associated mathematical formulation. Therefore, it is possible to solve a wide variety of configurations of the problem without the need for adjustments in the solution methodology. The generic and flexible nature of the linear-integer formulation is due to the following properties, all of them being definable as input parameters: (1) Every node of the network can produce or consume products; (2) Every node of the network can send and receive products; (3) Due to properties (1) and (2), the hierarchy of delivery is generalized, with the product being able to pass through several nodes before being consumed; (4) Some restrictions of the formulation ensure consistency, for example, between the amount of product delivered by the suppliers and received by the consumers; (5) Some restrictions of the formulation are associated with specifications that can be activated, as the time interval between deliveries. The experimental results include solutions for multiple configurations of the problem, all representable by the proposed formulation and, as a consequence, all able to be solved by the same solution methodology. Those multiple configurations considered in the experiments highlight the benefits of employing an extended formulation for the inventory routing problem. Aiming at comparing to alternative proposals available in the literature, it was considered a specific and well-established configuration of the problem, for which there are a proper formulation and a dedicated solution methodology. In this comparative experiment, we came to the same solutions and, in some parameterizations, even better solutionsMestradoEngenharia de ComputaçãoMestre em Engenharia Elétric