thesis

Novos métodos de programação linear inteira mista para o problema das árvores de classificação ótimas

Abstract

Classification trees are very useful techniques in the field of machine learning due to the ease of human interpretation of their predictions. Motivated by the improvement of algorithms and hardware capacity for solving integer programming problems, recent works address the creation of optimal classification trees through linear models, the most general model being entitled Optimal Classification Trees (OCT). We propose in this work a reformulation of the OCT, valid inequalities based on the precedence graph of the learning input and a branch-and-cut strategy on the restrictions that depend on the number n of points that is very large in several instances of the literature. In addition, we present techniques and strategies to mitigate the high computational cost linked to this high dimensionality of points through their reduction, by means of heuristics and exact models, aiming to establish a trade-off between assertiveness, representativeness and models execution time. The results demonstrate that the model reformulation reduces on average 57% the computational time of the OCT, and that the precedence inequalities decrease in 58% the number of nodes solved by the branch-and-bound strategies.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPESÁrvores de classificação são um recurso muito útil na área de aprendizado de máquina pela facilidade de interpretação humana de suas predições. Motivado pela melhoria dos algoritmos e da capacidade de hardware para resolução de problemas de programação inteira, trabalhos recentes abordam a criação de árvores de classificação ótima através de modelos lineares, sendo o modelo mais geral intitulado Optimal Classification Trees (OCT). Propomos neste trabalho uma reformulação do OCT, inequações válidas baseada no grafo de precedência dos pontos de aprendizado e uma estratégia de branchand- cut sobre restrições que dependem do número n de pontos, que é muito grande em várias instâncias de entrada da literatura. Ademais, apresentamos técnicas e estratégias para mitigar o alto custo computacional atrelado a essa alta dimensionalidade dos pontos através da sua redução, por meio de heurísticas e modelos exatos, visando estabelecer um trade-off entre assertividade, representatividade e tempo de execução dos modelos. Os resultados demonstram que a reformulação do modelo reduz em média 57% do tempo computacional do OCT, e que as inequações de precedência diminuem em 58% o número de nós resolvidos pela estratégias de branch-and-bound

    Similar works