Images and depth maps classification with an ensemble learning approach applied to the electrical utility sector

Orientador: Prof. Dr. Gideon Villar LeandroCoorientador: Prof. Dr. Leandro dos Santos CoelhoDissertação (mestrado) - Universidade Federal do Paraná, Setor de Tecnologia, Programa de Pós-Graduação em Engenharia Elétrica. Defesa : Curitiba, 26/07/2022Inclui referências: p. 86-98Resumo: Redes Neurais Convolucionais (CNNs, do inglês Convolutional Neural Networks) vêm sendo usadas em Visão Computacional e Aprendizado profundo em tarefas de classificação de objetos. Uma companhia brasileira do setor elétrico tem problemas de logística em seu armazém, relacionados ao controle de inventário. Este mestrado aborda a classificação de produtos elétricos desta empresa brasileira dentro de seu armazém, usando imagens aplicadas à CNNs. A metodologia consiste em treinar e comparar CNNs estado da arte usando imagens RGB (do inglês, red-greenblue) e RGB-D (do inglês, red-green-blue and depth) para a classificação dos objetos. Ajuste fino e extração de características (técnicas de transferência de aprendizado), aumento de dados bem como datos sintéticos são explorados para melhorar os resultados. Uma abordagem de conjunto (do inglês, ensemble approach) é proposta, usando diferentes estruturas para as informações de cor e profundidade. Precisão, acuracia, revocação, f1-score e matrizes de confusão são usadas como métricas e métodos de apresentação de dados. Como resultado, o uso de imagens sintéticas melhorou a acuráca, precisão, revocação e f1-score em comparação com modelos treinados apenas com imagens reais. Mais, o uso da Densenet e Resnet como o conjunto de estruturas para as imagens de cor e profundidade mostrou uma melhora em acurácia, procisão, revocação e f1-score em comparação com CNNs usadas individualmente, alcançando uma acurácia de 97,04%.Abstract: Convolutional Neural Networks (CNNs) have been used in Computer Vision and Deep Learning tasks of object classification. A Brazillian electric company is having logistics problems in its warehouse, related to inventory control. This work addresses the classification of electrical products from a Brazilian electrical company inside its warehouse, using images applied to CNNs. The methodology consists of training and comparing state-of-the-art CNNs using red-green-blue (RGB) and redgreen- blue-depth (RGB-D) images to perform a classification task. Transfer learning techniques such as fine-tuning and feature extraction, data augmentation, and synthetic datasets are explored to improve results. An ensemble approach is proposed, using different pipelines for depth and color information. Precision, accuracy, recall, F1 score and confusion matrix were used as metrics and display for evaluation. As a result, the use of synthetic datasets improved accuracy, precision, recall and f1-score compared to models trained on experimental data only. Furthermore, the use of Densenet and Resnet as a mix of pipelines for color and depth images proved to outperform accuracy, precision, recall and f1-score on single CNNs, achieving an accuracy of 97.04%