Aprendizado profundo em triagem de melanoma

Orientadores: Eduardo Alves do Valle Junior, Lin Tzy LiDissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de ComputaçãoResumo: De todos os cânceres de pele, melanoma representa apenas 1% dos casos, mas 75% das mortes. O prognóstico do melanoma é bom quando detectado cedo, mas deteriora rápido ao longo que a doença progride. Ferramentas automatizadas podem prover triagem mais rápida, ajudando médicos a focar em pacientes ou lesões de risco. As características da doença --- raridade, letalidade, rápida progressão, e diagnóstico sutil --- fazem a triagem de melanoma automática particularmente desafiadora. O objetivo deste trabalho é melhor compreender como Deep Learning pode ser utilizado --- mais precisamente, Redes Neurais Convolucionais --- para classificar corretamente imagens de lesões de pele. Para isso, este trabalho está dividido em duas linhas de pesquisa. Primeiro, o estudo está focado na transferibilidade de características das redes CNN pré-treinadas. O objetivo principal desse tópico é estudar como as características transferidas se comportam em diferentes esquemas, com o objetivo de gerar melhores características para a camada de decisão. Em um segundo tópico, esse estudo incidirá na melhoria das métricas de classificação, que é o objetivo geral. Sobre a transferibilidade das características, foram realizados experimentos para analisar a forma como os diferentes esquemas de transferência afetariam a Área sob a Curva ROC (AUC): treinar uma CNN a partir do zero; transferir o conhecimento de uma CNN pré-treinada com imagens gerais ou específicas; realizar uma transferência dupla, que é uma sequência de treinamento onde em um primeiro momento a rede é treinada com imagens gerais, em um segundo momento com as imagens específicas, e, finalmente, em um terceiro momento com as imagens de melanoma. A partir desses experimentos, aprendemos que a transferência de aprendizagem é uma boa prática, assim como é o ajuste fino. Os resultados também sugerem que modelos mais profundos conduzem a melhores resultados. Hipotetizamos que a transferência de aprendizagem de uma tarefa relacionada sob ponto de vista médico (no caso, a partir de um dataset de imagens de retinopatia) levaria a melhores resultados, especialmente no esquema de transferência dupla, mas os resultados mostraram o oposto, sugerindo que a adaptação de tarefas muito específicas representa desafios específicos. Sobre a melhoria das métricas, discute-se o pipeline vencedor utilizado no International Skin Imaging Collaboration (ISIC) Challenge 2017, alcançando o estado da arte na classificação de melanoma com 87.4% AUC. A solução é baseada em stacking/meta learning dos modelos Inception v4 e Resnet101, realizando fine tuning enquanto executa a aumentação de dados nos conjuntos de treino e teste. Também comparamos diferentes técnicas de segmentação --- multiplicação elemento a elemento da imagem da lesão de pele e sua máscara de segmentação, e utilizar a máscara de segmentação como quarto canal --- com uma rede treinada sem segmentação. A rede sem segmentação é a que obteve melhor desemepnho (96.0% AUC) contra a máscara de segmentação como quarto canal (94.5% AUC). Nós também disponibilizamos uma implementação de referência reprodutível com todo o código desenvolvido para as contribuições desta dissertaçãoAbstract: From all skin cancers, melanoma represents just 1% of cases, but 75% of deaths. Melanoma¿s prognosis is good when detected early, but deteriorates fast as the disease progresses. Automated tools may play an essential role in providing timely screening, helping doctors focus on patients or lesions at risk. However, due to the disease¿s characteristics --- rarity, lethality, fast progression, and diagnosis subtlety --- automated screening for melanoma is particularly challenging. The objective of this work is to understand better how can we use Deep Learning --- more precisely, Convolutional Neural Networks --- to correctly classify images of skin lesions. This work is divided into two lines of investigation to achieve the objective. First, the study is focused on the transferability of features from pretrained CNN networks. The primary objective of that thread is to study how the transferred features behave in different schemas, aiming at generating better features to the classifier layer. Second, this study will also improve the classification metrics, which is the overall objective of this line of research. On the transferability of features, we performed experiments to analyze how different transfer schemas would impact the overall Area Under the ROC Curve (AUC) training a CNN from scratch; transferring from pretrained CNN on general and specific image databases; performing a double transfer, in a sequence from general to specific and finally melanoma databases. From those experiments, we learned that transfer learning is a good practice, as is fine tuning. The results also suggest that deeper models lead to better results. We expected that transfer learning from a related task (in the case, from a retinopathy image database) would lead to better outcomes, but results showed the opposite, suggesting that adaptation from particular tasks poses specific challenges. On the improvement of metrics, we discussed the winner pipeline used in the International Skin Imaging Collaboration (ISIC) Challenge 2017, reaching state-of-the-art results on melanoma classification with 87.4% AUC. The solution is based on the stacking/meta-learning from Inception v4 and Resnet101 models, fine tuning them while performing data augmentation on the train and test sets. Also, we compare different segmentation techniques - elementwise multiplication of the skin lesion image and its mask, and input the segmentation mask as a fourth channel - with a network trained without segmentation. The network with no segmentation is the one who performs better (96.0% AUC) against segmentation mask as a fourth channel (94.5% AUC). We made available a reproducible reference implementation with all developed source code for the contributions of this thesisMestradoEngenharia de ComputaçãoMestre em Engenharia Elétrica133530/2016-7CNP

ARGUMENTAÇÃO JURÍDICA E APRENDIZADO PROFUNDO

 O objetivo geral deste artigo consiste em avaliar a possibilidade de automatização da argumentação jurídica, mediante uso da tecnologia de aprendizado profundo. Como objetivos específicos, busca-se, primeiro, apresentar um panorama da argumentação jurídica e sua importância na aplicação do direito, a partir das concepções vinculadas a distintos paradigmas da ciência jurídica; segundo, discorrer sobre o aprendizado profundo, considerando sua concepção, características e, também, aplicabilidade no campo jurídico; bem como, terceiro, problematizar o efetivo desempenho da argumentação jurídica por parte dos robôs, sopesando suas exigências com as limitações inerentes ao aprendizado profundo. Em considerações finais, apresenta-se argumento quanto à possibilidade de compatibilização entre ambos, mediante a inserção dos dados emergentes do aprendizado profundo na atividade de aplicação do direito. A pesquisa encetada operou com o método indutivo em sua fase de investigação, o método analítico na fase de tratamento de dados, e, no presente relatório em forma de artigo científico, utiliza-se novamente o método indutivo.

Aprendizado profundo para classificação de microorganismos

In this work we present a comparison among three machine learning (ML) methods applied to identify Chattonella based on microscopic images. We analyze KNearest Neighbors algorithm (KNN), Weightless Neural Network algorithm (WNN) and Convolutional Neural Network algorithm (CNN). The latter being the state of art to image classification. The goal of this work is to identify the best method to count different types of microorganisms in oceanic water samples, with the goal for detecting pollution. This comparison takes into account accuracy of the hit rate. The best result was reached by Convolutional Neural Network algorithm, as will be described in this work.Neste trabalho apresentamos uma comparação entre três métodos de aprendizado de máquina (ML) aplicados para identificar Chatonella localizadas imagens microscópicas. Analisamos o algoritmo de vizinhos de k mais próximos (KNN), o algoritmo de rede neural sem peso (WNN) e o algoritmo de rede neural convolucional (CNN). Este último sendo o estado da arte para classificação de imagens. O objetivo deste trabalho é identificar o melhor método para contabilizar diferentes tipos de microrganismos de amostras de água oceânica, com a finalidade de detectar poluição. Essa comparação leva em consideração a precisão da taxa de acertos. O algoritmo que teve o melhor desempeho foi a rede neural convolucional, como será detalhado neste trabalho

Esquemas de transferência para aprendizado profundo em classificação de imagens

Orientadores: Eduardo Alves do Valle Junior, Sandra Eliza Fontes de AvilaDissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de ComputaçãoResumo: Em Visão Computacional, a tarefa de classificação é complexa, pois visa a detecção da presença de categorias em imagens, dependendo criticamente da habilidade de aprender modelos computacionais generalistas a partir de amostras de treinamento. Aprendizado Profundo (AP) para tarefas visuais geralmente envolve o aprendizado de todos os passos deste processo, da extração de características até a atribuição de rótulos. Este tipo pervasivo de aprendizado garante aos modelos de AP maior capacidade de generalização, mas também traz novos desafios: um modelo de AP deverá estimar um grande número de parâmetros, exigindo um imenso conjunto de dados anotados e grandes quantidades de recursos computacionais. Neste contexto, a Transferência de Aprendizado emerge como uma solução promissora, permitindo a reciclagem de parâmetros aprendidos por modelos diferentes. Motivados pela crescente quantidade de evidências para o potencial de tais técnicas, estudamos de maneira abrangente a transferência de conhecimento de arquiteturas profundas aplicada ao reconhecimento de imagens. Nossos experimentos foram desenvolvidos para explorar representações internas de uma arquitetura profunda, testando sua robustez, redundância e precisão, com aplicações nos problemas de rastreio automático de melanoma, reconhecimento de cenas (MIT Indoors) e detecção de objetos (Pascal VOC). Também levamos a transferência a extremos, introduzindo a Transferência de Aprendizado Completa, que preserva a maior parte do modelo original, mostrando que esquemas agressivos de transferência podem atingir resultados competitivosAbstract: In Computer Vision, the task of classification is complex, as it aims to identify the presence of high-level categories in images, depending critically upon learning general models from a set of training samples. Deep Learning (DL) for visual tasks usually involves seamlessly learning every step of this process, from feature extraction to label assignment. This pervasive learning improves DL generalization abilities, but brings its own challenges: a DL model will have a huge number of parameters to estimate, thus requiring large amounts of annotated data and computational resources. In this context, transfer learning emerges as a promising solution, allowing one to recycle parameters learned among different models. Motivated by the growing amount of evidence for the potential of such techniques, we study transfer learning for deep architectures applied to image recognition. Our experiments are designed to explore the internal representations of DL architectures, testing their robustness, redundancy and precision, with applications to the problems of automated melanoma screening, scene recognition (MIT Indoors) and object detection (Pascal VOC). We also take transfer learning to extremes, introducing Complete Transfer Learning, which preserves most of the original model, showing that aggressive transfer schemes can reach competitive resultsMestradoEngenharia de ComputaçãoMestre em Engenharia Elétric

Predição de Geração Fotovoltaica Usando Aprendizado Profundo

TCC (graduação) - Universidade Federal de Santa Catarina. Centro Tecnológico. Engenharia Elétrica.The reliable prediction of photovoltaic power generation is a desirable goal for power system operators, since the integration of this and other renewable sources into the power grid brings challenges to the task of matching power supply and demand. The focus of this work is on the prediction of the generated power of a photovoltaic system utilizing machine learning. To this end, a dataset that relates environmental data from Florianopolis to power generation data of a photovoltaic system in the city is used. The results obtained demonstrate the potential of using machine learning for the considered application.A previsão confiável da geração de energia fotovoltaica é um fito desejável para operadores do sistema elétrico, uma vez que a integração desta e outras fontes renováveis à rede traz desafios para a adequação entre oferta e demanda de energia. O foco deste trabalho está na predição da potência gerada por um sistema fotovoltaico utilizando aprendizado de máquina. Para tal, utiliza-se um conjunto de dados relacionando dados ambientais de Florianópolis com dados de geração de um sistema fotovoltaico situado no mesmo municı́pio. Os resultados obtidos demonstram o potencial do uso de aprendizado de máquina para a aplicação considerada

Colorização de imagens utilizando técnicas de aprendizado de máquina profundo

Técnicas de aprendizado profundo tem se mostrado muito promissoras no campo da área visão computacional. Pesquisas foram desenvolvidas no problema de colorização de imagens preto e branco. Esse problema se trata de gerar cores plausíveis a uma imagem preto e branco. Tal aplicação pode ser feita a imagens histórias e também para uso artísticos, como uma mudança de colorização de uma imagem. Utilizando-se de grandes bases de dados disponíveis publicamente, tais pesquisas desenvolvem modelos capazes de resolver o problema da colorização, através da aplicação de aprendizado profundo. Este trabalho propõe-se a ser uma introdução a visão computacional, utilizando técnicas de aprendizado profundo e apresenta um modelo, baseado em trabalhos anteriores, capaz de colorir imagens preto e branco. O modelo desenvolvido pode colorir elementos simples como vegetação, céu, árvores, etc, entretanto tem dificuldade para objetos mais complexos como pessoas, objetos artificiais e menos frequentes na base de dados. O modelo implementado utiliza uma arquitetura semelhante aos trabalhos de referência, alterando-se a base de dados, função de erro e discretização do espaço de cores

Detecção de obstáculos para carros autônomos utilizando aprendizado profundo

TCC (graduação) - Universidade Federal de Santa Catarina. Centro Tecnológico. Engenharia Elétrica.Nos últimos anos, é crescente o desenvolvimento de tecnologias aplicadas a carros autônomos. Uma das características básicas destas tecnologias é a capacidade de identificação de outros objetos a sua volta. O presente estudo propõe a execução de uma metodologia de otimização que busca a implementação de um modelo de rede neural convolucional que tem como foco a segmentação semântica de veículos em imagens, visando aplicação em veículos autônomos. A otimização deste modelo é realizado através de um trade-off entre algumas das principais características que representam o desempenho de uma rede neural, como a sua acurácia, velocidade de inferência, complexidade de detecção e número de parâmetros treináveis. Para alcançar tais objetivos, foram utilizadas ferramentas de alto nível voltados para o aprendizado de máquina, como o Tensorflow e Keras, em combinação com um conjunto de dados disponibilizado para o público geral, concebido para a aplicação em desenvolvimento de modelos focados na detecção de objetos em meio ao ambiente de tráfego de veículos. Os resultados serão avaliados através de métricas e inferência de imagens em geral, analisando por fim a viabilidade das técnicas utilizadas para aplicação em automação de veículos

Modelos de aprendizado profundo para detecção de planetas extrassolares

Trabalho de Conclusão de Curso (graduação)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Estatística, 2018.A busca e descoberta de novos planetas orbitando outras estrelas da Via Láctea vem com o passar dos anos produzindo quantidades de informação cada vez maiores, à medida que as missões espaciais e os observatórios crescem tecnologicamente. Com isso, a utilização de inteligência artificial para a detecção e classificação de exoplanetas tem se tornado crescente. Baseando-se nisto, este trabalho propõe a utilização de uma rede neural convolucional como método de detecção de exoplanetas baseado nas curvas de luz de suas estrelas. Foram ajustados três modelos baseados em formas diferentes de destacar características de interesse associadas aos trânsitos dos exoplanetas. Os testes dos modelos mostraram que, apesar da dos resultados satisfatórios da rede, a aplicação dos processamentos nos dados pode implicar em melhoria significativa de sua performance.The search for and discovery of new planets orbiting other stars in the Milky Way has produced an enormous amount of information as the space missions and observatories grow technologically. This fact has the use of artificial intelligence for detection and classification of exoplanets more common. This work proposes the use of a convolutional neural network as a means of exoplanet detection based on the light curve of its stars. Three models were fitted based on different ways of highlighting the features of interest associated with the exoplanets’ transits. Despite the satisfactory results, the models tested showed that data processing can lead to significant improvements in performance

Developing deep learning computational tools for cancer using omics data

Dissertação de mestrado em Computer ScienceThere has been an increasing investment in cancer research that generated an enormous amount of biological and clinical data, especially after the advent of the next-generation sequencing technologies. To analyze the large datasets provided by omics data of cancer samples, scientists have successfully been recurring to machine learning algorithms, identifying patterns and developing models by using statistical techniques to make accurate predictions. Deep learning is a branch of machine learning, best known by its applications in artificial intelligence (computer vision, speech recognition, natural language processing and robotics). In general, deep learning models differ from machine learning “shallow” methods (single hidden layer) because they recur to multiple layers of abstraction. In this way, it is possible to learn high level features and complex relations in the given data. Given the context specified above, the main target of this work is the development and evaluation of deep learning methods for the analysis of cancer omics datasets, covering both unsupervised methods for feature generation from different types of data, and supervised methods to address cancer diagnostics and prognostic predictions. We worked with a Neuroblastoma (NB) dataset from two different platforms (RNA-Seq and microarrays) and developed both supervised (Deep Neural Networks (DNN), Multi-Task Deep Neural Network (MT-DNN)) and unsupervised (Stacked Denoising Autoencoders (SDA)) deep architectures, and compared them with shallow traditional algorithms. Overall we achieved promising results with deep learning on both platforms, meaning that it is possible to retrieve the advantages of deep learning models on cancer omics data. At the same time we faced some difficulties related to the complexity and computational power requirements, as well as the lack of samples to truly benefit from the deep architectures. There was generated code that can be applied to other datasets, wich is available in a github repository https://github.com/lmpeixoto/deepl_learning [49].Nos últimos anos tem havido um investimento significativo na pesquisa de cancro, o que gerou uma quantidade enorme de dados biológicos e clínicos, especialmente após o aparecimento das tecnologias de sequenciação denominadas de “próxima-geração”. Para analisar estes dados, a comunidade científica tem recorrido, e com sucesso, a algoritmos de aprendizado de máquina, identificando padrões e desenvolvendo modelos com recurso a métodos estatísticos. Com estes modelos é possível fazer previsão de resultados. O aprendizado profundo, um ramo do aprendizado de máquina, tem sido mais notório pelas suas aplicações em inteligência artificial (reconhecimento de imagens e voz, processamento de linguagem natural e robótica). De um modo geral, os modelos de aprendizado profundo diferem dos métodos clássicos do aprendizado de máquina por recorrerem a várias camadas de abstração. Desta forma, é possível “aprender” as representações complexas e não lineares, com vários graus de liberdade dos dados analisados. Neste contexto, o objetivo principal deste trabalho é desenvolver e avaliar métodos de aprendizado profundo para analisar dados ómicos do cancro. Pretendem-se desenvolver tanto métodos supervisionados como não-supervisionados e utilizar diferentes tipos de dados, construindo soluções para diagnóstico e prognóstico do cancro. Para isso trabalhámos com uma matriz de dados de Neuroblastoma, proveniente de duas plataformas diferentes (RNA-seq e microarrays), nos quais aplicámos algumas arquiteturas de aprendizado profundo, tanto como métodos supervisionados e não-supervisionados, e com as quais comparámos com algoritmos tradicionais de aprendizado de máquina. No geral conseguimos obter resultados promissores nas duas plataformas, o que significou ser possível beneficiar das vantagens dos modelos do aprendizado profundo nos dados ómicos de cancro. Ao mesmo tempo encontrámos algumas dificuldades, de modo especial relacionadas com a complexidade dos modelos e o poder computacional exigido, bem como o baixo número de amostras disponíveis. Na sequencia deste trabalho foi gerado código que pode ser aplicado a outros dados e está disponível num repositório do github https://github.com/lmpeixoto/deepl_learning [49]

RECONHECIMENTO DE PADRÕES BIOMÉDICOS UTILIZANDO MÁQUINAS DE APRENDIZADO PROFUNDO

The brain-computer interface is one of the emerging fields of human-computer interaction due to its broad spectrum of applications, especially those that deal with human cognition. In this work, electroencephalography (EEG) is used as base data for classifying the state of the eyes (open or closed) by applying Long Short Term Memory (LSTM) networks and variants. For benchmarking purposes, the EEG data set with the eye state record was used, available in the Machine Learning repository at UCI. The results obtained indicated that the model is applicable to the classification of the data and that its performance is good compared to the more expensive models computationally.A interface cérebro-computador é um dos campos emergentes da interação homem-computador devido ao seu amplo espectro de aplicações, especialmente as que lidam com a cognição humana. Neste trabalho, a eletroencefalografia (EEG) é usada como dado base para classificar o estado dos olhos (abertos ou fechados) aplicando redes Long Short Term Memory (LSTM) e variantes. Para fins de benchmarking, foi utilizado o conjunto de dados de EEG com registro do estado do olho, disponível no repositório de Aprendizado de Máquina da UCI. Os resultados obtidos indicaram que o modelo é aplicável para a classificação dos dados e que seu desempenho é bom comparado aos modelos mais caros computacionalmente