DermaKNet: Incorporating the Knowledge of Dermatologists to Convolutional Neural Networks for Skin Lesion Diagnosis

Traditional approaches to automatic diagnosis of skin lesions consisted of classifiers working on sets of hand-crafted features, some of which modeled lesion aspects of special importance for dermatologists. Recently, the broad adoption of convolutional neural networks (CNNs) in most computer vision tasks has brought about a great leap forward in terms of performance. Nevertheless, with this performance leap, the CNN-based computer-aided diagnosis (CAD) systems have also brought a notable reduction of the useful insights provided by hand-crafted features. This paper presents DermaKNet, a CAD system based on CNNs that incorporates specific subsystems modeling properties of skin lesions that are of special interest to dermatologists aiming to improve the interpretability of its diagnosis. Our results prove that the incorporation of these subsystems not only improves the performance, but also enhances the diagnosis by providing more interpretable outputs.This work was supported in part by the National Grant TEC2014-53390-P and National Grant TEC2014-61729-EXP of the Spanish Ministry of Economy and Competitiveness, and in part by NVIDIA Corporation with the donation of the TITAN X GPUPublicad

Step-wise Integration of Deep Class-specific Learning for Dermoscopic Image Segmentation

The segmentation of abnormal regions on dermoscopic images is an important step for automated computer aided diagnosis (CAD) of skin lesions. Recent methods based on fully convolutional networks (FCN) have been very successful for dermoscopic image segmentation. However, they tend to overfit to the visual characteristics that are present in the dominant non-melanoma studies and therefore, perform poorly on the complex visual characteristics exhibited by melanoma studies, which usually consists of fuzzy boundaries and heterogeneous textures. In this paper, we propose a new method for automated skin lesion segmentation that overcomes these limitations via a novel deep class-specific learning approach which learns the important visual characteristics of the skin lesions of each individual class (melanoma vs non-melanoma) on an individual basis. We also introduce a new probability-based, step-wise integration to combine complementary segmentation results derived from individual class-specific learning models. We achieved an average Dice coefficient of 85.66% on the ISBI 2017 Skin Lesion Challenge (SLC), 91.77% on the ISBI 2016 SLC and 92.10% on the PH2 datasets with corresponding Jaccard indices of 77.73%, 85.92% and 85.90%, respectively, for the same datasets. Our experiments on three well-established public benchmark datasets demonstrate that our method is more effective than other state-of-the-art methods for skin lesion segmentation

A survey, review, and future trends of skin lesion segmentation and classification

The Computer-aided Diagnosis or Detection (CAD) approach for skin lesion analysis is an emerging field of research that has the potential to alleviate the burden and cost of skin cancer screening. Researchers have recently indicated increasing interest in developing such CAD systems, with the intention of providing a user-friendly tool to dermatologists to reduce the challenges encountered or associated with manual inspection. This article aims to provide a comprehensive literature survey and review of a total of 594 publications (356 for skin lesion segmentation and 238 for skin lesion classification) published between 2011 and 2022. These articles are analyzed and summarized in a number of different ways to contribute vital information regarding the methods for the development of CAD systems. These ways include: relevant and essential definitions and theories, input data (dataset utilization, preprocessing, augmentations, and fixing imbalance problems), method configuration (techniques, architectures, module frameworks, and losses), training tactics (hyperparameter settings), and evaluation criteria. We intend to investigate a variety of performance-enhancing approaches, including ensemble and post-processing. We also discuss these dimensions to reveal their current trends based on utilization frequencies. In addition, we highlight the primary difficulties associated with evaluating skin lesion segmentation and classification systems using minimal datasets, as well as the potential solutions to these difficulties. Findings, recommendations, and trends are disclosed to inform future research on developing an automated and robust CAD system for skin lesion analysis

Image analysis for diagnostic support in biomedicine: neuromuscular diseases and pigmented lesions

Tesis descargada desde TESEOEsta tesis presenta dos sistemas implementados mediante técnicas de procesamiento de imagen, para ayuda al diagnóstico de enfermedades neuromusculares a partir de imágenes de microscopía de fluorescencia y análisis de lesiones pigmentadas a partir de imágenes dermoscópicas. El diagnóstico de enfermedades neuromusculares se basa en la evaluación visual de las biopsias musculares por parte del patólogo especialista, lo que conlleva una carga subjetiva. El primer sistema propuesto en esta tesis analiza objetivamente las biopsias musculares y las clasifica en distrofias, atrofias neurógenas o control (sin enfermedad) a través de imágenes de microscopía de fluorescencia. Su implementación reúne los elementos propios de un sistema de ayuda al diagnóstico asistido por ordenador: segmentación, extracción de características, selección de características y clasificación. El procedimiento comienza con una segmentación precisa de las fibras musculares usando morfología matemática y una transformada Watershed. A continuación, se lleva a cabo un paso de extracción de características, en el cual reside la principal contribución del sistema, ya que no solo se extraen aquellas que los patólogos tienen en cuenta para diagnosticar sino características que se escapan de la visión humana. Estas nuevas características se extraen suponiendo que la estructura de la biopsia se comporta como un grafo, en el que los nodos se corresponden con las fibras musculares, y dos nodos están conectados si dos fibras son adyacentes. Para estudiar la efectividad que estos dos conjuntos presentan en la categorización de las biopsias, se realiza una selección de características y una clasi- ficación empleando una red neuronal Fuzzy ARTMAP. El procedimiento concluye con una estimación de la severidad de las biopsias con patrón distrófico. Esta caracterización se realiza mediante un análisis de componentes principales. Para la validación del sistema se ha empleado una base de datos compuesta por 91 imágenes de biopsias musculares, de las cuales 71 se consideran imágenes de entrenamiento y 20 imágenes de prueba. Se consigue una elevada tasa de aciertos de clasificacion y se llega a la importante conclusión de que las nuevas características estructurales que no pueden ser detectadas por inspección visual mejoran la identificación de biopsias afectadas por atrofia neurógena. La segunda parte de la tesis presenta un sistema de clasificación de lesiones pigmentadas. Primero se propone un algoritmo de segmentación de imágenes en color para ais lar la lesión de la piel circundante. Su desarrollo se centra en conseguir un algoritmo relacionado con las diferencias color percibidas por el ojo humano. Consiguiendo así, no solo un método de segmentación de lesiones pigmentadas sino un algoritmo de segmentación de propósito general. El método de segmentación propuesto se basa en un gradiente para imágenes en color integrado en una técnica de level set para detección de bordes. La elección del gradiente se derivada a partir de un análisis de tres gradientes de color implementados en el espacio de color uniforme CIE L∗a∗b∗ y basados en las ecuaciones de diferencia de color desarrolladas por la comisión internacional de iluminación (CIELAB, CIE94 y CIEDE2000). El principal objetivo de este análisis es estudiar cómo estas ecuaciones afectan en la estimación de los gradientes en términos de correlación con la percepción visual del color. Una técnica de level-set se aplica sobre estos gradientes consiguiendo así un detector de borde que permite evaluar el rendimiento de dichos gradientes. La validación se lleva a cabo sobre una base de datos compuesta por imágenes sintéticas diseñada para tal fin. Se realizaron tanto medidas cuantitativas como cualitativas. Finalmente, se concluye que el detector de bordes basado en la ecuación de diferencias de color CIE94 presenta la mayor correlación con la percepción visual del color. A partir de entonces, la tesis intenta emular el método de análisis de patrones, la técnica de diagnóstico de lesiones pigmentadas de la piel más empleada por los dermatólogos. Este método trata de identificar patrones específicos, pudiendo ser tanto globales como locales. En esta tesis se presenta una amplia revisión de los métodos algorítmicos, publicados en la literatura, que detectan automáticamente dichos patrones a partir de imágenes dermoscópicas de lesiones pigmentadas. Tras esta revisón se advierte que numerosos trabajos se centran en la detección de patrones locales, pero solo unos pocos abordan la detección de patrones globales. El siguiente paso de esta tesis, por tanto, es la propuesta de diferentes métodos de clasi- ficación de patrones globales. El objetivo es identificar tres patrones: reticular, globular y empedrado (considerado un solo patrón) y homogéneo. Los métodos propuestos se basan en un análisis de textura mediante técnicas de modelado. En primer lugar una imagen demoscópica se modela mediante campos aleatorios de Markov, los parámetros estimados de este modelo se consideran características. A su vez, se supone que la distribución de estas características a lo largo de la lesión sigue diferentes modelos: un modelo gaussiano, un modelo de mezcla de gaussianas o un modelo de bolsa de características. La clasificación se lleva a cabo mediante una recuperación de imágenes basada en diferentes métricas de distancia. Para validar los métodos se emplea un conjunto significativo de imágenes dermatológicas, concluyendo que el modelo basado en mezcla de gaussianas proporciona la mejor tasa de clasificación. Además, se incluye una evaluación adicional en la que se clasifican melanomas con patrón multicomponente obteniendo resultados prometedores. Finalmente, se presenta una discusión sobre los hallazgos y conclusiones más relevantes extraídas de esta tesis, así como las líneas futuras que se derivan de este trabajo.Premio Extraordinario de Doctorado U

Gaussian mixture model based probabilistic modeling of images for medical image segmentation

In this paper, we propose a novel image segmentation algorithm that is based on the probability distributions of the object and background. It uses the variational level sets formulation with a novel region based term in addition to the edge-based term giving a complementary functional, that can potentially result in a robust segmentation of the images. The main theme of the method is that in most of the medical imaging scenarios, the objects are characterized by some typical characteristics such a color, texture, etc. Consequently, an image can be modeled as a Gaussian mixture of distributions corresponding to the object and background. During the procedure of curve evolution, a novel term is incorporated in the segmentation framework which is based on the maximization of the distance between the GMM corresponding to the object and background. The maximization of this distance using differential calculus potentially leads to the desired segmentation results. The proposed method has been used for segmenting images from three distinct imaging modalities i.e. magnetic resonance imaging (MRI), dermoscopy and chromoendoscopy. Experiments show the effectiveness of the proposed method giving better qualitative and quantitative results when compared with the current state-of-the-art. INDEX TERMS Gaussian Mixture Model, Level Sets, Active Contours, Biomedical Engineerin