Classification of interstitial lung disease patterns with topological texture features

Topological texture features were compared in their ability to classify morphological patterns known as 'honeycombing' that are considered indicative for the presence of fibrotic interstitial lung diseases in high-resolution computed tomography (HRCT) images. For 14 patients with known occurrence of honey-combing, a stack of 70 axial, lung kernel reconstructed images were acquired from HRCT chest exams. A set of 241 regions of interest of both healthy and pathological (89) lung tissue were identified by an experienced radiologist. Texture features were extracted using six properties calculated from gray-level co-occurrence matrices (GLCM), Minkowski Dimensions (MDs), and three Minkowski Functionals (MFs, e.g. MF.euler). A k-nearest-neighbor (k-NN) classifier and a Multilayer Radial Basis Functions Network (RBFN) were optimized in a 10-fold cross-validation for each texture vector, and the classification accuracy was calculated on independent test sets as a quantitative measure of automated tissue characterization. A Wilcoxon signed-rank test was used to compare two accuracy distributions and the significance thresholds were adjusted for multiple comparisons by the Bonferroni correction. The best classification results were obtained by the MF features, which performed significantly better than all the standard GLCM and MD features (p < 0.005) for both classifiers. The highest accuracy was found for MF.euler (97.5%, 96.6%; for the k-NN and RBFN classifier, respectively). The best standard texture features were the GLCM features 'homogeneity' (91.8%, 87.2%) and 'absolute value' (90.2%, 88.5%). The results indicate that advanced topological texture features can provide superior classification performance in computer-assisted diagnosis of interstitial lung diseases when compared to standard texture analysis methods.Comment: 8 pages, 5 figures, Proceedings SPIE Medical Imaging 201

Semantic Segmentation of Pathological Lung Tissue with Dilated Fully Convolutional Networks

Early and accurate diagnosis of interstitial lung diseases (ILDs) is crucial for making treatment decisions, but can be challenging even for experienced radiologists. The diagnostic procedure is based on the detection and recognition of the different ILD pathologies in thoracic CT scans, yet their manifestation often appears similar. In this study, we propose the use of a deep purely convolutional neural network for the semantic segmentation of ILD patterns, as the basic component of a computer aided diagnosis (CAD) system for ILDs. The proposed CNN, which consists of convolutional layers with dilated filters, takes as input a lung CT image of arbitrary size and outputs the corresponding label map. We trained and tested the network on a dataset of 172 sparsely annotated CT scans, within a cross-validation scheme. The training was performed in an end-to-end and semi-supervised fashion, utilizing both labeled and non-labeled image regions. The experimental results show significant performance improvement with respect to the state of the art

Prediction of progression in idiopathic pulmonary fibrosis using CT scans atbaseline: A quantum particle swarm optimization - Random forest approach

Idiopathic pulmonary fibrosis (IPF) is a fatal lung disease characterized by an unpredictable progressive declinein lung function. Natural history of IPF is unknown and the prediction of disease progression at the time ofdiagnosis is notoriously difficult. High resolution computed tomography (HRCT) has been used for the diagnosisof IPF, but not generally for monitoring purpose. The objective of this work is to develop a novel predictivemodel for the radiological progression pattern at voxel-wise level using only baseline HRCT scans. Mainly, thereare two challenges: (a) obtaining a data set of features for region of interest (ROI) on baseline HRCT scans andtheir follow-up status; and (b) simultaneously selecting important features from high-dimensional space, andoptimizing the prediction performance. We resolved the first challenge by implementing a study design andhaving an expert radiologist contour ROIs at baseline scans, depending on its progression status in follow-upvisits. For the second challenge, we integrated the feature selection with prediction by developing an algorithmusing a wrapper method that combines quantum particle swarm optimization to select a small number of featureswith random forest to classify early patterns of progression. We applied our proposed algorithm to analyzeanonymized HRCT images from 50 IPF subjects from a multi-center clinical trial. We showed that it yields aparsimonious model with 81.8% sensitivity, 82.2% specificity and an overall accuracy rate of 82.1% at the ROIlevel. These results are superior to other popular feature selections and classification methods, in that ourmethod produces higher accuracy in prediction of progression and more balanced sensitivity and specificity witha smaller number of selected features. Our work is the first approach to show that it is possible to use onlybaseline HRCT scans to predict progressive ROIs at 6 months to 1year follow-ups using artificial intelligence

Quantitative CT analysis in ILD and use of artificial intelligence on imaging of ILD

Advances in computer technology over the past decade, particularly in the field of medical image analysis, have permitted the identification, characterisation and quantitation of abnormalities that can be used to diagnose disease or determine disease severity. On CT imaging performed in patients with ILD, deep-learning computer algorithms now demonstrate comparable performance with trained observers in the identification of a UIP pattern, which is associated with a poor prognosis in several fibrosing ILDs. Computer tools that quantify individual voxel-level CT features have also come of age and can predict mortality with greater power than visual CT analysis scores. As these tools become more established, they have the potential to improve the sensitivity with which minor degrees of disease progression are identified. Currently, PFTs are the gold standard measure used to assess clinical deterioration. However, the variation associated with pulmonary function measurements may mask the presence of small but genuine functional decline, which in the future could be confirmed by computer tools. The current chapter will describe the latest advances in quantitative CT analysis and deep learning as related to ILDs and suggest potential future directions for this rapidly advancing field

Identification and quantification of the alveolar compartment by confocal laser endomicroscopy in patients with interstitial lung diseases

Tese de mestrado integrado, Engenharia Biomédica e Biofísica (Biofísica Médica e Fisiologia de Sistemas), Universidade de Lisboa, Faculdade de Ciências, 2018Doenças Intersticiais Pulmonares (DIP) é um termo que inclui mais de 200 doenças que afectam o parênquima pulmonar, partilhando manifestações clínicas, radiográficas e patológicas semelhantes. Este conjunto de doenças é bastante heterogéneo, apresentando cada tipo de DIP em diferente grau os elementos de inflamação e fibrose: enquanto a inflamação é reflectida pelo aumento de células inflamatórias e presença de nódulos ou edema, a fibrose reflecte-se pelas fibras adicionais de colagénio e elastina. Identificar o tipo de DIP de um doente é um processo difícil, sendo a Discussão Multidisciplinar o actual método de diagnóstico "gold standard": vários médicos especialistas compõem uma equipa multidisciplinar que vai ter em conta os dados clínicos, radiológicos e patológicos disponíveis para chegar a uma conclusão. Estes dados incluem imagens de tomografia computorizada de alta resolução (TCAR), a descrição da lavagem broncoalveolar e, quando possível, dados de biópsias. Apesar do esforço e competência da equipa multidisciplinar, 10% dos pacientes são categorizados como inclassificáveis devido a dados inadequados ou discrepância entre os dados existentes. A maior causa para DIP inclassificáveis é a ausência de dados histopatológicos associada aos riscos das biópsias cirúrgicas. É muito importante determinar a DIP específica de um doente, dadas as suas implicações no tratamento e gestão do mesmo. É particularmente crítica a distinção entre doentes com Fibrose Pulmonar Idiopática (FPI) e doentes sem FPI, dado que há terapias anti-fibróticas – como o Pirfenidone – indicadas para FPI que são extremamente dispendiosas, exigindo certeza no diagnóstico antes de serem prescritas. Além disso, o tratamento com agentes imunossupressores pode funcionar com o grupo dos não-FPI mas aumenta a morte e hospitalizações nos doentes com FPI. A discussão multidisciplinar pode beneficiar da informação adicional oferecida pelo Confocal Laser Endomicroscopy (CLE), uma técnica de imagiologia que torna possível visualizar os alvéolos pulmonares com resolução microscópica de forma minimamente invasiva, através de uma broncoscopia. O laser do CLE tem um comprimento de onda de 488 nm que permite observar a autofluorescência das fibras de elastina. Há evidências de que a quantidade de fibras de elastina é aumentada e a arquitectura destas fibras é alterada na presença de fibrose pulmonar, a qual está associada a algumas doenças intersticiais pulmonares incluindo a fibrose pulmonar idiopática. Até à data, os vídeos de Confocal Laser Endomicroscopy são, na maioria dos casos, analisados apenas visualmente, e pouca informação objectiva e consistente foi conseguida destes vídeos em doentes de DIP. No entanto, é possível obter informação mais relevante dos mesmos, convertendo-os em frames, pré-processando as imagens e extraindo atributos numéricos. Neste projecto, foram obtidas imagens dos alvéolos pulmonares de doentes de DIP através de CLE. O principal objectivo do projecto é melhorar a técnica de CLE e aumentar a sua usabilidade para que no futuro possa contribuir para facilitar a estratificação de doentes com DIP e eventualmente reduzir o número de biópsias pulmonares nestes doentes. Como mencionado, o instrumento de Confocal Laser Endomicroscopy emite uma luz laser azul de 488nm, a qual é reflectida no tecido e reorientada para o sistema de detecção pela mesma lente, passando por um pequeno orifício (pinhole). Isto permite que a luz focada seja recolhida e que feixes provenientes de planos fora de foco sejam excluídos, originando uma resolução microscópica que permite imagens ao nível celular. Quando o CLE é aplicado a imagem pulmonar, é possível observar as paredes alveolares pela autofluorescência natural presente nas fibras de elastina. No estudo clínico subjacente a este estudo, o protocolo de CLE foi aplicado a 20 pacientes, embora 8 tenham sido posteriormente excluídos da análise. Os vídeos de CLE obtidos sofreram duas selecções: uma com base na região onde uma biópsia (usada como referência) foi tirada e outra com base na qualidade técnica das imagens. Depois, os dados foram pré-processados: geraram-se imagens mosaico com um campo de visão alargado e, paralelamente converteram-se as sequências de vídeo em frames. A qualidade da imagem foi melhorada, filtrando o ruído electrónico para que posteriormente pudesse ser aplicada a análise de imagem. Esta análise extraiu valores numéricos que reflectem o estado do espaço alveolar, nomeadamente, variáveis de textura e medições relacionadas com as fibras de elastina. As imagens de CLE obtidas mostraram-se muito interessantes. A resolução é superior à tomografia computorizada de alta resolução e a tridimensionalidade acrescenta informação às biópsias. O facto de permitir feedback em tempo real e observar ao vivo os movimentos naturais da respiração contribui para a análise do estado do doente. A análise de textura feita às imagens serviu-se de um algoritmo de extracção de variáveis de Haralick a partir de uma Gray-Level Co-occurence Matrix (GLCM). Foram extraídas as variáveis de textura Momento Angular Secundário (Energia), Entropia, Momento de Diferença Inversa, Contraste, Variação e Correlação. O algoritmo de Ridge Detection (detecção de linhas) identificou a maior parte das fibras de elastina detectáveis por um observador humano e mediu o Número de Fibras, o seu Comprimento e Largura e o Número de Junções entre fibras, permitindo também calcular a Soma dos Comprimentos de todas as fibras. Estes algoritmos devolveram valores consistentes num processo mais eficiente comparado com um observador humano, conseguindo avaliar em poucos segundos múltiplas variáveis para todo o conjunto de dados. As medições relacionadas com as fibras de elastina pretendiam ajudar a identificar os doentes fibróticos. Era esperado que as fibras dos doentes fibróticos fossem mais largas, mas isso não se observou. Também se previa que este grupo de doentes apresentasse maior número de fibras e junções, mas não houve uma diferença significativa entre grupos. No entanto, quando o grupo fibrótico foi segregado, o número de fibras e junções parece separar a fibrose moderada da fibrose severa. Este resultado é interessante na medida em que sugere que a monitorização do número de fibras/junções com CLE pode potencialmente ser usado como medida de eficácia de medicação anti-fibrótica. Em relação às variáveis de textura, esperava-se que os doentes fibróticos apresentassem valores mais elevados de Entropia, Contraste e Variância e valores inferiores de Momento de Diferença Inversa, dado que o seu tecido pulmonar deveria corresponder a imagens mais complexas e heterogéneas com mais arestas presentes. No entanto, ainda não foi possível estabelecer diferenças significativas entre grupos. Apesar dos resultados com o conjunto de dados usado não ter demonstrado correlações fortes entre as conclusões do CLE e da TCAR/histopatologia, os valores das variáveis em si já contribuem para o estudo das DIP, nomeadamente da sua fisiologia. De facto, a amostra de doentes deste estudo era reduzida, mas com uma amostra maior, espera-se que algumas das varáveis se correlacionem com outras técnicas usadas no diagnóstico e permitam segregar os pacientes em grupos e eventualmente aplicar classificação de dados. Neste momento, é possível especular que algumas variáveis seriam melhores candidatas para um classificador, nomeadamente os Números de Fibras e Junções, a Soma dos Comprimentos das fibras e as variáveis de Haralick Entropia e Energia. O projecto apresentado nesta dissertação foi desenvolvido através de um estágio de 6 meses no departamento de Pneumologia no Academic Medical Center em Amsterdão, Países Baixos. No Academic Medical Center (AMC), fui acompanhada pelos estudantes de doutoramento Lizzy Wijmans - médica - e Paul Brinkman - engenheiro biomédico - e supervisionada pelo Dr. Jouke Annema, MD, PhD, Professor de endoscopia pulmonar. Este grupo de investigação do AMC está focado em técnicas inovadoras de imagiologia do sistema pulmonar e teve a oportunidade de reunir com a empresa MKT –que produz a tecnologia de Confocal Laser Endomicroscopy –, o que enriqueceu a discussão aqui apresentada. Do Departamento de Física da Faculdade de Ciências da Universidade de Lisboa, fui orientada pelo Prof. Nuno Matela.Interstitial Lung Diseases (ILD) is a heterogeneous group of more than 200 diseases which affect the lung parenchyma. To identify the type of ILD a patient suffers from is a difficult process, and 10% of the patients are categorized as unclassifiable, mostly due to the absence of histopathological data associated with the risks of lung biopsies. The patient specific diagnosis is important because of its implications to the patient treatment and management, being particularly relevant to identify lung fibrosis. The Confocal Laser Endomicroscopy (CLE) can add information to this process. CLE allows to image the lung tissue with a micrometer resolution in a minimally invasive way, through a bronchoscopy. The elastin fibers from the lung alveoli are visible with this technique due to their autofluorescence. Since there is evidence that the amount of elastin fibers increases, and their architecture is altered in lung fibrosis, CLE should be used to extract values reflecting this condition. Thus, the main goal of this project was to improve the CLE technique and increase its usability, by extracting numerical values from the images which would reflect the state of the alveolar space, particularly the elastin fibers. The ILD patients recruited for the study had their lung alveoli imaged with CLE. The CLE movies were selected, pre-processed – were converted into frames, had their image quality enhanced and some mosaics were obtained – and then analyzed. The ridge detection algorithm detected most fibers recognized by a human observer. It allowed the measurement of the Number of Detected Fibers, their Length and Width, the Number of Junctions between fibers and to calculate the Sum from all Fibers’ Lengths. The Gray-Level Co-occurrence Matrix allowed the extraction of the Haralick texture features: Angular Second Moment (Energy), Entropy, Inverse Difference Moment, Contrast, Variance and Correlation. These algorithms produced consistent and unbiased numerical features, in an efficient process which can analyze the entire data set in a few seconds. Regarding the fiber related measurements, it was expected for the fibrotic patients to have wider fibers and a higher number of fibers and junctions. In terms of texture variables, it was expected from the fibrotic patients to present higher values of Entropy, Contrast and Variance, and lower values of Inverse Difference Moment, given their lung tissue should correspond to more complex and heterogeneous images with more ridges present. Due to the small sample size, it was still not possible to stratify patients with this data set. Nevertheless, the measurements presented here already contribute to the study of ILD, helping to understand the disease physiology. It is hoped that in the future, these measurements will aid the diagnosis process specially in those cases when patients cannot undergo a surgical biopsy. Additionally, CLE could potentially be used as an anti-fibrotic medication efficiency measurement tool