A Cascaded Approach for ultraly High Performance Lesion Detection and False Positive Removal in Liver CT Scans

Liver cancer has high morbidity and mortality rates in the world. Multi-phase CT is a main medical imaging modality for detecting/identifying and diagnosing liver tumors. Automatically detecting and classifying liver lesions in CT images have the potential to improve the clinical workflow. This task remains challenging due to liver lesions' large variations in size, appearance, image contrast, and the complexities of tumor types or subtypes. In this work, we customize a multi-object labeling tool for multi-phase CT images, which is used to curate a large-scale dataset containing 1,631 patients with four-phase CT images, multi-organ masks, and multi-lesion (six major types of liver lesions confirmed by pathology) masks. We develop a two-stage liver lesion detection pipeline, where the high-sensitivity detecting algorithms in the first stage discover as many lesion proposals as possible, and the lesion-reclassification algorithms in the second stage remove as many false alarms as possible. The multi-sensitivity lesion detection algorithm maximizes the information utilization of the individual probability maps of segmentation, and the lesion-shuffle augmentation effectively explores the texture contrast between lesions and the liver. Independently tested on 331 patient cases, the proposed model achieves high sensitivity and specificity for malignancy classification in the multi-phase contrast-enhanced CT (99.2%, 97.1%, diagnosis setting) and in the noncontrast CT (97.3%, 95.7%, screening setting)

Mapping seagrass meadows, using low altitude aerial images

Tese de mestrado, Ecologia Marinha, Universidade de Lisboa, Faculdade de Ciências, 2015As pradarias de ervas marinhas, assim como muitos outros ecossistemas marinhos, estão a sofrer uma degradação sem precedentes em todo o planeta. Devido à rápida perda destes habitats, são necessárias técnicas de monitorização que permitam de forma precisa caracterizar o estado das pradarias de ervas marinhas ao longo do tempo. Adicionalmente é importante considerar o custo e logística na monitorização, assim como a sua flexibilidade em diferentes condições de amostragem e de forma não intrusiva, para um trabalho de campo periódico. Varias metodologias tem sido propostas ao longo do tempo para o estudo de ecossistemas marinhos como as pradarias de ervas marinhas. O objectivo do presente trabalho é o desenvolvimento e teste (análise comparativa) de uma nova abordagem de baixo custo, ao mapeamento dos limites e densidade de pradarias de ervas marinhas, com recurso a imagens aéreas a baixa altitude e alta definição (0.1 m ), obtidas autonomamente. Pretendeu-se assim vencer várias das limitações propostas por metodologias anteriores. Foram abrangidos 3 níveis na análise comparativa: as fases de aquisição (metodologia), a avaliação da influência das condições de aquisição das mesmas e a classificação das imagens. A análise comparativa dos diferentes resultados foi dirigida, não só à avaliação da expressão territorial das manchas – extensão e delimitação – mas também à avaliação comparativa, em termos de resultados e exequibilidade, das metodologias empregues. O trabalho de campo foi desenvolvido na península de Tróia, tendo como alvo duas áreas principais: uma no extremo NO da península de Tróia e outra entre as instalações da Marinha e o novo cais dos ferries. Para a análise comparativa ao nível da aquisição das imagens, a pradaria situada no extremo NO da península de Tróia, foi monitorizada com uma metodologia já testada e avaliada em prévios estudos, a partir de imagens oblíquas em cor verdadeira, obtidas a partir de um ponto fixo elevado na proximidade (o topo de um dos hotéis existentes). Por outro lado na pradaria situada na localização do novo cais dos ferries, foi aplicada a nova metodologia proposta, com fotografia a partir de um balão cativo, a uma altitude de aproximadamente 50 m, que foi guiado ao longo da linha de costa por um operador. Vários fatores ambientais foram inicialmente considerados para o teste das metodologias: vento, ondas, maré, etc. Sendo que o nível de maré foi o fator finalmente usado para a análise comparativa consoante as condições de aquisição. Os levantamentos fotográficos de ambas as manchas foram realizadas com uma periodicidade de base mensal, sempre em condições de baixa-mar de águas vivas. O nível de maré abrange um amplo intervalo de possibilidades, contudo, as imagens foram diferenciadas em dois grupos no contexto das condições de aquisição: emerso e submerso. Emerso refere-se a imagens em que a pradaria apresenta alguma porção emersa e submerso, refere-se às imagens com a totalidade da pradaria submersa. Assim, estes dois grupos permitiram uma clara diferenciação entre diferentes condições ambientais flutuantes e típicas dos ambientes estudados. Estas condições foram também condicionantes para a aquisição de imagens aéreas com ambas as metodologias, o que permitia avaliar a flexibilidade da aplicação da nova metodologia proposta. Em ambos as metodologias de aquisição, as imagens originais em cor verdadeira foram ortorrectificadas (georreferenciadas), com base em levantamentos de campo levados a cabo com recurso a um sistema de GPS com correcção diferencial RTK, para obter os pontos de controlo de referencia para o processo. No caso das imagens obtidas com a nova metodologia proposta, a partir do balão, foram agrupadas 2 ou 3 imagens, em mosaicos representativos de uma secção significativa da área alvo. Finalmente, estas imagens rectificadas e em cor verdadeira, foram processadas para permitir avaliar a distribuição e densidade das manchas de ervas marinhas. Para a análise comparativa ao nível de classificação da imagem, foram utilizados e comparados diferentes algoritmos de classificação, nomeadamente classificação de base pixel e classificação baseada em objectos. Todas as imagens classificadas foram reclassificadas até obter mapas binários representando as classes: Ervas marinhas; Não-ervas marinhas. A partir dos mapas binários para cada uma das imagens processadas, foram obtidos: área da classe Ervas marinhas; precisão de classificação da imagem (a través da comparação com pontos controlo na imagem em cor verdadeira); e o coeficiente kappa (comparando mapas binários). Estes parâmetros foram usados no contexto da análise comparativa para os 3 níveis propostos: • As áreas da classe Ervas marinhas foram comparadas para testar a semelhança/diferença entre a área de cobertura em cada uma das condições de amostragem (emerso/submerso) para cada uma das metodologias usadas (imagens obliquas/imagens com o balão). Assim, foi possível comparar se a situação de maré, influía nos resultados de estudos de densidade e distribuição a través das imagens aéreas. • A precisão na classificação das imagens foi comparado para cada um dos 3 níveis, por forma a avaliar semelhanças/diferenças entre o processo de aquisição das imagens (metodologias), entre condições de amostragem e entre abordagens nas classificações das imagens. • O coeficiente kappa foi obtido a partir da comparação entre mapas binários, comparando condições de amostragem (emerso/submerso) e classificação da imagem (pixel/objecto). Os resultados mostraram que as imagens obtidas com o balão apresentavam menos erros e distorções no processo de rectificação, devido a sua maior verticalidade. Contudo, tinham a limitação decorrente de uma distribuição mais limitante dos pontos de controlo de referencia obtidos com o GPS-RTK. As imagens obtidas a partir do balão a 50 m de altitude permitiram abranger a largura toda da pradaria. Por outro lado, os resultados obtidos através da análise das imagens classificadas (mapas binários), mostraram diferencias significativas (p=3.221×10-05) só ao nível de comparação entre abordagens de classificação das imagens, sendo que a classificação baseada em objectos, ofereceu resultados mais precisos que a classificação de base pixel. Este estudo demonstrou que a metodologia proposta, com o balão cativo, oferece a possibilidade de mapeamento de pradarias de ervas marinhas a baixo custo, com imagens de alta resolução e com elevada precisão. Os resultados a nível de precisão na nova metodologia usada foram semelhantes aos obtidos com a metodologia comparada de imagens obliquas, já demonstrada em estudos anteriores como uma metodologia que vencia limitações de outras abordagens. As maiores limitações para à aplicação da nova metodologia com o balão cativo foram devido as condições meteorológicas, nomeadamente o vento. Contudo, a nova metodologia com o balão ofereceu outras vantagens relativamente às fotografias obliquas além do menor error na rectificação: nomeadamente, a independência de aplicação e o maior detalhe das imagens para representar a complexidade dos ecossistemas. No contexto das condições de amostragem, foi demonstrado que o nível de maré não é um fator que influencie resultados e interpretações, desde que dentro de um limite de visibilidade mínima e para uma cota de maré máxima de 0.8 m, para permitir obter imagens desejáveis. Finalmente, a maior precisão obtida com a classificação baseada em objectos indica que este abordagem oferece uma maior capacidade para classificar as imagens destes sistemas aquáticos superando possíveis limitações p. ex., de visibilidade devida à turbidez o à presença de objectos não desejados na classificação. Este estudo demonstrou a possibilidade e interesse do mapeamento não intrusivo, de baixo custo e com elevada precisão de pradarias de ervas marinhas, mas que também pode ser aplicado noutros ecossistemas intertidais, oferecendo uma nova ferramenta para à necessária monitorização periódica de sistemas complexos.Seagrass meadows, together with other coastal marine habitats, are facing unprecedented declines, which requires low cost methodologies for its highly frequent periodic monitoring, able to represent accurately the complexity of those ecosystems. In this context, the aim of the present study was to develop a new approach using nadir aerial photographies from low altitude – high resolution (0.1 m), with a helium balloon system. The methodology was tested (comparative analysis) at 3 levels. First, at methodology level agains an oblique terrestrial photography methodology used in previous studies at the same location. Second, at sampling conditions level for typical changing environment situations – emerged and submerged. Third, at image classification level comparing pixel- and object-based classification. Testing for each of the levels, was through the analysis of processed images taken, which include: georeferencing and, for nadir aerial photographies, a mosaicking process, and image classification. Final images data, were obtained from the binary (seagrass / non-seagrass) classified maps of each treated image, from which it was obtained: area of seagrass class for each image; classification accuracy; and kappa coefficients values from comparison between classified maps. Hence, area results were used to test for sampling conditions comparative analysis; classification accuracies were used to test for 3 levels (methodology, sampling conditions and image classification) comparative analysis; and kappa analysis to compare binary maps between pairs of images for sampling conditions and image classification comparative analysis. Results showed significance differences only at image classification level comparison (p=3.221×10-05), scoring higher accuracy values for object-based classification. The study demonstrated that highly accurate results can be obtained through the proposed low cost methodology, for different sampling conditions, overcoming some classification issues with the object-based approach. Thus, allowing to reliably represent the seagrass meadows structural complexity through low altitude-high resolution images in a nonintrusive low-cost approach

Using airborne LiDAR Survey to explore historic-era archaeological landscapes of Montserrat in the eastern Caribbean

This article describes what appears to be the first archaeological application of airborne LiDAR survey to historic-era landscapes in the Caribbean archipelago, on the island of Montserrat. LiDAR is proving invaluable in extending the reach of traditional pedestrian survey into less favorable areas, such as those covered by dense neotropical forest and by ashfall from the past two decades of active eruptions by the Soufrière Hills volcano, and to sites in localities that are inaccessible on account of volcanic dangers. Emphasis is placed on two aspects of the research: first, the importance of ongoing, real-time interaction between the LiDAR analyst and the archaeological team in the field; and second, the advantages of exploiting the full potential of the three-dimensional LiDAR point cloud data for purposes of the visualization of archaeological sites and features

3D Lung Nodule Classification in Computed Tomography Images

Lung cancer is the leading cause of cancer death worldwide. One of the reasons is the absence of symptoms at an early stage, which means that it is only discovered at a later stage, where the treatment is more difficult [1]. Furthermore, when making a diagnosis, frequently done by reading computed tomographies (CT's), it is regularly allied with errors. One of the reasons is the variation of the opinion of the doctors regarding the diagnosis of the same nodule [2,3].The use of CADx, Computer-Aided Diagnosis, systems can be a great help for this problem by assisting doctors in diagnosis with a second opinion. Although its efficiency has already been proven [4], it often ends up not being used because doctors can not understand the "how and why" of CADx diagnostic results, and ultimately do not trust the system [5]. To increase the radiologists' confidence in the CADx system it is proposed that along with the results of malignancy prediction, there are also results with evidence that explains those malignancy results.There are some visible features in lung nodules that are correlated with malignancy. Since humans are able to visually identify these characteristics and correlate them with nodule malignancy, one way to present those evidence is to make predictions of those characteristics. To have these predictions it is proposed to use deep learning approaches. Convolutional neural networks had shown to outperform the state of the art results in medical image analysis [6]. To predict the characteristics and malignancy in CADx system, the architecture HSCNN, a deep hierarchical semantic convolutional neural network, proposed by Shen et al. [7], will be used.The Lung Image Database Consortium image collection (LIDC-IDRI) public dataset is frequently used as input for lung cancer CADx systems. The LIDC-IDRI consists of thoracic CT scans, presenting a lot of data's quantity and variability. In most of the nodules, this dataset has doctor's evaluations for 9 different characteristics. A recurrent problem in those evaluations is the subjectivity of the doctors' interpretation in what each characteristic is. In some characteristics, it can result in a great divergence in evaluations regarding the same nodule, which makes the inclusion of those evaluations as an input in CADx systems not useful as it could be. To reduce this subjectivity, it is proposed the creation of a metric that makes the characteristics classification more objective. For this, it is planned bibliographic and LIDC-IDRI dataset reviews. With that, taking into account this new metric, validated after by doctors from Hospital de São João, will be made a reclassification in LIDC-IDRI dataset. This way it could be possible to use as input all the relevant characteristics. The principal objective of this dissertation is to develop a lung nodule CADx system methodology which promotes the confidence of specialists in its use. This will be made classifying lung nodules according to relevant characteristics to diagnosis and malignancy. The reclassified LIDC-IDRI dataset will be used as an input for CADx system and the architecture used for predicting the characteristics and malignancy results will be the HSCNN. To measure the classification evaluation will be used sensitivity, sensibility, and area under the Receiver Operating Characteristic (ROC), curve. The proposed solution may be used for improving a CADx system, LNDetector, currently in development by the Center for Biomedical Engineering Research (C-BER) group from INESC-TEC in which this work will be developed.[1] - S. Sone M. Hasegawa and S. Takashima. Growth rate of small lung cancels detected on mass ct screening. Tire British Journal of Radiology, pages 1252-1259[2] - D. J. Bell S. E. Marley P. Guo H. Mann M. L. Scott L. H. Schwartz D. C. Ghiorghiu B. Zhao, Y. Tan. Exploring intra-and inter-reader variability in uni-dimensional, bi-dimensional, and volumetric measurements of solid tumors on ct scans reconstructed at different slice intervals. European journal of radiology 82, page 959-968, 2013[3] - H.T Winer-Muram. The solitary pulmonary nodule 1. Radiology, 239, pages 39-49, 2006.[4] - R. Yan J. Lee L. C. Chu C. T. Lin A. Hussien J. Rathmell B. Thomas C. Chen et al. P. Huang, S. Park. Added value of computer-aided ct image features for early lung cancer diagnosis with small pulmonary nodules: A matched case-control study. Radiology 286, page 286-295, 2017[5] - W Jorritsma, Fokie Cnossen, and Peter Van Ooijen. Improving the radiologist-cad interaction: Designing for appropriate trust. Clinical Radiology, 70, 10 2014.[6] - Tom Brosch, Youngjin Yoo, David Li, Anthony Traboulsee, and Roger Tam. Modeling the variability in brain morphology and lesion distribution in multiple sclerosis by deep learning. Volume 17, 09 2014.[7] - Simon Aberle Deni A. T. Bui Alex Hsu Willliam Shen, Shiwen X. Han. An interpretable deep hierarchical semantic convolutional neural network for lung nodule malignancy classification. june 201

Essays in Applied Bayesian Analysis

With continuing rapid developments in computational power, Bayesian statistical methods, because of their user-friendliness and estimation capabilities, have become increasingly popular in a considerable variety of application fields. In this thesis, applied Bayesian methodological topics and empirical examples focusing on nonhomogeneous hidden Markov models (NHMMs) and measurement error models are explored in three chapters. In the first chapter, a subsequence-based variational Bayesian inference framework for NHMMs is proposed in order to address the computational problems encountered when analyzing datasets containing long sequences. The second chapter concentrates on measurement error models, where a Bayesian estimation procedure is proposed for the partial potential impact fraction (pPIF) with the presence of measurement error. The third chapter focuses on an empirical application in marketing, where a coupled nonhomogeneous hidden Markov model (CNHMM) is introduced to provide a novel framework for customer relationship management

Multi-task deep learning for large-scale building detail extraction from high-resolution satellite imagery

Understanding urban dynamics and promoting sustainable development requires comprehensive insights about buildings. While geospatial artificial intelligence has advanced the extraction of such details from Earth observational data, existing methods often suffer from computational inefficiencies and inconsistencies when compiling unified building-related datasets for practical applications. To bridge this gap, we introduce the Multi-task Building Refiner (MT-BR), an adaptable neural network tailored for simultaneous extraction of spatial and attributional building details from high-resolution satellite imagery, exemplified by building rooftops, urban functional types, and roof architectural types. Notably, MT-BR can be fine-tuned to incorporate additional building details, extending its applicability. For large-scale applications, we devise a novel spatial sampling scheme that strategically selects limited but representative image samples. This process optimizes both the spatial distribution of samples and the urban environmental characteristics they contain, thus enhancing extraction effectiveness while curtailing data preparation expenditures. We further enhance MT-BR's predictive performance and generalization capabilities through the integration of advanced augmentation techniques. Our quantitative results highlight the efficacy of the proposed methods. Specifically, networks trained with datasets curated via our sampling method demonstrate improved predictive accuracy relative to those using alternative sampling approaches, with no alterations to network architecture. Moreover, MT-BR consistently outperforms other state-of-the-art methods in extracting building details across various metrics. The real-world practicality is also demonstrated in an application across Shanghai, generating a unified dataset that encompasses both the spatial and attributional details of buildings