Improving cancer subtype diagnosis and grading using clinical decision support system based on computer-aided tissue image analysis

This research focuses towards the development of a clinical decision support system (CDSS) based on cellular and tissue image analysis and classification system that improves consistency and facilitates the clinical decision making process. In a typical cancer examination, pathologists make diagnosis by manually reading morphological features in patient biopsy images, in which cancer biomarkers are highlighted by using different staining techniques. This process is subjected to pathologist's training and experience, especially when the same cancer has several subtypes (i.e. benign tumor subtype vs. malignant subtype) and the same cancer tissue biopsy contains heterogeneous morphologies in different locations. The variability in pathologist's manual reading may result in varying cancer diagnosis and treatment. This Ph.D. research aims to reduce the subjectivity and variation existing in traditional histo-pathological reading of patient tissue biopsy slides through Computer-Aided Diagnosis (CAD). Using the CAD, quantitative molecular profiling of cancer biomarkers of stained biopsy images are obtained by extracting and analyzing texture and cellular structure features. In addition, cancer sub-type classification and a semi-automatic grade scoring (i.e. clinical decision making) for improved consistency over a large number of cancer subtype images can be performed. The CAD tools do have their own limitations and in certain cases the clinicians, however, prefer systems which are flexible and take into account their individuality when necessary by providing some control rather than fully automated system. Therefore, to be able to introduce CDSS in health care, we need to understand users' perspectives and preferences on the new information technology. This forms as the basis for this research where we target to present the quantitative information acquired through the image analysis, annotate the images and provide suitable visualization which can facilitate the process of decision making in a clinical setting.PhDCommittee Chair: Dr. May D. Wang; Committee Member: Dr. Andrew N. Young; Committee Member: Dr. Anthony J. Yezzi; Committee Member: Dr. Edward J. Coyle; Committee Member: Dr. Paul Benkese

Correspondencia estereoscópica en imágenes obtenidas con proyección omnidireccional para entornos forestales

Los sistemas de visión estereoscópica se han venido utilizando de forma manual desde hace varias décadas para captar información tridimensional del entorno en diferentes aplicaciones. Con el desarrollo experimentado en los últimos años por las técnicas de procesamiento computacional de imágenes, la visión estereoscópica se viene incorporando cada vez más a sistemas automáticos de diferente naturaleza. El problema central en la automatización de un sistema de visión estereoscópica es la determinación de la correspondencia entre píxeles del par de imágenes estereoscópicas que proceden del mismo punto de la escena tridimensional. El trabajo de investigación desarrollado en esta tesis consiste en el diseño de una estrategia global para dar solución al problema de la correspondencia estereoscópica para un tipo característico de imágenes omnidireccionales procedentes de entornos forestales. Las imágenes son obtenidas mediante un sistema óptico basado en las denominadas lentes de ojo de pez. Este trabajo tiene su origen en el interés suscitado por el Centro de Investigación Forestal (CIFOR) del Instituto Nacional de Investigación y Tecnología Agraria y Alimentaria (INIA) para automatizar el proceso de extracción de información mediante el dispositivo de medición con número de patente MU-200501738. El interés se centra en obtener dicha información de los troncos de los árboles a partir de imágenes estereoscópicas. Con las medidas obtenidas, los técnicos realizan inventarios forestales que incluyen estudios sobre el volumen de madera, la densidad de árboles, la evolución o crecimiento de éstos, entre otros. La contribución principal de este trabajo consiste en la propuesta de una estrategia que combina los dos procesos esenciales en visión estereoscópica artificial como son la segmentación y correspondencia de ciertas estructuras existentes en las dos imágenes del par estereoscópico. La estrategia se diseña para dos tipos de imágenes procedentes de sendos entornos forestales. El primero de dichos entornos se refiere a pinares de pino silvestre (Pinus sylvestris L.) donde las imágenes se han obtenido en días soleados y por tanto con una alta variabilidad de los niveles de intensidad debido a las zonas iluminadas. En el segundo entorno las imágenes proceden de bosques de roble rebollo (Quercus pyrenaica Willd.) cuya característica más relevante es que se obtienen bajo unas condiciones de iluminación relativamente escasas, días nublados o al amanecer o atardecer, pero suficiente como para producir alto contraste entre los troncos y el cielo. .Debido a las características tan diferentes de ambos entornos, tanto en lo relativo a la iluminación como a la naturaleza de los propios árboles y las texturas que les rodean, los procesos de segmentación y correspondencia se diseñan atendiendo al tipo concreto de entorno forestal. Hecho éste, que marca la tendencia de la futura investigación cuando se analicen otros entornos forestales. En el caso de los bosques de pino, el proceso de segmentación se plantea desde el punto de vista del aislamiento de los troncos mediante la exclusión de las texturas que les rodean (hojas de los pinos, suelo, cielo). Por ello, se proponen técnicas específicas de identificación de texturas para las hojas y de clasificación para el resto. En este último caso se combinan dos técnicas de clasificación clásicas como son el método de Agrupamiento Borroso y el estimador paramétrico Bayesiano. El proceso de correspondencia se plantea en dos fases. En primer lugar se identifican los píxeles homólogos en sendas imágenes del par estereoscópico mediante la adaptación a este problema de las siguientes técnicas procedentes de la teoría general de la decisión: Integral Fuzzy de Choquet, Integral Fuzzy de Sugeno, Teoría Dempster-Shafer y Toma de Decisiones Multicriterio Fuzzy. En segundo lugar, los resultados relativos a la correspondencia obtenidos mediante esas técnicas se procesan para conseguir mejorarlos mediante la adaptación de sendos paradigmas: los Mapas Cognitivos Fuzzy y la Red Neuronal de Hopfield. Para el segundo entorno de bosques de roble, la segmentación se plantea como un proceso de identificación de los troncos de los árboles utilizando técnicas específicas de procesamiento de imágenes, en concreto técnicas de extracción y etiquetado de regiones. Para cada región se obtiene un conjunto de atributos o propiedades que la caracterizan, y el proceso de correspondencia establece las regiones homólogas de las dos imágenes del par estereoscópico mediante medidas de similitud entre los atributos de las regiones. La estrategia propuesta, basada en los procesos de segmentación y correspondencia, se compara favorablemente desde la perspectiva de la automatización del proceso y se plantea para su aplicación a cualquier tipo de entorno forestal, si bien con las pertinentes adaptaciones y modificaciones inherentes a los procesos de segmentación y correspondencia en función de la naturaleza del entorno forestal analizado. [ABSTRACT] Stereoscopic vision systems have been used manually for decades to capture three-dimensional information of the environment in different applications. With the growth experienced in recent years by the techniques of computer image processing, stereoscopic vision has been increasingly incorporating automated systems of different nature. The central problem in the automation of a stereoscopic vision system is the determination of the correspondence between pixels of the pair of stereoscopic images that come from the same point in three-dimensional scene. The research undertaken in this thesis comprises the design of a global strategy to solve the stereoscopic correspondence problem for a specific kind of omnidirectional image from forest environments. The images are obtained through an optical system based on the lens known as fisheye. This work stems from the interest generated by the Forest Research Centre (CIFOR) part of the National Institute for Agriculture and Food Research and Technology (INIA) to automate the process of extracting information through the measurement mechanism with patent number MU-200501738. The focus is on obtaining this information from tree trunks using stereoscopic images. The technicians carry out forest inventories which include studies on wood volume and tree density as well as the evolution and growth of the trees with the measurements obtained. This paper’s main contribution is the proposal for a strategy that combines the two essential processes involved in artificial stereo vision: segmentation and correspondence of certain structures in the dual images of the stereoscopic pair. The strategy is designed for two types of images from two forest environments. The first of these refers to Scots pine forests (Pinus sylvestris L.) where images were obtained on sunny days and therefore exhibit highly variable intensity levels due to the illuminated areas. In the second of these, the images come from Rebollo oak forests (Quercus pyrenaica Willd.), the main characteristic of which is that they are obtained under relatively low light conditions, on cloudy days or at dawn or dusk, but with sufficient light to produce high contrast between the trees and sky. Due to the very different characteristics of each environment - both in terms of light and the nature of trees themselves and textures that surround them - the segmentation and correspondence processes are designed specifically according to the specific type of forest environment. This sets the trend for future research when analyzing other forest environments. In the case of pine forests, the segmentation process is approached from the point of view of isolating the trunks by excluding the textures that surround them (pine needles, the ground, the sky). For this reason, we propose the use of the specific techniques of texture identification for the pine needles and of classification for the rest. The latter case combines two classic classification techniques: Fuzzy Clustering and the Bayesian Parametric estimator. The matching process is set out in two phases. The first identifies the homogeneous pixels in separate stereo pair images, by means of the adaptation of the following techniques from general decision theory to this problem: Choquet’s Fuzzy Integral, Sugeno’s Fuzzy Integral, Dempster-Shafer Theory and Fuzzy Multicriteria Decision Making. Second, the results relating to correspondence obtained by these techniques are enhanced through the adaptation of two separate paradigms, namely: Fuzzy Cognitive Maps and the Hopfield Neural Network. Regarding the second type of forest analyzed, i.e. oak, the segmentation process s designed in order to identify the tree trunks by applying specific techniques in image processing, relating to the extraction and labelling of regions, so that each region is given a set of attributes or properties that characterizes it. The matching process establishes the equivalent regions from the two stereo pair images using measures of similarity among the attributes of the regions. The proposed strategy based on segmentation and correspondence processes can be favourably compared from the perspective of the automation of the process and we suggest it can be applied to any type of forest environment, with the appropriate adaptations inherent to the segmentation and correspondence processes in accordance with the nature of the forest environment analyzed