Contributions to Ensemble Classifiers with Image Analysis Applications

134 p.Ésta tesis tiene dos aspectos fundamentales, por un lado, la propuesta denuevas arquitecturas de clasificadores y, por otro, su aplicación a el análisis deimagen.Desde el punto de vista de proponer nuevas arquitecturas de clasificaciónla tesis tiene dos contribucciones principales. En primer lugar la propuestade un innovador ensemble de clasificadores basado en arquitecturas aleatorias,como pueden ser las Extreme Learning Machines (ELM), Random Forest (RF) yRotation Forest, llamado Hybrid Extreme Rotation Forest (HERF) y su mejoraAnticipative HERF (AHERF) que conlleva una selección del modelo basada enel rendimiento de predicción para cada conjunto de datos específico. Ademásde lo anterior, proveemos una prueba formal tanto del AHERF, como de laconvergencia de los ensembles de regresores ELMs que mejoran la usabilidad yreproducibilidad de los resultados.En la vertiente de aplicación hemos estado trabajando con dos tipos de imágenes:imágenes hiperespectrales de remote sensing, e imágenes médicas tanto depatologías específicas de venas de sangre como de imágenes para el diagnósticode Alzheimer. En todos los casos los ensembles de clasificadores han sido la herramientacomún además de estrategias especificas de aprendizaje activo basadasen dichos ensembles de clasificadores. En el caso concreto de la segmentaciónde vasos sanguíneos nos hemos enfrentado con problemas, uno relacionado conlos trombos del Aneurismas de Aorta Abdominal en imágenes 3D de tomografíacomputerizada y el otro la segmentación de venas sangineas en la retina. Losresultados en ambos casos en términos de rendimiento en clasificación y ahorrode tiempo en la segmentación humana nos permiten recomendar esos enfoquespara la práctica clínica.Chapter 1Background y contribuccionesDado el espacio limitado para realizar el resumen de la tesis hemos decididoincluir un resumen general con los puntos más importantes, una pequeña introducciónque pudiera servir como background para entender los conceptos básicosde cada uno de los temas que hemos tocado y un listado con las contribuccionesmás importantes.1.1 Ensembles de clasificadoresLa idea de los ensembles de clasificadores fue propuesta por Hansen y Salamon[4] en el contexto del aprendizaje de las redes neuronales artificiales. Sutrabajo mostró que un ensemble de redes neuronales con un esquema de consensogrupal podía mejorar el resultado obtenido con una única red neuronal.Los ensembles de clasificadores buscan obtener unos resultados de clasificaciónmejores combinando clasificadores débiles y diversos [8, 9]. La propuesta inicialde ensemble contenía una colección homogena de clasificadores individuales. ElRandom Forest es un claro ejemplo de ello, puesto que combina la salida de unacolección de árboles de decisión realizando una votación por mayoría [2, 3], yse construye utilizando una técnica de remuestreo sobre el conjunto de datos ycon selección aleatoria de variables.2CHAPTER 1. BACKGROUND Y CONTRIBUCCIONES 31.2 Aprendizaje activoLa construcción de un clasificador supervisado consiste en el aprendizaje de unaasignación de funciones de datos en un conjunto de clases dado un conjunto deentrenamiento etiquetado. En muchas situaciones de la vida real la obtenciónde las etiquetas del conjunto de entrenamiento es costosa, lenta y propensa aerrores. Esto hace que la construcción del conjunto de entrenamiento sea unatarea engorrosa y requiera un análisis manual exaustivo de la imagen. Esto se realizanormalmente mediante una inspección visual de las imágenes y realizandoun etiquetado píxel a píxel. En consecuencia el conjunto de entrenamiento esaltamente redundante y hace que la fase de entrenamiento del modelo sea muylenta. Además los píxeles ruidosos pueden interferir en las estadísticas de cadaclase lo que puede dar lugar a errores de clasificación y/o overfitting. Por tantoes deseable que un conjunto de entrenamiento sea construido de una manera inteligente,lo que significa que debe representar correctamente los límites de clasemediante el muestreo de píxeles discriminantes. La generalización es la habilidadde etiquetar correctamente datos que no se han visto previamente y quepor tanto son nuevos para el modelo. El aprendizaje activo intenta aprovecharla interacción con un usuario para proporcionar las etiquetas de las muestrasdel conjunto de entrenamiento con el objetivo de obtener la clasificación másprecisa utilizando el conjunto de entrenamiento más pequeño posible.1.3 AlzheimerLa enfermedad de Alzheimer es una de las causas más importantes de discapacidaden personas mayores. Dado el envejecimiento poblacional que es una realidaden muchos países, con el aumento de la esperanza de vida y con el aumentodel número de personas mayores, el número de pacientes con demencia aumentarátambién. Debido a la importancia socioeconómica de la enfermedad enlos países occidentales existe un fuerte esfuerzo internacional focalizado en laenfermedad del Alzheimer. En las etapas tempranas de la enfermedad la atrofiacerebral suele ser sutil y está espacialmente distribuida por diferentes regionescerebrales que incluyen la corteza entorrinal, el hipocampo, las estructuras temporaleslateral e inferior, así como el cíngulo anterior y posterior. Son muchoslos esfuerzos de diseño de algoritmos computacionales tratando de encontrarbiomarcadores de imagen que puedan ser utilizados para el diagnóstico no invasivodel Alzheimer y otras enfermedades neurodegenerativas.CHAPTER 1. BACKGROUND Y CONTRIBUCCIONES 41.4 Segmentación de vasos sanguíneosLa segmentación de los vasos sanguíneos [1, 7, 6] es una de las herramientas computacionalesesenciales para la evaluación clínica de las enfermedades vasculares.Consiste en particionar un angiograma en dos regiones que no se superponen:la región vasculares y el fondo. Basándonos en los resultados de dicha particiónse pueden extraer, modelar, manipular, medir y visualizar las superficies vasculares.Éstas estructuras son muy útiles y juegan un rol muy imporntate en lostratamientos endovasculares de las enfermedades vasculares. Las enfermedadesvasculares son una de las principales fuentes de morbilidad y mortalidad en todoel mundo.Aneurisma de Aorta Abdominal El Aneurisma de Aorta Abdominal (AAA)es una dilatación local de la Aorta que ocurre entre las arterias renal e ilíaca. Eldebilitamiento de la pared de la aorta conduce a su deformación y la generaciónde un trombo. Generalmente, un AAA se diagnostica cuando el diámetro anterioposteriormínimo de la aorta alcanza los 3 centímetros [5]. La mayoría delos aneurismas aórticos son asintomáticos y sin complicaciones. Los aneurismasque causan los síntomas tienen un mayor riesgo de ruptura. El dolor abdominalo el dolor de espalda son las dos principales características clínicas que sugiereno bien la reciente expansión o fugas. Las complicaciones son a menudo cuestiónde vida o muerte y pueden ocurrir en un corto espacio de tiempo. Por lo tanto,el reto consiste en diagnosticar lo antes posible la aparición de los síntomas.Imágenes de Retina La evaluación de imágenes del fondo del ojo es una herramientade diagnóstico de la patología vascular y no vascular. Dicha inspecciónpuede revelar hipertensión, diabetes, arteriosclerosis, enfermedades cardiovascularese ictus. Los principales retos para la segmentación de vasos retinianos son:(1) la presencia de lesiones que se pueden interpretar de forma errónea comovasos sanguíneos; (2) bajo contraste alrededor de los vasos más delgados, (3)múltiples escalas de tamaño de los vasos.1.5 ContribucionesÉsta tesis tiene dos tipos de contribuciones. Contribuciones computacionales ycontribuciones orientadas a una aplicación o prácticas.CHAPTER 1. BACKGROUND Y CONTRIBUCCIONES 5Desde un punto de vista computacional las contribuciones han sido las siguientes:¿ Un nuevo esquema de aprendizaje activo usando Random Forest y el cálculode la incertidumbre que permite una segmentación de imágenes rápida,precisa e interactiva.¿ Hybrid Extreme Rotation Forest.¿ Adaptative Hybrid Extreme Rotation Forest.¿ Métodos de aprendizaje semisupervisados espectrales-espaciales.¿ Unmixing no lineal y reconstrucción utilizando ensembles de regresoresELM.Desde un punto de vista práctico:¿ Imágenes médicas¿ Aprendizaje activo combinado con HERF para la segmentación deimágenes de tomografía computerizada.¿ Mejorar el aprendizaje activo para segmentación de imágenes de tomografíacomputerizada con información de dominio.¿ Aprendizaje activo con el clasificador bootstrapped dendritic aplicadoa segmentación de imágenes médicas.¿ Meta-ensembles de clasificadores para detección de Alzheimer conimágenes de resonancia magnética.¿ Random Forest combinado con aprendizaje activo para segmentaciónde imágenes de retina.¿ Segmentación automática de grasa subcutanea y visceral utilizandoresonancia magnética.¿ Imágenes hiperespectrales¿ Unmixing no lineal y reconstrucción utilizando ensembles de regresoresELM.¿ Métodos de aprendizaje semisupervisados espectrales-espaciales concorrección espacial usando AHERF.¿ Método semisupervisado de clasificación utilizando ensembles de ELMsy con regularización espacial

Computational intelligence contributions to readmisision risk prediction in Healthcare systems

136 p.The Thesis tackles the problem of readmission risk prediction in healthcare systems from a machine learning and computational intelligence point of view. Readmission has been recognized as an indicator of healthcare quality with primary economic importance. We examine two specific instances of the problem, the emergency department (ED) admission and heart failure (HF) patient care using anonymized datasets from three institutions to carry real-life computational experiments validating the proposed approaches. The main difficulties posed by this kind of datasets is their high class imbalance ratio, and the lack of informative value of the recorded variables. This thesis reports the results of innovative class balancing approaches and new classification architectures

Rotation Forest model modification within the email spam classification

Increased use of email in daily transactions for many businesses or general communication due to its cost-effectiveness has made emails vulnerable to attacks, including spam. Spam emails are unsolicited messages that are very similar to each other and sent to multiple recipients randomly. This study analyzes the Rotation Forest model and modifies it for spam classification problem. Also, the aim of this study is to create a better classifier. To improve classifier stability, the experiments were carried out on Enron spam, Ling spam, and SpamAssasin datasets and evaluated for accuracy, f-measure, precision, and recall

Computational intelligence contributions to readmisision risk prediction in Healthcare systems

136 p.The Thesis tackles the problem of readmission risk prediction in healthcare systems from a machine learning and computational intelligence point of view. Readmission has been recognized as an indicator of healthcare quality with primary economic importance. We examine two specific instances of the problem, the emergency department (ED) admission and heart failure (HF) patient care using anonymized datasets from three institutions to carry real-life computational experiments validating the proposed approaches. The main difficulties posed by this kind of datasets is their high class imbalance ratio, and the lack of informative value of the recorded variables. This thesis reports the results of innovative class balancing approaches and new classification architectures

Intelligent road lane mark extraction using a Mobile Mapping System

102 p.During the last years, road landmark in- ventory has raised increasing interest in different areas: the maintenance of transport infrastructures, road 3d modelling, GIS applications, etc. The lane mark detection is posed as a two-class classification problem over a highly class imbalanced dataset. To cope with this imbalance we have applied Active Learning approaches. This Thesis has been divided into two main com- putational parts. In the first part, we have evaluated different Machine Learning approaches using panoramic images, obtained from image sensor, such as Random Forest (RF) and ensembles of Extreme Learning Machines (V-ELM), obtaining satisfactory results in the detection of road continuous lane marks. In the second part of the Thesis, we have applied a Random Forest algorithm to a LiDAR point cloud, obtaining a georeferenced road horizontal signs classification. We have not only identified continuous lines, but also, we have been able to identify every horizontal lane mark detected by the LiDAR sensor

Increasing liquid fuel self-sufficiency in Indonesia through utilization of marginal land and appropriate technology for biofuel production : a thesis presented in partial fulfilment of the requirements for the degree of Doctor of Philosophy in Energy Management, Massey University, New Zealand

This study proposed a strategy for increasing self-sufficiency of liquid fuel in Indonesia. The novel approach not previously undertaken was to integrate the utilization of marginal land with innovative technology for drop-in biofuel (DBF) production. The strategy involves interdependent relationships, so a systems dynamics modelling approach was applied. The assessments generally cover the national scope, but also specifically used Sumba Island as a case study around the marginal land issue. From a number of potential energy crops considered for growing on Sumba Island, Pongamia pinnata was selected. Metal soap decarboxylation was chosen as the preferable conversion technology for this oil crop, even though it has not yet reached full commersialisation. A simulation framework was developed to explain the intrinsic interrelationship between elements. These comprised the preparation of feedstock from marginal land, preparation of more appropriate conversion technology, a liquid biofuel supply system, and liquid fuel import demands. A delay in any of the elements causes a delay in DBF uptake, and thus time becomes a crucial factor. Considering the time factor, this study assessed the political dimension of sustainability, which is lacking in other bioenergy studies. A model, Assessment Tool of Biofuel Strategy through Utilization of Marginal Land and Innovation in Conversion Technology (ABMIC) was developed to test the strategy outcomes in some priority sustainability indicators. The model consists of ten sub-models containing two feedback loops invented in this study: a) between the “sense of urgency for action by the President” (SU) and liquid biofuel supply and demand; and b) between the conventional biofuel production from palm oil and the DBF production. The ABMIC model was tested and validated for structural validity, behaviour validity, and model usefulness. The results from scenario-based simulations confirmed that a systems dynamics approach was suitable for assessing the strategy. It supported the hypothesis that a political element, namely SU level, critically affects the success in implementing a liquid biofuel strategy through marginal land use and conversion technology innovation to increase liquid fuel self-sufficiency, which in turn influences the political element itself. An increase in SU level leads to a significant increase in liquid fuel self-sufficiency, foreign exchange saving, gross regional domestic product, and CO2 emissions reduction. SU should be sustained by maximizing future vision intervention. With modifications, the SU structure could be applied in non-biofuel sectors. Finally, this study outlines opportunities for further research to improve the model including through disaggregation, endogenizing variables, building functions of effects between variables, improving the variable quantifications, and further exploration of the variables

Modeling Bioenergy Supply Chains: Feedstocks Pretreatment, Integrated System Design Under Uncertainty

Biofuels have been promoted by governmental policies for reducing fossil fuel dependency and greenhouse gas emissions, as well as facilitating regional economic growth. Comprehensive model analysis is needed to assess the economic and environmental impacts of developing bioenergy production systems. For cellulosic biofuel production and supply in particular, existing studies have not accounted for the inter-dependencies between multiple participating decision makers and simultaneously incorporated uncertainties and risks associated with the linked production systems.This dissertation presents a methodology that incorporates uncertainty element to the existing integrated modeling framework specifically designed for advanced biofuel production systems using dedicated energy crops as feedstock resources. The goal of the framework is to support the bioenergy industry for infrastructure and supply chain development. The framework is flexible to adapt to different topological network structures and decision scopes based on the modeling requirements, such as on capturing the interactions between the agricultural production system and the multi-refinery bioenergy supply chain system with regards to land allocation and crop adoption patterns, which is critical for estimating feedstock supply potentials for the bioenergy industry. The methodology is also particularly designed to incorporate system uncertainties by using stochastic programming models to improve the resilience of the optimized system design.The framework is used to construct model analyses in two case studies. The results of the California biomass supply model estimate that feedstock pretreatment via combined torrefaction and pelletization reduces delivered and transportation cost for long-distance biomass shipment by 5% and 15% respectively. The Pacific Northwest hardwood biofuels application integrates full-scaled supply chain infrastructure optimization with agricultural economic modeling and estimates that bio-jet fuels can be produced at costs between 4 to 5 dollars per gallon, and identifies areas suitable for simultaneously deploying a set of biorefineries using adopted poplar as the dedicated energy crop to produce biomass feedstocks. This application specifically incorporates system uncertainties in the crop market and provides an optimal system design solution with over 17% improvement in expected total profit compared to its corresponding deterministic model

Evaluation de la capacité adaptative des socio-écosystèmes forestiers français face au changement climatique : le cas de la migration assistée

In a climate change context, the implementation of adaptive strategies appears as one of the greatest challenges for our societies. At the beginning of the 21st century, the scientific community proposed an adaptation option to limit climate change impacts on biodiversity, the assisted migration (AM). Despite a good theoretical justification, the AM application raises several questions about ecological, economical, ethical and political issues. Along this thesis, I was interested in the adaptive capacity of society actors concerning the changing climate, through the implementation of new practices as AM. Given the slow migration capacity of tree species, forests represent a relevant ecosystem for AM application, especially in France which has more than 29% of its surface as forest areas that are highly fragmented. In the first part of this thesis, I concentrated on the AM debate and I analyzed the actual barriers in its conception and its implementation. On the basis of a comparative analysis between France and Canada, I highlighted that different acceptations of adaptation and AM between policy and scientific actors represent a barrier for the implementation of adaptive strategies, as AM. Hence, I proposed a new concept of AM at the ecosystem scale, allowing limiting the focus on economic issues of AM programs. Moreover, I demonstrated that the AM actions are not constrained in a precautionary approach but could be applied in a prevention context. These results unties the deadlock about the “when to act?” question. After an empirical and theoretical analysis of AM and its context, in the second part of this thesis, I was interested on the real application of AM in the field. Therefore, I evaluated the capacity of forest actors to change their practices in a climate change context, with an original method based on the estimation of local capitals. Sadly, this analysis showed that for the moment, foresters implement more easily strategies for increasing robustness than resilient or transformative strategies, increasing the fragility of socio-ecosystems and risking a violent collapse of them.Dans la problématique du changement climatique, la mise en place de nouvelles stratégies d’adaptation apparaît comme un des grands challenges de nos sociétés actuelles. C’est au début des années 2000, que la communauté scientifique a proposé une option de gestion de la biodiversité afin de limiter les impacts dus à la vitesse du changement climatique, cette option étant connue sous le nom de migration assistée (MA). Cependant, malgré une justification théorique intéressante, l’application de cette pratique a soulevé de nombreuses questions autant éthiques, écologiques, économiques que politiques. Tout au long de cette thèse, je me suis intéressée à la capacité d’adaptation des acteurs face au changement climatique, via la mise en place de nouvelles pratiques de gestion, en s’intéressant tout particulièrement au cas de la MA. Compte tenu du rythme de migration lent des espèces forestières, les forêts représentent un écosystème pertinent pour la mise en place de la MA, et plus spécifiquement pour la France, qui compte plus de 29% de son territoire en surface boisée avec une forte problématique de fragmentation. Dans la première partie de cette thèse, nous nous sommes intéressés au débat que la MA a suscité et j’ai analysé les blocages qui existent actuellement dans sa conception et sa mise en place. Sur la base d’une analyse comparative entre la France et le Canada, j’ai pu mettre en évidence que les différentes conceptions d’adaptation et de MA entre les acteurs politiques et les scientifiques représentaient des barrières à l’application de programmes de MA. Ainsi, j’ai proposé une nouvelle conception de la MA, avec un volet écosystémique, permettant de limiter les approches économico-centrée de ces programmes. De plus, j’ai démontré que l’action de MA ne s’inscrit pas seulement dans une démarche de précaution mais également de prévention, dénouant ainsi le blocage présent sur la question du « quand doit-on agir ? ». Après une analyse théorique et empirique de la MA et de son contexte, dans la seconde partie, nous nous sommes posés la question de sa réelle application sur le terrain. J’ai donc analysé la capacité des acteurs forestiers locaux à mettre en œuvre des stratégies d’adaptation grâce à une méthode originale d’estimation des capitaux locaux. Malheureusement, cette analyse a montré qu’à l’heure actuelle, les forestiers mettent plus facilement en place des stratégies favorisant la robustesse que des stratégies plus complexes de résilience globale ou de transformabilité, telle que la MA, augmentant ainsi la fragilisation des socio-écosystèmes et risquant des transitions brutales

Making a stronger case for comparative research to investigate the behavioral and neurological bases of three-dimensional navigation

The rich diversity of avian natural history provides exciting possibilities for comparative research aimed at understanding three-dimensional navigation. We propose some hypotheses relating differences in natural history to potential behavioral and neurological adaptations possessed by contrasting bird species. This comparative approach may offer unique insights into some of the important questions raised by Jeffery et al