296 research outputs found
A Survey of Neural Trees
Neural networks (NNs) and decision trees (DTs) are both popular models of
machine learning, yet coming with mutually exclusive advantages and
limitations. To bring the best of the two worlds, a variety of approaches are
proposed to integrate NNs and DTs explicitly or implicitly. In this survey,
these approaches are organized in a school which we term as neural trees (NTs).
This survey aims to present a comprehensive review of NTs and attempts to
identify how they enhance the model interpretability. We first propose a
thorough taxonomy of NTs that expresses the gradual integration and
co-evolution of NNs and DTs. Afterward, we analyze NTs in terms of their
interpretability and performance, and suggest possible solutions to the
remaining challenges. Finally, this survey concludes with a discussion about
other considerations like conditional computation and promising directions
towards this field. A list of papers reviewed in this survey, along with their
corresponding codes, is available at:
https://github.com/zju-vipa/awesome-neural-treesComment: 35 pages, 7 figures and 1 tabl
Data-driven methodologies for evaluation and recommendation of energy efficiency measures in buildings. Applications in a big data environment
Tesi en modalitat de compendi de publicacionsIn order to reach the goal set in the Paris agreement of limiting the rise in global average temperature well below 2 ºC compared to pre-industrial levels, massive efforts to reduce global greenhouse gas emissions are required. The building sector is currently responsible for about 28% of total global CO2 emissions, meaning that there is substantial savings potential lying in the correct energy management of buildings and the implementation of renovation strategies. Digital tools and data-driven techniques are rapidly gaining momentum as approaches that are able to harness the large amount of data gathered in the building sector and provide solutions able to reduce the carbon footprint of the built environment.
The objective of this doctoral thesis is to investigate the potential of data-driven techniques in different applications aimed at improving energy efficiency in buildings. More specifically, different novel approaches to verify energy savings, characterize consumption patterns, and recommend energy retrofitting strategies are described. The presented methodologies prove to be powerful tools that can produce valuable, actionable insights for energy managers and other stakeholders.
Initially, a comprehensive and detailed overview is provided of different state-of-the-art methodologies to quantify energy efficiency savings and to predict the impact of retrofitting strategies in buildings. Strengths and weaknesses of the analyzed approaches are discussed, and guidance is provided to assess the best performing methodology depending on the case in analysis and data available. Among the reviewed approaches there are statistical and machine learning models, Bayesian methods, deterministic approaches, and hybrid techniques combining deterministic and data-driven models.
Subsequently, a novel data-driven methodology is proposed to perform measurement and verification calculations, with the main focus on non-residential buildings and facilities. The approach is based on the extraction of frequent consumption profile patterns and on a novel technique able to evaluate the building’s weather dependence. This information is used to design a model that can accurately estimate achieved energy savings at daily scale. The method was tested on two use-cases, one using synthetic data generated using a building energy simulation software and one using monitoring data from three existing buildings in Catalonia. The results obtained with the proposed methodology are compared with the ones provided by a state-of-the-art model, showing accuracy improvement and increased robustness to missing data.
The second data-driven tool that developed in this research work is a Bayesian linear regression methodology to calculate hourly energy baseline predictions in non-residential buildings and characterize their consumption patterns. The approach was tested on 1578 non-residential buildings that are part of a large building energy consumption open dataset. The results show that the Bayesian methodology is able to provide accurate baseline estimations with an explainable and intuitive model. Special focus is also given to uncertainty estimations, which are inherently provided by Bayesian techniques and have great importance in risk assessments for energy efficiency projects.
Finally, a concept methodology that can be used to recommend and prioritize energy efficiency projects in buildings and facilities is presented. This data-driven approach is based on the comparison of groups of similar buildings and on an algorithm that can map savings obtained with energy renovation strategies to the characteristics of the buildings where they were implemented. Recommendation for implementation of such a methodology in big data building energy management platforms is provided.Para alcanzar el objetivo fijado en el acuerdo de París de limitar el aumento de
la temperatura media mundial muy por debajo de los 2 °C con respecto a los niveles
preindustriales, es necesario realizar esfuerzos masivos para reducir las emisiones
mundiales de gases de efecto invernadero. El sector de la edificación es actualmente
responsable de alrededor del 28% de las emisiones totales de CO2 a nivel mundial,
lo que significa que existe un potencial de ahorro sustancial en la correcta gestión
energética de los edificios y en la aplicación de estrategias de renovación. Las
herramientas digitales y las técnicas basadas en datos están ganando rápidamente
impulso como enfoques capaces de aprovechar la gran cantidad de datos recopilados
en el sector de la edificación y proporcionar soluciones capaces de reducir la huella
de carbono del entorno construido.
El objetivo de esta tesis doctoral es investigar el potencial de las técnicas basadas
en datos en diferentes aplicaciones destinadas a mejorar la eficiencia energética de
los edificios. Más concretamente, se describen diferentes enfoques novedosos para
verificar el ahorro de energía, caracterizar los patrones de consumo y recomendar
estrategias de rehabilitación energética. Las metodologías presentadas demuestran
ser poderosas herramientas que pueden producir valiosos conocimientos para los
gestores energéticos y otras partes interesadas.
En primer lugar, se ofrece una visión general y detallada de las distintas
metodologías más avanzadas para cuantificar el ahorro de energía y predecir el
impacto de las estrategias de rehabilitación en los edificios. Se discuten los puntos
fuertes y débiles de los enfoques analizados y se ofrecen orientaciones para evaluar
la metodología más eficaz en función del caso en análisis y de los datos disponibles.
Entre los enfoques revisados hay modelos estadísticos y de aprendizaje automático,
métodos Bayesianos, enfoques deterministas y técnicas híbridas que combinan
modelos deterministas y basados en datos.
Posteriormente, se propone una novedosa metodología basada en datos para
realizar cálculos de medición y verificación, centrada principalmente en edificios
e instalaciones no residenciales. El enfoque se basa en la extracción de patrones
de perfiles de consumo frecuentes y en una técnica innovadora capaz de evaluar
la dependencia climática del edificio. Esta información se utiliza para diseñar un
modelo que puede estimar con precisión el ahorro energético conseguido a escala
diaria. El método se ha probado en dos casos de uso, uno con datos sintéticos generados mediante un software de simulación energética de edificios, y otro con
datos de monitorización de tres edificios existentes en Cataluña. Los resultados
obtenidos con la metodología propuesta se comparan con los proporcionados por un
modelo de última generación, mostrando una mejora de la precisión y una mayor
robustez ante la falta de datos.
La segunda herramienta basada en datos que se desarrolló en este trabajo de
investigación es una metodología de regresión lineal Bayesiana para calcular las
predicciones de línea base de energía horaria en edificios no residenciales y para
caracterizar sus patrones de consumo. El enfoque se probó en 1578 edificios no
residenciales que forman parte de un gran conjunto de datos abiertos de consumo
energético de edificios. Los resultados muestran que la metodología Bayesiana es
capaz de proporcionar estimaciones precisas de la línea de base con un modelo
explicable e intuitivo. También se presta especial atención a las estimaciones de
incertidumbre, que son inherentes a las técnicas bayesianas y que tienen gran
importancia en las evaluaciones de riesgo de los proyectos de eficiencia energética.
Por último, se presenta una metodología conceptual que puede utilizarse para
recomendar y priorizar proyectos de eficiencia energética en edificios e instalaciones.
Este enfoque basado en datos se basa en la comparación de grupos de edificios
similares y en un algoritmo que puede asociar los ahorros obtenidos con las estrategias
de renovación energética a las características de los edificios en los que se aplicaron.
Se recomiendan las aplicaciones de esta metodología en plataformas de gestión
energética de edificios de big data.Postprint (published version
Machine Learning As Tool And Theory For Computational Neuroscience
Computational neuroscience is in the midst of constructing a new framework for understanding the brain based on the ideas and methods of machine learning. This is effort has been encouraged, in part, by recent advances in neural network models. It is also driven by a recognition of the complexity of neural computation and the challenges that this poses for neuroscience’s methods. In this dissertation, I first work to describe these problems of complexity that have prompted a shift in focus. In particular, I develop machine learning tools for neurophysiology that help test whether tuning curves and other statistical models in fact capture the meaning of neural activity. Then, taking up a machine learning framework for understanding, I consider theories about how neural computation emerges from experience. Specifically, I develop hypotheses about the potential learning objectives of sensory plasticity, the potential learning algorithms in the brain, and finally the consequences for sensory representations of learning with such algorithms. These hypotheses pull from advances in several areas of machine learning, including optimization, representation learning, and deep learning theory. Each of these subfields has insights for neuroscience, offering up links for a chain of knowledge about how we learn and think. Together, this dissertation helps to further an understanding of the brain in the lens of machine learning
Unsupervised learning for vascular heterogeneity assessment of glioblastoma based on magnetic resonance imaging: The Hemodynamic Tissue Signature
[ES] El futuro de la imagen médica está ligado a la inteligencia artificial. El análisis manual de imágenes médicas es hoy en día una tarea ardua, propensa a errores y a menudo inasequible para los humanos, que ha llamado la atención de la comunidad de Aprendizaje Automático (AA). La Imagen por Resonancia Magnética (IRM) nos proporciona una rica variedad de representaciones de la morfología y el comportamiento de lesiones inaccesibles sin una intervención invasiva arriesgada. Sin embargo, explotar la potente pero a menudo latente información contenida en la IRM es una tarea muy complicada, que requiere técnicas de análisis computacional inteligente.
Los tumores del sistema nervioso central son una de las enfermedades más críticas estudiadas a través de IRM. Específicamente, el glioblastoma representa un gran desafío, ya que, hasta la fecha, continua siendo un cáncer letal que carece de una terapia satisfactoria. Del conjunto de características que hacen del glioblastoma un tumor tan agresivo, un aspecto particular que ha sido ampliamente estudiado es su heterogeneidad vascular. La fuerte proliferación vascular del glioblastoma, así como su robusta angiogénesis han sido consideradas responsables de la alta letalidad de esta neoplasia.
Esta tesis se centra en la investigación y desarrollo del método Hemodynamic Tissue Signature (HTS): un método de AA no supervisado para describir la heterogeneidad vascular de los glioblastomas mediante el análisis de perfusión por IRM. El método HTS se basa en el concepto de hábitat, que se define como una subregión de la lesión con un perfil de IRM que describe un comportamiento fisiológico concreto. El método HTS delinea cuatro hábitats en el glioblastoma: el hábitat HAT, como la región más perfundida del tumor con captación de contraste; el hábitat LAT, como la región del tumor con un perfil angiogénico más bajo; el hábitat IPE, como la región adyacente al tumor con índices de perfusión elevados; y el hábitat VPE, como el edema restante de la lesión con el perfil de perfusión más bajo. La investigación y desarrollo de este método ha originado una serie de contribuciones enmarcadas en esta tesis.
Primero, para verificar la fiabilidad de los métodos de AA no supervisados en la extracción de patrones de IRM, se realizó una comparativa para la tarea de segmentación de gliomas de grado alto. Segundo, se propuso un algoritmo de AA no supervisado dentro de la familia de los Spatially Varying Finite Mixture Models. El algoritmo propone una densidad a priori basada en un Markov Random Field combinado con la función probabilística Non-Local Means, para codificar la idea de que píxeles vecinos tienden a pertenecer al mismo objeto. Tercero, se presenta el método HTS para describir la heterogeneidad vascular del glioblastoma. El método se ha aplicado a casos reales en una cohorte local de un solo centro y en una cohorte internacional de más de 180 pacientes de 7 centros europeos. Se llevó a cabo una evaluación exhaustiva del método para medir el potencial pronóstico de los hábitats HTS. Finalmente, la tecnología desarrollada en la tesis se ha integrado en la plataforma online ONCOhabitats (https://www.oncohabitats.upv.es). La plataforma ofrece dos servicios: 1) segmentación de tejidos de glioblastoma, y 2) evaluación de la heterogeneidad vascular del tumor mediante el método HTS.
Los resultados de esta tesis han sido publicados en diez contribuciones científicas, incluyendo revistas y conferencias de alto impacto en las áreas de Informática Médica, Estadística y Probabilidad, Radiología y Medicina Nuclear y Aprendizaje Automático. También se emitió una patente industrial registrada en España, Europa y EEUU. Finalmente, las ideas originales concebidas en esta tesis dieron lugar a la creación de ONCOANALYTICS CDX, una empresa enmarcada en el modelo de negocio de los companion diagnostics de compuestos farmacéuticos.[EN] The future of medical imaging is linked to Artificial Intelligence (AI). The manual analysis of medical images is nowadays an arduous, error-prone and often unaffordable task for humans, which has caught the attention of the Machine Learning (ML) community. Magnetic Resonance Imaging (MRI) provides us with a wide variety of rich representations of the morphology and behavior of lesions completely inaccessible without a risky invasive intervention. Nevertheless, harnessing the powerful but often latent information contained in MRI acquisitions is a very complicated task, which requires computational intelligent analysis techniques.
Central nervous system tumors are one of the most critical diseases studied through MRI. Specifically, glioblastoma represents a major challenge, as it remains a lethal cancer that, to date, lacks a satisfactory therapy. Of the entire set of characteristics that make glioblastoma so aggressive, a particular aspect that has been widely studied is its vascular heterogeneity. The strong vascular proliferation of glioblastomas, as well as their robust angiogenesis and extensive microvasculature heterogeneity have been claimed responsible for the high lethality of the neoplasm.
This thesis focuses on the research and development of the Hemodynamic Tissue Signature (HTS) method: an unsupervised ML approach to describe the vascular heterogeneity of glioblastomas by means of perfusion MRI analysis. The HTS builds on the concept of habitats. A habitat is defined as a sub-region of the lesion with a particular MRI profile describing a specific physiological behavior. The HTS method delineates four habitats within the glioblastoma: the HAT habitat, as the most perfused region of the enhancing tumor; the LAT habitat, as the region of the enhancing tumor with a lower angiogenic profile; the potentially IPE habitat, as the non-enhancing region adjacent to the tumor with elevated perfusion indexes; and the VPE habitat, as the remaining edema of the lesion with the lowest perfusion profile. The research and development of the HTS method has generated a number of contributions to this thesis.
First, in order to verify that unsupervised learning methods are reliable to extract MRI patterns to describe the heterogeneity of a lesion, a comparison among several unsupervised learning methods was conducted for the task of high grade glioma segmentation. Second, a Bayesian unsupervised learning algorithm from the family of Spatially Varying Finite Mixture Models is proposed. The algorithm integrates a Markov Random Field prior density weighted by the probabilistic Non-Local Means function, to codify the idea that neighboring pixels tend to belong to the same semantic object. Third, the HTS method to describe the vascular heterogeneity of glioblastomas is presented. The HTS method has been applied to real cases, both in a local single-center cohort of patients, and in an international retrospective cohort of more than 180 patients from 7 European centers. A comprehensive evaluation of the method was conducted to measure the prognostic potential of the HTS habitats. Finally, the technology developed in this thesis has been integrated into an online open-access platform for its academic use. The ONCOhabitats platform is hosted at https://www.oncohabitats.upv.es, and provides two main services: 1) glioblastoma tissue segmentation, and 2) vascular heterogeneity assessment of glioblastomas by means of the HTS method.
The results of this thesis have been published in ten scientific contributions, including top-ranked journals and conferences in the areas of Medical Informatics, Statistics and Probability, Radiology & Nuclear Medicine and Machine Learning. An industrial patent registered in Spain, Europe and EEUU was also issued. Finally, the original ideas conceived in this thesis led to the foundation of ONCOANALYTICS CDX, a company framed into the business model of companion diagnostics for pharmaceutical compounds.[CA] El futur de la imatge mèdica està lligat a la intel·ligència artificial. L'anàlisi manual d'imatges mèdiques és hui dia una tasca àrdua, propensa a errors i sovint inassequible per als humans, que ha cridat l'atenció de la comunitat d'Aprenentatge Automàtic (AA). La Imatge per Ressonància Magnètica (IRM) ens proporciona una àmplia varietat de representacions de la morfologia i el comportament de lesions inaccessibles sense una intervenció invasiva arriscada. Tanmateix, explotar la potent però sovint latent informació continguda a les adquisicions de IRM esdevé una tasca molt complicada, que requereix tècniques d'anàlisi computacional intel·ligent.
Els tumors del sistema nerviós central són una de les malalties més crítiques estudiades a través de IRM. Específicament, el glioblastoma representa un gran repte, ja que, fins hui, continua siguent un càncer letal que manca d'una teràpia satisfactòria. Del conjunt de característiques que fan del glioblastoma un tumor tan agressiu, un aspecte particular que ha sigut àmpliament estudiat és la seua heterogeneïtat vascular. La forta proliferació vascular dels glioblastomes, així com la seua robusta angiogènesi han sigut considerades responsables de l'alta letalitat d'aquesta neoplàsia.
Aquesta tesi es centra en la recerca i desenvolupament del mètode Hemodynamic Tissue Signature (HTS): un mètode d'AA no supervisat per descriure l'heterogeneïtat vascular dels glioblastomas mitjançant l'anàlisi de perfusió per IRM. El mètode HTS es basa en el concepte d'hàbitat, que es defineix com una subregió de la lesió amb un perfil particular d'IRM, que descriu un comportament fisiològic concret. El mètode HTS delinea quatre hàbitats dins del glioblastoma: l'hàbitat HAT, com la regió més perfosa del tumor amb captació de contrast; l'hàbitat LAT, com la regió del tumor amb un perfil angiogènic més baix; l'hàbitat IPE, com la regió adjacent al tumor amb índexs de perfusió elevats, i l'hàbitat VPE, com l'edema restant de la lesió amb el perfil de perfusió més baix. La recerca i desenvolupament del mètode HTS ha originat una sèrie de contribucions emmarcades a aquesta tesi.
Primer, per verificar la fiabilitat dels mètodes d'AA no supervisats en l'extracció de patrons d'IRM, es va realitzar una comparativa en la tasca de segmentació de gliomes de grau alt. Segon, s'ha proposat un algorisme d'AA no supervisat dintre de la família dels Spatially Varying Finite Mixture Models. L'algorisme proposa un densitat a priori basada en un Markov Random Field combinat amb la funció probabilística Non-Local Means, per a codificar la idea que els píxels veïns tendeixen a pertànyer al mateix objecte semàntic. Tercer, es presenta el mètode HTS per descriure l'heterogeneïtat vascular dels glioblastomas. El mètode HTS s'ha aplicat a casos reals en una cohort local d'un sol centre i en una cohort internacional de més de 180 pacients de 7 centres europeus. Es va dur a terme una avaluació exhaustiva del mètode per mesurar el potencial pronòstic dels hàbitats HTS. Finalment, la tecnologia desenvolupada en aquesta tesi s'ha integrat en una plataforma online ONCOhabitats (https://www.oncohabitats.upv.es). La plataforma ofereix dos serveis: 1) segmentació dels teixits del glioblastoma, i 2) avaluació de l'heterogeneïtat vascular dels glioblastomes mitjançant el mètode HTS.
Els resultats d'aquesta tesi han sigut publicats en deu contribucions científiques, incloent revistes i conferències de primer nivell a les àrees d'Informàtica Mèdica, Estadística i Probabilitat, Radiologia i Medicina Nuclear i Aprenentatge Automàtic. També es va emetre una patent industrial registrada a Espanya, Europa i els EEUU. Finalment, les idees originals concebudes en aquesta tesi van donar lloc a la creació d'ONCOANALYTICS CDX, una empresa emmarcada en el model de negoci dels companion diagnostics de compostos farmacèutics.En este sentido quiero agradecer a las diferentes instituciones y estructuras de financiación de investigación que han contribuido al desarrollo de esta tesis. En especial quiero agradecer a la Universitat Politècnica de València, donde he desarrollado toda mi carrera acadèmica y científica, así como al Ministerio de Ciencia e Innovación, al Ministerio de Economía y Competitividad, a la Comisión Europea, al EIT Health Programme y a la fundación Caixa ImpulseJuan Albarracín, J. (2020). Unsupervised learning for vascular heterogeneity assessment of glioblastoma based on magnetic resonance imaging: The Hemodynamic Tissue Signature [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/149560TESI
Deep learning that scales: leveraging compute and data
Deep learning has revolutionized the field of artificial intelligence in the past decade. Although the development of these techniques spans over several years, the recent advent of deep learning is explained by an increased availability of data and compute that have unlocked the potential of deep neural networks. They have become ubiquitous in domains such as natural language processing, computer vision, speech processing, and control, where enough training data is available. Recent years have seen continuous progress driven by ever-growing neural networks that benefited from large amounts of data and computing power.
This thesis is motivated by the observation that scale is one of the key factors driving progress in deep learning research, and aims at devising deep learning methods that scale gracefully with the available data and compute. We narrow down this scope into two main research directions. The first of them is concerned with designing hardware-aware methods which can make the most of the computing resources in current high performance computing facilities. We then study bottlenecks preventing existing methods from scaling up as more data becomes available, providing solutions that contribute towards enabling training of more complex models.
This dissertation studies the aforementioned research questions for two different learning paradigms, each with its own algorithmic and computational characteristics. The first part of this thesis studies the paradigm where the model needs to learn from a collection of examples, extracting as much information as possible from the given data. The second part is concerned with training agents that learn by interacting with a simulated environment, which introduces unique challenges such as efficient exploration and simulation
Review : Deep learning in electron microscopy
Deep learning is transforming most areas of science and technology, including electron microscopy. This review paper offers a practical perspective aimed at developers with limited familiarity. For context, we review popular applications of deep learning in electron microscopy. Following, we discuss hardware and software needed to get started with deep learning and interface with electron microscopes. We then review neural network components, popular architectures, and their optimization. Finally, we discuss future directions of deep learning in electron microscopy
- …