Identifying Critical Neurons in ANN Architectures using Mixed Integer Programming

We introduce a mixed integer program (MIP) for assigning importance scores to each neuron in deep neural network architectures which is guided by the impact of their simultaneous pruning on the main learning task of the network. By carefully devising the objective function of the MIP, we drive the solver to minimize the number of critical neurons (i.e., with high importance score) that need to be kept for maintaining the overall accuracy of the trained neural network. Further, the proposed formulation generalizes the recently considered lottery ticket optimization by identifying multiple "lucky" sub-networks resulting in optimized architecture that not only performs well on a single dataset, but also generalizes across multiple ones upon retraining of network weights. Finally, we present a scalable implementation of our method by decoupling the importance scores across layers using auxiliary networks. We demonstrate the ability of our formulation to prune neural networks with marginal loss in accuracy and generalizability on popular datasets and architectures.Comment: 16 pages, 3 figures, 5 tables, under revie

Estudios de invariabilidad climática y estacionalidad mediante espectroscopia láser

El objetivo principal de esta tesis es el desarrollo de una metodología analítica basada en LIBS para el estudio de muestras de origen geológico y arqueológico. La primera parte de la tesis está motivada a dilucidar la variabilidad climática y sus causas, para así poder predecir la influencia de los posibles cambios climáticos en el futuro. Para ello, se pretende obtener mediante esta metodología LIBS patrones de variabilidad paleoclimática, tales como las relaciones elementales Mg/Ca y Sr/Ca analizando la estratigrafía interanual de espeleotemas. Además, se pretende también la formación de imágenes multielementales de megapíxeles por LIBS de espeleotemas para el análisis paleoclimático. La segunda parte de la tesis consiste en un conjunto de diversos estudios basados en la espectroscopía de ablación láser con el fin de realizar el análisis de muestras de tejido de origen arqueológico, tanto tejido blando como óseo. Así, esta línea de investigación comienza con el desarrollo de una metodología para el estudio de tejido blando muscular para la determinación del intervalo post mortem. Esto lleva a querer conocer en profundidad las características de la técnica en cuanto a dinámica del plasma, utilizando las muestras anteriores, para así optimizar los análisis de tejidos posteriores. Una vez concluido este proceso se procede al estudio de tejido óseo, primero para estudios de estacionalidad, y después, para realizar la correcta asignación de restos óseos al individuo al que pertenecen, primero con muestras actuales y después, muestras de carácter arqueológico, alcanzando así el objetivo último de esta línea arqueológica de investigación..

Structured representation learning from complex data

This thesis advances several theoretical and practical aspects of the recently introduced restricted Boltzmann machine - a powerful probabilistic and generative framework for modelling data and learning representations. The contributions of this study represent a systematic and common theme in learning structured representations from complex data

Desarrollo y aplicación de métodos quimiométricos para el estudio de muestras mediante Espectroscopia de Ablación Láser (LIBS)

La espectroscopía de ablación láser (LIBS) es una técnica analítica que se basa en la formación y estudio de un plasma inducido por un pulso láser focalizado sobre la superficie de un material. La emisión producida por dicho plasma, debido a la recombinación electrónica, es colectada generando un espectro que permite el estudio cualitativo y/o cuantitativo del material. LIBS se ha convertido en una técnica espectroscópica establecida con un enorme valor analítico debido al conjunto de ventajas que presenta y sus particulares características técnicas. Es destacable su rapidez, versatilidad y capacidad de producir información analítica para prácticamente cualquier tipo de muestra de forma escasamente destructiva y con mínima o incluso nula preparación de muestra. Su instrumentación es sencilla, robusta y compacta, permitiendo incluso llevar análisis in situ, así como realizar análisis remotos. El principal objetivo de esta tesis es el estudio de la técnica LIBS en combinación con métodos quimiométricos de análisis, especialmente redes neuronales artificiales, para llevar a cabo estudios cualitativos (identificación y discriminación) usando espectros LIBS como huellas espectrales digitales características de muestras de origen alimenticio (aceites de oliva y vinos), con interés forense (huesos y dientes humanos) y por último especies animales, moluscos y corales, con interés paleoclimático..