Simple stopping criteria for information theoretic feature selection

Feature selection aims to select the smallest feature subset that yields the minimum generalization error. In the rich literature in feature selection, information theory-based approaches seek a subset of features such that the mutual information between the selected features and the class labels is maximized. Despite the simplicity of this objective, there still remain several open problems in optimization. These include, for example, the automatic determination of the optimal subset size (i.e., the number of features) or a stopping criterion if the greedy searching strategy is adopted. In this paper, we suggest two stopping criteria by just monitoring the conditional mutual information (CMI) among groups of variables. Using the recently developed multivariate matrix-based Renyi's \alpha-entropy functional, which can be directly estimated from data samples, we showed that the CMI among groups of variables can be easily computed without any decomposition or approximation, hence making our criteria easy to implement and seamlessly integrated into any existing information theoretic feature selection methods with a greedy search strategy.Comment: Paper published in the journal of Entrop

Aplicación de técnicas de aprendizaje máquina para la caracterización y clasificación de pacientes con trastorno obsesivo compulsivo

El siguiente Trabajo Fin de Grado se basa en el cada vez más habitual empleo de métodos de aprendizaje máquina con el fin de clasificar y caracterizar trastornos psiquiátricos. Concretamente, el sistema diseñado pretende acercarse al diagnóstico de TOC (‘Trastorno Obsesivo Compulsivo’) a través del análisis de imágenes de resonancia magnética (MRI). El sistema diseñado tiene como objetivo plantear un algoritmo capaz de diagnosticar pacientes con TOC y, principalmente, capaz de caracterizar la enfermedad, detectando de manera automática las regiones neuroanatómicas relacionadas con el trastorno. Para ello, se empleará una arquitectura modular creada a partir de dos premisas fundamentales. 1. Análisis por áreas funcionales y/o neuroanatómicas. Cada imagen de resonancia magnética se divide en, aproximadamente, una centena de subconjuntos compuestos por vóxeles asociados a un área funcional o región neuroanatómica del cerebro. Así pues, el objetivo es aplicar un clasificador que facilite la selección de los conjuntos de vóxeles relevantes para la detección de la enfermedad. 2. Caracterización y fusión de áreas funcionales. El sistema utilizará métodos de selección de características sobre las salidas de los clasificadores el objetivo de obtener una selección automática de las áreas relevantes para el diagnóstico de la patología que estamos tratando. Asimismo, el último paso será el estudio de la relación que tienen las áreas entre sí mediante el uso de clasificadores, tanto lineales como no lineales. Una vez desarrollado y aplicado el algoritmo, se aprovecharán los resultados tanto para comparar la clasificación de pacientes con los resultados previos obtenidos mediante métodos tradicionales [1], [2], como para analizar el patrón de áreas neuroanatómicas responsables del trastorno. -------------------------------------------------------This work is based on increasingly common use of machine learning methods in order to classify and characterize psychiatric disorders. Specifically, the designed system tries to be able to diagnose OCD (Obsessive-Compulsive Disorder) though the MRI (Magnetic Resonance Imaging) analysis. The main system's goal is to construct an algorithm able to detect OCD patients and characterize the disease, detecting automatically neuroanatomical regions related to the disorder, supported on a modular arquitecture process with two fundamental principles. 1. Analysis of functional and/or neuroanatomical areas. Each MRI is divided into one hundred subsets composed of voxels associated to a functional area. Thus, the goal is to apply a classifier which facilitates the selection of the relevant voxels sets for the diagnosis of the disease. 2. Characterization and combination of functional areas. The system will use feature selection methods with the outputs of the first classifiers in order to get an automatic selection of the relevant areas for diagnosis of the pathology. The last step will use linear and no liner classifiers to analyze whether the different areas are interrelated. Having the algorithm developed, we will use the results to compare the classifications of patients with previous results got by traditional methods [1], [2], and to analyze the pattern of neuroanatomical areas responsible for the disorder.Ingeniería de Sistemas Audiovisuale

Information-theoretic feature selection for the classification of hysteresis curves

This paper presents a methodology for functional data analysis. It consists in extracting a large number of features with maximal content of information and then selecting the appropriate ones through a Mutual Information criterion; next, this reduced set of features is used to build a classifier. The methodology is applied to an industrial problem: the classification of the dynamic properties of elastomeric material characterized by rigidity and hysteresis curves

Neue Methodik zur Modellierung und zum Entwurf keramischer Aktorelemente

Die Arbeit beschäftigt sich mit einem neuen Gesamtkonzept für die Entwicklung von piezokeramischen Materialien und Bauteilen. Die vorgestellte Methodik ist für die effiziente, nachhaltige und computergestützte Nutzung von experimentellen Daten und von bekanntem Wissen geeignet. Dazu wird ein neues Aktormodell entwickelt. Im zweiten Teil wird ein neues Messsystem zum Monitoring des Schadensfortschrittes konzipiert und umgesetzt. Das Messsystem fügt sich in das neue Gesamtkonzept ein

Information-Theoretic Feature Selection for the Classification of Hysteresis Curves ⋆

Abstract. This paper presents a methodology for functional data analysis. It consists in extracting a large number of features with maximal content of information and then selecting the appropriate ones through a Mutual Information criterion; next, this reduced set of features is used to build a classifier. The methodology is applied to an industrial problem: the classification of the dynamic properties of elastomeric material characterized by rigidity and hysteresis curves.