UNSUPERVISED SIGNAL SEGMENTATION BASED ON TEMPORAL SPECTRAL CLUSTERING

ABSTRACT This paper presents an approach for applying spectral clustering to time series data. We define a novel similarity measure based on euclidean distance and temporal proximity between vectors. This metric is useful for conditioning matrices needed to perform spectral clustering, and its application leads to the detection of abrupt changes in a sequence of vectors. It defines a temporal segmentation of the signal. When the input to the algorithm is a speech signal, we further process the segments and achieve their labeling in one of three phonetic classes: silence, consonant or vowel. When the input signal is a video stream, the algorithm detects scene changes in the sequence of images. Our results are compared against classic unsupervised and supervised techniques, and evaluated with the phonetically labeled multi-language corpus OGI-MLTS and the video database of the french video indexing campaign ARGOS

Clustering neuronal activity from fluorescent simulated traces and fluorescence calcium images by inferring spicular neuron activity

Projecte desenvolupat a l'Institut Nacional de Informàtica (NII, Tokyo) en col·laboració amb el Institut Nacional de Genètica (NIG, Mishima)[ANGLÈS] This project reviews some of the existing bibliography related with functional Multineuron Calcium Imaging (fMCI) and describes the implementation of a framework to analyze fMCI with the final aim of inferring the connection between the different recorded neurons by analyzing the activity patterns related which each one of these neurons. The described framework gives a structure to develop some common algorithms in the bibliography including algorithms to generate synthetic signals to be used as a test set to the developed algorithms. We tune and test our algorithms with synthetic data and after that we check the potential of our methods with real observations of zebrafish cortical habenula. We propose some improvements in the already existing algorithms found in the bibliography to clusterize the activity of the processed neurons, to find the underlying spicular activity and to generate synthetic data which fits properly with the real data. This project starts with the review of the bibliography related with fMCI analysis techniques and the techniques which are commonly used in its analysis. After this review, an analysis of the available datasets recorded by the NIG is done and we propose some ways to fit this real data with the models commonly used in by Neuroscientists when dealing with this kind of signals. After the discussion of the state of the art and after the analysis of how this existing proposals can be used with our real data and the existing limitations, we define a pipeline and split it in blocks; then we proceed with the detailed explanation of the implementation made for each proposed block and the discussion of how some implemented modifications help these algorithms to work properly with our real datasets. This framework includes tools to complete the task for each one of the proposed blocks: tools to generate synthetic signals, compute objective quality metrics over these synthetic signals and tools to use the developed tools with real data. The project finishes testing the implemented algorithms in real data and discussing the results and the potential of the methods to be used with real bigger datasets. This framework is expected to be improved in the future by the NII and the collaboration of the NIG analyzing longer datasets and tunning the proposed methods to extract biological meaningful information of these recordings.[CASTELLA] Este proyecto revisa la bibliografía existente en el campo de functional Multineuron Calcium Imaging (fMCI) i describe la implementación de un framework para analizar fMCI con el objetivo final de inferir la conexión entre las diferentes neuronas registradas mediante el análisis de la actividad eléctrica de cada una de estas neuronas. El framework descrito propone una estructura para desarrollar algunos algoritmos típicos en la bibliografía incluyengo algitmos para generar datos sintéticos para ser usadas como test set en el desarrollo y mejora de los algoritmos implementados. Afinamos los parámetros y testemos nuestros algoritmos con datos sintéticos y después de esto comprobamos el potencial de estos métodos en observaciones reales de peces zebra. Proponemos algunas mejoras en los algoritmos existentes documentados en la bibliografía para clusterizar la actividad de las neuronas procesadas para inferir la actividad espicular que genera las señales analizadas y para generar señales sintéticas el comportamiento de las cuales es similar al de las señales reales. Este proyecto se estructura a partir de una revisión de la bibliografía relacionada con fMCI y analiza las técnicas usualmente utilizadas en su análisis. Después de esta revisión, se analizan los datasets disponibles registrados por el NIG i proponemos algunas maneras de hacer que los modelos usados habitualmente por Neurocientíficos cuando tratan con este tipo de señales generen señales similares a las señales reales analizadas. Después de discutir el estado del arte y tras analizar cómo las propuestas publicadas pueden ser utilizadas para analizar nuestras señales reales y de discutir las limitaciones existentes, definimos una pipeline y la dividimos en bloques. Entonces procedemos con una descripción detallada de la implementación realizada para cada uno de estos bloques y la discusión de cómo estas modificaciones pueden ayudar a a estos algoritmos a trabajar apropiadamente con nuestros datasets reales. Este framework incluye herramientas para completar la tarea para cada uno de los bloques propuestos, herramientas para generar señales sintéticas, calcular métricas objetivas de calidad sobre estas señales sintéticas y herramientas para visualmente analizar los resultados obtenidos. El proyecto acaba testeando los algoritmos implementados con señales reales y discutiendo los resultados y el potencial de los métodos al ser usado con datasets reales mayores que el actual. Se espera que este framework sea mejorado en el futuro por el NII en colaboración con el NIG analizando mayores datasets i ajustando los métodos propuestos para extraer información biológicamente significativa de estos datasets.[CATALA] Aquest projecte revisa la bibliografia existent en el camp del functional Multineuron Calcium Imaging (fMCI) i descriu la implementació d'un framework per a analitzar fMCI amb l'objectiu final d'inferir la connexió entre les diferents neurones enregistrades mitjançant la anàlisi de la activitat elèctrica de cadascuna d'aquestes neurones El framework descrit proposa una estructura per desenvolupar alguns algorismes típics a la bibliografia incloent algorismes per generar dades sintètiques per a ser usades com a test set per al desenvolupament i millora dels algorismes implementats. Afinem els paràmetres i testegem els nostres algorismes amb dades sintètiques i després d'això comprovem el potencial dels nostres mètodes amb observacions reals de peixos zebra. Proposem algunes millores en els algorismes existents documentats a la bibliografia per clusteritzar l'activitat de les neurones processades per inferir l'activitat espicular que genera les senyals analitzades i per generar senyals sintètiques el comportament de les quals és similar al de les dades reals. Aquest projecte s'estructura a partir d'una revisió de la bibliografia relacionada amb fMCI, analitza les tècniques usualment utilitzades en la seva anàlisi. Després d'aquesta revisió, s'analitzen els datasets disponibles enregistrats per l'NIG i proposem algunes maneres de fer que els models habitualment usats per Neurocientífics quan tracten amb aquest tipus de senyals generin senyals similars a les senyals reals analitzades. Després de discutir l'estat de l'art i després d'analitzar com les propostes publicades poden ser utilitzades per analitzar les nostres dades reals i de discutir les limitacions existents, definim una pipeline i la dividim en blocs. Llavors procedim amb una descripció detallada de la implementació feta per cadascun d'aquests blocs i la discussió de com aquestes modificacions poden ajudar aquests algorismes a treballar apropiadament amb els nostres datasets reals. Aquest framework inclou eines per a completar la tasca per cada un dels blocs proposads, eines per generar senyals sintètiques, computar mètriques objectives de qualitat sobre aquestes senyals sintètiques i eines per a visualment analitzar els resultats obtinguts. El projecte acaba testejant els algorismes implementats amb senyals reals i discutint els resultats i el potencial dels mètodes al ser usats amb datasets reals i més grans que l'actual. S'espera que aquest framework sigui millorat en el futur per l'NII en col·laboració amb l'NIG analitzant datasets més grans i ajustant els mètodes proposats per tal d'extreure informació biologicament significativa d'aquests datasets