Neurosmart, une histoire de cerveau et de passionné·e·s de science

We propose a participatory science outreach approach allowing us to co-construct with our audiences resources aimed at understanding and demystifying the most disruptive results obtained regarding human brain by the conjunction of computer science, applied mathematics and neuroscience (computational neuroscience). The context is that of science and technology with a heavy societal impact, for which there is a strong need to allow everyone to build models of representation of these results and to forge an enlightened citizen's vision on these subjects.We rely here on our experience in sharing scientific culture on these subjects and our ability to create large diffusion content and resources, easy to appropriate and to operate.We propose to discover the models of the cerebral functions at the origin of our sensorimotor and vital cognitive behaviors (instinctive and motivated behavior, selection of embodied action, emotional decision-making or not, sites of self-awareness, etc. ) through :- a course of evolving content each time giving minimal key ideas on these subjects, also showing the simple use of mathematical concepts,- a Web-application (3D visualization of the brain in synergy with multi-media content and explanatory texts) with the possibility of interacting with the content. e.g., quizzes.The implementation is a free and open code, easily reusable by anyone with basic computing skills.This is also in itself a tool for learning the code, in addition to the acquisition of skills in integrative neuroscience, and it is a lever for co-creation.On propose la mise en place d’une démarche de médiation scientifique participative pour permettre de co-construire avec nos publics des ressources visant à comprendre et démystifier les résultats les plus disruptifs concernant le cerveau humain obtenus par la conjonction de l’informatique, mathématiques appliquées et des neurosciences (neurosciences computationnelles).Le contexte est celui de sciences et technologies à lourd impact sociétal avec un besoin fort de permettre à chacune et chacun de se construire des modèles de représentation de ces résultats et de se forger une vision citoyenne éclairée sur ces sujets. On s’appuie ici sur notre expérience en matière de partage de culture scientifique sur ces sujets et notre capacité à créer des contenus et des ressources, à forte diffusion, faciles à s’approprier et à faire fonctionner.On propose de découvrir les modèles des fonctions cérébrales à l’origine de nos comportements sensori-moteurs et cognitifs vitaux (comportement instinctif et motivé, sélection de l’action incarnée, prise de décision émotionnelle ou non, siège de la conscience de soi, …) à travers :- un parcours de contenus évolutifs donnant à chaque fois des idées clés minimales sur ces sujets, en montrant aussi l’utilisation simple de notions mathématiques, - une Web-application (visualisation 3D du cerveau en synergie avec des contenus multi-médias et des textes explicatifs) avec la possibilité d’interagir avec les contenus, par exemple un quiz.L’implémentation est un code libre et ouvert, facilement réutilisable par toute personne initiée à l’informatique.Cela constitue aussi en soi un outil d’apprentissage du code, en plus de l’acquisition de compétences en neuroscience intégrative, et c’est un levier de co-création

Interactions between hierarchical learning and visual system modeling : image classification on small datasets.

Les réseaux neuronaux convolutifs profonds ("deep convolutional neural networks" ou DCNN) ont récemment révolutionné la reconnaissance d'objets à grande échelle, modifiant les pratiques en vision par ordinateur, consistant à définir des caractéristiques représentatives "à la main", désormais apprises de façon hiérarchique à partir des données, tout en les classifiant. Fort de la progression des performances matérielles, on exploite efficacement des quantités toujours croissantes d'images recueillies en ligne. Mais, dans des domaines spécifiques, comme en santé ou pour certaines applications, les données sont moins abondantes, et les coûts d'étiquetage par des experts sont plus élevés. Cette rareté conduit à la question centrale de cette thèse : Ces domaines à données limitées peuvent-ils bénéficier des avantages des DCNN pour la classification des images ? Ce travail repose sur une étude approfondie de la littérature, divisée en deux parties principales, avant de proposer des modèles et des mécanismes originaux, expérimentés.La première partie couvre la reconnaissance des objets d'un double point de vue. Tout d'abord, la fonction visuelle biologique, est comparée et contrastée avec la structure, la fonction et les capacités des modèles DCNN. Puis, une revue de l'état-de-l'art identifie les principales catégories d'architectures et les innovations dans les DCNN récents. Cette base interdisciplinaire favorise l'identification des mécanismes — biologiquement et artificiellement inspirés — qui améliorent la reconnaissance d'images dans des situations difficiles. Le traitement récurrent en est un exemple clair : peu présent au niveau de la vision profonde, sauf le traitement aux vidéos — en raison du caractère naturellement séquentiel. Mais la biologie montre clairement qu'un tel traitement joue aussi un rôle dans l'affinement de notre perception d'une scène fixe. Ce thème est approfondi à travers une revue de la littérature consacrée aux architectures convolutionnelles récurrentes utilisées en catégorisation d'images.La deuxième partie se concentre sur notre question centrale~: l'apprentissage profond sur de petits corpus de données. Tout d'abord, le travail propose une discussion plus précise et détaillée de ce problème et de sa relation avec l'apprentissage hiérarchique des caractéristiques réalisé par des modèles profonds. Cette discussion est suivie d'une revue structurée du domaine, organisant et discutant les différentes voies possibles vers l'adaptation des modèles profonds à des données limitées. Plus qu'une simple liste, ce travail vise à trouver du sens dans la myriade d'approches du domaine, en regroupant les méthodes ayant un objectif ou un mécanisme d'action similaire, pour guider le développement d'application particulières, à petits corpus. Cette étude est complétée par une analyse expérimentale, explorant l'apprentissage de petits jeux de données avec des modèles et mécanismes originaux (précédemment publié comme papier de journal).En conclusion, l'apprentissage profond sur des petits corpus de données peut donner de bons résultats, si cela se fait de manière réfléchie. Au niveau des données, il faut essayer de recueillir plus d'informations à partir de sources de données supplémentaires connexes. Au niveau de la complexité, l'architecture et les méthodes d'entraînement peuvent être calibrées afin de tirer le meilleur parti de toute connaissance spécifique au domaine. Des propositions sont discutées en détail au fil du document. Il existe de multiples façons de réduire la complexité de l'apprentissage profond avec de petits échantillons de données, mais il n'y a pas de solution universelle. Chaque méthode a ses propres inconvénients et difficultés pratiques, devant toujours être adaptée spécifiquement à l'application, c'est-à-dire à la tâche perceptive à accomplir.Deep convolutional neural networks (DCNN) have recently protagonized a revolution in large-scale object recognition. They have changed the usual computer vision practices of hand-engineered features, with their ability to hierarchically learn representative features from data with a pertinent classifier. Together with hardware advances, they have made it possible to effectively exploit the ever-growing amounts of image data gathered online. However, in specific domains like healthcare and industrial applications, data is much less abundant, and expert labeling costs higher than those of general purpose image datasets. This scarcity scenario leads to this thesis' core question: can these limited-data domains profit from the advantages of DCNNs for image classification? This question has been addressed throughout this work, based on an extensive study of literature, divided in two main parts, followed by proposal of original models and mechanisms.The first part reviews object recognition from an interdisciplinary double-viewpoint. First, it resorts to understanding the function of vision from a biological stance, comparing and contrasting to DCNN models in terms of structure, function and capabilities. Second, a state-of-the-art review is established aiming to identify the main architectural categories and innovations in modern day DCNNs. This interdisciplinary basis fosters the identification of potential mechanisms - inspired both from biological and artificial structures — that could improve image recognition under difficult situations. Recurrent processing is a clear example: while not completely absent from the "deep vision" literature, it has mostly been applied to videos — due to their inherently sequential nature. From biology however it is clear such processing plays a role in refining our perception of a still scene. This theme is further explored through a dedicated literature review focused on recurrent convolutional architectures used in image classification.The second part carries on in the spirit of improving DCNNs, this time focusing more specifically on our central question: deep learning over small datasets. First, the work proposes a more detailed and precise discussion of the small sample problem and its relation to learning hierarchical features with deep models. This discussion is followed up by a structured view of the field, organizing and discussing the different possible paths towards adapting deep models to limited data settings. Rather than a raw listing, this review work aims to make sense out of the myriad of approaches in the field, grouping methods with similar intent or mechanism of action, in order to guide the development of custom solutions for small-data applications. Second, this study is complemented by an experimental analysis, exploring small data learning with the proposition of original models and mechanisms (previously published as a journal paper).In conclusion, it is possible to apply deep learning to small datasets and obtain good results, if done in a thoughtful fashion. On the data path, one shall try gather more information from additional related data sources if available. On the complexity path, architecture and training methods can be calibrated in order to profit the most from any available domain-specific side-information. Proposals concerning both of these paths get discussed in detail throughout this document. Overall, while there are multiple ways of reducing the complexity of deep learning with small data samples, there is no universal solution. Each method has its own drawbacks and practical difficulties and needs to be tailored specifically to the target perceptual task at hand

Apports croisées de l'apprentissage hiérarchique et la modélisation du système visuel : catégorisation d'images sur des petits corpus de données

Deep convolutional neural networks (DCNN) have recently protagonized a revolution in large-scale object recognition. They have changed the usual computer vision practices of hand-engineered features, with their ability to hierarchically learn representative features from data with a pertinent classifier. Together with hardware advances, they have made it possible to effectively exploit the ever-growing amounts of image data gathered online. However, in specific domains like healthcare and industrial applications, data is much less abundant, and expert labeling costs higher than those of general purpose image datasets. This scarcity scenario leads to this thesis' core question: can these limited-data domains profit from the advantages of DCNNs for image classification? This question has been addressed throughout this work, based on an extensive study of literature, divided in two main parts, followed by proposal of original models and mechanisms.The first part reviews object recognition from an interdisciplinary double-viewpoint. First, it resorts to understanding the function of vision from a biological stance, comparing and contrasting to DCNN models in terms of structure, function and capabilities. Second, a state-of-the-art review is established aiming to identify the main architectural categories and innovations in modern day DCNNs. This interdisciplinary basis fosters the identification of potential mechanisms - inspired both from biological and artificial structures — that could improve image recognition under difficult situations. Recurrent processing is a clear example: while not completely absent from the "deep vision" literature, it has mostly been applied to videos — due to their inherently sequential nature. From biology however it is clear such processing plays a role in refining our perception of a still scene. This theme is further explored through a dedicated literature review focused on recurrent convolutional architectures used in image classification.The second part carries on in the spirit of improving DCNNs, this time focusing more specifically on our central question: deep learning over small datasets. First, the work proposes a more detailed and precise discussion of the small sample problem and its relation to learning hierarchical features with deep models. This discussion is followed up by a structured view of the field, organizing and discussing the different possible paths towards adapting deep models to limited data settings. Rather than a raw listing, this review work aims to make sense out of the myriad of approaches in the field, grouping methods with similar intent or mechanism of action, in order to guide the development of custom solutions for small-data applications. Second, this study is complemented by an experimental analysis, exploring small data learning with the proposition of original models and mechanisms (previously published as a journal paper).In conclusion, it is possible to apply deep learning to small datasets and obtain good results, if done in a thoughtful fashion. On the data path, one shall try gather more information from additional related data sources if available. On the complexity path, architecture and training methods can be calibrated in order to profit the most from any available domain-specific side-information. Proposals concerning both of these paths get discussed in detail throughout this document. Overall, while there are multiple ways of reducing the complexity of deep learning with small data samples, there is no universal solution. Each method has its own drawbacks and practical difficulties and needs to be tailored specifically to the target perceptual task at hand.Les réseaux neuronaux convolutifs profonds ("deep convolutional neural networks" ou DCNN) ont récemment révolutionné la reconnaissance d'objets à grande échelle, modifiant les pratiques en vision par ordinateur, consistant à définir des caractéristiques représentatives "à la main", désormais apprises de façon hiérarchique à partir des données, tout en les classifiant. Fort de la progression des performances matérielles, on exploite efficacement des quantités toujours croissantes d'images recueillies en ligne. Mais, dans des domaines spécifiques, comme en santé ou pour certaines applications, les données sont moins abondantes, et les coûts d'étiquetage par des experts sont plus élevés. Cette rareté conduit à la question centrale de cette thèse : Ces domaines à données limitées peuvent-ils bénéficier des avantages des DCNN pour la classification des images ? Ce travail repose sur une étude approfondie de la littérature, divisée en deux parties principales, avant de proposer des modèles et des mécanismes originaux, expérimentés.La première partie couvre la reconnaissance des objets d'un double point de vue. Tout d'abord, la fonction visuelle biologique, est comparée et contrastée avec la structure, la fonction et les capacités des modèles DCNN. Puis, une revue de l'état-de-l'art identifie les principales catégories d'architectures et les innovations dans les DCNN récents. Cette base interdisciplinaire favorise l'identification des mécanismes — biologiquement et artificiellement inspirés — qui améliorent la reconnaissance d'images dans des situations difficiles. Le traitement récurrent en est un exemple clair : peu présent au niveau de la vision profonde, sauf le traitement aux vidéos — en raison du caractère naturellement séquentiel. Mais la biologie montre clairement qu'un tel traitement joue aussi un rôle dans l'affinement de notre perception d'une scène fixe. Ce thème est approfondi à travers une revue de la littérature consacrée aux architectures convolutionnelles récurrentes utilisées en catégorisation d'images.La deuxième partie se concentre sur notre question centrale~: l'apprentissage profond sur de petits corpus de données. Tout d'abord, le travail propose une discussion plus précise et détaillée de ce problème et de sa relation avec l'apprentissage hiérarchique des caractéristiques réalisé par des modèles profonds. Cette discussion est suivie d'une revue structurée du domaine, organisant et discutant les différentes voies possibles vers l'adaptation des modèles profonds à des données limitées. Plus qu'une simple liste, ce travail vise à trouver du sens dans la myriade d'approches du domaine, en regroupant les méthodes ayant un objectif ou un mécanisme d'action similaire, pour guider le développement d'application particulières, à petits corpus. Cette étude est complétée par une analyse expérimentale, explorant l'apprentissage de petits jeux de données avec des modèles et mécanismes originaux (précédemment publié comme papier de journal).En conclusion, l'apprentissage profond sur des petits corpus de données peut donner de bons résultats, si cela se fait de manière réfléchie. Au niveau des données, il faut essayer de recueillir plus d'informations à partir de sources de données supplémentaires connexes. Au niveau de la complexité, l'architecture et les méthodes d'entraînement peuvent être calibrées afin de tirer le meilleur parti de toute connaissance spécifique au domaine. Des propositions sont discutées en détail au fil du document. Il existe de multiples façons de réduire la complexité de l'apprentissage profond avec de petits échantillons de données, mais il n'y a pas de solution universelle. Chaque méthode a ses propres inconvénients et difficultés pratiques, devant toujours être adaptée spécifiquement à l'application, c'est-à-dire à la tâche perceptive à accomplir

Co-clustering in collaborative filtering committees and in brain activity analysis

Orientador: Fernando José Von ZubenDissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de ComputaçãoResumo: Os avanços em tecnologia de informação têm promovido um crescimento acentuado em geração e armazenamento de dados, produzidos praticamente em todos os campos de atividade humana. Com isso têm surgido demandas específicas de análise e extração de conhecimento dessa massa de dados, buscando um melhor entendimento dos processos envolvidos, a detecção de tendências e o suporte a decisões nas mais variadas áreas. Nesse contexto, buscam-se o estudo e o desenvolvimento de técnicas de aprendizado de máquina e ferramentas de mineração de dados eficientes e escaláveis. Uma dessas ferramentas é a coclusterização, uma técnica que visa agrupar simultaneamente objetos e seus atributos, encontrando grupos que apresentem algum padrão de coerência interna. Essa família de algoritmos tem sido aplicada em dados de expressão gênica, a fim de identificar grupos de genes com padrões de expressão coerentes sob um conjunto de condições. Existem também vários trabalhos usando a coclusterização para filtragem colaborativa, uma abordagem comumente usada para sistemas de recomendação, visando sugerir conteúdos, como livros e filmes, que possam ser de interesse para um usuário. Neste trabalho, diferentes técnicas de coclusterização foram exploradas em dois domínios de aplicação. Primeiramente, um framework de filtragem colaborativa, que utiliza uma fatoração booleana de matrizes baseada em coclusterização, foi estendido através de uma abordagem de ensemble robusta e escalável, utilizando projeções aleatórias para a redução de dimensão e um método de vizinhança aproximada. A agregação de cada uma das técnicas foi estudada separadamente, com experimentos em bases de dados reais usualmente adotadas na literatura. O ensemble proposto também foi comparado com técnicas tradicionais e com o estado-da-arte, apresentando resultados competitivos. Em uma segunda linha de trabalho, uma técnica de coclusterização contígua foi aplicada em séries temporais de atividade cerebral, buscando encontrar padrões de atividade temporal coerente entre regiões do cérebro. Os padrões encontrados foram utilizados para construir um mapa cerebral funcional dinâmico, expresso por padrões de conectividade que evoluem com o tempo. Os mapas funcionais obtidos são relevantes para a visualização dos numerosos padrões encontrados pelo algoritmo de coclusterização, permitindo a discriminação entre pacientes e controlesAbstract: The advances in information technology are promoting the generation and storage of an ever-increasing amount of data, produced by virtually all fields of human activity. So, there are distinguished demands for the analysis and knowledge extraction of these data, aiming at better understanding the involved processes, detecting trends and supporting decisions in the most varied fields. In this context, the study and development of scalable and efficient data mining tools and machine learning frameworks are highly desirable. One of such techniques is co-clustering, which aims to cluster simultaneously objects and their attributes, locating groups presenting some internal coherence pattern. This family of algorithms has been commonly applied to gene expression data, in order to identify groups of genes with coherent expression patterns under a group of conditions. There are also several works using co-clustering for collaborative filtering, an approach commonly used for recommender systems, which aims to suggest objects or contents, such as movies or books, that might interest a user. In this work, different co-clustering techniques were explored in two different application domains. First, a collaborative filtering framework, using a co-clustering-based matrix factorization technique, was extended through a robust and scalable ensemble approach using random projections for dimensionality reduction and approximate nearest neighbors. The agregation of each technique was studied individually, with experiments on real-world datasets commonly used in the litterature. The proposed ensemble was also compared to traditional and state-of-the-art techniques, exhibiting competitive results. Secondly, a contiguous co-clustering technique was applied to different neuronal brain activity time-series, looking for coherent temporal activity patterns between brain regions. Patterns found were used to construct a dynamic brain mapping, expressed by connectivity patterns that evolve with time. Those obtained functional maps are relevant for visualization of the numerous patterns found by the co-clustering algorithm, allowing the discrimination between patients and controlsMestradoEngenharia de ComputaçãoMestra em Engenharia Elétrica2014/11125-1FAPES

Neurosmart, une histoire de cerveau et de passionné·e·s de science

We propose a participatory science outreach approach allowing us to co-construct with our audiences resources aimed at understanding and demystifying the most disruptive results obtained regarding human brain by the conjunction of computer science, applied mathematics and neuroscience (computational neuroscience). The context is that of science and technology with a heavy societal impact, for which there is a strong need to allow everyone to build models of representation of these results and to forge an enlightened citizen's vision on these subjects.We rely here on our experience in sharing scientific culture on these subjects and our ability to create large diffusion content and resources, easy to appropriate and to operate.We propose to discover the models of the cerebral functions at the origin of our sensorimotor and vital cognitive behaviors (instinctive and motivated behavior, selection of embodied action, emotional decision-making or not, sites of self-awareness, etc. ) through :- a course of evolving content each time giving minimal key ideas on these subjects, also showing the simple use of mathematical concepts,- a Web-application (3D visualization of the brain in synergy with multi-media content and explanatory texts) with the possibility of interacting with the content. e.g., quizzes.The implementation is a free and open code, easily reusable by anyone with basic computing skills.This is also in itself a tool for learning the code, in addition to the acquisition of skills in integrative neuroscience, and it is a lever for co-creation.On propose la mise en place d’une démarche de médiation scientifique participative pour permettre de co-construire avec nos publics des ressources visant à comprendre et démystifier les résultats les plus disruptifs concernant le cerveau humain obtenus par la conjonction de l’informatique, mathématiques appliquées et des neurosciences (neurosciences computationnelles).Le contexte est celui de sciences et technologies à lourd impact sociétal avec un besoin fort de permettre à chacune et chacun de se construire des modèles de représentation de ces résultats et de se forger une vision citoyenne éclairée sur ces sujets. On s’appuie ici sur notre expérience en matière de partage de culture scientifique sur ces sujets et notre capacité à créer des contenus et des ressources, à forte diffusion, faciles à s’approprier et à faire fonctionner.On propose de découvrir les modèles des fonctions cérébrales à l’origine de nos comportements sensori-moteurs et cognitifs vitaux (comportement instinctif et motivé, sélection de l’action incarnée, prise de décision émotionnelle ou non, siège de la conscience de soi, …) à travers :- un parcours de contenus évolutifs donnant à chaque fois des idées clés minimales sur ces sujets, en montrant aussi l’utilisation simple de notions mathématiques, - une Web-application (visualisation 3D du cerveau en synergie avec des contenus multi-médias et des textes explicatifs) avec la possibilité d’interagir avec les contenus, par exemple un quiz.L’implémentation est un code libre et ouvert, facilement réutilisable par toute personne initiée à l’informatique.Cela constitue aussi en soi un outil d’apprentissage du code, en plus de l’acquisition de compétences en neuroscience intégrative, et c’est un levier de co-création