Multi-almost periodicity and invariant basins of general neural networks under almost periodic stimuli

In this paper, we investigate convergence dynamics of $2^N$ almost periodic encoded patterns of general neural networks (GNNs) subjected to external almost periodic stimuli, including almost periodic delays. Invariant regions are established for the existence of $2^N$ almost periodic encoded patterns under two classes of activation functions. By employing the property of $\mathscr{M}$-cone and inequality technique, attracting basins are estimated and some criteria are derived for the networks to converge exponentially toward $2^N$ almost periodic encoded patterns. The obtained results are new, they extend and generalize the corresponding results existing in previous literature.Comment: 28 pages, 4 figure

Computing Interpretable Representations of Cell Morphodynamics

Shape changes (morphodynamics) are one of the principal ways cells interact with their environments and perform key intrinsic behaviours like division. These dynamics arise from a myriad of complex signalling pathways that often organise with emergent simplicity to carry out critical functions including predation, collaboration and migration. A powerful method for analysis can therefore be to quantify this emergent structure, bypassing the low-level complexity. Enormous image datasets are now available to mine. However, it can be difficult to uncover interpretable representations of the global organisation of these heterogeneous dynamic processes. Here, such representations were developed for interpreting morphodynamics in two key areas: mode of action (MoA) comparison for drug discovery (developed using the economically devastating Asian soybean rust crop pathogen) and 3D migration of immune system T cells through extracellular matrices (ECMs). For MoA comparison, population development over a 2D space of shapes (morphospace) was described using two models with condition-dependent parameters: a top-down model of diffusive development over Waddington-type landscapes, and a bottom-up model of tip growth. A variety of landscapes were discovered, describing phenotype transitions during growth, and possible perturbations in the tip growth machinery that cause this variation were identified. For interpreting T cell migration, a new 3D shape descriptor that incorporates key polarisation information was developed, revealing low-dimensionality of shape, and the distinct morphodynamics of run-and-stop modes that emerge at minute timescales were mapped. Periodically oscillating morphodynamics that include retrograde deformation flows were found to underlie active translocation (run mode). Overall, it was found that highly interpretable representations could be uncovered while still leveraging the enormous discovery power of deep learning algorithms. The results show that whole-cell morphodynamics can be a convenient and powerful place to search for structure, with potentially life-saving applications in medicine and biocide discovery as well as immunotherapeutics.Open Acces

Computational Modeling of Temporal EEG Responses to Cyclic Binary Visual Stimulus Patterns

The human visual system serves as the basis for many modern computer vision and machine learning approaches. While detailed biophysical models of certain aspects of the visual system exist, little work has been done to develop an end-to-end model from the visual stimulus to the signals generated at the visual cortex measured via the scalp electroencephalogram (EEG). The creation of such a model would not only provide a better understanding of the visual processing pathways but would also facilitate the design and evaluation of more robust visual stimuli for brain-computer interfaces (BCIs). A novel experiment was designed and conducted where 15 participants viewed stereotyped visual stimuli while their EEG was recorded simultaneously. The resulting EEG responses were characterized across participants. Furthermore, a Residual Connection Feed Forward system identification Neural Network (ReCon FFNN) was implemented as a preliminary end-to-end model of the visual system that uses the temporal characteristics of the visual stimulus as the model input and the corresponding EEG time series as the model output. This preliminary model was able to reproduce temporal and spectral characteristics of the EEG and serves as a proof of concept for the development of future artificial neural network or biophysical models that incorporate spatio-temporal information

18th IEEE Workshop on Nonlinear Dynamics of Electronic Systems: Proceedings

Proceedings of the 18th IEEE Workshop on Nonlinear Dynamics of Electronic Systems, which took place in Dresden, Germany, 26 – 28 May 2010.:Welcome Address ........................ Page I Table of Contents ........................ Page III Symposium Committees .............. Page IV Special Thanks ............................. Page V Conference program (incl. page numbers of papers) ................... Page VI Conference papers Invited talks ................................ Page 1 Regular Papers ........................... Page 14 Wednesday, May 26th, 2010 ......... Page 15 Thursday, May 27th, 2010 .......... Page 110 Friday, May 28th, 2010 ............... Page 210 Author index ............................... Page XII

29th Annual Computational Neuroscience Meeting: CNS*2020

Meeting abstracts This publication was funded by OCNS. The Supplement Editors declare that they have no competing interests. Virtual | 18-22 July 202

Towards Accurate Forecasting of Epileptic Seizures: Artificial Intelligence and Effective Connectivity Findings

L’épilepsie est une des maladies neurologiques les plus fréquentes, touchant près d’un pourcent de la population mondiale. De nos jours, bien qu’environ deux tiers des patients épileptiques répondent adéquatement aux traitements pharmacologiques, il reste qu’un tiers des patients doivent vivre avec des crises invalidantes et imprévisibles. Quoique la chirurgie d’épilepsie puisse être une autre option thérapeutique envisageable, le recours à la chirurgie de résection demeure très faible en partie pour des raisons diverses (taux de réussite modeste, peur des complications, perceptions négatives). D’autres avenues de traitement sont donc souhaitables. Une piste actuellement explorée par des groupes de chercheurs est de tenter de prédire les crises à partir d’enregistrements de l’activité cérébrale des patients. La capacité de prédire la survenue de crises permettrait notamment aux patients, aidants naturels ou personnels médical de prendre des mesures de précaution pour éviter les désagréments reliés aux crises voire même instaurer un traitement pour les faire avorter. Au cours des dernières années, d’importants efforts ont été déployés pour développer des algorithmes de prédiction de crises et d’en améliorer les performances. Toutefois, le manque d’enregistrements électroencéphalographiques intracrâniens (iEEG) de longue durée de qualité, la quantité limitée de crises, ainsi que la courte durée des périodes interictales constituaient des obstacles majeurs à une évaluation adéquate de la performance des algorithmes de prédiction de crises. Récemment, la disponibilité en ligne d’enregistrements iEEG continus avec échantillonnage bilatéral (des deux hémisphères) acquis chez des chiens atteints d’épilepsie focale à l’aide du dispositif de surveillance ambulatoire implantable NeuroVista a partiellement facilité cette tâche. Cependant, une des limitations associées à l’utilisation de ces données durant la conception d’un algorithme de prédiction de crises était l’absence d’information concernant la zone exacte de début des crises (information non fournie par les gestionnaires de cette base de données en ligne). Le premier objectif de cette thèse était la mise en oeuvre d’un algorithme précis de prédiction de crises basé sur des enregistrements iEEG canins de longue durée. Les principales contributions à cet égard incluent une localisation quantitative de la zone d’apparition des crises (basée sur la fonction de transfert dirigé –DTF), l’utilisation d’une nouvelle fonction de coût via l’algorithme génétique proposé, ainsi qu’une évaluation quasi-prospective des performances de prédiction (données de test d’un total de 893 jours). Les résultats ont montré une amélioration des performances de prédiction par rapport aux études antérieures, atteignant une sensibilité moyenne de 84.82 % et un temps en avertissement de 10 %. La DTF, utilisée précédemment comme mesure de connectivité pour déterminer le réseau épileptique (objectif 1), a été préalablement validée pour quantifier les relations causales entre les canaux lorsque les exigences de quasi-stationnarité sont satisfaites. Ceci est possible dans le cas des enregistrements canins en raison du nombre relativement faible de canaux. Pour faire face aux exigences de non-stationnarité, la fonction de transfert adaptatif pondérée par le spectre (Spectrum weighted adaptive directed transfer function - swADTF) a été introduit en tant qu’une version variant dans le temps de la DTF. Le second objectif de cette thèse était de valider la possibilité d’identifier les endroits émetteurs (ou sources) et récepteurs d’activité épileptiques en appliquant la swADTF sur des enregistrements iEEG de haute densité provenant de patients admis pour évaluation pré-chirurgicale au CHUM. Les générateurs d’activité épileptique étaient dans le volume réséqué pour les patients ayant des bons résultats post-chirurgicaux alors que différents foyers ont été identifiés chez les patients ayant eu de mauvais résultats postchirurgicaux. Ces résultats démontrent la possibilité d’une identification précise des sources et récepteurs d’activités épileptiques au moyen de la swADTF ouvrant la porte à la possibilité d’une meilleure sélection d’électrodes de manière quantitative dans un contexte de développement d’algorithme de prédiction de crises chez l’humain. Dans le but d’explorer de nouvelles avenues pour la prédiction de crises épileptiques, un nouveau précurseur a aussi été étudié combinant l’analyse des spectres d’ordre supérieur et les réseaux de neurones artificiels (objectif 3). Les résultats ont montré des différences statistiquement significatives (p<0.05) entre l’état préictal et l’état interictal en utilisant chacune des caractéristiques extraites du bi-spectre. Utilisées comme entrées à un perceptron multicouche, l’entropie bispectrale normalisée, l’entropie carré normalisée, et la moyenne ont atteint des précisions respectives de 78.11 %, 72.64% et 73.26%. Les résultats de cette thèse confirment la faisabilité de prédiction de crises à partir d’enregistrements d’électroencéphalographie intracrâniens. Cependant, des efforts supplémentaires en termes de sélection d’électrodes, d’extraction de caractéristiques, d’utilisation des techniques d’apprentissage profond et d’implémentation Hardware, sont nécessaires avant l’intégration de ces approches dans les dispositifs implantables commerciaux.----------ABSTRACT Epilepsy is a chronic condition characterized by recurrent “unpredictable” seizures. While the first line of treatment consists of long-term drug therapy about one-third of patients are said to be pharmacoresistant. In addition, recourse to epilepsy surgery remains low in part due to persisting negative attitudes towards resective surgery, fear of complications and only moderate success rates. An important direction of research is to investigate the possibility of predicting seizures which, if achieved, can lead to novel interventional avenues. The paucity of intracranial electroencephalography (iEEG) recordings, the limited number of ictal events, and the short duration of interictal periods have been important obstacles for an adequate assessment of seizure forecasting. More recently, long-term continuous bilateral iEEG recordings acquired from dogs with naturally occurring focal epilepsy, using the implantable NeuroVista ambulatory monitoring device have been made available on line for the benefit of researchers. Still, an important limitation of these recordings for seizure-prediction studies was that the seizure onset zone was not disclosed/available. The first objective of this thesis was to develop an accurate seizure forecasting algorithm based on these canine ambulatory iEEG recordings. Main contributions include a quantitative, directed transfer function (DTF)-based, localization of the seizure onset zone (electrode selection), a new fitness function for the proposed genetic algorithm (feature selection), and a quasi-prospective assessment of seizure forecasting on long-term continuous iEEG recordings (total of 893 testing days). Results showed performance improvement compared to previous studies, achieving an average sensitivity of 84.82% and a time in warning of 10 %. The DTF has been previously validated for quantifying causal relations when quasistationarity requirements are met. Although such requirements can be fulfilled in the case of canine recordings due to the relatively low number of channels (objective 1), the identification of stationary segments would be more challenging in the case of high density iEEG recordings. To cope with non-stationarity issues, the spectrum weighted adaptive directed transfer function (swADTF) was recently introduced as a time-varying version of the DTF. The second objective of this thesis was to validate the feasibility of identifying sources and sinks of seizure activity based on the swADTF using high-density iEEG recordings of patients admitted for pre-surgical monitoring at the CHUM. Generators of seizure activity were within the resected volume for patients with good post-surgical outcomes, whereas different or additional seizure foci were identified in patients with poor post-surgical outcomes. Results confirmed the possibility of accurate identification of seizure origin and propagation by means of swADTF paving the way for its use in seizure prediction algorithms by allowing a more tailored electrode selection. Finally, in an attempt to explore new avenues for seizure forecasting, we proposed a new precursor of seizure activity by combining higher order spectral analysis and artificial neural networks (objective 3). Results showed statistically significant differences (p<0.05) between preictal and interictal states using all the bispectrum-extracted features. Normalized bispectral entropy, normalized squared entropy and mean of magnitude, when employed as inputs to a multi-layer perceptron classifier, achieved held-out test accuracies of 78.11%, 72.64%, and 73.26%, respectively. Results of this thesis confirm the feasibility of seizure forecasting based on iEEG recordings; the transition into the ictal state is not random and consists of a “build-up”, leading to seizures. However, additional efforts in terms of electrode selection, feature extraction, hardware and deep learning implementation, are required before the translation of current approaches into commercial devices

Physics-based Machine Learning Approaches to Complex Systems and Climate Analysis

Komplexe Systeme wie das Klima der Erde bestehen aus vielen Komponenten, die durch eine komplizierte Kopplungsstruktur miteinander verbunden sind. Für die Analyse solcher Systeme erscheint es daher naheliegend, Methoden aus der Netzwerktheorie, der Theorie dynamischer Systeme und dem maschinellen Lernen zusammenzubringen. Durch die Kombination verschiedener Konzepte aus diesen Bereichen werden in dieser Arbeit drei neuartige Ansätze zur Untersuchung komplexer Systeme betrachtet. Im ersten Teil wird eine Methode zur Konstruktion komplexer Netzwerke vorgestellt, die in der Lage ist, Windpfade des südamerikanischen Monsunsystems zu identifizieren. Diese Analyse weist u.a. auf den Einfluss der Rossby-Wellenzüge auf das Monsunsystem hin. Dies wird weiter untersucht, indem gezeigt wird, dass der Niederschlag mit den Rossby-Wellen phasenkohärent ist. So zeigt der erste Teil dieser Arbeit, wie komplexe Netzwerke verwendet werden können, um räumlich-zeitliche Variabilitätsmuster zu identifizieren, die dann mit Methoden der nichtlinearen Dynamik weiter analysiert werden können. Die meisten komplexen Systeme weisen eine große Anzahl von möglichen asymptotischen Zuständen auf. Um solche Zustände zu beschreiben, wird im zweiten Teil die Monte Carlo Basin Bifurcation Analyse (MCBB), eine neuartige numerische Methode, vorgestellt. Angesiedelt zwischen der klassischen Analyse mit Ordnungsparametern und einer gründlicheren, detaillierteren Bifurkationsanalyse, kombiniert MCBB Zufallsstichproben mit Clustering, um die verschiedenen Zustände und ihre Einzugsgebiete zu identifizieren. Bei von Vorhersagen von komplexen Systemen ist es nicht immer einfach, wie Vorwissen in datengetriebenen Methoden integriert werden kann. Eine Möglichkeit hierzu ist die Verwendung von Neuronalen Partiellen Differentialgleichungen. Hier wird im letzten Teil der Arbeit gezeigt, wie hochdimensionale räumlich-zeitlich chaotische Systeme mit einem solchen Ansatz modelliert und vorhergesagt werden können.Complex systems such as the Earth's climate are comprised of many constituents that are interlinked through an intricate coupling structure. For the analysis of such systems it therefore seems natural to bring together methods from network theory, dynamical systems theory and machine learning. By combining different concepts from these fields three novel approaches for the study of complex systems are considered throughout this thesis. In the first part, a novel complex network construction method is introduced that is able to identify the most important wind paths of the South American Monsoon system. Aside from the importance of cross-equatorial flows, this analysis points to the impact Rossby Wave trains have both on the precipitation and low-level circulation. This connection is then further explored by showing that the precipitation is phase coherent to the Rossby Wave. As such, the first part of this thesis demonstrates how complex networks can be used to identify spatiotemporal variability patterns within large amounts of data, that are then further analysed with methods from nonlinear dynamics. Most complex systems exhibit a large number of possible asymptotic states. To investigate and track such states, Monte Carlo Basin Bifurcation analysis (MCBB), a novel numerical method is introduced in the second part. Situated between the classical analysis with macroscopic order parameters and a more thorough, detailed bifurcation analysis, MCBB combines random sampling with clustering methods to identify and characterise the different asymptotic states and their basins of attraction. Forecasts of complex system are the next logical step. When doing so, it is not always straightforward how prior knowledge in data-driven methods. One possibility to do is by using Neural Partial Differential Equations. Here, it is demonstrated how high-dimensional spatiotemporally chaotic systems can be modelled and predicted with such an approach in the last part of the thesis