4,090 research outputs found

    Exact sampling with Markov chains

    Get PDF
    Thesis (Ph. D.)--Massachusetts Institute of Technology, Dept. of Mathematics, 1996.Includes bibliographical references (p. 79-83).by David Bruce Wilson.Ph.D

    Sample Path Analysis of Integrate-and-Fire Neurons

    Get PDF
    Computational neuroscience is concerned with answering two intertwined questions that are based on the assumption that spatio-temporal patterns of spikes form the universal language of the nervous system. First, what function does a specific neural circuitry perform in the elaboration of a behavior? Second, how do neural circuits process behaviorally-relevant information? Non-linear system analysis has proven instrumental in understanding the coding strategies of early neural processing in various sensory modalities. Yet, at higher levels of integration, it fails to help in deciphering the response of assemblies of neurons to complex naturalistic stimuli. If neural activity can be assumed to be primarily driven by the stimulus at early stages of processing, the intrinsic activity of neural circuits interacts with their high-dimensional input to transform it in a stochastic non-linear fashion at the cortical level. As a consequence, any attempt to fully understand the brain through a system analysis approach becomes illusory. However, it is increasingly advocated that neural noise plays a constructive role in neural processing, facilitating information transmission. This prompts to gain insight into the neural code by studying the stochasticity of neuronal activity, which is viewed as biologically relevant. Such an endeavor requires the design of guiding theoretical principles to assess the potential benefits of neural noise. In this context, meeting the requirements of biological relevance and computational tractability, while providing a stochastic description of neural activity, prescribes the adoption of the integrate-and-fire model. In this thesis, founding ourselves on the path-wise description of neuronal activity, we propose to further the stochastic analysis of the integrate-and fire model through a combination of numerical and theoretical techniques. To begin, we expand upon the path-wise construction of linear diffusions, which offers a natural setting to describe leaky integrate-and-fire neurons, as inhomogeneous Markov chains. Based on the theoretical analysis of the first-passage problem, we then explore the interplay between the internal neuronal noise and the statistics of injected perturbations at the single unit level, and examine its implications on the neural coding. At the population level, we also develop an exact event-driven implementation of a Markov network of perfect integrate-and-fire neurons with both time delayed instantaneous interactions and arbitrary topology. We hope our approach will provide new paradigms to understand how sensory inputs perturb neural intrinsic activity and accomplish the goal of developing a new technique for identifying relevant patterns of population activity. From a perturbative perspective, our study shows how injecting frozen noise in different flavors can help characterize internal neuronal noise, which is presumably functionally relevant to information processing. From a simulation perspective, our event-driven framework is amenable to scrutinize the stochastic behavior of simple recurrent motifs as well as temporal dynamics of large scale networks under spike-timing-dependent plasticity

    EUROPEAN CONFERENCE ON QUEUEING THEORY 2016

    Get PDF
    International audienceThis booklet contains the proceedings of the second European Conference in Queueing Theory (ECQT) that was held from the 18th to the 20th of July 2016 at the engineering school ENSEEIHT, Toulouse, France. ECQT is a biannual event where scientists and technicians in queueing theory and related areas get together to promote research, encourage interaction and exchange ideas. The spirit of the conference is to be a queueing event organized from within Europe, but open to participants from all over the world. The technical program of the 2016 edition consisted of 112 presentations organized in 29 sessions covering all trends in queueing theory, including the development of the theory, methodology advances, computational aspects and applications. Another exciting feature of ECQT2016 was the institution of the Takács Award for outstanding PhD thesis on "Queueing Theory and its Applications"

    Stochastic Control for Cooperative Cyber-Physical Networking

    Get PDF
    Die stetig fortschreitende Digitalisierung erlaubt einen immer autonomeren und intelligenteren Betrieb von Produktions- und Fertigungslinien, was zu einer stärker werdenden Verzahnung der physikalischen Prozesse und der Software-Komponenten zum Überwachen, Steuern und Messen führt. Cyber-physische Systeme (CPS) spielen hierbei eine Schlüsselrolle, indem sie sowohl die physikalischen als auch die Software-Komponenten zu einem verteilten System zusammenfassen, innerhalb dessen Umgebungszustände, Messwerte und Steuerbefehle über ein Kommunikationsnetzwerk ausgetauscht werden. Die Verfügbarkeit von kostengünstigen Geräten und die Möglichkeit bereits existierende Infrastruktur zu nutzen sorgen dafür, dass auch innerhalb von CPS zunehmend auf den Einsatz von Standard-Netzen auf Basis von IEEE 802.3 (Ethernet) und IEEE 802.11 (WLAN) gesetzt wird. Nachteilig bei der Nutzung von Standard-Netzen sind jedoch auftretende Dienstgüte-Schwankungen, welche aus der gemeinsamen Nutzung der vorhandenen Infrastruktur resultieren und für die Endsysteme in Form von sich ändernden Latenzen und Daten- und Paketverlustraten sichtbar werden. Regelkreise sind besonders anfällig für Dienstgüte-Schwankungen, da sie typischerweise isochrone Datenübertragungen mit festen Latenzen benötigen, um die gewünschte Regelgüte zu garantieren. Für die Vernetzung der einzelnen Komponenten, das heißt von Sensorik, Aktorik und Regler, setzt man daher klassischerweise auf Lösungen, die diese Anforderungen erfüllen. Diese Lösungen sind jedoch relativ teuer und unflexibel, da sie den Einsatz von spezialisierten Netzwerken wie z.B. Feldbussen benötigen oder über komplexe, speziell entwickelte Kommunikationsprotokolle realisiert werden wie sie beispielsweise die Time-Sensitive Networking (TSN) Standards definieren. Die vorliegende Arbeit präsentiert Ergebnisse des interdisziplinären Forschungsprojekts CoCPN:Cooperative Cyber-Physical Networking, das ein anderes Konzept verfolgt und explizit auf CPS abzielt, die Standard-Netze einsetzen. CoCPN benutzt einen neuartigen, kooperativen Ansatz um i) die Elastizität von Regelkreisen innerhalb solcher CPS zu erhöhen, das heißt sie in die Lage zu versetzen, mit den auftretenden Dienstgüte-Schwankungen umzugehen, und ii) das Netzwerk über die Anforderungen der einzelnen Regler in Kenntnis zu setzen. Kern von CoCPN ist eine verteilte Architektur für CPS, welche es den einzelnen Regelkreisen ermöglicht, die verfügbare Kommunikations-Infrastruktur gemeinsam zu nutzen. Im Gegensatz zu den oben genannten Lösungen benötigt CoCPN dafür keine zentrale Instanz mit globaler Sicht auf das Kommunikationssystem, sodass eine enge Kopplung an die Anwendungen vermieden wird. Stattdessen setzt CoCPN auf eine lose Kopplung zwischen Netzwerk und Regelkreisen, realisiert in Form eines Austauschs von Meta-Daten über den sog. CoCPN-Translator. CoCPN implementiert ein Staukontrollverfahren, welches den typischen Zusammenhang zwischen erreichbarer Regelgüte und Senderate ausnutzt: die erreichbare Regelgüte steigt mit der Senderate und umgekehrt. Durch Variieren der zu erreichenden Regelgüte kann das Sendeverhalten der Regler so eingestellt werden, dass die vorhandenen Kommunikations-Ressourcen optimal ausgenutzt und gleichzeitig Stausituationen vermieden werden. In dieser Arbeit beschäftigen wir uns mit den regelungstechnischen Fragestellungen innerhalb von CoCPN. Der Schwerpunkt liegt hierbei auf dem Entwurf und der Analyse von Algorithmen, die auf Basis der über den CoCPN-Translator ausgetauschten Meta-Daten die notwendige Elastizität liefern und es dadurch den Reglern ermöglichen, schnell auf Änderungen der Netzwerk-Dienstgüte zu reagieren. Dazu ist es notwendig, dass den Reglern ein Modell zur Verfügung gestellt wird, dass die Auswirkungen von Verzögerungen und Paketverlusten auf die Regelgüte erfasst. Im ersten Teil der Arbeit wird eine Erweiterung eines existierenden Modellierungs-Ansatzes vorgestellt, dessen Grundidee es ist, sowohl die Dynamik der Regelstrecke als auch den Einfluss von Verzögerungen und Paketverlusten durch ein hybrides System darzustellen. Hybride Systeme zeichnen sich dadurch aus, dass sie sowohl kontinuierlich- als auch diskretwertige Zustandsvariablen besitzen. Unsere vorgestellte Erweiterung ist in der Lage, Änderungen der Netzwerk-Dienstgüte abzubilden und ist nicht auf eine bestimmte probabilistische Darstellung der auftretenden Verzögerungen und Paketverluste beschränkt. Zusätzlich verzichtet unsere Erweiterung auf die in der Literatur übliche Annahme, dass Quittungen für empfangene Datenpakete stets fehlerfrei und mit vernachlässigbarer Latenz übertragen werden. Verglichen mit einem Großteil der verwandten Arbeiten, ermöglichen uns die genannten Eigenschaften daher eine realistischere Berücksichtigung der Netzwerk-Einflüsse auf die Regelgüte. Mit dem entwickelten Modell kann der Einfluss von Verzögerungen und Paketverlusten auf die Regelgüte prädiziert werden. Auf Basis dieser Prädiktion können Stellgrößen dann mit Methoden der stochastischen modellprädiktiven Regelung (stochastic model predictive control) berechnet werden. Unsere realistischere Betrachtung der Netzwerk-Einflüsse auf die Regelgüte führt hierbei zu einer gegenseitigen Abhängigkeit von Regelung und Schätzung. Zur Berechnung der Stellgrößen muss der Regler den Zustand der Strecke aus den empfangenen Messungen schätzen. Die Qualität dieser Schätzungen hängt von den berechneten Stellgrößen und deren Auswirkung auf die Regelstrecke ab. Umgekehrt beeinflusst die Qualität der Schätzungen aber maßgeblich die Qualität der Stellgrößen: Ist der Schätzfehler gering, kann der Regler bessere Entscheidungen treffen. Diese gegenseitige Abhängigkeit macht die Berechnung von optimalen Stellgrößen unmöglich und bedingt daher die Fokussierung auf das Erforschen von approximativen Ansätzen. Im zweiten Teil dieser Arbeit stellen wir zwei neuartige Verfahren für die stochastische modellprädiktive Regelung über Netzwerke vor. Im ersten Verfahren nutzen wir aus, dass bei hybriden System oft sogenannte multiple model-Algorithmen zur Zustandsschätzung verwendet werden, welche den geschätzten Zustand in Form einer Gaußmischdichte repräsentieren. Auf Basis dieses Zusammenhangs und einer globalen Approximation der Kostenfunktion leiten wir einen Algorithmus mit geringer Komplexität zur Berechnung eines (suboptimalen) Regelgesetzes her. Dieses Regelgesetz ist nichtlinear und ergibt sich aus der gewichteten Kombination mehrerer unterlagerter Regelgesetze. Jedes dieser unterlagerten Regelgesetze lässt sich dabei als lineare Funktion genau einer der Komponenten der Gaußmischdichte darstellen. Unser zweites vorgestelltes Verfahren besitzt gegensätzliche Eigenschaften. Das resultierende Regelgesetz ist linear und basiert auf einer Approximation der Kostenfunktion, welche wir nur lokal, das heißt nur in der Umgebung einer erwarteten Trajektorie des geregelten Systems, berechnen. Diese Trajektorie wird hierbei durch die Prädiktion einer initialen Zustandsschätzung über den Optimierungshorizont gewonnen. Zur Berechnung des Regelgesetzes schlagen wir dann einen iterativen Algorithmus vor, welcher diese Approximation durch wiederholtes Optimieren der System-Trajektorie verbessert. Simulationsergebnisse zeigen, dass unsere neuartigen Verfahren eine signifikant höhere Regelgüte erzielen können als verwandte Ansätze aus der Literatur. Der dritte Teil der vorliegenden Arbeit beschäftigt sich erneut mit dem hybriden System aus dem ersten Teil. Die im Rahmen dieser Arbeit verwendeten Netzwerk-Modelle, das heißt die verwendeten probabilistischen Beschreibungen der Verzögerungen und Paketverluste, werden vom CoCPN-Translator auf Grundlage von im Netzwerk gesammelten Status-Informationen erzeugt. Diese Status-Informationen bilden jedoch stets nur Ausschnitte ab und können nie exakt den "Zustand” des Netzwerks repräsentieren. Dementsprechend können die resultierenden Netzwerk-Modelle nicht als fehlerfrei erachtet werden. In diesem Teil der Arbeit untersuchen wir daher den Einfluss möglicher Fehler in den Netzwerk-Modellen auf die zu erwartende Regelgüte. Weiterhin gehen wir der Frage nach der Existenz von Reglern, die robust gegenüber solchen Fehlern und Unsicherheiten sind, nach. Dazu zeigen wir zunächst, dass sich Fehler in den Netzwerk-Modellen immer als eine polytopische Parameter-Unsicherheit im hybriden System aus dem ersten Teil manifestieren. Für solche polytopischen hybride System leiten wir dann eine sowohl notwendige als auch hinreichende Stabilitätsbedingung her, was einen signifikanten Beitrag zur Theorie der hybriden Systeme darstellt. Die Auswertung dieser Bedingung erfordert es zu bestimmen, ob der gemeinsame Spektralradius (joint spectral radius) einer Menge von Matrizen kleiner als eins ist. Dieses Entscheidungsproblem ist bekanntermaßen NP-schwer, was die Anwendbarkeit der Stabilitätsbedingung stark limitiert. Daher präsentieren wir eine hinreichende Stabilitätsbedingung, die in polynomieller Zeit überprüft werden kann, da sie auf der Erfüllbarkeit von linearen Matrixungleichungen basiert. Schließlich zeigen wir, dass die Existenz eines Reglers, der die Stabilität des betrachteten polytopischen hybriden Systems garantiert, von der Erfüllbarkeit einer ähnlichen Menge von Matrixungleichungen bestimmt wird. Diese Ungleichungen sind weniger restriktiv als die bisher in der Literatur bekannten, was die Synthese von weniger konservativen Reglern erlaubt. Schließlich zeigen wir im letzten Teil dieser Arbeit die Anwendbarkeit des kooperativen Konzepts von CoCPN in Simulations-Szenarien, in denen stark ausgelastete Netzwerk-Ressourcen mit anderen Anwendungen geteilt werden müssen. Wir demonstrieren, dass insbesondere das Zusammenspiel unserer modellprädiktiven Verfahren mit dem Staukontrollverfahren von CoCPN einen zuverlässigen Betrieb der Regelkreise ohne unerwünschte Einbußen der Regelgüte auch dann ermöglicht, wenn sich die Kommunikationsbedingungen plötzlich und unvorhergesehen ändern. Insgesamt stellt unsere Arbeit somit einen wichtigen Baustein auf dem Weg zu einem flächendeckenden Einsatz von Standard-Netzen als flexible und adaptive Basis für industrielle CPS dar

    Multilevel Delayed Acceptance MCMC with Applications to Hydrogeological Inverse Problems

    Get PDF
    Quantifying the uncertainty of model predictions is a critical task for engineering decision support systems. This is a particularly challenging effort in the context of statistical inverse problems, where the model parameters are unknown or poorly constrained, and where the data is often scarce. Many such problems emerge in the fields of hydrology and hydro--environmental engineering in general, and in hydrogeology in particular. While methods for rigorously quantifying the uncertainty of such problems exist, they are often prohibitively computationally expensive, particularly when the forward model is high--dimensional and expensive to evaluate. In this thesis, I present a Metropolis--Hastings algorithm, namely the Multilevel Delayed Acceptance (MLDA) algorithm, which exploits a hierarchy of forward models of increasing computational cost to significantly reduce the total cost of quantifying the uncertainty of high--dimensional, expensive forward models. The algorithm is shown to be in detailed balance with the posterior distribution of parameters, and the computational gains of the algorithm is demonstrated on multiple examples. Additionally, I present an approach for exploiting a deep neural network as an ultra--fast model approximation in an MLDA model hierarchy. This method is demonstrated in the context of both 2D and 3D groundwater flow modelling. Finally, I present a novel approach to adaptive optimal design of groundwater surveying, in which MLDA is employed to construct the posterior Monte Carlo estimates. This method utilises the posterior uncertainty of the primary problem in conjunction with the expected solution to an adjoint problem to sequentially determine the optimal location of the next datapoint.Engineering and Physical Sciences Research Council (EPSRC)Alan Turing InstituteEngineering and Physical Sciences Research Council (EPSRC

    On Monte Carlo time-dependent variational principles

    Get PDF
    [no abstract

    Bayesian inference and prediction in cardiac electrophysiology models with an application to representing variability

    Get PDF
    Many different techniques have been used for parameter estimation in cardiac electrophysiology models, from optimization algorithms to heuristic and frequentist statistical methods. However, the fixed parameter values obtained from such approaches cannot provide a complete description of variability within an individual or across a population. To overcome this shortcoming, in this work we adopt a Bayesian approach by applying the Hamiltonian Monte Carlo (HMC) algorithm to cardiac electrophysiology models and data for the first time through three studies. (i) Using HMC, we fit synthetic and experimental cardiac voltage data from different pacing rates and find the probability distributions of the parameters of two relatively low-dimensional models, the Mitchell-Schaeffer (MS) and Fenton-Karma (FK) models. We successfully fit synthetic and experimental voltage traces and build populations of action potentials with the posterior probability distributions of the parameters. (ii) We compare the performance of HMC with that of the main Bayesian approach used previously for similar applications, the Approximate Bayesian Computation Sequential Monte Carlo (ABC SMC) algorithm. Both techniques are able to describe the dynamics of synthetic and experimental voltage data using the MS and FK models, with HMC more consistent and ABC SMC more versatile and easier to implement. (iii) We study the variability of cardiac action potentials in space within an individual. We use HMC and a novel approach employing a Gaussian process prior for one spatially varying MS model parameter along with a hierarchical model for the remaining parameters, considered spatially invariant. Using this approach, we do inference and prediction on synthetic cardiac voltage data, exploiting the spatial correlations in cardiac tissue that arise from cellular coupling to use voltage information from a small number of sites to predict parameter value distributions and families of voltage data in other locations. Together these three studies show the potential of Bayesian inference and prediction in providing a framework to represent variability within cardiac electrophysiology modeling

    Search, navigation and foraging: an optimal decision-making perspective

    Get PDF
    Behavior in its general form can be defined as a mapping between sensory inputs and a pattern of motor actions that are used to achieve a goal. Reinforcement learning in the last years emerged as a general framework to analyze behavior in its general definition. In this thesis exploiting the techniques of reinforcement learning we study several phenomena that can be classified as search, navigation and foraging behaviors. Regarding the search aspect we analyze random walks forced to reach a target in a confined region of the space. In this case we can solve analytically the problem that allows to find a very efficient way to generate such walks. The navigation problem is inspired by olfactory navigation in homing pigeons. In this case we propose an algorithm to navigate a noisy environment relying only on local signals. The foraging instead is analyzed starting from the observation that fossil traces show the evolution of foraging strategies towards highly compact and self-avoiding trajectories. We show how this optimal behavior can emerge in the reinforcement learning framework

    Exact solutions of master equations for the analysis of gene transcription models

    Get PDF
    This thesis is motivated by two associated obstacles we face for the solution and analysis of master equation models of gene transcription. First, the master equation – a differential-difference equation that describes the time evolution of the probability distribution of a discrete Markov process – is difficult to solve and few approaches for solution are known, particularly for non-stationary systems. Second, we lack a general framework for solving master equations that promotes explicit comprehension of how extrinsic processes and variation affect the system, and physical intuition for the solutions and their properties. We address the second obstacle by deriving the exact solution of the master equation under general time-dependent assumptions for transcription and degradation rates. With this analytical solution we obtain the general properties of a broad class of gene transcription models, within which solutions and properties of specific models may be placed and understood. Furthermore, there naturally emerges a decoupling of the discrete component of the solution, common to all transcription models of this kind, and the continuous, model-specific component that describes uncertainty of the parameters and extrinsic variation. Thus we also address the first obstacle, since to solve a model within this framework one needs only the probability density for the extrinsic component, which may be non-stationary. We detail its physical interpretations, and methods to calculate its probability density. Specific models are then addressed. In particular we solve for classes of multistate models, where the gene cycles stochastically between discrete states. We use the insights gained from these approaches to deduce properties of several other models. Finally, we introduce a quantitative characterisation of timescales for multistate models, to delineate “fast” and “slow” switching regimes. We have thus demonstrated the power of the obtained general solution for analytically predicting gene transcription in non-stationary conditions.Open Acces
    • …
    corecore