Mathematical Aspects of Hopfield Models

Diese Dissertation behandelt zwei Modelle aus der statistischen Mechanik ungeordneter Systeme. Beide sind Varianten des Hopfield-Modells und gehören zur Klasse der Molekularfeldmodelle. Im ersten Teil behandeln wir den Fall mit p-Spin-Wechselwirkungen (p größer als 4 und gerade) und superextensiv vielen Mustern (deren Anzahl M wie die p-te Potenz der Systemgröße N wächst), wobei wir zwei verschiedene Energiefunktionen betrachten. Wir beweisen die Existenz einer kritischen Temperatur, bei welcher der sogenannte Replikaüberlapp von Null auf einen strikt positiven Wert springt. Wir geben obere und untere Schranken für ihren Wert an und zeigen, daß für die eine Wahl der Hamiltonfunktion beide gegen die kritische Temperatur (bis auf einen konstanten Faktor) des Random Energy Model konvergieren, falls p gegen Unendlich strebt. Diese kritische Temperatur fällt mit der kleinsten Temperatur zusammen, für welche die ausgeglühte freie Energie und der Erwartungswert der abgeschreckten freien Energie identisch sind. Der Zusammenhang zwischen diesen beiden Resultaten wird durch eine partielle Integrationsformel geliefert, welche mit Hilfe einer Störungsentwicklung der Boltzmannfaktoren bewiesen wird. Außerdem berechnen wir die Fluktuationen der freien Energie und erhalten, daß sie von der Ordnung Quadratwurzel von N sind. Weiterhin beweisen wir die Existenz einer kritischen Proportionalitätskonstanten für die Anzahl Muster, oberhalb welcher das Minimum der Hamiltonfunktion mit großer Wahrscheinlichkeit nicht in der Nähe eines der Muster angenommen wird. Dies bedeutet, daß, obwohl das Gibbsmaß sich bei kleinen Temperaturen auf einer kleinen Teilmenge des Zustandsraumes konzentriert, dies nicht in der Nähe der Muster geschieht. In einem zweiten Teil beweisen wir obere Schranken für die Norm von gewissen zufälligen Matrizen mit abhängigen Einträgen. Diese Abschätzungen werden im ersten Teil zur Berechnung der Fluktuationen der freien Energie benutzt. Sie werden mit der Chebyshev-Markov-Ungleichung, angewandt auf die Spur von hohen Potenzen der Matrizen, bewiesen. Das zentrale Resultat dazu ist eine Darstellung der Spur von diesen hohen Potenzen als Wege auf gewissen bipartiten Graphen. Dies transformiert das Berechnen des Erwartungswertes der Spur auf das kombinatorische Problem, die maximale Anzahl kreisförmiger Teilgraphen eines gegebenen Eulergraphen zu bestimmen. Die Resultate zeigen, dass die Abhängigkeit zwischen den Einträgen eine wichtige Rolle spielt und nicht vernachlässigt werden kann. Im letzten Teil schließlich betrachten wir ein Hopfield-Modell mit zwei Gauß'schen Mustern. Wir zeigen, da$szlig; überabzählbar viele extremale Gibbszustände existieren, welche durch den Einheitskreis indiziert werden. Diese Symmetrie wird zufällig gebrochen im Sinne, daß der Metazustand von einem Kontinuum von Paaren von extremalen Gibbsmaßen getragen wird, welche durch eine globale Spinsymmetrie verknüpft sind. Wir beweisen diese Resultate mit Hilfe der zufälligen Ratenfunktion des induzierten Maßes auf den Überlapparametern. Insbesondere zeigen wir, daß die Symmetriebrechung durch die Fluktuationen der Ratenfunktion auf den (entarteten) Minima ihrer Erwartung erzwungen wird. Diese Fluktuationen werden durch einen zufälligen Prozeß auf dem Einheitskreis beschrieben, dessen globale Minima die Menge (schlussendlich ein Paar) der extremalen Zustände auswählen.This thesis is concerned with two models from equilibrium statistical mechanics of disordered systems. Both of them are variants of the Hopfield model, and belong to the class of mean-field models. In the first part, we treat the case of p-spin interactions (with p larger than 4 and even) and super-extensively many patterns (their number M scaling as the (p-1)th power of the system size N). We consider two choices of the Hamiltonians. We find that there exists a critical temperature, at which the replica overlap changes from 0 to a strictly positive value. We give upper and lower bounds for its value, and show that for one choice of the Hamiltonian, both of them converge as p tends to infinity to the critical temperature (up to a constant factor) of the random energy model. This critical temperature coincides with the minimum temperature for which annealed free energy and mean of the quenched free energy are equal. The relation between the two results is furnished by an integration by parts formula that is proved by perturbative expansion of the Boltzmann factors. We also calculate the fluctuations of the free energy which are shown to be of the order of the square root of the system size N. Furthermore, we find that there exists a critical scaling constant for the number of patterns above which with large probability the minimum of the Hamiltonian is not realized in the vicinity of any of the patterns. This means that while there is a condensation for low temperatures, the Gibbs measure does not concentrate around the patterns. In a second part of the thesis, we prove upper bounds on the norm of certain random matrices with dependent entries. These estimates are used in Part I to prove the fluctuations of the free energy. They are proved by the Chebyshev-Markov inequality, applied to the trace of large powers of the matrices. The key ingredient is a representation of the trace of these large powers in terms of walks on an appropriate bipartite graph. This reduces the calculation of the expectation of the trace to the combinatorial problem of counting the maximum number of sub-circuits of a given circuit. The results show that the dependence between the entries cannot be neglected. Finally, in the last part, we consider a two pattern Hopfield model with Gaussian patterns. We show that there are uncountably many pure states indexed by the circle. This symmetry is randomly broken in the sense that the metastate is supported on a continuum of pairs of pure states that are related by a global (spin-flip) symmetry. We prove these results by studying the random rate function of the induced measure on the overlap parameters. In particular, the breaking of the symmetry is shown to be due to the fluctuations of this rate function at the (degenerate) minima of its expectation. These fluctuations are described by a random process on the circle whose global minima determine the chosen set (eventually a pair) of states

Limiting behaviour of random spatial graphs and asymptotically homogeneous RWRE

We consider several random spatial graphs of the nearest-neighbour type, including the k- nearest neighbours graph, the on-line nearest-neighbour graph, and the minimal directed spanning tree. We study the large sample asymptotic behaviour of the total length of these graphs, with power-weighted edges. We give laws of large numbers and weak convergence results. We evaluate limiting constants explicitly. In Bhatt and Roy's minimal directed spanning tree (MDST) construction on random points in (0,1)(^2)， each point is joined to its nearest neighbour in the south-westerly direction. We show that the limiting total length (with power-weighted egdes) of the edges joined to the origin converges in distribution to a Dickman-type random variable. We also study the length of the longest edge in the MDST. For the total weight of the MDST, we give a weak convergence result. The limiting distribution is given a normal component plus a contribution due to boundary effects, which can be characterized by a fixed point equation. There is a phase transition in the limit law as the weight exponent increases. In the second part of this thesis, we give criteria for ergodicity, transience and null recurrence for the random walk in random environment (RWRE) on z+ = {0,1,2,...}, with reflection at the origin, where the random environment is subject to a vanishing perturbation from the so-called Sinai's regime. Our results complement existing criteria for random walks in random environments and for Markov chains with asymptotically zero drift, and are significantly different to these previously studied cases. Our method is based on a martingale technique 一 the method of Lyapunov functions

La Salle College Bulletin: Evening Division Announcement 1973-1974

Issued for La Salle College Evening Division 1973-1974https://digitalcommons.lasalle.edu/course_catalogs/1099/thumbnail.jp

La Salle College Bulletin: Evening Division Announcement 1976-1977

Issued for La Salle College Evening Division 1976-1977https://digitalcommons.lasalle.edu/course_catalogs/1109/thumbnail.jp

La Salle College Bulletin: Evening Division Announcement 1974-1976

Issued for La Salle College Evening Division 1974-1976https://digitalcommons.lasalle.edu/course_catalogs/1102/thumbnail.jp

Towards an integrated understanding of neural networks

Thesis: Ph. D., Massachusetts Institute of Technology, Department of Mathematics, 2018.Cataloged from PDF version of thesis.Includes bibliographical references (pages 123-136).Neural networks underpin both biological intelligence and modern Al systems, yet there is relatively little theory for how the observed behavior of these networks arises. Even the connectivity of neurons within the brain remains largely unknown, and popular deep learning algorithms lack theoretical justification or reliability guarantees. This thesis aims towards a more rigorous understanding of neural networks. We characterize and, where possible, prove essential properties of neural algorithms: expressivity, learning, and robustness. We show how observed emergent behavior can arise from network dynamics, and we develop algorithms for learning more about the network structure of the brain.by David Rolnick.Ph. D