Scale-freeness and small-world phenomenon in information-flow graphs of geometrical neural networks

Abstract

In this dissertation we set out to study a simplified model of activation flow in artificial neural networks with geometrical embedding. The model provides a mathematical description of abstract neural activation transfer in terms, which bear resemblances to multi-value Boltzmann-like evolution. The activation-preserving constraint mimics a critical regime of the dynamics and, along with accounting for geometrical location of the neurons, makes the system more feasible for modelling of real-world networks. We focus on scale invariance or scale-freeness and small-world phenomena in the said networks. Our results clearly confirm presence of both features at the functional level of the activity-flow graph. We show that the degree distribution preserves a power-law shape with the exponent value approximately equal to -2. In addition, we present our results concerning characteristic path length in the said graphs, which grows roughly logarithmically with the size of the network, while the clustering coefficient turns out to be relatively high. Taken together, the clustering and path length ratios are surprisingly high, and thus confirm large both local and global efficiency of the network. Finally, we compare the properties of activation-flow model to those reported in neurobiological analyses of brain networks recorded with functional magnetic resonance imagining (fMRI). There is a strong agreement between the shape and exponent value of degree distribution also the clustering and characteristic path lengths are comparable in both the model and medical data.Celem niniejszej rozprawy jest analiza uproszczonego modelu przepływu aktywności w sztucznych sieciach neuronowych zanurzonych w przestrzeni geometrycznej. Przedstawiony model dostarcza matematycznego opisu transferu aktywności w terminach zbliżonych do wielowartościowych maszyn Boltzmanna. Wymóg zachowania stałej sumarycznej aktywności odzwierciedla krytyczność dynamiki i wraz z uwzględnieniem wpływu lokalizacji geometrycznej neuronów sprawia, że system jest bardziej adekwatny do modelowania rzeczywistych sieci. Badania koncentrują się na bezskalowości oraz fenomenie małego świata w wyżej wymienionych sieciach. Uzyskane rezultaty potwierdzają obecność obu własności w omawianych grafach. Pokażemy, że rozkład stopni wejściowych wierzchołków zachowuje się jak funkcja potęgowa z wykładnikiem równym -2. Ponadto prezentujemy wyniki dotyczące charakterystycznej długości ścieżki, który rośnie logarytmicznie wraz z wielkością systemu, podczas gdy współczynnik klasteryzacji okazuje się dość duży. W konsekwencji stosunek klasteryzacji do długości ścieżek jest zaskakująco wysoki, co jest dystynktywną własnością sieci małego świata. Wreszcie, dokonujemy porównania cech omawianego modelu przepływu aktywności z neuro-biologicznymi rezultatami, przedstawionymi w badaniach grafów mózgowych z danych uzyskanych z funkcjonalnego obrazowania z wykorzystaniem rezonansu magnetycznego (fMRI). Wskazujemy silną odpowiedniość pomiędzy kształtem i wartością wykładnika rozkładu stopni, zaś klasteryzacja i charakterystyczna długość ścieżki są porównywalne w modelu i danych medycznych