Laplacian Mixture Modeling for Network Analysis and Unsupervised Learning on Graphs

Laplacian mixture models identify overlapping regions of influence in unlabeled graph and network data in a scalable and computationally efficient way, yielding useful low-dimensional representations. By combining Laplacian eigenspace and finite mixture modeling methods, they provide probabilistic or fuzzy dimensionality reductions or domain decompositions for a variety of input data types, including mixture distributions, feature vectors, and graphs or networks. Provable optimal recovery using the algorithm is analytically shown for a nontrivial class of cluster graphs. Heuristic approximations for scalable high-performance implementations are described and empirically tested. Connections to PageRank and community detection in network analysis demonstrate the wide applicability of this approach. The origins of fuzzy spectral methods, beginning with generalized heat or diffusion equations in physics, are reviewed and summarized. Comparisons to other dimensionality reduction and clustering methods for challenging unsupervised machine learning problems are also discussed.Comment: 13 figures, 35 reference

Enumeration of PLCP-orientations of the 4-cube

The linear complementarity problem (LCP) provides a unified approach to many problems such as linear programs, convex quadratic programs, and bimatrix games. The general LCP is known to be NP-hard, but there are some promising results that suggest the possibility that the LCP with a P-matrix (PLCP) may be polynomial-time solvable. However, no polynomial-time algorithm for the PLCP has been found yet and the computational complexity of the PLCP remains open. Simple principal pivoting (SPP) algorithms, also known as Bard-type algorithms, are candidates for polynomial-time algorithms for the PLCP. In 1978, Stickney and Watson interpreted SPP algorithms as a family of algorithms that seek the sink of unique-sink orientations of $n$-cubes. They performed the enumeration of the arising orientations of the $3$-cube, hereafter called PLCP-orientations. In this paper, we present the enumeration of PLCP-orientations of the $4$-cube.The enumeration is done via construction of oriented matroids generalizing P-matrices and realizability classification of oriented matroids.Some insights obtained in the computational experiments are presented as well

Sensor Networks with Random Links: Topology Design for Distributed Consensus

In a sensor network, in practice, the communication among sensors is subject to:(1) errors or failures at random times; (3) costs; and(2) constraints since sensors and networks operate under scarce resources, such as power, data rate, or communication. The signal-to-noise ratio (SNR) is usually a main factor in determining the probability of error (or of communication failure) in a link. These probabilities are then a proxy for the SNR under which the links operate. The paper studies the problem of designing the topology, i.e., assigning the probabilities of reliable communication among sensors (or of link failures) to maximize the rate of convergence of average consensus, when the link communication costs are taken into account, and there is an overall communication budget constraint. To consider this problem, we address a number of preliminary issues: (1) model the network as a random topology; (2) establish necessary and sufficient conditions for mean square sense (mss) and almost sure (a.s.) convergence of average consensus when network links fail; and, in particular, (3) show that a necessary and sufficient condition for both mss and a.s. convergence is for the algebraic connectivity of the mean graph describing the network topology to be strictly positive. With these results, we formulate topology design, subject to random link failures and to a communication cost constraint, as a constrained convex optimization problem to which we apply semidefinite programming techniques. We show by an extensive numerical study that the optimal design improves significantly the convergence speed of the consensus algorithm and can achieve the asymptotic performance of a non-random network at a fraction of the communication cost.Comment: Submitted to IEEE Transaction

Multilevel spectral coarsening for graph Laplacian problems with application to reservoir simulation

We extend previously developed two-level coarsening procedures for graph Laplacian problems written in a mixed saddle point form to the fully recursive multilevel case. The resulting hierarchy of discretizations gives rise to a hierarchy of upscaled models, in the sense that they provide approximation in the natural norms (in the mixed setting). This property enables us to utilize them in three applications: (i) as an accurate reduced model, (ii) as a tool in multilevel Monte Carlo simulations (in application to finite volume discretizations), and (iii) for providing a sequence of nonlinear operators in FAS (full approximation scheme) for solving nonlinear pressure equations discretized by the conservative two-point flux approximation. We illustrate the potential of the proposed multilevel technique in all three applications on a number of popular benchmark problems used in reservoir simulation

Multiplex Networks Structure and Dynamics

Los estudios tradicionales en teoría de redes complejas, en general, representan la interacción entre dos elementos del sistema a través de un solo enlace. Esta representación resulta ser una simplificación excesiva en la mayoría de los casos de interés práctico y puede llevar a resultados y conclusiones engañosas. Esto se debe a que la mayoría de los sistemas reales poseen una estructura multicapa, ya que en una gran cantidad de casos de estudio reales existen muchos tipos distintos de interacción entre los constituyentes del sistema. Por ejemplo, un sistema de transporte está constituido por múltiples modos de viajes; un sistema biológico incluye múltiples canales de señalización que operan en paralelo; finalmente, una red social está constituida por múltiples tipos de relaciones distintas (de trabajo, de amistad, de parentesco, etc.) que operan vía distintos modos de comunicación en paralelo (en línea, o desconectados). Para representar de manera apropiada estos sistemas, años atrás se introdujo la noción de redes multiplex en campos tan distintos como la ingeniería y la sociología, al mismo tiempo que los instrumentos analíticos desarrollados para describirlas y analizarlas fueron muy escasos. Esta escasez se debía fundamentalmente a un aspecto: aunque muchas características y métricas de las redes tradicionales (de una sola capa) están bien definidas en la teoría tradicional de redes complejas, resulta muy desafiante generalizarlas al caso de redes multicapa, incluso para aquellas que son más simples. El interés por nuevos desarrollos teóricos para es estudio en profundidad de las redes multiplex, por lo tanto, ha ido creciendo sólo en los últimos años, gracias sobre todo a la gran cantidad de datos disponibles sobre sistemas reales que necesitan de una representación multicapa si se quieren describir y entender en profundidad. En esta Tesis desarrollamos un lenguaje matemático formal para representar la redes multiplex en términos de la teoría algébrica de grafos. En particular, introducimos la noción de matriz de supra-adyacencia como generalización de la matriz de adyacencia definida en el caso de una red de una sola capa. Así mismo definimos el supra-Laplaciano de una red multiplex como generalización del Laplaciano. También, se propone una representación agregada de una red multiplex a través de la noción de grafo cociente. Esto permite asociar a la red multiplex original, un grafo de una sola capa en el cual se agregan los distintos tipos de interacciones presentes. Por un lado, a través de este procedimiento se introduce una manera bien definida de agregar capas, y por otro, también permite definir otra red, formada por las capas, que contiene toda la información relativa a la interacción entre las mismas. La importancia de las nuevas definiciones radica en que, gracias a ellas, podemos utilizar algunos teoremas y resultados de teoría espectral de grafos y sus respectivos cocientes para estudiar propiedades espectrales de redes múltiplex y su representación agregada. Finalmente, también introducimos la noción de matriz de caminos asociados a una red multiplex. En una red de una sola capa un camino es una sucesión de nodos adyacentes. En una red multiplex pueden existir distintas nociones de caminos dependiendo de la manera en que se quieran tratar los enlaces entre capas. Dada una noción de camino, a esta resultará asociada una matriz de caminos. Una vez desarrollado el lenguaje formal apto a describir una red multicapa, afrontamos el problema de la generalización de algunas medidas estructurales. En particular tratamos el caso del coeficiente de agrupamiento (tanto local como global) y la centralidad de un subgrafo. Aunque ya existían en la literatura algunas propuestas de generalización del coeficiente de agrupamiento, la mayoría de estas resultaban ser definiciones ad hoc con respecto a casos de estudios particulares, o directamente mal definidas. Las distintas medidas que proponemos en estas tesis son muy generales, bien normalizadas y se reducen a la tradicional medida de coeficiente de agrupamiento para redes de una sola capa cuando el número de capas es uno. En cuanto a la centralidad de subgrafos, utilizamos este caso particular para demonstrar la utilidad de construir sobre nociones básicas (como es la de camino) a la hora de generalizar medidas estructurales.\\ Por otro lado, mucha información respecto a la organización estructural de una red (ya sea multicapa o de una sola capa) está codificada en el espectro de la matriz de adyacencia a ella asociada así como en el del Laplaciano. Por esta razón, estudiamos las propiedades espectrales tanto de la matriz de supra-adyacencia como del supra-Laplaciano. En particular, con respecto a la matriz de supra-adyacencia, estudiamos su autovalor máximo. Éste resulta de interés ya que está en la base de medidas topológicas como la entropía de ensemble de los caminos, así como del estudio de las propiedades críticas de algunos procesos dinámicos. Por ejemplo, el valor crítico del parámetro de difusión en un modelo de propagación epidemias depende del autovalor máximo de la matriz de adyacencia. Para el estudio de este autovalor utilizamos técnicas perturbativas. Podemos definir una capa que llamamos dominante, que será aquella que tenga el mayor autovalor máximo de la matriz de adyacencia asociada a la misma. El autovalor máximo de la matriz de supra-adyacencia resulta ser igual al autovalor máximo de la capa dominante al primer orden perturbativo. Además, la corrección de segundo orden es dependiente de las correlaciones entre nodos que representan el mismo objecto en distintas capas distintas. Adicionalmente, aprovechando los resultados conocidos que relacionan el espectro de un grafo cociente con aquel de su grafo padre, estudiamos el espectro de una red multicapa a partir de su representación agregada. En particular, demostramos que los autovalores del Laplaciano de la red de capas son un subconjunto de los autovalores del supra-Laplaciano de la red multicapa, cuando todos los nodos participan en todos las capas. Este resultado nos permite estudiar la conectividad algébrica de la red multicapa, o sea el primer autovalor no-nulo y obtener algunos resultados tanto exactos como perturbativos sobre este. En concreto, las transiciones estructurales en redes multicapa son de gran interés. En esta tesis presentamos una teoría de estas transiciones que se deriva por completo de la noción de grafo cociente. Finalmente, presentamos un modelo de contagio social y estudiamos la existencia de estados meta-estables macroscópicos en los cuales una fracción finita de nodos resultan contagiados. La existencia de una capa dominante hace que sea esta la que determine el valor crítico del contagio, definido como el valor de este parámetro a partir del cual existe un estado macroscopico de la infección (también para las capas no-dominantes). Este resultado se derivada utilizando el método perturbativo para calcular el autovalor máximo de la matriz de supra-adyacencia. Simulaciones numéricas del modelo confirman los resultados analíticos. Para terminar, en el presente trabajo exponemos nuestras conclusiones a manera de resumen por un lado, y por otra, discutiendo cuáles son los aspectos que a nuestro criterio, podrían ser de interés para futuras investigaciones en este tema

Geometric deep learning: going beyond Euclidean data

Many scientific fields study data with an underlying structure that is a non-Euclidean space. Some examples include social networks in computational social sciences, sensor networks in communications, functional networks in brain imaging, regulatory networks in genetics, and meshed surfaces in computer graphics. In many applications, such geometric data are large and complex (in the case of social networks, on the scale of billions), and are natural targets for machine learning techniques. In particular, we would like to use deep neural networks, which have recently proven to be powerful tools for a broad range of problems from computer vision, natural language processing, and audio analysis. However, these tools have been most successful on data with an underlying Euclidean or grid-like structure, and in cases where the invariances of these structures are built into networks used to model them. Geometric deep learning is an umbrella term for emerging techniques attempting to generalize (structured) deep neural models to non-Euclidean domains such as graphs and manifolds. The purpose of this paper is to overview different examples of geometric deep learning problems and present available solutions, key difficulties, applications, and future research directions in this nascent field