IGNNITION: A framework for fast prototyping of Graph Neural Networks

Recent years have seen the vast potential of Graph Neural Networks (GNN) in many fields where data is structured as graphs (e.g., chemistry, logistics). However, implementing a GNN prototype is still a cumbersome task that requires strong skills in neural network programming. This poses an important barrier to researchers and practitioners that want to apply GNN to their specific problems but do not have the needed Machine Learning expertise. In this paper, we present IGNNITION, a novel open-source framework for fast prototyping of GNNs. This framework is built on top of TensorFlow, and offers an intuitive high-level abstraction that allows the user to define its GNN model via a YAML file, being completely oblivious to the tensor-wise operations made internally by the model. At the same time, IGNNITION offers great flexibility to build any GNN-based architecture. To showcase its versatility, we implement two state-of-the-art GNN models applied to the field of computer networks, which differ considerably from well-known standard GNN architectures. Our evaluation results show that the GNNs produced by IGNNITION are equivalent in performance to implementations directly coded in TensorFlow.This work has received funding from the European Union’s Horizon 2020 research and innovation programme within the framework of the NGI-POINTER Project funded under grant agreement No. 871528. This paper reflects only the authors’ view; the European Commission is not responsible for any use that may be made of the information it contains. This work was also supported by the Spanish MINECO under contract TEC2017-90034-C2-1-R (ALLIANCE) and the Catalan Institution for Research and Advanced Studies (ICREA).Peer ReviewedPostprint (published version

Power Flow and Optimal Power Flow via Physics-Informed Typed Graph Neural Networks

Esta tesis explora las redes neuronales de grafos tipados informadas por la física aplicadas al modelado de redes de transporte de energía eléctrica, concretamente a los problemas de flujo de potencia y flujo de potencia óptimo. Las redes de transporte de energía eléctrica son complejos sistemas interconectados, cruciales para garantizar un suministro estable de electricidad. Para lograr la transición hacia sistemas energéticos asequibles, fiables y sostenibles, la electrificación de diversos sectores económicos y la integración de fuentes de energía renovable en la red de transmisión han aumentado significativamente. La mayoría de las tecnologías para la generación de energía renovable añaden fluctuación e incertidumbre a la generación de electricidad, por lo que, para garantizar un suministro eléctrico eficiente y estable en todo momento, los operadores de la red de transporte deben realizar frecuentes simulaciones de flujo de potencia y de flujo de potencia óptimo para evaluar el estado de la red. Por estas razones es necesario investigar técnicas nuevas, flexibles y más eficientes para resolver estos análisis. Los recientes avances en el aprendizaje automático, y en particular en las redes neuronales artificiales, indican que estos métodos tienen potencial para resolver problemas de análisis de redes eléctricas de forma rápida y fiable. Hasta la fecha, pocos trabajos han intentado aprovechar las capacidades de aprendizaje de las redes neuronales artificiales para abordar estos temas. Sin embargo, la mayoría de los trabajos publicados no resuelven dos grandes retos: en primer lugar, la necesidad de grandes cantidades de datos de entrenamiento y, en segundo lugar, la falta de capacidad de generalización para analizar redes de transporte realistas con topología variable. En esta tesis, se superan estos inconvenientes introduciendo redes neuronales de grafos tipados, que están especializados para procesar datos estructurados en forma de grafos con distintos tipos de elementos. La red de transmisión puede representarse directamente como un grafo, y al asignar distintos tipos de nodos para representar los diferentes elementos de la red de transmisión, se incrementa la precisión y la interpretabilidad del modelo propuesto. El modelo resultante es un modelo de red de transporte adaptable que puede aplicarse a diversos problemas, como las aplicaciones de flujo de potencia y flujo de potencia óptimo que se presentan en esta tesis. El esquema de aprendizaje presentado está informado por la física, de forma que el entrenamiento no está supervisado, sino que incorpora información de las leyes físicas del sistema subyacente en la función de costo. Además, el modelo resultante puede probarse en redes eléctricas con diferentes configuraciones y, en el caso del flujo de potencia, con redes de diferentes tamaños. Se demuestra que el método propuesto, con las aplicaciones consideradas, consigue resultados similares a los obtenidos con un método convencional pero hasta cuatro órdenes de magnitud más rápido, sin necesidad de datos de entrenamiento y con capacidad de generalización a diferentes redes de transporte. Se puede concluir, por tanto, que el trabajo presentado en esta tesis ofrece un método basado en redes neuronales para agilizar la resolución del complejo sistema de ecuaciones no lineales presente en el problema de flujo de potencia, así como el problema de optimización con restricciones presente en el problema de flujo de potencia óptimo. Estos resultados proporcionan un valioso paso hacia el desarrollo de un sistema general para ayudar a los operadores de sistemas de transmisión a optimizar la integración de nuevas tecnologías en la red convencional, y mejorar la fiabilidad y sostenibilidad de los sistemas eléctricos.<br /

Aprendendo a resolver problemas NP-completos

Graph Neural Networks (GNN) are a promising technique for bridging differential programming and combinatorial domains. GNNs employ trainable modules which can be assembled in different configurations that reflect the relational structure of each problem instance. In this thesis, we propose a new formulation for GNNs, which employs the concept of “types” to partition the objects in the problem domain into many distinct classes, yielding the Typed Graph Networks (TGN) model and a Python / Tensorflow library for prototyping TGNs. This thesis is also concerned with the application of GNNs to the Traveling Salesperson Problem (TSP). We show that GNNs can learn to solve, with very little supervision, the decision variant of the TSP, a highly relevant NP-Complete problem. Our model is trained to function as an effective message-passing algorithm in graph in which edges from the input graph communicate with vertices from the input graph for a number of iterations after which the model is asked to decide whether a route with cost < C 2 R+ 0 exists. We show that such a network can be trained with sets of dual examples: given the optimal tour cost C , we produce one decision instance with target cost (C) x% smaller and one with target cost x% larger than C . We were able to obtain 80% accuracy training with −2%,+2% deviations, and the same trained model can generalize for more relaxed deviations with increasing performance. We also show that the model is capable of generalizing for larger problem sizes. Finally, we provide a method for predicting the optimal route cost within 1.5% relative deviation from the ground truth. In summary, our work shows that Graph Neural Networks are powerful enough to solve NP-Complete problems which combine symbolic and numeric data, in addition to proposing a modern reformulation of the meta-model.Graph Neural Networks (GNN) constituem uma técnica promisora para conectar programação diferencial e domínios combinatoriais. GNNs lançam mão de módulos treináveis os quais podem ser montados em diferentes configurações, cada uma refletindo a estrutura relacional de uma instância específica. Nessa tese, nós propomos uma nova formulação para GNNs, a qual faz uso do conceito de “tipos” para particionar os objetos no domínio do problema em múltiplas classes distintas, resultando no modelo das Typed Graph Networks (TGN) e numa biblioteca Python / Tensorflow para prototipar TGNs. Esta tese também se preocupa com a aplicação de GNNs no Problema do Caixeiro(a) Viajante (PCV). Nós mostramos que GNNs são capazes de aprender a resolver, com pouquíssima supervisão, a variante de decisão do PCV, um problema NP-Completo altamente relevante. Nosso modelo é treinado para funcionar, efetivamente, como um algoritmo de troca de mensagens em grafos no qual as arestas do grafo de entrada comunicam-se com os vértices do grafo de entrada por um determinado número de iterações, depois do qual o modelo é forçado a responder se o grafo de entrada admite ou não uma rota Hamiltoniana de custo < C 2 R+ 0 . Nós mostramos que esta rede pode ser treinada com conjuntos de exemplos duais: dado o custo ótimo C , produzimos uma instância de decisão com custo alvo (C) x% menor e uma com custo alvo x% maior do que C . Nós fomos capazes de obter 80% de acurácia treinando o modelo com desvios de −2%,+2%, e o mesmo modelo treinado foi capaz de generalizar para desvios mais relaxados com melhor performance. Também mostramos que o modelo é capaz de generalizar para problemas maiores. Finalmente, nós oferecemos um método para predizer o custo de rota ótimo dentro de 1.5% de desvio relativo para o valor real. Em resumo, nosso trabalho demonstra que GNNs são suficientemente poderosas para resolver problems NP-Completos que combinam dados simbólicos e numéricos, além de propor uma reformulação moderna do meta-modelo