Козловский, В. Е.

Лунёва, Елена Евгеньевна

Electronic archive of Tomsk Polytechnic University

198  ТЕОРЕТИЧЕСКИЙ ОБЗОР МЕТОДОВ КОДИРОВАНИЯ ГРАФОВ  В.Е. Козловский, Е.Е. Лунева  Научный руководитель: Е.Е. Лунева  Томский политехнический университет v1teka@tpu.ru Введение С помощью теории графов сегодня решаются многие прикладные задачи в различных областях: транспортная логистика; политический анализ, например, анализ настроений граждан относи-тельно политической ситуации для прогнозирова-ния итогов выборов; социологические задачи, в частности, задача выявления возможных друзей в социальных сетях и т.д. Существует ряд проблем, которые теория гра-фов позволяет решить с помощью трудозатратных алгоритмов, требующих больших вычислительных мощностей и времени. Например, задача коммиво-яжера или задача идентификации в социальных се-тях пользователей экспертов в заданной предмет-ной области. Одним из путей решения такого рода задач является использование машинного обуче-ния. При использовании нейронной сети, опериру-ющей графами, возникает вопрос, как наилучшим образом представить входные данные. Цель данной работы – теоретический обзор ме-тодов кодирования и представления графов для ис-пользования их в качестве входных данных в систе-мах с машинным обучением. Постановка задачи Традиционными способами представления гра-фов, являются матрица смежности, список смежно-сти и список ребер. Размер каждой из этих структур напрямую зависит от количества вершин, в то время, как нейронные сети имеют фиксированный размер входного слоя и оперируют нормализован-ными данными. Следовательно, если входными данными проектируемой нейросети является, например, матрица смежности, она должна будет оперировать лишь графами, количество вершин в которых совпадает. Если же речь идет о структурах с миллионами участников, описание графа будет иметь несопо-ставимый размер. Использование нейронных сетей для работы с большими объемами данных подразу-мевает распараллеливание вычислений. В рамках различных задач рассматриваются различные при-знаки вершин графов: принадлежит ли вершина той или иной группе, выполняет ли роль связую-щего звена, и каковы её значения показателей цен-тральности. В силу изоморфизма традиционных структур представления, ни одна из них не позво-лит выявить эти признаки: при рассмотрении по ча-стям (например, построчная передача матрицы), не отражается информация о положении отдельной вершины в контексте всей структуры. В качестве примера для рассмотрения алгорит-мов будем использовать неориентированный граф “Zachery’s Karate Club” и его матрицу смежности [1]. Необходимо на основе этих входных данных получить масштабируемое и наиболее полное представление графа, которое может быть пере-дано на вход нейронной сети. Эмбеддинг вершин графа В основу методов работы с графами в нейрон-ных сетях положен принцип эмбеддинга вершин, который состоит в описании каждой из них с помо-щью набора численных значений определенного размера [3]. То есть, предлагается сопоставить каж-дой вершине вектор некого пространства размер-ностью, намного меньшей, чем их количество в графе. Такое представление не содержит прямого описания ребер в графе – их наличие выражается только близостью расположения вершин.  Для модификации кодирующего алгоритма, также используется функция декодирования – например, функция восстановления списка ребер и вершин по полученному представлению графа. По-следовательно применяя кодирование и декодиро-вание, с помощью минимизации несоответствий между полученными данными и реальной структу-рой графа, можно оптимизировать алгоритм гене-рирования представлений. Чаще всего для этого ис-пользуется метод стохастического градиентного спуска. Для представления графов в приемлемом для нейросетей виде в предшествующих работах пред-лагаются следующие методы: DeepWalk (word2vec [2]), Node2Vec [3], 2D CNN [4], Graph Convolutional Networks [5]. Формально их можно разделить на две группы: основанные на принципе случайных блужданий и использующие для кодирования нейронные сети. Случайные блуждания Выбрав одну из вершин графа в качестве начальной точки, произвольным образом переме-щаемся в одну из ее соседних вершин. Затем повто-ряем случайное перемещение из вновь выбранной вершины и т.д. Получившаяся последовательность вершин называется реализацией случайного блуж-дания по графу [6]. DeepWalk В рамках данного алгоритма для каждой из вер-шин графа генерируется заданное число случайных блужданий заданной длины. Если затем каждую вершину интерпретировать как слово, то сгенери-рованные блуждания можно рассматривать в каче-стве предложений. Таким образом, их можно ис-пользовать для обучения механизма обработки естественного языка “word2vec” [2]. Эта техноло-гия позволяет составить векторное представление на основе контекстной близости: по аналогии со 199  словами в текстах, встречающиеся в блуждании ря-дом вершины будут иметь близкие координаты (рис. 1).  Рис. 1. Представление графа, полученное с по-мощью метода DeepWalk Node2vec Основное отличие данного метода от DeepWalk заключается в том, что на каждой итерации блуж-дания вычисляются вероятности перехода в ту или иную вершину. В зависимости от значений двух параметров p (параметр возврата) и q (параметр углубления), блуждания более склонны к прибли-жению или отдалению относительно начальной вершины [3]. Корректирование этих параметров позволяет сформировать блуждания, наиболее полно отражающие те или иные признаки струк-туры каждого отдельного графа. 2D CNN Метод предлагает преобразование графа в изоб-ражение, которое затем может быть пропущено че-рез свёрточную нейронную сеть [4]. Весь процесс может быть описан тремя шагами:  получение эмбеддинга графа с помощью од-ного из представленных способов;  сжатие векторного пространства;  фрагментирование сжатого пространства и со-здание 2D-гистограммы каждого фрагмента;  решение задачи теории графов путем выявле-ния зависимостей по каждой отдельной гисто-грамме. Graph Convolutional Networks В рамках этого метода производится программ-ное моделирование свёрточной нейронной сети, которая принимает на вход матрицу смежности графа и векторные представления вершин (на начальном этапе подобранные случайно). На каж-дом скрытом слое представления изменяются с ис-пользованием выбранной функции активации и пе-редаются следующему слою [5]. Корректировка ве-сов нейронов позволяет получать более полные векторные представления графа: 1. случайным образом генерируется матрица X векторных представлений для каждой из вершин; 2. для каждой вершины создаются ребра – петли: 𝐴 = 𝐴 + 𝐼  , где I – единичная матрица; 3. матрицы A и X перемножаются, значения нормализуются с помощью степеней вер-шин: 𝐻 = 𝐷−1 ∗ 𝐴 ∗ 𝑋 4. генерируются несколько слоев нейронной сети со случайными весами; 5. на выходе имеем откорректированную мат-рицу векторных представлений вершин. Алгоритм был реализован, представление, по-лученное для исходного графа визуализировано (рис. 2).  Рис. 2. Представление графа, полученное с по-мощью метода свёрточной сети Заключение В рамках данной работы рассмотрены методы кодирования графов, основанные на принципе слу-чайных блужданий и с использованием нейронных сетей. Реализованы алгоритмы обоих типов, ре-зультаты визуализированы. Оптимизация алгоритмов с помощью обучаю-щих данных позволит получить представления гра-фов, отражающие их структуру наиболее полно. Работа выполнена при финансовой поддержке РФФИ (проект №17-07-00034 А). Список используемых источников 1. Zachary's karate club [Электронный ре-сурс]/Wikipedia. – URL: https://en.wikipe-dia.org/wiki/Zachary%27s_karate_club (дата обра-щения 15.11.2018). 2. Word2vec [Электронный ре-сурс]/Wikipedia. – URL: https://ru.wikipedia.org/wiki/Word2vec (дата обра-щения 15.11.2018). 3. Aditya Grover, Jure Leskovec. node2vec, Scalable feature learning for networks. Phoenix, Ari-zona: International Conference on Knowledge Discov-ery and Data Mining, 2016. – 4 p. 4. Tixier, Antoine Jean-Pierre, Giannis Niko-lentzos, Polykarpos Meladianos and Michalis Vazir-giannis. Graph Classification with 2D Convolutional Neural Networks. Melbourne, Australia: ACL, 2017. – 4 p.   5. Thomas N. Kipf, Max Welling. Semi-super-vised classification with graph convolutional networks. Toulon, Palais des Congrès Neptune: International Conference on Learning Representations, 2017. – P. 3-6. 6. А. Б. Теслюк. О случайном блуждании по графу веб-документов. – М.: Московский физико-технический институт, 2004. – С. 4-5.    

Теоретический обзор методов кодирования графов

http://earchive.tpu.ru/bitstream/11683/52709/1/conference_tpu-2018-C04_p198-199.pdf

Теоретический обзор методов кодирования графов

Abstract

Similar works

Full text

Available Versions

Electronic archive of Tomsk Polytechnic University