10.20535/2411-1031.2018.6.2.153486

Создание сетей слов на основе текстов с использованием алгоритмов графов видимости

Abstract

Пропонується метод створення мереж із текстів, так званих мереж слів (Language Network). Із масиву заздалегідь вибраних текстових документів, які описують певну предметну область, виділяються окремі слова та ключові поняття. Використовуючи статистичний показник TF-IDF окремим словам ставляться у відповідність числові вагові значення, і як результат, формується часовий ряд. Використовуючи алгоритми побудови графів видимості як інструмент для аналізу часових рядів, між отриманими ключовими поняттями будується граф предметної області. Для прикладу, в роботі розглядаються актуальні предметні області: “Космічний простір” та “Комп’ютерна графіка”. Для масиву заздалегідь вибраних текстових документів, тематично пов’язаних з поняттям космічного простору та комп’ютерної графіки, застосовуються алгоритми побудови графів видимості та будується мережа слів. В результаті проведення досліджень встановлено, що такі слова, як “uranium”, “nuclear”, “waste”, “Jupiter”, “Mercury”, “Moon”, “Earth”, “comet”, “space” та інші є ключовими для предметної області “Космічний простір”. Також у роботі порівнюються результати застосування алгоритму побудови графів видимості з алгоритмом побудови компактифікованого графу горизонтальної видимості. Досліджуючи предметну область “Комп’ютерна графіка” встановлено, що у випадку застосування алгоритму побудови компактифікованого графу горизонтальної видимості такі ключові слова, як “design”, “graphic”, “graphics”, “display”, “tiff” мають більше зв’язків у мережі, ніж у випадку застосування алгоритму побудови графів видимості. В якості допоміжних інструментів для дослідження використовуються пакет візуалізації та моделювання графів Gephi та власний набір спеціально розроблених модулів на Python. Запропонований метод може бути використаний для візуалізації певної предметної області, а також в системах інформаційної підтримки автоматизації процесів прийняття рішень, даючи змогу виявити найбільш важливі компоненти предметної області. Також результати роботи можуть бути використані під час створення персональних пошукових інтерфейсів користувачів інформаційно-пошукових систем, що, в свою чергу, дозволить спростити процес пошуку необхідної інформації.A method to constructing language networks is proposed. Key words and concepts from the set of documents which describe some subject domain are retrieved. Numeric values are assigned to each word using a TF-IDF metric, that is intended to reflect how important a word is to a document in a collection or corpus. As the result a time series are constructed. A tool in time series analysis – the visibility graph algorithm is used for constructing the graph of subject domain. In this article two actual subject domains (“Space” and “Computer graphic”) are considered for example. The proposed method is used for the set of documents, which are related with “Space” and “Computer graphic”. A network of connections between terms and concepts, which go into textual documents is builded. Building networks of words, the nodes of which are elements of the text, enables to reveal key components of the text. At the same time, the task of determining the important structural elements of the text which are also informationally important, is actual. As a result of the research, it was found that such words as “uranium”, “nuclear”, “waste”, “Jupiter”, “Mercury”, “Moon”, “Earth”, “comet”, “space” and others are key for the subject area “Space”. This article shows that applying only a TF metric is more expedient compared with the TF-IDF metric in case when the set of documents describe one subject domain. Also the results of applying the visibility graphs algorithm and the compactified horizontal visibility graph algorithm are compared. It was found that in some case using the compactified horizontal visibility graph algorithm gives a network of words with more quantity of connections between concepts compared with using the visibility graphs algorithm. An open-source visualization and exploration software for all kinds of graphs and networks Gephi and an original package of specially developed Python modules are used for simulation and visualization as an additional tool. The proposed method can be used for visualization some subject domain, and also for information decision support systems, enabling to reveal key components of a subject domain. Also the results of this article can be used for building UI of information retrieval systems, enabling to make a process of search a relevant information easier.Предлагается метод создания сетей из текстов, так называемых сетей слов (Language Network). Из массива заранее выбранных текстовых документов, описывающих определенную предметную область, выделяются отдельные слова и ключевые понятия. Используя статистический показатель TF-IDF отдельным словам ставятся в соответствие числовые весовые значения, и как результат, формируется временной ряд. Используя алгоритмы построения графов видимости как инструмент для анализа временных рядов, между полученными ключевыми понятиями строится граф предметной области. Например, в работе рассматриваются актуальные предметные области: “Космическое пространство” и “Компьютерная графика”. Для массива заранее выбранных текстовых документов, тематически связанных с понятием космического пространства и компьютерной графики, применяются алгоритмы построения графов видимости та строится сеть слов. В результате проведения исследований установлено, что такие слова, как “uranium”, “nuclear”, “waste”, “Jupiter”, “Mercury”, “Moon”, “Earth”, “comet”, “waste”, “space” и другие являются ключевыми для предметной области "Космическое пространство". Также в работе сравниваются результаты применения алгоритма построения графов видимости с алгоритмом построения компактифицированного графу горизонтальной видимости. Исследуя предметную область “Компьютерная графика” установлено, что в случае применения алгоритма построения компактифицированного графу горизонтальной видимости такие ключевые слова, как “design”, “graphic”, “graphics”, “display”, “tiff” имеют больше связей в сети, чем в случае применения алгоритма построения графов видимости. В качестве вспомогательных инструментов для исследования используются пакет визуализации и моделирования графов Gephi и собственный набор специально разработанных модулей на Python. Предложенный метод может быть использован для визуализации определенной предметной области, а также в системах информационной поддержки автоматизации процессов принятия решений, позволяя выявить наиболее важные компоненты предметной области. Также результаты работы могут быть использованы при построении персональных поисковых интерфейсов информационно-поисковых систем, что

Similar works

Having an issue?

Is data on this page outdated, violates copyrights or anything else? Report the problem now and we will take corresponding actions after reviewing your request.