Choice of clustering methods

Выбор алгоритма машинного обучения для решения некоторой задачи является проблемой. В данном докладе рассматриваются алгоритмы кластерного анализа и методика их выбора для эффективного решения прикладных задач. There is an existing problem of choosing a machine learning algorithm as a solution to a task. In this study, a review of numerous clustering algorithms is conducted and a method for choosing a clustering algorithm for efficient solving of practical problems is developed and attempted

Методология построения прототипа системы комплексного анализа данных тематических сайтов

One of the modern directions of obtaining information for making informed decisions is the analysis of data from open Internet sources, the analysis of media containing hundreds of thousands of publications. It is critically important not only to obtain reliable information, but also the time needed to obtain and analyze it. The purpose of the research in this work is the development and testing of a complex methodology for quickly building a prototype of a system for complex analysis of thematic sites. A technology of interconnected methods, methodologies, and tools for building a graph database, a knowledge graph, data analysis using methods and mo dels of machine learning with the provision of analytical results to users has been created. The main task of this work is to use these technologies to analyze data from well-known world sites in order to build a prototype of a systems for complex analysis of data from Internet sources.Одно из современных направлений получения информации для принятия обоснованных решений – анализ данных из открытых интернет-источников и СМИ, содержащих множество публикаций. Критически важно не только получение достоверной информации, но и время для ее анализа. Разработана и апробирована комплексная методология быстрого построения прототипа системы комплексного анализа тематических сайтов. Создана технология взаимосвязанных методов, методологий и инструментов по построению графовой базы данных, графа знаний, анализа данных с использованием методов и моделей машинного обучения с предоставлением аналитических результатов пользователям. Разработанные технологии могут применяться для анализа данных известных мировых сайтов с целью построения прототипа системы комплексного анализа информации интернет-источников

Графовые технологии в интеллектуальной системе комплексного анализа данных интернет-источников

The purpose of the work outlined in the article is to review and demonstrate the use of graph technologies for deep data analysis. The first part of the article discusses the Intelligent System for the Comprehensive Analysis of Internet Sources Data and its possible directions for its further development. This system is a multi-purpose cluster using technologies for constructing a knowledge graph, methods and models of machine learning for in-depth analysis of data from Internet sources (for example, scientific publications, social networks, media). The purpose of the analysis is to identify the most important publications in a certain area (for example, in robotics, space research, healthcare, in the social sphere), thematic analysis of these publications, to identify the leader of a scientific direction and to predict trends in the development of directions and interaction of groups of people. When developing this system, we utilized probabilistic machine learning algorithms and methods for constructing and maintaining a graph model of the social network of authors and their publications, determining the rating of a particular author, determining the topics of publications and classifying them by areas of knowledge. The basis for the creation of intelligent applications is graph technology, which allows you to make predictions that are more accurate. The combined application of methods and algorithms of machine learning with graph technologies allows you to get hidden dependencies and perform predictive analysis of information, get answers in real time, and implement artificial intelligence algorithms. Methods of collaboration with graph technologies and a learning machine (for example, using neural networks) are based on graph embedding. This technology allows you to perform a comprehensive, deep and intelligent analysis of information. At the end of the article, there are analytical reports obtained using graph technologies in the Intelligent System for Complex Analysis of Internet Sources Data.Целью работы, изложенной в статье, является рассмотрение и демонстрация применения графовых технологий для глубокого анализа данных. В статье рассматривается интеллектуальная система комплексного анализа данных интернет-источников и возможные направления ее дальнейшего развития. Данная система представляет собой многоцелевой кластер с использованием технологий построения графа знаний, методов и моделей машинного обучения для глубокого анализа данных интернет-источников (например, научных публикаций, социальных сетей, СМИ). Целью анализа является выявление наиболее важных публикаций в некоторой области (например, в робототехнике, космических исследованиях, здравоохранении, в социальной сфере), тематический анализ этих публикаций, выявление лидера научного направления, предсказание тенденций развития направлений и взаимодействия групп людей. При разработке данной системы были применены вероятностные алгоритмы машинного обучения и методы построения и обслуживания графовой модели социальной сети авторов и их публикаций, определение рейтинга конкретного автора публикаций, определение тематик публикаций и классификация их по областям знаний. Основой для создания интеллектуальных приложений являются графовые технологии, которые позволяют делать более точные прогнозы. Совместное применение методов и алгоритмов машинного обучения с графовыми технологиями позволяет получать скрытые зависимости и выполнять предиктивный анализ информации, получать ответы в режиме реального времени, реализовывать алгоритмы искусственного интеллекта. В основу методов совместной работы с графовыми технологиями и машиного обучения (например, применение нейронных сетей) положен графовый эмбеддинг. Данная технология позволяет выполнять всесторонний, глубокий и интеллектуальный анализ информации. Приведены аналитические отчеты, полученные с помощью графовых технологий в интеллектуальной системе комплексного анализа данных интернетисточников

Обнаружение аномалий с использованием автоэнкодера для мониторинга качества данных в облаке

Manyworks ar dedicated to solving the dat quality problem, a number of standards have been developed, but the problem has not been solved for decades. Moreover, this problem now requires a more complex solution due to processing large amounts of unstructured data in the cloud. This work presents the original project Autoencoder that focuses on the technology of analysis, detection and forecasting poor-quality data transmission based on machine learning and the use of neural networks

Evolutional technology of database’s development

На примере разработки и сопровождения конкретной базы данных (БД) нормативно- справочной информации (НСИ) для большой территориально-распределенной корпорации приводятся неостанавливаемые технологии разработки, развития, модернизации и совместного использования данных различными приложениями.The unstoppable technologies of a constant development and modernizing of a large corporation and the combined usage of databases by different applications are given by the example of the development and maintenance of the certain database (DB) of normative-reference information (Master Data)

Evolutional technology of database’s development

На примере разработки и сопровождения конкретной базы данных (БД) нормативно- справочной информации (НСИ) для большой территориально-распределенной корпорации приводятся неостанавливаемые технологии разработки, развития, модернизации и совместного использования данных различными приложениями.The unstoppable technologies of a constant development and modernizing of a large corporation and the combined usage of databases by different applications are given by the example of the development and maintenance of the certain database (DB) of normative-reference information (Master Data)

Graph technologies in an intelligent system of complex analysis of data from Internet sources

The purpose of the work outlined in the article is to review and demonstrate the use of graph technologies for deep data analysis. The first part of the article discusses the Intelligent System for the Comprehensive Analysis of Internet Sources Data and its possible directions for its further development. This system is a multi-purpose cluster using technologies for constructing a knowledge graph, methods and models of machine learning for in-depth analysis of data from Internet sources (for example, scientific publications, social networks, media). The purpose of the analysis is to identify the most important publications in a certain area (for example, in robotics, space research, healthcare, in the social sphere), thematic analysis of these publications, to identify the leader of a scientific direction and to predict trends in the development of directions and interaction of groups of people. When developing this system, we utilized probabilistic machine learning algorithms and methods for constructing and maintaining a graph model of the social network of authors and their publications, determining the rating of a particular author, determining the topics of publications and classifying them by areas of knowledge. The basis for the creation of intelligent applications is graph technology, which allows you to make predictions that are more accurate. The combined application of methods and algorithms of machine learning with graph technologies allows you to get hidden dependencies and perform predictive analysis of information, get answers in real time, and implement artificial intelligence algorithms. Methods of collaboration with graph technologies and a learning machine (for example, using neural networks) are based on graph embedding. This technology allows you to perform a comprehensive, deep and intelligent analysis of information. At the end of the article, there are analytical reports obtained using graph technologies in the Intelligent System for Complex Analysis of Internet Sources Data

Мониторинг и аналитика AWS resources в реальном времени

In this article provides an approach for real-time AWS resources monitoring and analytics. The main is centralizing logs, events, and metrics for cloud-native applications running on Amazon Web Services (AWS). This work presents approach how the following AWS services can be utilized together: Amazon CloudWatch, CloudTrail, Kinesis, Elasticsearch, Lambda, Simple Cloud Storage, EC2. В этой статье описывается подход к мониторингу и аналитике ресурсов AWS в реальном времени. Основным является централизация журналов, событий и показателей для облачных приложений, работающих на Amazon Web Services (AWS). В этой работе представлен подход, как можно использовать вместе следующие сервисы AWS: Amazon CloudWatch, CloudTrail, Kinesis, Elasticsearch, Lambda, Simple Cloud Storage, EC2

System for complex analysis of data from internet sources

Графовые технологии – это основа для создания интеллектуальных приложений. Граф знаний – одна из основных областей ИИ, который позволяет понимать предписывающую аналитику и приложения ИИ. Совместное применение графовых технологий, методов и алгоритмов машинного обучения позволяет получать скрытые зависимости и выполнять предиктивный анализ информации, получать ответы в режиме реального времени, реализовывать алгоритмы искусственного интеллекта. В статье приводятся методы построения графа знаний и применение машинного обучения при подготовке магистрантов по тематике «Обработка больших объемов информации», а также для получения экспертных данных при проведении исследовательских работ в университете. Graph technology is the foundation for building intelligent applications that enable more accurate predictions and faster decision making. The knowledge graph is one of the main areas of AI that enables us to understand prescriptive analytics and AI applications. The combined use of graph technologies, machine learning methods and algorithms allows you to obtain hidden dependencies and perform predictive analysis of information, receive answers in real time, and implement artificial intelligence algorithms. The article provides methods for constructing a graph of knowledge and the use of machine learning in the preparation of undergraduates on the topic "Processing large amounts of information", as well as for obtaining expert data during research at the university

NoSQL databases. Technology for protecting data from unauthorized access

Companies such as banks, medical facilities, government units does not want their data was available and used by third parties (It can be result of hackers’ attacks, data leaks, and employee fraud). Just write encrypted data to your data storage is not enough. This data storage has to allow business users to work with its content performing CRUD (create, read, update, delete) operations and search queries. During encryption, we are using some function F(x) to change content of our data, getting cyphertext as a result, after encryption takes place we lose this ability of performing search and basic operations. We are proposing approach, which allows managing encrypted data by executing queries on it without decryption, results returned in encrypted form to client where he/she can decrypt it using self-managed keys. Компании (банки, мед. учреждения, государственные компании) не хотят, чтобы их информация (в случае хакер-атаки, утечки данных, неосторожности обслуживающего персонала и т.д.) была доступна злоумышленниками и использовалась 3-й стороной. Просто сложить зашифрованные данные в хранилище недостаточно. Это хранилище должно использоваться и давать возможность работать со своим содержимым посредством обработки поисковых запросов. При шифровании мы меняем реальные значения на результат работы некой функции, одновременно с этим мы теряем возможность поиска по этим данным. Мы предлагаем подход, при котором можно бы было осуществлять поиск в зашифрованных данных без выполнения операции дешифрования при непосредственном поиске