Нейроподібна структура для задач прогнозування в умовах коротких вибірок даних

The task of forecasting is one of the priority tasks for the business. The forecasting tools improvements and rapid development of computer facilities attract more and more attention to this issue. Nowadays most managers of leading companies have the possibility to use information systems based on complex mathematics for data analysis. But the problem of understanding the algorithms that are the basis for these information systems and proper selection of the model is still an important task since incorrect predictions can lead to an incorrect decision. The problem is exacerbated in the case of insufficient data amount, in particular, to solve the problems of forecasting demand for a new product or a new service of the organization in e-commerce systems enough data is needed to implement training procedures. However, small data amount leads to inaccurate, incorrect forecasting for existing methods. There is a need to improve the existing and search for new solutions for the task of forecasting in the conditions of short data samples. The paper proposes a new instrument of computational intelligence for the effective solution of the problem. The hybrid neural-like structure for increasing the forecasting accuracy in the conditions of short data samples is described. The system was constructed using the general regression neural network and neural-like structure of the Successive Geometric Transformations Model with RBF layer. The algorithm of system construction based on doubling inputs is developed; the procedure of optimal parameters selection is described. The experimental modeling of the neural network system for solving the forecasting task has shown the high accuracy of its work. The efficiency of using the developed system is confirmed by comparing its work with existing methods such as multilayer perceptron, general regression neural network and support vectors machine. Accuracy measures based on mean absolute percentage error (MAPE) of developed system is 3, 6, 10 times better compared to other methods. The developed system can be used in many areas, including e-commerce, economics, business analytics, etc.Задача прогнозування є однією із пріоритетних задач бізнесу. З ростом інструментарію прогнозування, а також із бурхливим розвитком потужностей комп'ютерної техніки цій задачі приділяють дедалі більше уваги. На сьогодні більшість менеджерів провідних компаній мають змогу застосовувати інформаційні системи на основі складного математичного апарату для аналізу даних. Проте проблема розуміння алгоритмів, закладених в основі таких інформаційних систем, а також правильний підбір моделі прогнозування є важливою проблемою, оскільки некоректні прогнози можуть призвести до прийняття неправильного рішення. Проблема поглиблюється у разі опрацювання недостатньої кількості даних, що характерно для розв'язання низки задач. Зокрема, для розв'язання задач прогнозування попиту на новий товар чи нову послугу організації, зокрема в системах електронної комерції, необхідна достатня кількість даних для реалізації процедур навчання. Проте їх невелика кількість, під час застосування наявних методів, призводить до неточних, некоректних прогнозів. Саме тому виникає потребу удосконалення наявних та пошуку нових рішень розв'язання задачі прогнозування в умовах коротких вибірок даних. У роботі запропоновано новий, розроблений авторами, інструмент обчислювального інтелекту для ефективного розв'язання цієї задачі. Описано нейроподібну структуру для підвищення точності розв'язання задач прогнозування в умовах коротких вибірок даних. ЇЇ побудовано з використанням штучної нейронної мережі узагальненої регресії та гібридної нейроподібної структури Моделі Послідовних Геометричних Перетворень з RBF ядром. Подано алгоритмічну реалізацію побудови методу подвоєння входів, що знаходиться в основі роботи системи. Проаналізовано процедури підбору оптимальних параметрів для її роботи. Проведено експериментальне моделювання роботи нейроподібної структури для розв'язання задачі прогнозування. Отримані результати показали високу точність її роботи. Ефективність використання розробленої структури підтверджено порівнянням її роботи з наявними – багатошаровим перцептроном, штучною нейронною мережею узагальненої регресії та машиною опорних векторів. Розроблена нейроподібна структура демонструє точність на основі MAPE відповідно у більше ніж 3, 6 та 10 разів вищу порівняно із відомими методами. Розроблену структуру можна використовувати у багатьох сферах, зокрема електронній комерції, бізнес-аналітиці, тощо

Методи оброблення та заповнення пропущених параметрів у даних екологічного моніторингу

The variety of sociological, economic, statistical, information and other studies face the problem of processing missing data. Traditional reasons that lead to the emergence of gaps in the data is the inability to obtain information, its distortion or even hiding. In the monitoring environmental pollution data it can be as follows: breakdown of devices; adverse weather conditions; errors of measuring devices; damage to information carriers; suspension of measurements during weekends; implementation of the minimum number of measurements allowed by the state standards. As a result, incomplete information is provided for the analysis of the collected data. Today, there are a large number of methods for recovering missing parameters in the data, but for each application area, different methods are used to fill the missing data. The paper analyzes the following methods for processing missing data: the removal of elements with gaps, the method of weighing and filling missed parameters. The mechanisms of missed parameters appearance are described, in which the probability of gaps for each set of records is the same, in which the probability of gaps is determined on the basis of other available full information and where data is not available depending on unknown factors. There is a need to analyze existing and study new methods for filling missed values in the data sets of environmental monitoring, to find such an algorithm that will maximally satisfy the needs for increasing the speed, efficiency and accuracy of filling out missed parameters. So, authors analyze methods for filling missing parameters in environmental monitoring data such as medium-mean, naive forecast, and regression modeling methods. The article describes the following methods for filling missing data on the basis of regression modeling: multilayer perceptron; Adaptive Boosting; Support vector machine; Random Forest and a linear regression method using stochastic gradient descent. A comparison of the simplest methods of filling missing data and the methods, based on regression models is performed. It has been experimentally proved that the pre-developed method for filling gaps on the basis of the neural-like structure of the model of successive geometric transformations is the most effective method, since it shows the most precise results.Сьогодні існує багато методів відновлення пропущених параметрів у даних, але для кожної області застосування використовують різні методи заповнення пропусків. У роботі проаналізовано такі методи оброблення пропусків: видалення елементів з пропусками, метод зважування та заповнення пропущених параметрів. Описано механізми утворення пропущених параметрів, за яких ймовірність пропусків для кожного запису набору однакова, за яких ймовірність пропусків визначається на основі іншої наявної інформації без пропусків та за яких дані відсутні залежно від невідомих чинників. Проаналізовано методи заповнення пропущених параметрів у даних екологічного моніторингу, такі як: методи середнього значення, наївного прогнозу та регресійного моделювання. Описано такі методи відновлення пропусків на основі регресійного моделювання: багатошаровий персептрон; Adaptive Boosting; метод опорних векторів; Random Forest та метод лінійної регресії з використанням стохастичного градієнтного спуску. Виконано порівняння найпростіших методів заповнення пропусків та методів відновлення пропусків на основі регресійних моделей. Експериментально доведено, що попередньо розроблений метод заповнення пропусків на основі нейроподібної структури моделі послідовних геометричних перетворень є найефективнішим методом, оскільки показує найточніші результати