ВОЗМОЖНОСТИ ИСПОЛЬЗОВАНИЯ ИНКРЕМЕНТНОГО ОБУЧЕНИЯ НЕЙРОННОЙ СЕТИ

The present time is characterized by unprecedented growth in the volume of information flows. Information processing underlies the solution of many practical problems. The intelligent information systems applications range is extremely extensive: from managing continuous technological processes in real-time to solving commercial and administrative problems. Intelligent information systems should have such a main property, as the ability to quickly process dynamical incoming data in real-time. Also, intelligent information systems should be extracting knowledge from previously solved problems. Incremental neural network training has become one of the topical issues in machine learning in recent years. Compared to traditional machine learning, incremental learning allows assimilating new knowledge that comes in gradually and preserving old knowledge gained from previous tasks. Such training should be useful in intelligent systems where data flows dynamically. Aim. Consider the concepts, problems, and methods of incremental neural network training, as well as assess the possibility of using it in intelligent systems development. Materials and methods. The idea of incremental learning, obtained in the analysis of a person's learning during his life, is considered. The terms used in the literature to describe incremental learning are presented. The obstacles that arise in achieving the goal of incremental learning are described. A description of three scenarios of incremental learning, among which class-incremental learning is distinguished, is given. An analysis of the methods of incremental learning, grouped into a family of techniques by the solution of the catastrophic forgetting problem, is given. The possibilities offered by incremental learning versus traditional machine learning are presented. Results. The article attempts to assess the current state and the possibility of using incremental neural network learning, to identify differences from traditional machine learning. Conclusion. Incremental learning is useful for future intelligent systems, as it allows to maintain existing knowledge in the process of updating, avoid learning from scratch, and dynamically adjust the model's ability to learn according to new data available.Настоящее время характеризуется беспрецедентным ростом объемов информационных потоков. Обработка информации лежит в основе решения многих практических задач. Спектр приложений интеллектуальных информационных систем чрезвычайно обширен: от управления непрерывными технологическими процессами в реальном времени до решения коммерческих и административных задач. Интеллектуальные информационные системы должны обладать таким основным свойством, как способность быстро обрабатывать динамические входящие данные в реальном времени. Кроме того, интеллектуальные информационные системы должны уметь извлекать знания из ранее решенных задач. В последние годы инкрементное обучение нейронной сети стало одной из актуальных тем в области машинного обучения. По сравнению с традиционным машинным обучением, инкрементное обучение позволяет усваивать новые знания, поступающие постепенно, и сохранять старые знания, полученные от предыдущих задач. Такое обучение должно быть полезно в интеллектуальных системах, где данные поступают динамически. Цель исследования. Рассмотреть концепции, проблемы и методы инкрементного обучения нейронной сети, а также оценить возможность его использования при разработке интеллектуальных систем. Материалы и методы. Рассматривается идея инкрементного обучения, полученная при анализе обучения человека в течение жизни. Представлены термины, которыми описывается инкрементное обучение в литературе. Описаны препятствия, которые возникают при достижении цели инкрементного обучения. Приводится описание трех сценариев инкрементного обучения, среди которых выделяют инкрементное обучение по классам. Дается анализ методов инкрементного обучения, сгруппированных в семейство техник в соответствие с решением проблемы катастрофического забывания. Представлены возможности, которые дает инкрементное обучение в сравнении с традиционным машинным обучением. Результаты. В статье делается попытка оценить текущее состояние и возможность использования инкрементного обучения нейронной сети, выявить отличия от традиционного машинного обучения. Заключение. Инкрементное обучение полезно для будущих интеллектуальных систем, поскольку оно позволяет поддерживать существующие знания в процессе обновления, избегать обучения с нуля, динамически регулировать способность модели к обучению в соответствии с новыми доступными данными

Development and research of a neural network alternate incremental learning algorithm

В работе показывается актуальность разработки инкрементных методов и алгоритмов обучения нейронной сети. Представлены семейства техник инкрементного обучения. Проведена оценка возможности применения машины экстремального обучения как инкрементного обучения. Эксперименты показывают возможность использования машины экстремального обучения как инкрементного обучения, однако при увеличении числа обучающих примеров нейронная сеть становится непригодна для дальнейшего обучения. Для решения данной проблемы предложен алгоритм инкрементного обучения нейронной сети, основанный на поочередном применении машины экстремального обучения для корректировки весов только выходного слоя сети (состояние функционирования) и метода обратного распространения ошибки (глубокого обучения) для корректировки всех весов сети (состояние сна). Полагается, что в ходе состояния функционирования нейронная сеть выдает результаты или учится на новых задачах, а в состоянии сна оптимизирует свои весовые коэффициенты. Особенностью предложенного алгоритма является его возможность адаптироваться в реальном масштабе времени под изменение внешних условий на этапе функционирования. На примере решения задачи аппроксимации показана эффективность предложенного алгоритма. Представлены результаты аппроксимации после выполнения каждого шага алгоритма. Приведено сравнение значений среднеквадратической ошибки при использовании машины экстремального обучения как инкрементного обучения и разработанного алгоритма посменного инкрементного обучения нейронной сети