Analysis of deep neural network models based on restricted Boltzmann machines

Abstract

Проведен анализ моделей глубоких нейронных сетей и методов их обучения, в результате которого предложена классификация и дана сравнительная характеристика, а также выделены достоинства и недостатки архитектур глубоких нейросетей. Проведено экспериментальное исследование по обучению ограниченной и глубокой машин Больцмана, а также глубокой сети доверия для решения задачи классификации на примере задачи медицинского диагностирования рака груди с применением открытой библиотеки Deeplearning4J для построения нейромоделей. Проведенные эксперименты позволили получить зависимости затрат памяти ЭВМ программных реализаций исследуемых методов от размерности выборок, а также сформулировать рекомендации по выбору архитектуры глубоких сетей при решении задач классификации.Проведено аналіз моделей глибоких нейронних мереж та методів їх навчання, в результаті якого запропонована класифікація і наведена порівняльна характеристика, а також виділені переваги та недоліки архітектур глибоких нейромереж. Проведено експериментальне дослідження з навчання за допомогою обмеженої і глибокої машин Больцмана, а також глибокої мережі довіри для вирішення задачі класифікації на прикладі завдання медичного діагностування раку грудей із застосуванням відкритої бібліотеки Deeplearning4J для побудови нейромоделей. Проведені експерименти дозволили отримати залежності витрат пам'яті ЕОМ програмних реалізацій досліджуваних методів від розмірності вибірок, а також сформулювати рекомендації щодо вибору архітектури глибоких мереж при вирішенні задач класифікації.A number of modern approaches exist to perform classification task – Bayes classification, decision trees, artificial neural networks and neuro-fuzzy models. Deep neural networks are the most promising out of them to study, as they can outperform other methods in a lower resulting model complexity, ability to learn from unlabeled data and modeling non-linear distributions within certain limits. This paper aims to perform analysis of deep neural network models based on restricted Boltzmann machines and their learning methods and proposes classification and comparison of their features. It highlights the advantages and disadvantages of deep neural network architectures as well. In the experiment, restricted and deep Boltzmann machine models were studied, as well as deep belief networks. Their performance was compared on a common classification task with a numeric data arrays – medical diagnosis of breast cancer. Deeplearning4J library was used for building and learning neural networks. Experiment results made it possible to obtain computer memory usage and neural network performance values of studied learning methods for different deep models. We emphasize recommendations on choosing the correct deep neural network architecture for solving classification problems. The conducted experiments showed that among the considered network models the most rapidly trained is the restricted Boltzmann machine, the most accurate is the deep belief network. The restricted Boltzmann machine can be effectively used in those cases where the speed of training is important, but not accuracy. Among the examined deep models, a belief network is most effective both in terms of the training speed and of assessing the probability of right decision making