Automatic text-independent speaker verification using convolutional deep belief network

Данная статья посвящена применению свёрточных глубоких сетей доверия в качестве средства извлечения речевых признаков из аудиозаписей для решения задачи автоматической, текстонезависимой верификации диктора. В работе описаны область применения и проблемы систем автоматической верификации диктора. Рассмотрены типы современных систем верификации диктора, основные типы речевых признаков, используемых в системах верификации диктора. Описана структура свёрточных глубоких сетей доверия, алгоритм обучения данной сети. Предложено применение речевых признаков, извлекаемых из трёх слоёв обученной свёрточной глубокой сети доверия. Данный подход основан на применении методов анализа изображений как к уже выделенным признакам речевого сигнала, так и для их выделения из слоёв нейронной сети. Произведены экспериментальные исследования предложенных признаков на двух речевых корпусах: собственном речевом корпусе, включающем аудиозаписи 50 дикторов, и речевом корпусе TIMIT, включающем аудиозаписи 630 дикторов. Была произведена оценка точности предложенных признаков с применением классификаторов различного типа. Непосредственное применение данных признаков не дало увеличения точности по сравнению с использованием традиционных речевых признаков, таких как мел-кепстральные коэффициенты. Однако применение данных признаков в составе ансамбля классификаторов позволило достичь уменьшения равной ошибки 1-го и 2-го рода до 0,21% на собственном речевом корпусе и до 0,23% на речевом корпусе TIMIT. This paper is devoted to the use of the convolutional deep belief network as a speech feature extractor for automatic text-independent speaker verification. The paper describes the scope and problems of automatic speaker verification systems. Types of modern speaker verification systems and types of speech features used in speaker verification systems are considered. The structure and learning algorithm of convolutional deep belief networks is described. The use of speech features extracted from three layers of a trained convolution deep belief network is proposed. Experimental studies of the proposed features were performed on two speech corpora: own speech corpus including audio recordings of 50 speakers and TIMIT speech corpus including audio recordings of 630 speakers. The accuracy of the proposed features was assessed using different types of classifiers. Direct use of these features did not increase the accuracy compared to the use of traditional spectral speech features, such as mel-frequency cepstral coefficients. However, the use of these features in the classifiers ensemble made it possible to achieve a reduction of the equal error rate to 0.21% on 50-speaker speech corpus and to 0.23% on the TIMIT speech corpus.Результаты были получены в рамках выполнения базовой части государственного задания Минобрнауки России, проект 8.9628.2017/8.9

Згорткова нейронна мережадля пошуку аномалій на зображенні

Пояснювальна записка дипломного проекту складається з трьох розділів, містить 31 рисунків та 21 джерел – загалом 61 сторінки. Предмет дослідження: Згорткова нейронна мережа для пошуку аномалій на зображенні Об`єкт дослідження: Навчанням згорткової нейронної мережі з використанням алгоритмів оптимізаці. Мета дипломного проєкту: Метою роботи є створення ефективної моделі, яка здатна автоматично виявляти аномальні об’єкти або відхилення від норми на зображеннях. Робота починається зі збору і попередньої обробки набору зображень, включаючи як нормальні, так і аномальні зразки. Після цього будується архітектурі знм, що складається з декількох шарів згортки та пулінгу, які допомагають виявити локальні особливості зображень. Далі використовуються повнозв’язні шари для класифікації зображень на аномальні та нормальні.The explanatory note of the diploma project consists of three sections, contains 31 figures and 21 sources - a total of 61 pages. Subject of study: A convolutional neural network for image anomaly detection Object of research: Training of convolutional neural network using optimization algorithms. The purpose of the diploma project: The purpose of the work is to create an effective model that is capable of automatically detecting anomalous objects or deviations from the norm in images. The work begins with the collection and preprocessing of a set of images, including both normal and abnormal samples. After that, the architecture of ZNM is built, consisting of several layers of convolution and pooling, which help to detect local features of images. Next, fully connected layers are used to classify images into abnormal and normal