Система для розпізнавання музичних звуків на основі нейромережевого аналізу амплітудно-частотних характеристик звуку

Робота складається із вступу та чотирьох розділів. Загальний обсяг роботи: 71 аркуш основного тексту, 20 ілюстрацій, 14 таблиць. При підготовці використовувалася література з 30 різних джерел. Актуальність. Задача розпізнавання музичних звуків є затребуваною при обробці складних музичних сигналів, а саме аудіозаписів музичних композицій різних жанрів, таких як класична музика, естрадна музика та інші. Завдання розпізнавання музичних звуків різних музичних інструментів відноситься до класу задач Music Information Retrieval (MIR), і може виникати в наступних областях: Використання в пошукових система. Ідентифікація музичних об'єктів; Анотування медіаконтенту (метадані); Сегментація музичних сигналів; Генерація плейлистів. Також дана задача може розглядатися як перший етап вирішення задачі сегментації складних музичних сигналів та ідентифікації музичних об'єктів. Мета і завдання дослідження. Метою магістерської роботи є розробка алгоритму розпізнавання звуку музичних інструментів з високою точністю і продуктивністю при мінімізації числа ознак що використовуються для розпізнавання. Для досягнення мети було сформульовано та вирішено наступні прикладні завдання: дослідження принципів побудови алгоритмів розпізнавання та нейронних мереж; вибір програмних засобів що вирішують задачу вичленення музичних звуків із аудіозапису; проектування нейронної мережі прямого поширення та визначення способу відображення отриманих даних; представлення розробленої архітектуру нейронної мережі шляхом використання програмних засобів; тестування розробленої моделі нейронної мережі та порівняння результатів з іншими методами розпізнавання; реалізація програмного продукту на основі розробленого алгоритму. Об’єкт дослідження – звук музичних інструментів, його структура та властивості. Особлива увага приділяється амплітудно-частотним характеристикам звуку. У даній роботі звук розглядається, як звуччання окремого музичного інструменту, так і звук музичних інструментів, що звучать на тлі інших звуків в складних композиціях (сольні партії музичних інструментів). Предмет дослідження – методи розпізнавання музичних звуків на основі нейромережевого аналізу амплітудно-частотних характеристик звуку. Методи досліджень. Для вирішення задач, поставлених в рамках цієї магістерській роботи, використано такі методи дослідження: 1.Розгляд та аналіз результатав попередніх наукових робіт проведених в сфері розпізнавання музичних звуків; 2.Дослідження фізичних характеристик звуку, та вплив цих показників на якість розпізнавання; 3.Виділення загальних кроків для вирішення задачі розпізнавання звуків на основі результатів отриманих із проведеного аналізу та формування паттерну найефективнішого на даний момент способу розв’язання задач розпізнавання музичних звуків; Наукова новизна цієї магістерської роботи полягає у наступному: використання нейронних мереж прямого поширення в задачах розпізнавання музичних звуків; дослідження дозволяє використовувати розроблений алгоритм для подальшого вдосконалення методів розпізнавання музичних звуків. Практична цінність. Результати досліджень, представлені в даній магістерській дисертації, можуть бути застосованими у майбутніх наукових та прикладних роботах за напрямками: сегментації складних музичних сигналів; вдосконалення методів розпізнавання музики.The work consists of an introduction and four chapters. Total amount of work: 71 sheets of the main text, 20 illustrations, 14 tables. Literature from 30 different sources was used in the preparation. Topicality. The task of recognizing musical sounds is in demand in the processing of complex musical signals, namely audio recordings of musical compositions of various genres, such as classical music, pop music and others. The task of recognizing the musical sounds of various musical instruments belongs to the class of tasks Information Information Retrieval (MIR), and can occur in the following areas: Use in search engines Identification of musical objects; Annotation of media content (metadata); Segmentation of musical signals; Generate playlists. This problem can also be considered as the first stage of solving the problem of segmentation of complex musical signals and identification of musical objects. The purpose and objectives of the study. The aim of the master's thesis is to develop an algorithm for sound recognition of musical instruments with high accuracy and performance while minimizing the number of features used for recognition. To achieve this goal, the following applied tasks were formulated and solved: study of the principles of construction of recognition algorithms and neural networks; selection of software that solves the problem of extracting musical sounds from audio recording; designing a neural network for direct propagation and determining the method of displaying the obtained data; presentation of the developed neural network architecture through the use of software; testing the developed neural network model and comparing the results with other recognition methods; implementation of a software product based on the developed algorithm. The object of research is the sound of musical instruments, its structure and properties. Particular attention is paid to the amplitude-frequency characteristics of sound. In this paper, the sound is considered as the sound of a single musical instrument, and the sound of musical instruments that sound against the background of other sounds in complex compositions (solo parts of musical instruments). The subject of research - methods of recognition of musical sounds on the basis of neural network analysis of amplitude-frequency characteristics of sound. Research methods. The following research methods were used to solve the tasks set in this master's thesis: 1.Consideration and analysis of the results of previous scientific work conducted in the field of recognition of musical sounds; 2.Research of physical characteristics of sound, and influence of these indicators on quality of recognition; 3.Selection of general steps for solving the problem of sound recognition based on the results obtained from the analysis and formation of the pattern of the most effective way to solve problems of music sound recognition; The scientific novelty of this master's thesis is as follows: use of neural networks of direct propagation in problems of recognition of musical sounds; research allows to use the developed algorithm for further improvement of methods of recognition of musical sounds. Practical value. The research results presented in this master's dissertation can be used in future scientific and applied work in the following areas: segmentation of complex musical signals; improvement of music recognition ethods

Automatic Music Transcription Using Low Rank Non-Negative Matrix Decomposition

Automatic Music Transcription (AMT) is concerned with the problem of producing the pitch content of a piece of music given a recorded signal. Many methods rely on sparse or low rank models, where the observed magnitude spectra are represented as a linear combination of dictionary atoms corresponding to individual pitches. Some of the most successful approaches use Non-negative Matrix Decomposition (NMD) or Factorization (NMF), which can be used to learn a dictionary and pitch activation matrix from a given signal. Here we introduce a further refinement of NMD in which we assume the transcription itself is approximately low rank. The intuition behind this approach is that the total number of distinct activation patterns should be relatively small since the pitch content between adjacent frames should be similar. A rank penalty is introduced into the NMD objective function and solved using an iterative algorithm based on Singular Value thresholding. We find that the low rank assumption leads to a significant increase in performance compared to NMD using β-divergence on a standard AMT dataset

Automatic transcription of music using deep learning techniques

Music transcription is the problem of detecting notes that are being played in a musical piece. This is a difficult task that only trained people are capable of doing. Due to its difficulty, there have been a high interest in automate it. However, automatic music transcription encompasses several fields of research such as, digital signal processing, machine learning, music theory and cognition, pitch perception and psychoacoustics. All of this, makes automatic music transcription an hard problem to solve. In this work we present a novel approach of automatically transcribing piano musical pieces using deep learning techniques. We take advantage of deep learning techniques to build several classifiers, each one responsible for detecting only one musical note. In theory, this division of work would enhance the ability of each classifier to transcribe. Apart from that, we also apply two additional stages, pre-processing and post-processing, to improve the efficiency of our system. The pre-processing stage aims at improving the quality of the input data before the classification/transcription stage, while the post-processing aims at fixing errors originated during the classification stage. In the initial steps, preliminary experiments have been performed to fine tune our model, in both three stages: pre-processing, classification and post-processing. The experimental setup, using those optimized techniques and parameters, is shown and a comparison is given with other two state-of-the-art works that apply the same dataset as well as the same deep learning technique but using a different approach. By different approach we mean that a single neural network is used to detect all the musical notes rather than one neural network per each note. Our approach was able to surpass in frame-based metrics these works, while reaching close results in onset-based metrics, demonstrating the feasability of our approach