Real-time detection and classification of drum sounds

V moji diplomski nalogi sem se ukvarjal z detekcijo osnovnih udarcev bobnov, natančneje vokalnega bobnanja. Razviti je bilo potrebno sistem, ki prepoznava različne udarce bobnov v realnem času. V sistemu sem najprej uporabil metodo detekcije začetkov udarcev (angl. onset detection) v signalu. Za razlikovanje med udarci sem si v veliki meri pomagal s Fourierovo transformacijo, na podlagi katere dobimo frekvenčni spekter signala. Iz signala sem nato izračunal najpomembnejše značilke in na podlagi tega udarce razvrstil v posamezne razrede. Kot rezultat je nastala aplikacija, ki posamezne udarce v vhodnem signalu v realnem času zamenja z vnaprej shranjenimi zvoki bobnov ter jih predvaja. Aplikacijo lahko uporablja vsak, ki ima vsaj malo smisla za proizvajanje udarcev z usti in je lahko v pomoč pri učenju razlik med osnovnimi udarci. V uvodnem poglavju predstavljam temo, na katero se delo nanaša, omenjam tudi že raziskane teme na tem področju in jih na kratko komentiram. Na kratko opišem, kako sem se problema lotil in ga kasneje rešil. V drugem poglavju podajam teoretične osnove, ki omogočajo bralcu brez predznanja vsaj okvirno razumevanje tematike. Najprej povem nekaj splošnih besed o zvoku in o digitalnem snemanju zvoka. Ker se moja tematika nanaša na transkripcijo ritma oziroma bobnov, natančneje vokalnega bobnanja, predstavim v poglavju še nekaj splošnih informacij o bobnih in vokalnemu bobnanju. V nadaljevanju prehajam v bolj tehnične opise, in sicer kaj signal sploh je in kako ga zajeti v digitalni obliki. To je tematika digitalnega procesiranja signalov, ki je glavni predmet obravnave pri računalniški obdelavi podatkov, s katero sem se srečal v začetni fazi razvoja aplikacije. Naslednje, verjetno najpomembnejše teoretično poglavje, se nanaša na Fourierovo transformacijo, ki je eno izmed najpomembnejših matematičnih orodij za analizo linearno časovnih sistemov in predstavlja moderno orodje v današnjih telekomunikacijskih sistemih. Peto poglavje je v celoti namenjeno razlagi detekcije bobnov. Opišem vse potrebne algoritme in metode, ki so potrebne za razvoj aplikacije, kot so filtriranje signalov, detekcija začetkov, pridobivanje značilk ter klasifikacija udarcev bobnov. Sledi pregled metode in izvedbe dela, razlaga uporabljenih orodij, opis pristopa k delu, razlaga načrtovanja aplikacije po korakih, prikaz rezultatov dela ter opis delovanja aplikacije. V sklepu naredim povzetek opravljenega dela, ocenim uspešnost ter zanesljivost aplikacije in na koncu podam možne izboljšave

Real-time detection and classification of drum sounds

V moji diplomski nalogi sem se ukvarjal z detekcijo osnovnih udarcev bobnov, natančneje vokalnega bobnanja. Razviti je bilo potrebno sistem, ki prepoznava različne udarce bobnov v realnem času. V sistemu sem najprej uporabil metodo detekcije začetkov udarcev (angl. onset detection) v signalu. Za razlikovanje med udarci sem si v veliki meri pomagal s Fourierovo transformacijo, na podlagi katere dobimo frekvenčni spekter signala. Iz signala sem nato izračunal najpomembnejše značilke in na podlagi tega udarce razvrstil v posamezne razrede. Kot rezultat je nastala aplikacija, ki posamezne udarce v vhodnem signalu v realnem času zamenja z vnaprej shranjenimi zvoki bobnov ter jih predvaja. Aplikacijo lahko uporablja vsak, ki ima vsaj malo smisla za proizvajanje udarcev z usti in je lahko v pomoč pri učenju razlik med osnovnimi udarci. V uvodnem poglavju predstavljam temo, na katero se delo nanaša, omenjam tudi že raziskane teme na tem področju in jih na kratko komentiram. Na kratko opišem, kako sem se problema lotil in ga kasneje rešil. V drugem poglavju podajam teoretične osnove, ki omogočajo bralcu brez predznanja vsaj okvirno razumevanje tematike. Najprej povem nekaj splošnih besed o zvoku in o digitalnem snemanju zvoka. Ker se moja tematika nanaša na transkripcijo ritma oziroma bobnov, natančneje vokalnega bobnanja, predstavim v poglavju še nekaj splošnih informacij o bobnih in vokalnemu bobnanju. V nadaljevanju prehajam v bolj tehnične opise, in sicer kaj signal sploh je in kako ga zajeti v digitalni obliki. To je tematika digitalnega procesiranja signalov, ki je glavni predmet obravnave pri računalniški obdelavi podatkov, s katero sem se srečal v začetni fazi razvoja aplikacije. Naslednje, verjetno najpomembnejše teoretično poglavje, se nanaša na Fourierovo transformacijo, ki je eno izmed najpomembnejših matematičnih orodij za analizo linearno časovnih sistemov in predstavlja moderno orodje v današnjih telekomunikacijskih sistemih. Peto poglavje je v celoti namenjeno razlagi detekcije bobnov. Opišem vse potrebne algoritme in metode, ki so potrebne za razvoj aplikacije, kot so filtriranje signalov, detekcija začetkov, pridobivanje značilk ter klasifikacija udarcev bobnov. Sledi pregled metode in izvedbe dela, razlaga uporabljenih orodij, opis pristopa k delu, razlaga načrtovanja aplikacije po korakih, prikaz rezultatov dela ter opis delovanja aplikacije. V sklepu naredim povzetek opravljenega dela, ocenim uspešnost ter zanesljivost aplikacije in na koncu podam možne izboljšave

An review of automatic drum transcription

In Western popular music, drums and percussion are an important means to emphasize and shape the rhythm, often defining the musical style. If computers were able to analyze the drum part in recorded music, it would enable a variety of rhythm-related music processing tasks. Especially the detection and classification of drum sound events by computational methods is considered to be an important and challenging research problem in the broader field of Music Information Retrieval. Over the last two decades, several authors have attempted to tackle this problem under the umbrella term Automatic Drum Transcription(ADT).This paper presents a comprehensive review of ADT research, including a thorough discussion of the task-specific challenges, categorization of existing techniques, and evaluation of several state-of-the-art systems. To provide more insights on the practice of ADT systems, we focus on two families of ADT techniques, namely methods based on Nonnegative Matrix Factorization and Recurrent Neural Networks. We explain the methods’ technical details and drum-specific variations and evaluate these approaches on publicly available datasets with a consistent experimental setup. Finally, the open issues and under-explored areas in ADT research are identified and discussed, providing future directions in this fiel

Support Vector Machines for Bass and Snare Drum Recognition

In this paper we attempt to extract information concerning percussive instruments from a musical audio signal. High-dimensional vectors of descriptors are computed from the signal and classified by means of Support Vector Machines (SVM). We investigate the performance on 2 important classes of drum sounds in Western popular music: bass and snare drums, possibly overlapping. The results are encouraging: SVM achieve a high accuracy and F1-measure, with linear kernels performing (nearly) as good as Gaussian kernels, but requiring 1000 times less computation time