Computing Information Quantity as Similarity Measure for Music Classification Task

This paper proposes a novel method that can replace compression-based dissimilarity measure (CDM) in composer estimation task. The main features of the proposed method are clarity and scalability. First, since the proposed method is formalized by the information quantity, reproduction of the result is easier compared with the CDM method, where the result depends on a particular compression program. Second, the proposed method has a lower computational complexity in terms of the number of learning data compared with the CDM method. The number of correct results was compared with that of the CDM for the composer estimation task of five composers of 75 piano musical scores. The proposed method performed better than the CDM method that uses the file size compressed by a particular program.Comment: The 2017 International Conference On Advanced Informatics: Concepts, Theory And Application (ICAICTA2017

Cross-Modal Variational Inference For Bijective Signal-Symbol Translation

International audienceExtraction of symbolic information from signals is an active field of research enabling numerous applications especially in the Musical Information Retrieval domain. This complex task, that is also related to other topics such as pitch extraction or instrument recognition, is a demanding subject that gave birth to numerous approaches , mostly based on advanced signal processing-based algorithms. However, these techniques are often non-generic, allowing the extraction of definite physical properties of the signal (pitch, octave), but not allowing arbitrary vocabularies or more general annotations. On top of that, these techniques are one-sided, meaning that they can extract symbolic data from an audio signal, but cannot perform the reverse process and make symbol-to-signal generation. In this paper, we propose an bijective approach for signal/symbol translation by turning this problem into a density estimation task over signal and symbolic domains, considered both as related random variables. We estimate this joint distribution with two different variational auto-encoders, one for each domain, whose inner representations are forced to match with an additive constraint, allowing both models to learn and generate separately while allowing signal-to-symbol and symbol-to-signal inference. In this article, we test our models on pitch, octave and dynamics symbols, which comprise a fundamental step towards music transcription and label-constrained audio generation. In addition to its versatility, this system is rather light during training and generation while allowing several interesting creative uses that we outline at the end of the article

Learning Frame Similarity using Siamese networks for Audio-to-Score Alignment

Audio-to-score alignment aims at generating an accurate mapping between a performance audio and the score of a given piece. Standard alignment methods are based on Dynamic Time Warping (DTW) and employ handcrafted features, which cannot be adapted to different acoustic conditions. We propose a method to overcome this limitation using learned frame similarity for audio-to-score alignment. We focus on offline audio- to-score alignment of piano music. Experiments on music data from different acoustic conditions demonstrate that our method achieves higher alignment accuracy than a standard DTW-based method that uses handcrafted features, and generates robust alignments whilst being adaptable to different domains at the same time

A supervised classification approach for note tracking in polyphonic piano transcription

In the field of Automatic Music Transcription, note tracking systems constitute a key process in the overall success of the task as they compute the expected note-level abstraction out of a frame-based pitch activation representation. Despite its relevance, note tracking is most commonly performed using a set of hand-crafted rules adjusted in a manual fashion for the data at issue. In this regard, the present work introduces an approach based on machine learning, and more precisely supervised classification, that aims at automatically inferring such policies for the case of piano music. The idea is to segment each pitch band of a frame-based pitch activation into single instances which are subsequently classified as active or non-active note events. Results using a comprehensive set of supervised classification strategies on the MAPS piano data-set report its competitiveness against other commonly considered strategies for note tracking as well as an improvement of more than +10% in terms of F-measure when compared to the baseline considered for both frame-level and note-level evaluations.This research work is partially supported by Universidad de Alicante through the FPU program [UAFPU2014–5883] and the Spanish Ministerio de Economía y Competitividad through project TIMuL [No. TIN2013–48152–C2–1–R, supported by EU FEDER funds]. EB is supported by a UK RAEng Research Fellowship [grant number RF/128]

IDENTIFICATION OF COVER SONGS USING INFORMATION THEORETIC MEASURES OF SIMILARITY

13 pages, 5 figures, 4 tables. v3: Accepted version13 pages, 5 figures, 4 tables. v3: Accepted version13 pages, 5 figures, 4 tables. v3: Accepted versio

Comparison Structure Analysis

This study presents an automatic, computer-aided analytical method called Comparison Structure Analysis (CSA), which can be applied to different dimensions of music. The aim of CSA is first and foremost practical: to produce dynamic and understandable representations of musical properties by evaluating the prevalence of a chosen musical data structure through a musical piece. Such a comparison structure may refer to a mathematical vector, a set, a matrix or another type of data structure and even a combination of data structures. CSA depends on an abstract systematic segmentation that allows for a statistical or mathematical survey of the data. To choose a comparison structure is to tune the apparatus to be sensitive to an exclusive set of musical properties. CSA settles somewhere between traditional music analysis and computer aided music information retrieval (MIR). Theoretically defined musical entities, such as pitch-class sets, set-classes and particular rhythm patterns are detected in compositions using pattern extraction and pattern comparison algorithms that are typical within the field of MIR. In principle, the idea of comparison structure analysis can be applied to any time-series type data and, in the music analytical context, to polyphonic as well as homophonic music. Tonal trends, set-class similarities, invertible counterpoints, voice-leading similarities, short-term modulations, rhythmic similarities and multiparametric changes in musical texture were studied. Since CSA allows for a highly accurate classification of compositions, its methods may be applicable to symbolic music information retrieval as well. The strength of CSA relies especially on the possibility to make comparisons between the observations concerning different musical parameters and to combine it with statistical and perhaps other music analytical methods. The results of CSA are dependent on the competence of the similarity measure. New similarity measures for tonal stability, rhythmic and set-class similarity measurements were proposed. The most advanced results were attained by employing the automated function generation – comparable with the so-called genetic programming – to search for an optimal model for set-class similarity measurements. However, the results of CSA seem to agree strongly, independent of the type of similarity function employed in the analysis.Tämä tutkimus esittelee uuden musiikkianalyyttisen metodin, vertailurakenneanalyysin (VRA, engl. Comparison Structure Analysis, CSA), jonka avulla voidaan analysoida musiikin eri ulottuvuuksia, kuten harmoniaa tai rytmiä. VRA:n ideana on mitata tietyn ennalta valitun musiikillisen rakenteen, vaikkapa jonkin sävelasteikon, vallitsevuutta musiikin kullakin ajanhetkellä. Tämä edellyttää kolmea asiaa. Ensiksi, intuitiivisesti tai muulla tavoin valittu musiikillinen piirre, jota tässä kutsutaan yleisesti vertailurakenteeksi, on esitettävä matemaattisessa muodossa, esimerkiksi matemaattisen avaruuden vektorina. Vertailurakenne voidaan muodostaa myös useiden eri tyyppisten, musiikin eri ulottuvuuksiin liittyvien tietorakenteiden yhdistelmänä. Toiseksi, analysoitava musiikillinen data, esimerkiksi musiikista muodostetut sävelluokat (C:stä H:hon), on pystyttävä ryhmittelemään vastaavantyyppisiksi objekteiksi. Lisäksi tarvitaan vielä matemaattinen funktio, joka kykenee mittaamaan valitun vertailurakenteen ja musiikista ryhmiteltyjen segmenttien välistä samankaltaisuutta tai vastaavasti, etäisyyttä. Toisin sanoen, VRA:ssa verrataan valittua vertailurakennetta, esimerkiksi diatonista asteikkoa, kaikkiin musiikista segmentoituihin vastaavantyyppisiin objekteihin. Mittaustulokset saadaan lukuarvoina yleensä välillä 0–1, jossa arvo 1 voi – mittausfunktion luonteesta riippuen – tarkoittaa joko täydellistä samankaltaisuutta tai suurinta mahdollista etäisyyttä. Havainnollisena analyysin kohteena voisimme kuvitella länsimaista taidemusiikkia edustavan sävellyksen, jossa siirrytään keskiaikaisesta diatonisesta musiikista historiallisesti ja tyylillisesti kohti 1900-luvun atonaalista musiikkia. Mikäli tässä tapauksessa vertailurakenteena käytettäisiin mainittua diatonista asteikkoa, VRA paljastaisi musiikissa korvinkin havaittavan ei-diatonisoitumisen. Tulosten esittämisellä esimerkiksi ajallisia muutoksia esittävin mittauskäyrin tai luokittelua havainnollistavin keskiarvopistein on merkittävä asema analyysissa. VRA sijoittuu perinteisen musiikkianalyysin ja tietokonetta hyödyntävien musiikin sisältöhakuun (music information retrieval, MIR) keskittyvien tekniikoiden välimaastoon. Sen avulla voidaan tunnistaa ja mitata perinteiselle musiikkianalyysille tyypillisia kohteita kuten karakteristisia rytmejä, sävelluokkajoukkoja, joukkoluokkia, tonaliteetteja ja käänteiskontrapunkteja soveltamalla MIR:lle tyypillisiä segmentointi- ja vertailualgoritmeja. Vertailurakenneanalyysin suurimmaksi haasteeksi on osoittautunut musiikillisten segmenttien muodostamiseen tarvittavan automaattisen algoritmin kehittäminen. Voidaan näet osoittaa, että sama musiikillinen data on useimmiten mahdollista segmentoida – musiikillisesti mielekkäästi – monella eri tavalla. Silloin, kun kyse on harmoniaan liittyvistä objekteista, tehtävä on erityisen haastava, sillä tällöin musiikin säveltapahtumia joudutaan tarkastelemaan niin ajallisessa kuin vertikaalisessakin suunnassa. Musiikin tonaalisuudessa ja sävelluokkasisällössä tapahtuvien muutosten analysoimista varten tässä tutkimuksessa kehitettiinkin kaksi erilaista segmentointialgoritmia, jotka muodostavat musiikillisesta datasta osin limittäisiä sävelluokkajoukkoja. Metodien erilaisuudesta huolimatta ‘herkkyysanalyysillä’ voitiin osoittaa, että molemmat menetelmät ovat hyvin vähän riippuvaisia syötetyn datan luonteesta; niiden avulla saadut tulokset olivat hyvin samankaltaisia. VRA:lla saatuja tuloksia voidaan edelleen tarkastella myös tilastollisen merkitsevyyden näkökulmasta. Koska VRA:lla pystytään havaitsemaan musiikin eri dimensioissa tapahtuvia muutoksia, tämän johdannaisena voidaan tutkia myös sitä, missä määrin jokin sävellys on tyylillisesti koherentti verrattuna johonkin toiseen sävellykseen eli kummassa muutokset ovat tarkasteltavan ominaisuuden suhteen keskimäärin pienemmät ja kummassa suuremmat. Lisäksi VRA tarjoaa mahdollisuuden musiikin luokitteluun saatujen mittausarvojen perusteella: mitä enemmän musiikillisia parametrejä ja useampia vertailurakenteita analyysissa hyödynnetään, sitä tarkemmin sävellyksiä voidaan luokitella. Niinpä VRA:n keinoja voidaan tulevaisuudessa kuvitella käytettävän myös musiikin sisältöhakuun (MIR). Tällaisessa tapauksessa vertailurakenne tai -rakenteet voitaisiin ‘laskea’ musiikillisesta datasta suoraan jollakin matemaattisella menetelmällä – kuten pääkomponenttianalyysilla – etukäteen suoritettavan intuitiivisen valinnan sijaan. Tutkimuksen tuloksiin lukeutuvat myös useat VRA:n tarpeisiin kehitetyt samankaltaisuusmittarit. Näistä mielenkiintoisin lienee sävelluokkajoukkojen välisen samankaltaisuuden mittaamiseen kehitetty funktio expcos, joka löytyi ns. geneettisen ohjelmoinnin avulla. Mainitussa kokeessa tietokoneella generoitiin arviolta n. 800 000 samankaltaisuusmittaria, joiden tuottamia tuloksia verrattiin ihmisten tekemiin samankaltaisuusarvioihin. Niistä n. 450 osoittautui käyttökelpoiseksi. Sensitiivisyysanalyysi osoitti, että em. funktio paitsi korreloi voimakkaammin empiiristen samankaltaisuusarvioiden kanssa, on VRA:ssa myös robustimpi kuin kenties tunnetuin samaan tarkoitukseen kehitetty funktio, REL (David Lewin, 1980). Käytännössä tällä ei ole kuitenkaan merkitystä: REL toimii VRA:ssa aivan yhtä hyvin kuin expcos. VRA:n avulla musiikkia tarkastellaan ikään kuin jonkinlaisena tilastollisena sävelmassana, eikä se niin muodoin kykene kertomaan siitä, miten analysoitava musiikki on yksityiskohtien tasolla sävelletty; perinteiset musiikkianalyysimenetelmät pureutuvat tehtävään paremmin. Toisaalta, tämä ei ole VRA:n tarkoituskaan vaan päinvastoin, sen avulla sävellysten muodosta pystytään muodostamaan laajoja yleiskuvia, jotka ovat useimmiten havaintokykymme ulottumattomissa. Vertailurakenneanalyysi on hyvin joustava menetelmä. Mikään ei nimittäin estä tarkastelemasta musiikin eri dimensioista saatuja mittaustuloksia keskenään ja näin etsimästä niiden välisiä yhteyksiä. Lisäksi menetelmän periaatteita voitaisiin kuvitella käytettävän yleisemminkin, esimerkiksi linnunlaulun muodon tarkasteluun tai vaikkapa jokipuron solinasta löytyvien toistuvien jaksojen havainnointiin. VRA:n periaatteita voidaankin soveltaa mihin tahansa numeerisesti diskreettiin muotoon saatettuun aikasarjaan.Siirretty Doriast