Jensen, Bjørn Sand

Den stigende tilgængelighed og brug af digitale medier kræver metoder og systemer til at forstå og organisere de digitale objekter og det ideelt på en måde, der er i tråd med brugernes forståelse, forventninger og behov. Denne afhandling undersger tre elementer i sådanne systemer som alle vedrører systemets evne til at repræsentere og frembringe brugerens syn pa objektet eller systemets output.Lyd og musik er ofte karakteriseret ved den store mængde af heterogene egenskaber og information. Det første undersøgte aspekt er integrationen af multivariate og multimodale informationskilder af musik baseret pa Latent Dirichlet Allocation (LDA), en Bayesian admixture / topic model. Modellen anvendes til at integrere bottom-up egenskaber (timbre, loudness, tempo og chroma features), metadata aspekter (lyrik) samt top-down aspekter, nemlig brugergenererede tags. Modellen og reprsentation evalueres på blandt ander på sin even til at bestemme genre.Modellering og experimental frembringelse af brugeren interne repræsentation og forståelse af for exsempel musik kan udføres pa mange måder. Afhandlingen bidrager med et setup til modellering og frembringelse af præference og andre kognitive aspekter. Opsætningen er baseret pa klassisk regression og choice modeller i rammerne af Gaussiske processer, som resulterer i en række ikkeparametriske Bayesianske modeller. Opsætningen består af en række likelihood funktioner, der er egende til at modellere både brugeres absolutte vurderinger og parraede sammenligninger. Inferens sker ved analytiske og simulerings baserede metoder. For at minimere den ofte kostbare forsøgtid, er sekventiel eksperimentiel design understøttet. Opsætningen anvendes inden for modellering af følelser i musik og brugeroptimering af et parametrisk audio system med højdimensionale input rum.Det sidste aspekt der er undersgt relaterer til brugerens generelle kontekst, som placering og social kontekst, er vigtige for forstaelsen brugeradfrd og afdækning brugernes aktuelle informationsbehov. Afhandlingen undersger forudsigeligheden af brugerens kontekst, navnlig placering, baseret pa informations teoretiske grænser og en bestemt eksperimentel tilgang baseret pa indsamling af data fra den allestedsnærvrende mobiltelefon.The increasing availability of digital audio and music calls for methods and systems to analyse and organize these digital objects. This thesis investigates three elements related to such systems focusing on the ability to represent and elicit the user's view on the multimedia object and the system output. The aim is to provide organization and processing, which aligns with the understanding and needs of the users.Audio and music is often characterized by the large amount of heterogenous information. The rst aspect investigated is the integration of such multi-variate and multi-modal information sources based on latent Dirichlet allocation (LDA). The model is used to integrate bottom-up features (reflecting timbre, loudness, tempo and chroma), meta-data aspects (lyrics) and top-down aspects, namely user generated open vocabulary tags. The model and representation is evaluated on the auxiliary task of genre and style classification.Eliciting the subjective representation and opinion of users is an important aspect in building personalized systems. The thesis contributes with a setup for modelling and elicitation of preference and other cognitive aspects with focus on audio applications. The setup is based on classical regression and choice models placed in the framework of Gaussian processes, which provides flexible non-parametric Bayesian models. The setup consist of a number of likelihood functions suitable for modelling both absolute ratings (direct scaling) and comparative judgements (indirect scaling). Inference is performed by analytical and simulation based methods, including the Laplace approximation and expectation propagation. In order to minimize the cost of the often expensive and lengthly experimentation, sequential experiment design or active learning is supported. The setup is applied in the eld of music emotion modelling and optimization of a parametric audio system with high-dimensional input spaces.The final aspect, considered in the thesis, concerns the general context of users, such as location and social context. This is important in understanding user behavior and in determining the users current information needs. The thesis investigates the predictability of the user context, in particular location, based on information theoretic bounds and a particular experimental approach based on context sensing using the ubiquitous mobile phone

Online Research Database In Technology

Integration of top-down and bottom-up information for audio organization and retrieval

http://orbit.dtu.dk/ws/files/108129850/phd291_Jensen_BS.pdf

Integration of top-down and bottom-up information for audio organization and retrieval

Abstract

Similar works

Full text

Available Versions

Online Research Database In Technology