An MPEG-7 scheme for semantic content modelling and filtering of digital video

Abstract Part 5 of the MPEG-7 standard specifies Multimedia Description Schemes (MDS); that is, the format multimedia content models should conform to in order to ensure interoperability across multiple platforms and applications. However, the standard does not specify how the content or the associated model may be filtered. This paper proposes an MPEG-7 scheme which can be deployed for digital video content modelling and filtering. The proposed scheme, COSMOS-7, produces rich and multi-faceted semantic content models and supports a content-based filtering approach that only analyses content relating directly to the preferred content requirements of the user. We present details of the scheme, front-end systems used for content modelling and filtering and experiences with a number of users

Rancang Bangun Aplikasi MusicMoo dengan Metode MIR (Music Information Retrieval) pada Modul Mood, Genre Recognition, dan Tempo Estimation

Saat ini, metode pemanggilan kembali informasi suatu musik atau yang sering disebut Music Information Retrieval (MIR) telah banyak diterapkan. Contohnya pada suatu aplikasi Shazam ataupun SounHound. Kedua aplikasi ini hanya menangani sebatas suatu lagu berjudul apakah ketika diperdengarkan. Untuk itu, tujuan penelitian ini adalah pengembangan lebih lanjut MIR yang lebih spesifik lagi, yaitu melakukan pemanggilan informasi lagu yang terkait kembali beserta detail lagu di antaranya adalah mood, genre, dan tempo lagu. Penelitian ini memakai ekstraksi fitur berbasis MPEG-7 yang oleh library Java bernama MPEG7AudioEnc. Hasil ekstraksi fitur ini berupa metadata dalam bentuk angka digital yang merepresentasikan karakteristik suatu sinyal pada tiap fiturnya. Setelah fitur didapatkan, tahap berikutnya adalah melakukan pengambilan suatu fitur sesuai dengan masing-masing modul dengan metode Xquery yang diimplementasikan oleh library Java bernama BaseX. Fitur yang diambil dipakai untuk proses pengolahan dengan Discrete Wavelet Transform (DWT) beserta level dekomposisi terbaik oleh library Python bernama Pywt. Setelah fitur-fitur diproses, maka dilakukan penggabungan fitur pada suatu list beserta penyamaan panjang fitur untuk proses klasifikasi. Tahap terakhir adalah melakukan klasifikasi dengan menggunakan Support Vector Machine (SVM). Terdiri dari 2 tahap yaitu tahap training dan prediksi. Hasil akurasi keberhasilan pada penelitian ini untuk modul mood 75%, genre 87,5% dan tempo 80%

Rancang Bangun Aplikasi MusicMoo dengan Metode MIR (Music Information Retrieval) pada Modul Mood, Genre Recognition, dan Tempo Estimation

Saat ini, metode pemanggilan kembali informasi suatu musik atau yang sering disebut Music Information Retrieval (MIR) telah banyak diterapkan. Contohnya pada suatu aplikasi Shazam ataupun SounHound. Kedua aplikasi ini hanya menangani sebatas suatu lagu berjudul apakah ketika diperdengarkan. Untuk itu, tujuan penelitian ini adalah pengembangan lebih lanjut MIR yang lebih spesifik lagi, yaitu melakukan pemanggilan informasi lagu yang terkait kembali beserta detail lagu di antaranya adalah mood, genre, dan tempo lagu. Penelitian ini memakai ekstraksi fitur berbasis MPEG-7 yang oleh library Java bernama MPEG7AudioEnc. Hasil ekstraksi fitur ini berupa metadata dalam bentuk angka digital yang merepresentasikan karakteristik suatu sinyal pada tiap fiturnya. Setelah fitur didapatkan, tahap berikutnya adalah melakukan pengambilan suatu fitur sesuai dengan masing-masing modul dengan metode Xquery yang diimplementasikan oleh library Java bernama BaseX. Fitur yang diambil dipakai untuk proses pengolahan dengan Discrete Wavelet Transform (DWT) beserta level dekomposisi terbaik oleh library Python bernama Pywt. Setelah fitur-fitur diproses, maka dilakukan penggabungan fitur pada suatu list beserta penyamaan panjang fitur untuk proses klasifikasi. Tahap terakhir adalah melakukan klasifikasi dengan menggunakan Support Vector Machine (SVM). Terdiri dari 2 tahap yaitu tahap training dan prediksi. Hasil akurasi keberhasilan pada penelitian ini untuk modul mood 75%, genre 87,5% dan tempo 80%

Using the Semantic Grid to Build Bridges between Museums and Indigenous Communities

In this paper we describe a Semantic Grid application designed to enable museums and indigenous communities in distributed locations, to collaboratively discuss, describe, annotate and define the rights associated with objects in museums that originally belonged to or are of cultural or historical significance to indigenous groups. By extending and refining an existing application, Vannotea, we enable users on access grid nodes to collaboratively attach descriptive, rights and tribal care metadata and annotations to digital images, video or 3D representations. The aim is to deploy the software within museums to enable the traditional owners to describe and contextualize museum content in their own words and from their own perspectives. This sharing and exchange of knowledge will hopefully revitalize cultures eroded through colonization and globalization and repair and strengthen relationships between museums and indigenous communities

Query by image medical training: optical biopsy with confocal endoscopy (OB-CEM)

The use of Optical Biopsies-OB (in the present case Confocal endomicroscopy-CEM) is limited due to difficulties to interpret images. The OB-CEM are taken by endoscopists, not trained in microscopic morphology which is the domain of the surgical pathology. To gain diagnostic confidence the endoscopists could consult the images to a pathologist or could use the technique proposed in the paper. That is, to search for similar images on Internet to compare the diagnosis. The present paper is a positioning paper of how to build a CEM-image metadata to be used by the multimedia standards ISO-15938-12:2008 and ISO-24800-3 in order to search on line using a “query by image”. Metadata semantics based on Kudo colorectal crypt architecture was used for annotation or automatic image extraction. The training set was composed of 25 OB-CEM chromo-colonoscopy images taken with a FICE (Fujinon Intelligent Chromoendoscopy). Those parameters were, whenever possible, automatically extracted from the image and included in the metadata for image mining. Future developments will annotate histological images is such a way that the query could also retrieve the histological image.Postprint (published version

Bilvideo-7: an MPEG-7- compatible video indexing and retrieval system

Cataloged from PDF version of article.BilVideo-7 is an MPEG-7-compatible, distributed, video indexing and retrieval system that supports complex multimodal queries in a unified framework

Modeling image databases using Xml schema

This thesis presents a model for still images in order to support content-based querying and browsing by hierarchical tree structures and object relational graphs. We use the extensible markup language (XML) schema to illustrate and exemplify the proposed model because of its interoperability and flexibility advantages. Of primary interest is the notion of complex types and referential integrity to fully describe the physical and semantic properties of images. XQuery is used to support query processing. We further show how these complex types of XML schema can be used to overcome the shortcomings of reported image database descriptions in the literature

The TV-Trawler Project

In this paper, we describe a system which enables the filtering, recording and delivery of digital video broadcasts over satellite, by matching incoming content descriptions to pre-defined sets of personal user preferences which have been defined using MPEG-7. The system enables the automatic analysis, selection and flexible, customized delivery of relevant content extracted from potentially hundreds of concurrent video channels