Pyxel, una llibreria per a l'anotació automàtica de fotografies

Donat que actualment la generació i difusió de con tingut multimèdia ha incrementat molt, s'està fent recerca per trobar eines d’anotac ió automàtica o semiautomàtica d'imatges, sons, vídeos, etc. Aquest document recull la informació sobre el desen volupament i funcionament de la llibreria Pyxel, orientada, concretament, a l'anota ció d'imatges mitjançant la informació visual de la imatge i la informació textual que l'acompany a, les metadades. El Pyxel és un conjunt de classes desenvolupades en llenguatge de programació Python per dur a terme una cadena d'anotació d'imatges com plerta, es a dir, permet l'extracció de característiques visuals amb descriptors SIFT i l'e xtracció de característiques textuals de metadades mitjançant l'algoritme de processat de te xt TF-IDF, així com eines per crear ambdós vocabularis. També proporciona eines per l'entrenam ent i la detecció d'un classificador SVM. Per tal de gestionar les dades de grans volums d'im atges les eines del Pyxel estan pensades per fer processat d'imatges en paral·lel, molt útil per aprofitar d'una manera optima els recursos d’un servei de computació gestionat am b SLURM

UPC at MediaEval 2014 social event detection task

This document presents the contribution of the UPC team to the Social Event Detection (SED) Subtask 1 in MediaEval 2014. This contribution extends the solution tested in the previous year with a better optimization of the parameters that determine the clustering algorithm, and by introducing an additional pass that considers the merges of all pairs of mini-clusters generated during the two first passes. Our proposal also addresses the problem of incomplete metadata by generating additional textual tags based on geolocation and natural language processing techniques.Postprint (published version

Photo clustering of social events by extending photoTOC to a rich context

The popularisation of the storage of photos on the cloud has opened new opportunities and challenges for the organisation and extension of photo collections. This paper presents a light computational solution for the clustering of web photos based on social events. The proposal combines a first over-segmentation of the photo collections of each user based on temporal cues, as previously proposed in PhotoTOC. On a second stage, the resulting mini-clusters are merged based on contextual metadata such as geolocation, keywords and user IDs. Results indicate that, although temporal cues are very relevant for event clustering, robust solutions should also consider all these additional featuresPostprint (published version

Pyxel, una llibreria per a l'anotació automàtica de fotografies

Donat que actualment la generació i difusió de con tingut multimèdia ha incrementat molt, s'està fent recerca per trobar eines d’anotac ió automàtica o semiautomàtica d'imatges, sons, vídeos, etc. Aquest document recull la informació sobre el desen volupament i funcionament de la llibreria Pyxel, orientada, concretament, a l'anota ció d'imatges mitjançant la informació visual de la imatge i la informació textual que l'acompany a, les metadades. El Pyxel és un conjunt de classes desenvolupades en llenguatge de programació Python per dur a terme una cadena d'anotació d'imatges com plerta, es a dir, permet l'extracció de característiques visuals amb descriptors SIFT i l'e xtracció de característiques textuals de metadades mitjançant l'algoritme de processat de te xt TF-IDF, així com eines per crear ambdós vocabularis. També proporciona eines per l'entrenam ent i la detecció d'un classificador SVM. Per tal de gestionar les dades de grans volums d'im atges les eines del Pyxel estan pensades per fer processat d'imatges en paral·lel, molt útil per aprofitar d'una manera optima els recursos d’un servei de computació gestionat am b SLURM

UPC at MediaEval 2014 social event detection task

This document presents the contribution of the UPC team to the Social Event Detection (SED) Subtask 1 in MediaEval 2014. This contribution extends the solution tested in the previous year with a better optimization of the parameters that determine the clustering algorithm, and by introducing an additional pass that considers the merges of all pairs of mini-clusters generated during the two first passes. Our proposal also addresses the problem of incomplete metadata by generating additional textual tags based on geolocation and natural language processing techniques

UPC at MediaEval 2014 social event detection task

This document presents the contribution of the UPC team to the Social Event Detection (SED) Subtask 1 in MediaEval 2014. This contribution extends the solution tested in the previous year with a better optimization of the parameters that determine the clustering algorithm, and by introducing an additional pass that considers the merges of all pairs of mini-clusters generated during the two first passes. Our proposal also addresses the problem of incomplete metadata by generating additional textual tags based on geolocation and natural language processing techniques