Biblioteca d’aplicacions Shiny per a un primer curs d’Anàlisi de Dades Multivariants

Projecte 2017PID-UB/034El projecte suposa la continuïtat del projecte Biblioteca d’aplicacions Shiny per a un primer curs d’Anàlisi de Dades Multivariants, acollit en la segona convocatòria d’ajuts Universitat de Barcelona-Banco de Santander en el marc del programa de retenció de talent per mèrits docents (2016). L’actual projecte es plantejava ampliar la biblioteca d'aplicacions Shiny per tal d’ajudar a comprendre algunes de les tècniques fonamentals d’Anàlisi de Dades Multivariants: Anàlisi de Components Principals - Biplot, Anàlisis Clúster, k-means i Classificadors (Lineal, Quadratic, K-Nearest Neighbor, Màquines de Vector de Suport)

Vistas panorámicas sobre el patrimonio visual colectivo a través de redes neuronales convolucionales. Las exposiciones Revolutionary Arkive y Mnemosyne 2.0 de Pilar Rosado

En el contexto de una sociedad saturada de imágenes, las redes neuronales convolucionales (convolutional neural networks - CNN), preentrenadas a partir de la información visual contenida en miles y miles de imágenes, constituyen una herramienta de gran utilidad para ayudarnos a ordenar el patrimonio visual, ofreciéndonos así un punto de acceso que de otra manera sería imposible. Una de las responsabilidades del artista contemporáneo es adoptar posiciones que ayuden a dar significado, a proyectar sentido sobre la acumulación visual a la que nos enfrentamos. En este artículo pasamos a describir dos exposiciones de la artista Pilar Rosado: Revolutionary Arkive y Mnemosyne 2.0. En ellas se ha utilizado la red neuronal artificial ResNet-50 para extraer las características visuales de grandes conjuntos de imágenes y los descriptores de imagen obtenidos se han usado como entrada para el algoritmo t-SNE. Así, se han elaborado grandes mapas visuales formados por miles de imágenes ordenadas siguiendo criterios de similitud formal en los que se ponen de manifiesto los patrones visuales de los arquetipos de una determinada categoría semántica. La manera de archivar y recuperar nuestra memoria colectiva debe tener una correlación con los avances tecnológicos y científicos de nuestra época para que se nos vayan descubriendo progresivamente nuevos horizontes de conocimiento. En su práctica artística, Rosado explora, en el ámbito de la cocreación humano-máquina, cuestiones políticas que se pueden abordar desde la imagen y que implican a las tecnologías de aprendizaje automático, como la gestión de la información en los archivos visuales del futuro o la revisión de la memoria visual colectiva

Del píxel a las resonancias visuales: la imagen con voz propia

The objective of our research is to develop a series of computer vision programs to search for analogies in large datasets¿in this case, collections of images of abstract paintings¿ based solely on their visual content without textual annotation. We have programmed an algorithm based on a specific model of image description used in computer vision. This approach involves placing a regular grid over the image and selecting a pixel region around each node. Dense features computed over this regular grid with overlapping patches are used to represent the images. Analysing the distances between the whole set of image descriptors we are able to group them according to their similarity and each resulting group will determines what we call 'visual words'. This model is called Bag-of-Words representation Given the frequency with which each visual word occurs in each image, we apply the method pLSA (Probabilistic Latent Semantic Analysis), a statistical model that classifies fully automatically, without any textual annotation, images according to their formal patterns. I

Kernel-PCA data integration with enhanced interpretability

Background Nowadays, combining the different sources of information to improve the biological knowledge available is a challenge in bioinformatics. One of the most powerful methods for integrating heterogeneous data types are kernel-based methods. Kernel-based data integration approaches consist of two basic steps: firstly the right kernel is chosen for each data set; secondly the kernels from the different data sources are combined to give a complete representation of the available data for a given statistical task. Results We analyze the integration of data from several sources of information using kernel PCA, from the point of view of reducing dimensionality. Moreover, we improve the interpretability of kernel PCA by adding to the plot the representation of the input variables that belong to any dataset. In particular, for each input variable or linear combination of input variables, we can represent the direction of maximum growth locally, which allows us to identify those samples with higher/lower values of the variables analyzed. Conclusions The integration of different datasets and the simultaneous representation of samples and variables together give us a better understanding of biological knowledge

Kernel conditional Embeddings for associating omic data types

Computational methods are needed to combine diverse type of genome-wide data in a meaningful manner. Based on the kernel embedding of conditional probability distributions, a new measure for inferring the degree of association between two multivariate data sources is introduced. We analyze the performance of the proposed measure to integrate mRNA expression, DNA methylation and miRNA expression data

Artistic ideation based on computer vision methods

Exploramos el problema de clasificar las categorías escénicas que constituyen la base de la ideación y el diseño de la producción cultural de un artista. El objetivo principal es evaluar el desempeño de los descriptores de SIFT, la representación de la bolsa de imágenes y la correspondencia espacial de la pirámide cuando estas metodologías de visión computacional se enfrentan a este tipo de imágenes. Los resultados son prometedores, en promedio la puntuación de rendimiento es de alrededor del 70% y su desviación estándar es de aproximadamente el 5%. Explorem el problema de classificar les categories escèniques que constitueixen la base de la ideació i el disseny de la producció cultural d'un artista. L'objectiu principal és avaluar l'acompliment dels descriptors de SIFT, la representació de la borsa d'imatges i la correspondència espacial de la piràmide quan aquestes metodologies de visió computacional s'enfronten a aquest tipus d'imatges. Els resultats són prometedors, de mitjana la puntuació de rendiment és del voltant del 70% i la seva desviació estàndard és d'aproximadament el 5%

Semantic-Based Image Analysis with the Goal of Assisting Artistic Creation

Hemos abordado las dificultades de catalogación automática de imágenes sobre las que se basan la concepción y diseño de la producción artística del escultor M. Planas. Con el fin de construir un vocabulario visual para basar la descripción de la imagen, hemos seguido un procedimiento similar al método Bolsa de -Words ( arco). Hemos implementado un análisis probabilístico semántico latente ( EPNV ) que detecta los temas subyacentes en las imágenes. El conjunto de la colección de imágenes se agrupan en diferentes tipos que describen las preferencias estéticas del artista. Los resultados son prometedores, se describe el método de catalogación que puede proporcionar nuevos puntos de vista en futuros trabajos para el artista. Hem abordat les dificultats de catalogació automàtica d'imatges sobre les que es basen la concepció i disseny de la producció artística de l'escultor M. Planas . Per tal de construir un vocabulari visual per basar la descripció de la imatge, hem seguit un procediment similar al mètode Borsa de -Words ( arc ) . Hem implementat una anàlisi probabilístic semàntic latent ( EPNV ) que detecta els temes subjacents en les imatges. El conjunt de la col·lecció d'imatges s'agrupen en diferents tipus que descriuen les preferències estètiques de l'artista. Els resultats són prometedors, es descriu el mètode de catalogació que pot proporcionar nous punts de vista en futurs treballs per a l'artista

La visión artificial, un nuevo aliado para el análisis de imágenes artísticas

This paper analyzes the automatic classification of scenes that are the basis of the ideation and the designing of the sculptural production of the sculptor Miquel Planas. The main purpose is to evaluate the performance of the Bag-of-Features methods, in the challenging task of categorizing scenes when scenes differ in semantics rather than the objects they contain. We have employed a kernel-based recognition method that works by computing rough geometric correspondence on a global scale using the pyramid matching scheme introduced by Lazebnik, Schmid and Ponce in 2006. Results are promising, on average the score is about 70%. Experiments suggest that the automatic categorization of images based on computer vision methods can provide objective principles in cataloging images.En este estudio se evalúa el rendimiento de los métodos de Bag-of-Visualterms (BOV) para la clasificación automática de imágenes digitales de la base de datos del artista Miquel Planas. Estas imágenes intervienen en la ideación y diseño de su producción escultórica. Constituye un interesante desafío dada la dificultad de la categorización de escenas cuando éstas difieren más por los contenidos semánticos que por los objetos que contienen. Hemos empleado un método de reconocimiento basado en Kernels introducido por Lazebnik, Schmid y Ponce en 2006. Los resultados son prometedores, en promedio, la puntuación del rendimiento es aproximadamente del 70%. Los experimentos sugieren que la categorización automática de imágenes basada en métodos de visión artificial puede proporcionar principios objetivos en la catalogación de imágenes y que los resultados obtenidos pueden ser aplicados en diferentes campos de la creación artística

Intersecciones Semánticas entre Visión Artificial y Mirada Artística

In our project we have approached the difficulties of automatic classification of images on which the conception and design of sculptor M. Planas artistic production are based. This artist constantly generates images in his creative process. The methodology used is based on local characteristics. In order to build up a visual vocabulary for basing image description on, we followed a procedure similar to the one used in automatic text analysis. The method is known as the "Bag-of-Words" (BOW) model because every document is represented as a distribution of frequencies of the words in the text, without considering the syntactic relationships among them. In the sphere of images we refer to "Bag-of-Visual Terms" (BOV) representations. This approach consists in analysing images as a group of regions, describing only their appearance without taking into account their spatial structure. To overcome the disadvantages of polysemy and synonymy that this methodology has associated, we have used probabilistic latent semantic analysis (PLSA), that detects underlying topic in images. The outcomes are promising, the described cataloguing method may provide the artist with new viewpoints for future works.En el presente artículo se ha desarrollado un sistema capaz de categorizar de forma automática la base de datos de imágenes que sirven de punto de partida para la ideación y diseño en la producción artística del escultor M. Planas. La metodología utilizada está basada en características locales. Para la construcción de un vocabulario visual se sigue un procedimiento análogo al que se utiliza en el análisis automático de textos (modelo "Bag-of-Words"-BOW) y en el ámbito de las imágenes nos referiremos a representaciones "Bag-of-Visual Terms" (BOV). En este enfoque se analizan las imágenes como un conjunto de regiones, describiendo solamente su apariencia e ignorando su estructura espacial. Para superar los inconvenientes de polisemia y sinonimia que lleva asociados esta metodología, se utiliza el análisis probabilístico de aspectos latentes (PLSA) que detecta aspectos subyacentes en las imágenes, patrones formales. Los resultados obtenidos son prometedores y, además de la utilidad intrínseca de la categorización automática de imágenes, este método puede proporcionar al artista un punto de vista auxiliar muy interesante

Computer vision, a new ally for the analysis of artistic images

This paper analyzes the automatic classification of scenes that are the basis of the ideation and the designing of the sculptural production of the sculptor Miquel Planas. The main purpose is to evaluate the performance of the Bag-of-Features methods, in the challenging task of categorizing scenes when scenes differ in semantics rather than the objects they contain. We have employed a kernel-based recognition method that works by computing rough geometric correspondence on a global scale using the pyramid matching scheme introduced by Lazebnik, Schmid and Ponce in 2006. Results are promising, on average the score is about 70%. Experiments suggest that the automatic categorization of images based on computer vision methods can provide objective principles in cataloging images