Aprendizaje multimodal aplicado al etiquetado de imágenes

Tesis (Lic. en Cs. de la Computación)--Universidad Nacional de Córdoba, Facultad de Matemática, Astronomía, Física y Computación, 2019.El aprendizaje multimodal estudia problemas de aprendizaje automático utilizando datos que combinan información de diferente naturaleza. Un ejemplo de tarea multimodal es el etiquetado de imágenes, donde una imagen debe ser etiquetada con términos (palabras) que describan el contenido de la imagen. En este trabajo proponemos estudiar modelos que permiten etiquetar imágenes a través de funciones que den una ordenación (ranking) de etiquetas posibles a cada imagen dada. Este ranking se obtiene a partir de una puntuación (score) que se obtiene de una función bilineal que combina representaciones de imágenes con representaciones de etiquetas textuales.Multimodal Learning is a subset of machine learning problems that work with data of different nature. An example of a multimodal task is image tagging where an image must be tagged with different representative tags that describe the image. In this work we will study different models that allow us to tag an image through functions that give a rank to image tags. In order to get this ranking we will use a bilinear function that combine image and tag embeddings.publishedVersionFil: Peretti, Nicolás Jesús. Universidad Nacional de Córdoba. Facultad de Matemática, Astronomía, Física y Computación; Argentina