SumajGAN: transferencia supervisada de maquillaje facial con redes generativas adversarias profundas

El reto de la transferencia de maquillaje de una imagen a otra ya está resuelto por los modelos BeautyGAN, PairedCycleGAN y BeautyGlow. Estos modelos lograron solucio nar el reto mencionado mediante un enfoque de aprendizaje semisupervisado; lo cual resuelve el problema de obtener un dataset alineado de maquillaje, pero a costa de un alto poder de cómputo. Por este motivo, en esta investigación se creó un dataset de imágenes alineadas y adicionalmente se propuso un modelo de transferencia de maquillaje mediante un enfoque supervisado. El dataset está compuesto por 5400 grupos de imágenes, cada grupo de imágenes se encuentra conformado por una imagen sin maquillaje, una imagen con maquillaje de referen cia y otra imagen con el maquillaje de la referencia y la identidad de la persona sin maquillaje. El modelo propuesto en esta investigación es llamado SumajGAN, el modelo se encuentra conformado por un discriminador de tipo PatchGAN y un generador de dos entradas inspi radas en un autoencoder. Se realizaron varios experimentos y el mejor resultado obtenido fue de 0,021658644 de error absoluto medio y alta resolución con una correcta transferencia de maquillaje. El modelo SumajGAN ha logrado realizar el objetivo planteado disminuyendo el tiempo de entrenamiento de modelos como BeautyGAN, PairedCycleGAN y BeautyGlow.The challenge of transferring makeup from one image to another is already solved by BeautyGAN, PairedCycleGAN and Beauty Glow. These models managed to meet the aforementioned challenge using a semi-supervised learning approach which solves the problem of obtaining an aligned makeup dataset but at the expense of a high computing power. Therefore, in this research, an aligned image dataset was developed and, additionally, a makeup transfer model was proposed using a supervised approach. The dataset consisted of 5,400 groups of images: each group of images was composed of a person’s no-makeup face image, a reference makeup face image, and a reference makeup face image transferred into the person’s no-makeup face image. The model proposed in this research is called SumajGAN. It is made of a PatchGAN-type discriminator and a two-input generator based on an autoenco der. Several experiments were conducted, and the best result achieved a mean absolute error of 0.021658644 and a high-resolution makeup transfer. The SumajGAN model has mana ged to achieve the objective by reducing the training time of models such as BeautyGAN, PairedCycleGAN and Beauty Glow

Aprendizaje automático profundo y visión por computadora: aplicaciones en el reconocimiento de lengua de señas e imágenes astronómicas

Esta línea de investigación se centra en el estudio y desarrollo de Sistemas Inteligentes para la resolución de problemas de reconocimiento de patrones en imágenes y video, utilizando técnicas de Aprendizaje Automático clásicas, junto con Redes Neuronales Convolucionales y Aprendizaje profundo. El trabajo presentado describe diferentes casos de aplicación en visión por computadora. Una de las líneas de investigación principales que se continúa desarrollando es el reconocimiento de lengua de señas. Este es un problema complejo y multidisciplinar, que presenta diversos subproblemas a resolver como el reconocimiento del intérprete, la segmentación de manos, la clasificación de diferentes configuraciones y de un gesto dinámico, entre otros. En esta área se está estudiando la forma de reconocer formas de mano de la Lengua de Señas con conjuntos de datos de tamaño reducido, dada la falta de datos de entrenamiento para este dominio. Además, se están comenzando a utilizar Redes Generativas Adversarias (GANs) para aumentar bases de datos de formas de mano, con el objetivo de complementar desde otro enfoque el entrenamiento de modelos para su clasificación. Por otro lado, se está estudiando la forma en que las redes neuronales codifican la invarianza a las transformaciones y otras propiedades transformacionales, con el objetivo de poder analizar y comparar estos modelos, y finalmente mejorarlos. De esta forma se espera poder mejorar los modelos de clasificación de objetos transformados, en particular, de formas de mano. Siguiendo con la línea de reconocimiento de patrones en imágenes, se está llevando a cabo una colaboración con investigadores de la Facultad de Astronomía y Geofísica de la UNLP para crear modelos de clasificación de imágenes de objetos celestes. Además, se está desarrollando un sistema para recuperar la información de placas espectrográficas astronómicas antiguas, con el objetivo de recuperar los espectrogramas que contienen. Por último, se está diseñando un prototipo para crear experiencias interactivas multimedia que incorpore técnicas de aprendizaje profundo tanto para la entrada de datos por parte de los usuarios, como para la generación de una salida en forma de imágenes, videos, sonido y texto.Eje: Agentes y Sistemas Inteligentes.Red de Universidades con Carreras en Informátic

Generative networks for underwater images reconstruction

RESUMEN: En los últimos años, el deep learning se ha convertido en una de las ramas más destacadas del aprendizaje automático. Las técnicas de aprendizaje profundo han revolucionado campos como la medicina o la visión artificial, llegando a conseguir resultados muy superiores a los obtenidos con las técnicas tradicionales. Es por este motivo que a lo largo del presente documento se busca aplicar técnicas del aprendizaje profundo, concretamente las redes generativas adversarias, para tratar de reconstruir las imágenes submarinas que recibe el piloto de un dron submarino durante su pilotaje. Y, de esta forma, a través de las técnicas de aprendizaje profundo, facilitar al piloto su labor.ABSTRACT: Deep learning has recently become one of the most prominent branches of machine learning. Learning techniques have revolutionized fields such as medicine or artificial vision, achieving results far superior to those obtained with traditional techniques. This is the reason why the current document seeks to apply deep learning techniques, specifically adversary generative networks, to try to reconstruct the underwater images received by the pilot of an underwater drone during their piloting. And, thus, facilitate the pilot's work using deep learning techniques.Máster en Ingeniería de Telecomunicació

Deep learning para aplicaciones astronómicas, visión por computadora y sistemas médicos

Esta línea de investigación se centra en el estudio y desarrollo de Sistemas Inteligentes para la resolución de problemas de reconocimiento de patrones en imágenes, video y datos médicos, utilizando técnicas de Aprendizaje Automático clásicas, junto con Redes Neuronales Convolucionales y Aprendizaje profundo. El trabajo presentado describe diferentes casos de aplicación en visión por computadora, Astronomía y predicción de diabetes. Una de las líneas de investigación principales que se continúa desarrollando es el reconocimiento de lengua de señas. Este es un problema complejo y multidisciplinar, que presenta diversos subproblemas a resolver como el reconocimiento del intérprete, la segmentación de manos, la clasificación de diferentes configuraciones y de un gesto dinámico, entre otros. En esta área se está estudiando la forma de reconocer formas de mano de la Lengua de Señas con conjuntos de datos de tamaño reducido, dada la falta de datos de entrenamiento para este dominio. Además, se están utilizando Redes Recurrentes para reconocer señas dinámicas, utilizando la base de datos LSA64 de Lengua de Señas Argentina [2]. Por último, se están utilizando Redes Generativas Adversarias (GANs) para aumentar bases de datos de formas de mano, con el objetivo de complementar desde otro enfoque el entrenamiento de modelos para su clasificación. Por otro lado, se está estudiando la forma en que las redes neuronales codifican la invarianza a las transformaciones y otras propiedades transformacionales, con el objetivo de poder analizar y comparar estos modelos. De esta forma se espera poder mejorar los modelos de clasificación de objetos transformados, en particular, de formas de mano. Siguiendo con la línea de reconocimiento de patrones en imágenes, se está llevando a cabo una colaboración con investigadores de la Facultad de Astronomía y Geofísica de la UNLP para crear modelos de clasificación de imágenes de objetos celestes. Además, se está desarrollando un sistema para recuperar la información de placas. Por último, se estudiaron modelos de Aprendizaje Automático para la predicción temprana de la enfermedad de diabetes.Red de Universidades con Carreras en Informátic

Deep Learning. Aplicaciones en reconocimiento de lengua de señas, generación de lenguaje natural e imágenes astronómicas

Esta línea de investigación se centra en el estudio y desarrollo de Sistemas Inteligentes para la resolución de problemas de reconocimiento de patrones en imágenes, video y texto, utilizando técnicas de Aprendizaje Automático clásicas, junto con Redes Neuronales Convolucionales y Aprendizaje profundo. El trabajo presentado describe diferentes casos de aplicación en visión por computadora y procesamiento de lenguaje natural. Una de las líneas de investigación principales que se continúa desarrollando es el reconocimiento de lengua de señas. Este es un problema complejo y multidisciplinar, que presenta diversos subproblemas a resolver como el reconocimiento del intérprete, la segmentación de manos, la clasificación de diferentes configuraciones y de un gesto dinámico, entre otros. En esta área se está estudiando la forma de reconocer formas de mano de la Lengua de Señas con conjuntos de datos de tamaño reducido, dada la falta de datos de entrenamiento para este dominio. Además, se están utilizando Redes Recurrentes para reconocer señas dinámicas, utilizando la base de datos LSA64 de Lengua de Señas Argentina. Por último, se están utilizando Redes Generativas Adversarias (GANs) para aumentar bases de datos de formas de mano, con el objetivo de complementar desde otro enfoque el entrenamiento de modelos para su clasificación. Por otro lado, se está estudiando la forma en que las redes neuronales codifican la invarianza a las transformaciones y otras propiedades transformacionales, con el objetivo de poder analizar y comparar estos modelos. De esta forma se espera poder mejorar los modelos de clasificación de objetos transformados, en particular, de formas de mano. Siguiendo con la línea de reconocimiento de patrones en imágenes, se está llevando a cabo una colaboración con investigadores de la Facultad de Astronomía y Geofísica de la UNLP para crear modelos de clasificación de imágenes de objetos celestes. Además, se está desarrollando un sistema para recuperar la información de placas. Por último, se creó un modelo neuronal capaz de generar texto artificial que se adapte al género freestyle.Eje: Agentes y sistemas inteligentes.Red de Universidades con Carreras en Informátic

Redes GANs como técnica de data augmentation para el reconocimiento de lengua de señas

En los últimos años las Redes Generativas Adversas han sido un tema de vanguardia dentro del campo del Aprendizaje Profundo. Por otra parte, es de común conocimiento que la cantidad de conjuntos de datos disponibles hoy en día no ha alcanzado todas las problemáticas existentes. En esta tesis se explora el uso de GANs para la generación de imágenes sintéticas de la lengua de señas en los dataset LSA16 y ASL Finger Spelling. Posteriormente se utilizan las mismas para realizar data augmentation con el fin aumentar la precisión en la clasificación de señas estáticas, logrando una mejora del ~2% para el conjunto de datos LSA16 y ~4% para el conjunto de datos de ASL Finger Spelling. Estos resultados se obtuvieron con el uso de BigGAN, el modelo GAN que logró generar las imágenes de más alta fidelidad a la vez que mantuvo una gran diversidad en sus muestras.Facultad de Informátic

Generació de conjunts de dades per a entrenament de mètodes de reconstrucció d'imatges de tomografia per emissió de positrons

[ES] El propósito de este trabajo es hallar un método eficaz para la generación de una base de datos sintética y realista que permita la reconstrucción de imágenes de tomografías por emisión de positrones (PET), como apoyo a la labor de los radiólogos en el estudio de las lesiones neoplásicas de mama. Para alcanzar este objetivo, el presente proyecto se ha centrado en el empleo de modelos basados en aprendizaje profundo. La principal dificultad que existe para entrenar estos modelos es la escasez de imágenes clínicas disponibles de diagnóstico oncológico. Para hacer frente a este obstáculo se ha confiado en el empleo de las redes neuronales generativas adversarias (GAN). Partiendo de un amplio estudio previo de investigación sobre la bibliografía relativa al tema y de los más recientes artículos publicados sobre dicha cuestión, se describen los principales modelos generativos GAN, su funcionamiento, componentes y proceso de entrenamiento así como los problemas de convergencia derivados del mismo. La experimentación se ha realizado con tres modelos diferentes de redes GAN y utilizando dos bases de muestras de características heterogéneas: primero una con imágenes de tomografías PET y, posteriormente, otra con muestras de mamografías. En la creación de las diferentes arquitecturas se han empleado las librerías Keras y Tensorflow y, para el entrenamiento de los modelos seleccionados, se ha utilizado una GPU Tesla T4 facilitada por Google Colab. Con todo ello se han ido obteniendo progresivamente imágenes sintéticas de una mayor resolución. Los pesos de aprendizaje obtenidos con muestras de mamografías en el modelo con el mejor rendimiento observado previamente, han permitido reentrenar los tres modelos GAN propuestos con las muestras PET iniciales. Esto ha facilitado finalmente, mediante la técnica de transfer learning, la obtención de las imágenes con mayor definición de la anatomía de la mama.[EN] The aim of this work is to find an effective method for the generation of a synthetic and realistic database that allows the reconstruction of positron emission tomography images (PET), to support the radiologists¿ tasks in the study of neoplastic breast lesions. To achieve this goal, this project has focused on the use of deep learning-based models. The main difficulty in training these models is the scarcity of available clinical images of oncological diagnoses. To address this obstacle, we have relied on the use of generative adversarial neural networks (GANs). Based on an extensive previous research study of the literature and the most recent articles published on the subject, we describe the main GAN generative models, their performance, components and training process, as well as the convergence problems derived from it. The experimentation has been carried out with three different models of GANs and using two sample bases with heterogeneous characteristics: firstly, a database of PET scans and, subsequently, another base with mammography samples. Keras and Tensorflow libraries were used to create the different architectures, and a Tesla T4 GPU provided by Google Colab was used to train the selected models. This has resulted in progressively higher resolution synthetic images. The learning weights obtained with mammography samples in the previously observed best-performing model, have allowed the three proposed GAN models to be retrained with the initial PET samples. This has finally made it possible, using the transfer learning technique, to obtain images with greater definition of the breast anatomy.[CA] La intenció d’aquest treball és la d’arribar a trobar un mètode eficaç per a la generació d’una base de dades sintètica i realista que permeti la reconstrucció d’imatges de tomografies per emissió de positrons (PET), com a suport a la tasca dels radiòlegs en l’estudi de les lesions neoplàsiques de mama. Per assolir aquest objectiu, el projecte s’ha centrat en l’ús de models basats en l’aprenentatge profund. L’escull principal que existeix per entrenar aquests tipus de models és l’escassetat d’imatges clíniques disponibles de diagnosi oncològica. Per fer front a aquest obstacle s’ha confiat en les xarxes neuronals generatives adversàries (GAN). Partint d’un ampli estudi previ d’investigació sobre la bibliografia al·lusiva al tema i dels articles més recents publicats sobre aquesta qüestió, es descriuen els diferents models generatius GAN, llurs components, funcionament i procés d’entrenament així com els problemes de convergència que se’n deriven d’aquest procés. L’experimentació s’ha realitzat amb tres models diferents de xarxes GAN i fent-ne ús de dues bases de mostres de característiques heterogènies: primer una amb imatges de tomografies PET i, posteriorment, una altra amb mostres de mamografies. En la creació de les diferents arquitectures s’han emprat les llibreries Keras i Tensorflow i, per a l’entrenament dels models seleccionats, s’ha fet ús d’una GPU Tesla T4 facilitada per Google Colab. Amb tot això s’han anat aconseguint progressivament imatges sintètiques d’una millor resolució. Els pesos d’aprenentatge obtinguts amb mostres de mamografies, en el model amb el millor rendiment assolit prèviament, han permès el reentrenament dels tres models GAN proposats amb les mostres PET inicials. Això ha facilitat finalment, mitjançant la tècnica de transfer learning, l’obtenció de les imatges amb més definició de l’anatomia de la mama.Marín Colomé, M. (2022). Generación de conjuntos de datos para entrenamiento de métodos de reconstrucción de imágenes de tomografía por emisión de positrones. Universitat Politècnica de València. http://hdl.handle.net/10251/185133TFG

Detección de lesiones cutáneas en imágenes basado en redes generativas adversarias

El propósito de este Trabajo Fin de Grado es conocer y poner en práctica las redes generativas adversarias en un problema real. Para ello, primero se estudia el panorama actual en el que esta arquitectura está siendo utilizada. Posteriormente, se crea una red GAN (generative adversarial network) y se evalúan los resultados. Tras profundizar en la parte teórica se pasa a la práctica utilizando Keras y Kaggle (plataforma online de data science) para crear la red generativa. El objetivo de esta red es generar nuevas imágenes y utilizarlas como data augmentation en un problema de clasificación. Este problema de clasificación es la ISIC-2019, una competición a nivel mundial en la que se buscan modelos capaces de clasificar entre ocho tipos de cáncer de piel. El flujo de trabajo es el siguiente: 1) La red creada genera im´agenes de un tipo de c´ancer de piel en particular (Actinic Keratosis). 2) Estas im´agenes se a˜naden al conjunto ´ de datos original y 3) se realiza una comparación para ver si el modelo clasificatorio mejora o no introduciendo nuevas imágenes creadas. Los resultados obtenidos muestran que no se ha sido capaz de mejorar el rendimiento del modelo clasificatorio con las nuevas imágenes generadas por la red GAN. Esto se debe por un lado a que la red GAN no es capaz de aprender lo suficiente, debido a la escasez de datos, y por otro a la carencia de poder computacional. Aún a pesar de no obtener los resultados esperados, se ha cumplido el objetivo: ahondar en el conocimiento de las redes generativas adversarias y utilizarlas en un problema de la vida real. También, tras realizar este Trabajo Fin de Grado brotan una serie de preguntas para un estudio a posteriori: ¿Se puede aplicar el data augmentation con la arquitectura GAN en la mayoría de los problemas? ¿Cómo se puede afrontar un conjunto de datos muy desbalanceado, es decir, donde algunas categorías tienen mucho peso mientras que otras muy poco? ¿Puede una red GAN ser pieza diferenciante para este tipo de problemas

Inteligencia Artificial Generativa en Farmacología: Revolucionando la Interacción Fármaco-Proteína

[ES]En la era moderna de la medicina, la inteligencia artificial (IA) está desempeñando un papel cada vez más prominente en la farmacología. Este artículo destaca la influencia transformadora de la IA generativa en el estudio y optimización de interacciones fármacoproteína. A través del análisis detallado de modelos como las Redes Generativas Adversariales (GANs) y los Transformers, se ilustra cómo la IA puede predecir y refinar las interacciones entre medicamentos y proteínas, llevando a terapias más eficientes y seguras. Además, se discute la capacidad de la IA generativa para prever interacciones cruzadas entre fármacos, reduciendo así el potencial de efectos secundarios y complicaciones relacionadas con la polifarmacia. La conclusión subraya la sinergia entre la investigación farmacológica tradicional y la IA, delineando un futuro optimista para el diseño y optimización de medicamentos en la medicina del siglo XXI

Análisis de seguridad en sistemas serverless

La computación sin servidor (o serverless para abreviar) es un modelo de ejecución en el que el proveedor en la nube (AWS, Azure o Google Cloud) es responsable de ejecutar un fragmento de código mediante la asignación dinámica de los recursos. Y cobrando solo por la cantidad de recursos utilizados para ejecutar el código. El código, generalmente, se ejecuta dentro de contenedores sin estado que pueden ser activados por una variedad de eventos que incluyen solicitudes HTTP, eventos de base de datos, servicios de colas, alertas de monitoreo, carga de archivos, eventos programados (trabajos cron), etc. El código que se envía a al proveedor en la nube para la ejecución es generalmente en forma de una función. Este proyecto tiene como objetivo analizar las amenazas de este tipo de sistemas y estudiar especialmente la amenaza de tipo Denial of Wallet (DoW)