Tackling low-resourced sign language translation: UPC at WMT-SLT 22

This paper describes the system developed at the Universitat Politècnica de Catalunya for the Workshop on Machine Translation 2022 Sign Language Translation Task, in particular, for the sign-to-text direction. We use a Transformer model implemented with the Fairseq modeling toolkit. We have experimented with the vocabulary size, data augmentation techniques and pretraining the model with the PHOENIX-14T dataset. Our system obtains 0.50 BLEU score for the test set, improving the organizers’ baseline by 0.38 BLEU. We remark the poor results for both the baseline and our system, and thus, the unreliability of our findings.This research was partially supported by research grant Adavoice PID2019-107579RB-I00 /AEI / 10.13039/501100011033, research grants PRE2020-094223, PID2021-126248OB-I00 and PID2019-107255GB-C21.Peer ReviewedPostprint (published version

Sign language translation from instructional videos

The advances in automatic sign language translation (SLT) to spoken languages have been mostly benchmarked with datasets of limited size and restricted domains. Our work advances the state of the art by providing the first baseline results on How2Sign, a large and broad dataset. We train a Transformer over I3D video features, using the reduced BLEU as a reference metric for validation, instead of the widely used BLEU score. We report a result of 8.03 on the BLEU score, and publish the first open-source implementation of its kind to promote further advances.This research was partially supported by research grant Adavoice PID2019-107579RB-I00 / AEI / 10.13039/501100011033, research grants PRE2020-094223, PID2021-126248OB-I00 and PID2019-107255GB-C21 and by Generalitat de Catalunya (AGAUR) under grant agreement 2021-SGR-00478.Peer ReviewedPostprint (published version

GAN-based image colourisation with feature reconstruction loss

Automatic image colourisation is a complex and ambiguous task due to having multiple correct solutions. Previous approaches have resulted in desaturated results unless relying on a significant user interaction. In this thesis we study the state of the art for colourisation and we propose an automatic colourisation approaches based on generative adversarial networks that incorporates a feature reconstruction loss during training. The generative network is framed in an adversarial model that learns how to colourise by incorporating perceptual understanding of the colour. Qualitative and quantitative results show the capacity of the proposed method to colourise images in a realistic way, boosting the colourfulness and perceptual realism of previous GAN-based methodologies. We also study and propose a second approach that incorporates segmentation information in the GAN framework and obtain quantitative and qualitative results

Classificació de lesions a la pell amb un ensemble de xarxes neuronals residuals

Proyecto en colaboración con la unidad de Dermatología del Hospital Clínico de BarcelonaConvolutional Neural Networks have gained popularity in the recent years due to their performance regarding image analysis, both in classification and segmentation. Especially in the medical field, it is increasingly common to use automatic techniques to help specialists with the diagnosis. In this thesis, the problem of skin lesion classification is studied. The study is based on the ISIC Challenges, given the collaboration with Hospital Clínic de Barcelona, and we help in the development of the database for the ISIC Challenge 2019. One of the key points of the development is obtaining a model that manages to classify with accuracy a database provided. To do so, we study residual neural networks and an ensemble of them to further improve the results. The purpose of this project, therefore is the study, analysis and evaluation of the variants and modifications of residual neural networks so that it adapts to our problem using an ensemble of them. In the process, the neural network will have to tackle the problem of class imbalance.Las Redes Neuronales Convolucionales se han popularizado gracias a sus prestaciones respecto al análisis de imágenes, tanto clasificación como segmentación. Especialmente en el ámbito de la medicina es cada vez más común el uso de técnicas automáticas para ayudar a los especialistas con el diagnóstico. En este trabajo, se estudia el problema de clasificación de lesiones en la piel. Basándonos en los retos de ISIC, dado la colaboración con el Hospital Clínic de Barcelona y ayudando con el desarrollo de la base de datos del challenge ISIC2019. Unos de los puntos claves del desarrollo de este proyecto es la obtención de un modelo que consiga clasificar correctamente las imágenes de una base de datos proporcionada. Para ellos, se estudian las redes neuronales residuales y la técnica de ensembling para mejorar los resultados. El propósito de este proyecto, por lo tanto es el estudio, el análisis y la evaluación de las variantes y modificaciones de redes neuronales residuales para que se adapte a nuestro problema utilizando un ensemble de ellas. En el proceso se deberá afrontar el reto de la desproporción entre clases.Les Xarxes Neuronals Convolucionals s'han popularitzat gràcies a les seves prestacions vers l'anàlisi d'imatges, tant en classificació com en segmentació. Especialment dins l'àmbit de la medicina cada vegada és més comú l'ús de tècniques automàtiques per ajudar als especialistes amb el diagnòstic. En aquest treball, s'estudia el problema de classificació de lesions a la pell. Basant-nos en els reptes proposats per ISIC, donada la col·laboració amb l'Hospital Clínic de Barcelona i ajudant al desenvolupament de la base de dades del repte ISIC2019. Un dels punts clau del desenvolupament del projecte és l'obtenció d'un model que aconsegueixi classificar amb certesa una base de dades proporcionada. Per fer-ho, s'estudien les xarxes neuronals residuals i la tècnica d'ensembling amb el fi de millorar els resultats. L'objectiu d'aquest projecte, per tant és l'estudi, anàlisi i avaluació de les variants i modificacions de xarxes neuronals residuals per tal que s'adapti al nostre problema utilitzant un ensemble de xarxes. En el procés s'haurà d'abordar el repte de la desproporció entre classes

Classificació de lesions a la pell amb un ensemble de xarxes neuronals residuals

Proyecto en colaboración con la unidad de Dermatología del Hospital Clínico de BarcelonaConvolutional Neural Networks have gained popularity in the recent years due to their performance regarding image analysis, both in classification and segmentation. Especially in the medical field, it is increasingly common to use automatic techniques to help specialists with the diagnosis. In this thesis, the problem of skin lesion classification is studied. The study is based on the ISIC Challenges, given the collaboration with Hospital Clínic de Barcelona, and we help in the development of the database for the ISIC Challenge 2019. One of the key points of the development is obtaining a model that manages to classify with accuracy a database provided. To do so, we study residual neural networks and an ensemble of them to further improve the results. The purpose of this project, therefore is the study, analysis and evaluation of the variants and modifications of residual neural networks so that it adapts to our problem using an ensemble of them. In the process, the neural network will have to tackle the problem of class imbalance.Las Redes Neuronales Convolucionales se han popularizado gracias a sus prestaciones respecto al análisis de imágenes, tanto clasificación como segmentación. Especialmente en el ámbito de la medicina es cada vez más común el uso de técnicas automáticas para ayudar a los especialistas con el diagnóstico. En este trabajo, se estudia el problema de clasificación de lesiones en la piel. Basándonos en los retos de ISIC, dado la colaboración con el Hospital Clínic de Barcelona y ayudando con el desarrollo de la base de datos del challenge ISIC2019. Unos de los puntos claves del desarrollo de este proyecto es la obtención de un modelo que consiga clasificar correctamente las imágenes de una base de datos proporcionada. Para ellos, se estudian las redes neuronales residuales y la técnica de ensembling para mejorar los resultados. El propósito de este proyecto, por lo tanto es el estudio, el análisis y la evaluación de las variantes y modificaciones de redes neuronales residuales para que se adapte a nuestro problema utilizando un ensemble de ellas. En el proceso se deberá afrontar el reto de la desproporción entre clases.Les Xarxes Neuronals Convolucionals s'han popularitzat gràcies a les seves prestacions vers l'anàlisi d'imatges, tant en classificació com en segmentació. Especialment dins l'àmbit de la medicina cada vegada és més comú l'ús de tècniques automàtiques per ajudar als especialistes amb el diagnòstic. En aquest treball, s'estudia el problema de classificació de lesions a la pell. Basant-nos en els reptes proposats per ISIC, donada la col·laboració amb l'Hospital Clínic de Barcelona i ajudant al desenvolupament de la base de dades del repte ISIC2019. Un dels punts clau del desenvolupament del projecte és l'obtenció d'un model que aconsegueixi classificar amb certesa una base de dades proporcionada. Per fer-ho, s'estudien les xarxes neuronals residuals i la tècnica d'ensembling amb el fi de millorar els resultats. L'objectiu d'aquest projecte, per tant és l'estudi, anàlisi i avaluació de les variants i modificacions de xarxes neuronals residuals per tal que s'adapti al nostre problema utilitzant un ensemble de xarxes. En el procés s'haurà d'abordar el repte de la desproporció entre classes

Classificació de lesions a la pell amb un ensemble de xarxes neuronals residuals

Proyecto en colaboración con la unidad de Dermatología del Hospital Clínico de BarcelonaConvolutional Neural Networks have gained popularity in the recent years due to their performance regarding image analysis, both in classification and segmentation. Especially in the medical field, it is increasingly common to use automatic techniques to help specialists with the diagnosis. In this thesis, the problem of skin lesion classification is studied. The study is based on the ISIC Challenges, given the collaboration with Hospital Clínic de Barcelona, and we help in the development of the database for the ISIC Challenge 2019. One of the key points of the development is obtaining a model that manages to classify with accuracy a database provided. To do so, we study residual neural networks and an ensemble of them to further improve the results. The purpose of this project, therefore is the study, analysis and evaluation of the variants and modifications of residual neural networks so that it adapts to our problem using an ensemble of them. In the process, the neural network will have to tackle the problem of class imbalance.Las Redes Neuronales Convolucionales se han popularizado gracias a sus prestaciones respecto al análisis de imágenes, tanto clasificación como segmentación. Especialmente en el ámbito de la medicina es cada vez más común el uso de técnicas automáticas para ayudar a los especialistas con el diagnóstico. En este trabajo, se estudia el problema de clasificación de lesiones en la piel. Basándonos en los retos de ISIC, dado la colaboración con el Hospital Clínic de Barcelona y ayudando con el desarrollo de la base de datos del challenge ISIC2019. Unos de los puntos claves del desarrollo de este proyecto es la obtención de un modelo que consiga clasificar correctamente las imágenes de una base de datos proporcionada. Para ellos, se estudian las redes neuronales residuales y la técnica de ensembling para mejorar los resultados. El propósito de este proyecto, por lo tanto es el estudio, el análisis y la evaluación de las variantes y modificaciones de redes neuronales residuales para que se adapte a nuestro problema utilizando un ensemble de ellas. En el proceso se deberá afrontar el reto de la desproporción entre clases.Les Xarxes Neuronals Convolucionals s'han popularitzat gràcies a les seves prestacions vers l'anàlisi d'imatges, tant en classificació com en segmentació. Especialment dins l'àmbit de la medicina cada vegada és més comú l'ús de tècniques automàtiques per ajudar als especialistes amb el diagnòstic. En aquest treball, s'estudia el problema de classificació de lesions a la pell. Basant-nos en els reptes proposats per ISIC, donada la col·laboració amb l'Hospital Clínic de Barcelona i ajudant al desenvolupament de la base de dades del repte ISIC2019. Un dels punts clau del desenvolupament del projecte és l'obtenció d'un model que aconsegueixi classificar amb certesa una base de dades proporcionada. Per fer-ho, s'estudien les xarxes neuronals residuals i la tècnica d'ensembling amb el fi de millorar els resultats. L'objectiu d'aquest projecte, per tant és l'estudi, anàlisi i avaluació de les variants i modificacions de xarxes neuronals residuals per tal que s'adapti al nostre problema utilitzant un ensemble de xarxes. En el procés s'haurà d'abordar el repte de la desproporció entre classes