Spanish word segmentation through neural language models

En las plataformas de microblogging abundan ciertos tokens especiales como los hashtags o las menciones en los que un grupo de palabras se escriben juntas sin espaciado entre ellas; p.ej.: #añobisiesto o @ryanreynoldsnet. Debido a la forma en que se escriben este tipo de textos, este fenómeno de ensamblado de palabras puede aparecer junto a su opuesto, la segmentación de palabras, afectando a cualquier elemento del texto y dificultando su análisis. En este trabajo se muestra un enfoque algorítmico que utiliza como base un modelo del lenguaje - en nuestro caso concreto uno basado en redes neuronales - para resolver el problema de la segmentación y ensamblado de palabras, en el que se trata de recuperar el espaciado estándar de las palabras que han sufrido alguna de estas transformaciones añadiendo o quitando espacios donde corresponda. Los resultados obtenidos son prometedores e indican que tras un mayor refinamiento del modelo del lenguaje se podrá sobrepasar al estado del arte.In social media platforms special tokens abound such as hashtags and mentions in which multiple words are written together without spacing between them; e.g. #leapyear or @ryanreynoldsnet. Due to the way this kind of texts are written, this word assembly phenomenon can appear with its opposite, word segmentation, affecting any token of the text and making it more difficult to perform analysis on them. In this work we show an algorithmic approach based on a language model - in this case a neural model - to solve the problem of the segmentation and assembly of words, in which we try to recover the standard spacing of the words that have suffered one of these transformations by adding or deleting spaces when necessary. The promising results indicate that after some further refinement of the language model it will be possible to surpass the state of the art.Este trabajo ha sido parcialmente financiado por el Ministerio de Economía y Competitividad español a través de los proyectos FFI2014-51978-C2-1-R y FFI2014-51978-C2-2-R, y por la Xunta de Galicia a través del programa Oportunius

Método automático de reconocimiento de voz para la clasificación de vocales al lenguaje de señas colombiano

Investigación TecnológicaActualmente en Colombia, las personas sordas tienden a ser excluidas, ya que la mayoría de la población desconoce el lenguaje de señas a causa de que sólo hay un pequeño porcentaje de personas que hacen uso del lenguaje y no ven la necesidad de aprenderlo, este desconocimiento genera un problema de comunicación entre una persona sorda y una oyente; por lo que surge la necesidad de encontrar una solución que supere esta barrera de comunicación, es aquí donde por medio del aprendizaje de máquina, se crean herramientas y métodos para obtener resultados correctos, objetivos y de una manera más rápida.Resumen Abstract Anexos Acrónimos Introducción 1. Generalidades 2. Planteamiento del problema 3. Formulación del problema 4. Justificación 5. Objetivos 6. Marco referencial 7. Alcances y limitaciones 8. Estado del arte 9. Metodología 10. Diseño metodológico 11. Instalaciones y equipo requerido 12. Discusión y resultados 13. Estrategias de comunicación y divulgación 14. ConclusionesPregradoIngeniero de Sistema

Hybrid call sentiment analysis systems

Trabajo de Fin de Grado en Ingeniería Informática, Facultad de Informática UCM, Departamento de Sistemas Informáticos y Computación, Curso 2020/2021.A lo largo de los últimos años ha existido un incremento considerable en comunicaciones y operaciones llevadas a cabo en la red. Las Redes Sociales (RRSS) y el comercio electrónico han visto crecer su influencia en nuestro entorno de manera exponencial, generándose una ingente cantidad de datos sobre las preferencias de cada usuario. Los vídeos, audios, imágenes y textos que compartimos pueden ser analizados con detalle para extraer información sobre nuestros gustos. Esos sentimientos tienen un gran potencial dentro del comercio, debido al feedback que es transmitido por las opiniones de los usuarios en múltiples plataformas, que son procesadas por tecnologías basadas en análisis de la información: Machine Learning y Deep Learning, cuyo origen es la Inteligencia Artificial. Aplicando estas técnicas al marketing y al comercio online se puede obtener una gran cantidad de valor, algo que conocen bien la mayoría de empresas en la actualidad, que hacen uso de las RRSS y de estudios de mercado con Big Data para ofrecer una experiencia más cercana y personalizada para sus clientes. También existen otras aplicaciones que ofrecen infinidad de posibilidades en campos como la medicina, psicología o sociología. Dos campos, que en cierto modo comparten objetivo aunque sus análisis se centran en medios diferentes, son el Reconocimiento de Emociones en Audio y el Procesamiento de Lenguaje Natural (PLN). Estas tecnologías tienen como objetivo analizar y estimar el connotación subjetiva que alguien plasma en audio y texto con la mayor precisión posible. Dividiendo este proyecto en dichas partes, se han diseñado una serie de experimentos con el fin de estudiar y analizar los sentimientos en audio y el texto extraído gracias a una herramienta de transcripción. Junto a estas aplicaciones, otra herramienta estudiada y desarrollada es la de Speaker Diarization o separación de interlocutores. Este es el proceso que particiona un audio de entrada en segmentos homogéneos, según la actividad de los hablantes. La conjunción de los sistemas desarrollados nos llevaría a un análisis completo de un audio original, ofreciéndonos más detalles sobre el sentimiento y las emociones reflejadas en el mismo.Over the last few years, there has been a considerable increase in communications and operations carried out through the Internet. Social media and electronic marketing increased their influence in our society exponentially, creating a huge amount of data about our preferences. Videos, audios, images and texts we share online can be analized to extract that kind of information. That sentiment analysis have great potential in the marketing world due to the feedback sent by users in multiple platforms, which is processed by technologies based on data analysis like Machine Learning and Deep Learning. We can use these techniques in online marketing to obtain great valued information, something that companies already know and apply on social media and market studies with the purpose of giving a close experience to the user. There are also some other applications that could offer lots of possibilities in areas like medicine, psychology and sociology. Speech Emotion Recognition and Natural Language Processing are two of these technique families that look for sentiment and emotion on data, but they work on different media. These technologies’ goal is to estimate the subjective connotation inside a speech or a document. Dividing this project into to separated parts, we have designed a set of experiments to study and analize sentiment on audio and the text that is possible to extract from it with a transcription tool. Along with this systems, other tool that has been studied and developed is Speaker Diarization. Speaker Diarization is the process of partitioning an input audio stream into homogeneous segments according to the speaker identity. The conjunction of all the systems developed would make a complete analysis of the original audio, offering more details about the emotions expressed that a single appreciation could ignore.Depto. de Sistemas Informáticos y ComputaciónFac. de InformáticaTRUEunpu

Predicción del target en anuncios políticos de Facebook

[ES] El aumento de usuarios en la red ha favorecido el desarrollo de nuevos modelos de negocio donde empresas como Facebook, Google o Twitter permiten introducir anuncios en sus plataformas realizando para ello un pago. Este tipo de pago suele estar determinado en función del número de impresiones, el número de clics en un determinado objeto o el número de transacciones realizadas. Las plataformas de creación de anuncios permiten al anunciante determinar los segmentos sobre los que irá dirigida dicha publicidad; por ejemplo, un anunciante podría especificar el sexo, la edad, la localización, los gustos y otro tipo de segmentos sobre los que quiere destacar su producto. En este trabajo se aplicarán distintas técnicas de aprendizaje automático con el fin de predecir la segmentación en anuncios políticos de Facebook desde una perspectiva multimodal (texto e imagen). Se profundizará en el uso de técnicas de reconocimiento de patrones clásicas, como pueden ser el uso de las bolsas de palabras, y algoritmos clásicos, como las máquinas de vectores soporte, para la clasificación textual. Además, se profundizará en el uso de técnicas de \textit{deep learning}, como las redes convolucionales para el tratamiento de imágenes y las redes recurrentes para el tratamiento de la información textual. Por último, dada la multimodalidad de los datos es necesario profundizar en técnicas de combinación de clasificadores que permitan, a partir del texto y las imágenes proporcionadas por los anunciantes, obtener las predicciones referentes al target.[EN] The increase in the number of users on the network has favoured the development of new business models where companies such as Facebook, Google or Twitter allow you to place ads on their platforms by making a payment. This type of payment is usually determined by the number of impressions, the number of clicks on a certain object, or the number of transactions made. Ad creation platforms allow the creator of the ad to determine the segments on which the ad will be directed; for example, a creator could specify the sex, age, location, tastes and other types of segments on which he wants to highlight his product. In this work, different automatic learning techniques will be applied in order to predict the segmentation in Facebook political advertisements from a multimodal perspective (text and image). We will deepen in the use of classic pattern recognition techniques, such as the use of word bags, and classic algorithms, such as Support Vector Machines, for text classification. In addition, we will use Deep Learning techniques, such as convolutional networks for the treatment of images and recurrent networks for the treatment of textual information. Finally, given the multimodality of the data, it has been necessary to go deeper into techniques of combining classifiers that allow, from the text and the images provided by the advertisers, to obtain the predictions referring to the target.[CA] L’augment d’usuaris a la xarxa ha afavorit el desenvolupament de nous models de negoci on empreses com Facebook, Google o Twitter permeten introduir anuncis a les seves plataformes realitzant per a això un pagament. Aquest tipus de pagament sol estar determinat en funció del nombre d’impressions, el nombre de clics en un determinat objecte o el nombre de transaccions realitzades. Les plataformes de creació d’anuncis permeten al anunciant determinar els segments sobre els quals anirà dirigit aquesta publicitat; per exemple, un anunciant podria especificar el sexe, l’edat, la localització, els gustos i un altre tipus de segments sobre els quals vol destacar el seu producte. En aquest treball s’han d’aplicar diferents tècniques d’aprenentatge automàtic per tal de predir la segmentació en anuncis polítics de Facebook des d’una perspectiva multimodal (text i imatge). S’aprofundirà en l’ús de tècniques de reconeixement de patrons clàssiques, com poden ser l’ús de les bosses de paraules i algoritmes clàssics com les màquines de vectors suport, per a la classificació textual. A més, s’aprofundeix en l’ús de tècniques de deep learning, com les xarxes convolucionals per al tractament d’imatges i les xarxes recurrents per al tractament de la informació textual. Finalment, per la multimodalitat de les dades, és necessari aprofundir en tècniques de combinació de classificadors que permetin, a partir del text i les imatges proporcionades pels anunciants, obtenir les prediccions referents al targetEsteve Casademunt, M. (2020). Predicción del target en anuncios políticos de Facebook. http://hdl.handle.net/10251/151753TFG

Detección de género en Twitter basado en características multimodales

[ES] El Author profiling consiste en analizar un conjunto de textos de forma automática, con el fin de obtener información acerca de las características estilísticas del autor basándose únicamente en su discurso. Algunas de estas características son, por ejemplo: el género, la edad, la personalidad y la variedad lingüística. En este trabajo se ha tratado de extraer información acerca del género de los autores en Twitter utilizando el corpus proporcionado por el PAN 2018. Se han explorado distintas representaciones como las bolsas de palabras o los word embeddings para la extracción de características en información textual. Por otra parte, se han utilizado técnicas basadas en aprendizaje profundo para la detección de género en las imágenes.[CA] El Autor profiling consisteix a analitzar un conjunt de textos de forma automàtica, per tal d’obtenir informació en relació a les característiques estilístiques de l’autor basant-se únicament en el seu discurs. Algunes d’aquestes característiques són, per exemple: el gènere, l’edat, la personalitat i la varietat lingüística. En aquest treball s’ha tractat d’extreure informació del gènere dels autors a Twitter utilitzant el corpus proporcionat pel PAN 2018. S’han explorat diferents representacions, com les borses de paraules o els word embeddings, per a l’extracció de característiques en informació textual. D’altra banda, s’han utilitzat tècniques basades en aprenentatge profund per a la detecció de gènere en les imatges. Finalment s’han utilitzat tècniques de combinació de classificadors i s’han implementat els models desenvolupats en una aplicació pràctica del camp del màrqueting[EN] Author profiling consists of analyzing a set of texts automatically with the objective of obtain information about the stylistic characteristics of the author, based solely on his discourse. Some of these characteristics are, for example: gender, age, personality, and linguistic variety. On this work, we tried to extract information about the gender of the authors on Twitter using the corpus provided by PAN 2018. Different representations have been explored, such as bag of words or word embeddings, for the extraction of features in textual information. On the other hand, techniques based on deep learning have been used for the detection of gender in images. Finally, classifier combination techniques have been used and the models were included in a practical application of the marketing field.Esteve Casademunt, M. (2019). Detección de género en Twitter basado en características multimodales. http://hdl.handle.net/10251/12608

Etiquetado automático de segmentos de audio en distintas unidades fonéticas

Este Trabajo Fin de Grado tiene como objetivo realizar el etiquetado de segmentos de audio en fonemas y trifonemas. Para ello realizamos experimentos basados en la extracción de coeficientes MFCC, las características Delta y Delta-Delta, SAT, MMI y fMMI. Finalmente se realizará el entrenamiento de distintas redes neuronales profundas para realizar el etiquetado. Para los entrenamientos usaremos principalmente dos herramientas: Kaldi y Theano. Kaldi nos proporcionará herramientas para el entrenamiento de los sistemas anteriores a las redes neuronales, pero también nos permitirá entrenar una red neuronal. Por otra parte, las librerías de Theano nos permitirán entrenar otra serie de redes neuronales profundas mediante el uso de arquitecturas GPU. Las redes neuronales profundas (DNN), brindan mejores resultados en el etiquetado de voz que el resto de experimentos realizados durante el desarrollo del Trabajo Fin de Grado, por ello nos centramos en estudiar sus resultados. Realizaremos comparaciones entre los resultados obtenidos por las DNNs y los resultados de los experimentos nombrados anteriormente. De la misma manera compararemos los distintos resultados de las DNNs entre ellos, teniendo en cuenta el tiempo de entrenamiento y la precisión en cuanto palabras o ventanas acertadas. Como base de datos se usará la base de datos Switchboard de LDC, con número de serie LDC97S62. Dicha base de datos consta de alrededor de 2400 conversaciones entre dos locutores en inglés. La base de datos se dividirá en distintos subconjuntos para el entrenamiento y validación de los sistemas entrenados. Finalmente, hablaremos sobre las líneas de investigación futuras de las DNNs para el etiquetado de segmentos de audio como son las redes convolucionales y recurrentes.In this undergraduate project we aim to create a system capable of labelling audio segments in phones and triphones. In order to achieve our objective, we are going to use systems based on MFCC extraction, delta and delta-delta features, SAT, MMI and fMMI. Finally we are going to train a set of deep neural networks to approach the labelling problem. Our main tools to create the systems and train them are: Kaldi and Theano. Kaldi will give us the tools to train the systems previous to the implementation of the deep neural networks, but it will also give us the possibility to train a net by using its tools. Theano libraries will give us access to training deep neural networks using GPU architectures. Deep neural networks (DNN) have bring better results to the labeling voice than the rest of systems developed in this undergraduate project, due to this we are going to focus on their results. Moreover, we are going to compare the results of the DNNs with the results of the rest of systems. In the same vein, we are going to compare the results of the differents DNN between them, having in mind their training time and accuracy over words or frames. As database we are going to use the LDC’s database with serial number LDC97S62. This database is compromised of around 2400 two sided telephone conversations in English. The database is going to be divided in different segments, in order to have a training and test set for the systems. Finally, we are going to discuss the future research lines based on DNNs for audio segments labelling, like convolutional nets and recurrent nets

Revisión sistemática para las técnicas de minería Web de contenido

Trabajo de InvestigaciónDeterminar las principales técnicas empleadas de minería web que permiten realizar minería de contenido, con el fin de facilitar la búsqueda de información en bases documentales. Para ello se llevó a cabo una revisión sistemática de la información documentada en medios arbitrados en el período 2014 – 2018, empleando las bases documentales Redalyc, Scielo, Scopus, IEEEXplore, Google Scholar y Web of ScienceINTRODUCCIÓN 1. GENERALIDADES 2. DEFINICIÓN DE LOS CRITERIOS DE BÚSQUEDA DE ARTÍCULOS SOBRE MINERÍA DE CONTENIDO EN LA WEB 3. IDENTIFICACIÓN DE LAS TÉCNICAS QUE HAN SIDO EMPLEADAS PARA REALIZAR MINERÍA DE CONTENIDO EN LA WEB 4. CARACTERIZACIÓN DE LAS PRINCIPALES TÉCNICAS QUE HAN SIDO EMPLEADAS PARA REALIZAR MINERÍA DE CONTENIDO EN LA WEB 5. CONCLUSIONES 6. RECOMENDACIONES BIBLIOGRAFÍA ANEXOSPregradoIngeniero de Sistema

Implantación de un modelo para Clasificación Automática de Textos en Grupo Coril

Las tecnologías de la información y la comunicación en los últimos tiempos han permitido al ser humano tener una cantidad excesiva de documentos en lenguaje natural. Dentro de toda la información que se genera hoy en día, podemos encontrar una nueva forma de comunicación, este trabajo de tesis surge con la necesidad de brindar una solución a los problemas que son el procesamiento del lenguaje natural y la ingeniería de software. Generalmente para el diseño de un sistema de clasificación de información se recurren a una gran variedad de recursos lingüísticos el resultado son sistemas de gran portabilidad en diferentes idiomas. Podemos encontrar textos sobre productos, política, noticias, personas famosas, etcétera. Sin embargo, la capacidad del ser humano para analizar la información de estos textos tiene un tope, el cual en cierta forma, mediante el lenguaje de procesamiento natural se puede maximizar. En la presente tesis se propone una metodología y se desarrolla una aplicación que permite el análisis de textos, clasificándolos en un repositorio de base de datos. Enfocándonos en textos cortos del idioma español y considerando una de las herramientas más importantes el NLTK