Procedural content generation via machine learning

Trabajo de fin de Grado en Grado en desarrollo de videojuegos, Facultad de Informática UCM, Departamento de Sistemas Informáticos y Computación, Curso 2019/2020Durante los últimos años, tanto la inteligencia artificial como el aprendizaje automático, se han convertido en un foco constante de investigación y enseñanza, así como de aprendizaje. Además, cada vez más empresas, ven a estas técnicas como un punto de partida hacia su crecimiento tanto económico como tecnológico, permitiendo a estas, entrar en otros sectores. Por ejemplo, Microsoft, empezó a adentrarse en el mundo de la inteligencia artificial y aprendizaje automático con Kinect, o Google desarrollando un algoritmo capaz de derrotar a los mejores jugadores del mundo de Dota. En otros sectores como en el de la agricultura, la inteligencia artificial está siendo utilizada, para mejorar la eficiencia en cuanto a producción, prediciendo los rendimientos de la cosecha. Además, todo lo comentado anteriormente, nos lo encontramos hoy en día y vivimos con ello, destacando entre otros a asistentes personales como Alexa o Siri. Debido a esto, hemos planteado nuestro trabajo de fin de tal manera, que se nos presenta una oportunidad única de aprender como funcionan los algoritmos de aprendizaje automático e inteligencia artificial, aplicándola al ámbito sobre el que hemos desarrollado nuestros estudios durante los últimos años, los videojuegos, y en concreto a la creación de mapas del videojuego SuperMario. A lo largo de todo el proyecto, investigaremos acerca de cuáles son las mejores técnicas tanto de aprendizaje automático como de inteligencia artificial, así como cuál es la forma más óptima de implementarlas. Desarrollaremos scripts para comprobar su funcionamiento, con la ayuda de diversas librerías entre las que se encuentran Tensorflow o NLTK, así como una aplicación en Unity, la cual nos servirá de base para poder mostrar los mapas que vayan siendo generados. Esta aplicación, permitirá la posibilidad de mostrar los 8 mapas originales de los que disponemos, los cuales han sido realizados a mano, así como crear nuevos mapas, con algunos de los algoritmos investigados e implementados. Estos mapas podrán ser monotema, que resultan a partir de un solo mapa, o multitema, que se crean a partir de la unión de diferentes mapas.During the last years, both the artificial intelligence and machine learning have become in a constant focus of research and teaching, and also of learning. Besides, more and more companies, see these techniques as an starting point to their economical and technological growing, by entering other sectors. For example Microsoft, stepped into in artificial intelligence and machine learning with Kinect, or Google developing an algorithm able to beat the best Dota players all over the world. In other sectors like the agricultural, the artificial intelligence is being used to improve the production efficiency by predicting the crop yields. Also, everything that has been commented above, can be found nowadays in our lifes, highlighting for example, voice assistants such as Alexa or Siri. Because of all of this, we have raised our final degree project as a unique opportunity to learn how the machine learning and artificial intelligence algorithms work, by applying it on what we have been studying during the last years, the video games, and in particular the map generation based on SuperMario. Throughout all the project, we will research about which are the best techniques of machine learning and artificial intelligence, and also which is the best way of implementing them. We will develop scripts in order to check the behaviour, with the help of some libraries such as Tensorflow or NLTK, and also a Unity project, which will serve us as a base to show all the maps that are being generated. This application will give the possibility of showing the first eight original maps, and also creating new ones, with some of the researched and implemented algorithms. These maps will be mono theme, from just one map, or multi theme, created from the join of different maps.Depto. de Sistemas Informáticos y ComputaciónFac. de InformáticaTRUEunpu

Implemetación de clasificador de noticias en idioma español para la identificación de Fake News mediante el análisis, traducción automática y validación de un conjunto de datos en inglés, y el uso de técnicas de aprendizaje máquina y procesamiento de lenguaje natural

El presente trabajo presenta la implementación de un clasificador de noticias que permite la identificación de noticias falsas en el idioma español. Dicho clasificador se basa en el entrenamiento de modelos de aprendizaje automático supervisado mediante el uso de técnicas y herramientas de procesamiento de lenguaje natural. Uno de los mayores desafíos de este trabajo es la escasez de conjuntos de datos en español que puedan ser utilizados para el entrenamiento de los modelos de aprendizaje automático. Como respuesta a este desafío, se hace uso de la metodología del backtranslation y de la métrica METEOR (Banerjee y Lavie 2005) para la evaluación de la traducción automática de un conjunto de datos de noticias falsas en idioma inglés hacia el idioma español. Dicho conjunto de datos traducido es después utilizado como fuente de datos para el entrenamiento del modelo de aprendizaje automático. Debido a que ningún modelo de aprendizaje automático puede utilizar una muestra textual directamente para su entrenamiento, se realiza la implementación de un transformador que permite la extracción de características semánticas, sintácticas y de polaridad. Las características semánticas son extraídas mediante el uso de un modelo de aprendizaje automático que permite la obtención de vectores de palabras que codifican las relaciones semánticas y de significado entre palabras. Las características sintácticas son expresadas mediante la obtención de etiquetas de parte del discurso y de nombres de entidades. Las características de polaridad son obtenidas con un léxico de sentimientos en el idioma español. Se realiza además el despliegue de dicho modelo en un sistema web para su uso por usuarios externos.Tesi

Detección automática de tweets noticiosos

Treball final de Màster Universitari en Sistemes Intel.ligents (Pla de 2013). Codi: SIE043. Curs acadèmic 2018/2019Las redes sociales, como Twitter, pueden facilitar la distribución de información en tiempo real entre usuarios de todo el mundo. Se ha demostrado que las personas cada vez reciben más noticias de las redes sociales que de las fuentes de noticias tradicionales. El objetivo del presente trabajo es la detección automática de tweets noticiosos. Se ha realizado, primeramente, un etiquetado de tweets noticiosos y un conjunto de no etiquetado, en el cual se encuentran los negativos. Para el proceso de extracción de negativos desde el conjunto de no etiquetados se realiza un proceso de PU-Learning. Además, por desbalanceo del conjunto se desarrolla una aumentación de datos, mediante la creación de tweets sintéticos. Finalmente, se propone un modelo, con aproximaciones de aprendizaje profundo, para la detección de tweets con los conjuntos obtenidos por el PU-Learning. Este modelo alcanza como resultado un 0.86 de F1-score y precisión de 0.98.Social networks, such as Twitter, can facilitate the distribution of information in real time among users around the world. The people receive more news from social networks than from traditional news sources. The objective of this work is the automatic detection of newsworthy tweets. A labelling of newsworthy tweets and unlabeled was done. For the process of extracting negatives from the set of unlabeled, a PU-Learning process is applied. In addition, due to the imbalance of set, a data augmentation has been developed, through the creation of synthetic tweets. Finally, a model has been proposed, with deep learning approaches, for the detection of tweets with the sets detected by the PU-Learning. This model results in a 0.86 F1-score and precision of 0.98

Análisis de sentimiento en Twitter con herramientas de Big Data

Este TFM tiene objetivo realizar una propuesta de arquitectura Big Data con la que se pueda desarrollar un análisis de sentimiento orientado a textos extraídos de la plataforma Twitter mediante diversas técnicas de clasificación. Se expondrán estas técnicas, su fundamento y su funcionamiento y se pondrán en uso. Para esto se creará una herramienta que permita el uso y configuración de estas técnicas y se presentarán los resultados experimentales que muestran la viabilidad de la propuesta.Departamento de Informática (Arquitectura y Tecnología de Computadores, Ciencias de la Computación e Inteligencia Artificial, Lenguajes y Sistemas Informáticos)Máster en Ingeniería Informátic

ChatGPT y educación universitaria : posibilidades y límites de ChatGPT como herramienta docente

La inteligencia artificial está aquí, y será una realidad en el futuro de nuestro alumnado. Aunque tardaremos unos años a aprovechar ChatGPT y herramientas afines con plena productividad, con este libro recorremos el camino con un poco más de calma y conocimiento para ayudar a los docentes hacia una implementación más satisfactoria en el aula y en nuestros quehaceres académicos. Este es un libro interdisciplinario en el que varias miradas se coordinan para explicar el origen, el impacto, los sesgos y los posibles usos de ChatGPT en entornos académicos

Implantación de un modelo para Clasificación Automática de Textos en Grupo Coril

Las tecnologías de la información y la comunicación en los últimos tiempos han permitido al ser humano tener una cantidad excesiva de documentos en lenguaje natural. Dentro de toda la información que se genera hoy en día, podemos encontrar una nueva forma de comunicación, este trabajo de tesis surge con la necesidad de brindar una solución a los problemas que son el procesamiento del lenguaje natural y la ingeniería de software. Generalmente para el diseño de un sistema de clasificación de información se recurren a una gran variedad de recursos lingüísticos el resultado son sistemas de gran portabilidad en diferentes idiomas. Podemos encontrar textos sobre productos, política, noticias, personas famosas, etcétera. Sin embargo, la capacidad del ser humano para analizar la información de estos textos tiene un tope, el cual en cierta forma, mediante el lenguaje de procesamiento natural se puede maximizar. En la presente tesis se propone una metodología y se desarrolla una aplicación que permite el análisis de textos, clasificándolos en un repositorio de base de datos. Enfocándonos en textos cortos del idioma español y considerando una de las herramientas más importantes el NLTK

Diseño de una arquitectura conversacional por texto que consuma servicios cognitivos de NLP y Machine Learning para la interacción con Chatbots mediante el uso de lenguaje natural

Este recurso cuenta con la contextualización del problema investigativo y su desarrollo, presentando un informe completo y detallado de la implementación, maquetación y analisis de los resultados propuestos por los autores.Este proyecto presenta el estado del arte del desarrollo de interfaces conversacionales y el diseño de arquitecturas de software, con el objetivo de lograr un impacto positivo en el desarrollo de chatbots comerciales. El resultado obtenido presenta una arquitectura que hace uso del procesamiento de lenguaje natural y serverless cómo una solución arquitectónica ideal y sostenible que satisface atributos de calidad claves, como la extensibilidad, escalabilidad y mantenibilidad, siguiendo las mejores prácticas y patrónes de diseño que permitan implementar un agente conversacional con capacidades para mantener una conversación basada en contexto e intencionalidad del mensaje recibido.This project presents the state of the art in the development of conversational interfaces and the design of software architectures, with the aim of achieving a positive impact on the development of commercial chatbots. The result obtained presents an architecture that makes use of natural language processing and serverless as an ideal and sustainable architectural solution that satisfies key quality attributes, such as extensibility, scalability and maintainability, following the best practices and design patterns that allow the implementation of a conversational agent with abilities to maintain a conversation based on the context and intent of the message received.MaestríaMagíster en Ingeniería de Sistemas y ComputaciónTABLA DE CONTENIDO 1. CAPÍTULO I: GENERALIDADES 9 1.1. Título 9 1.2. Definición del problema 10 Descripción del problema 10 Formulación del problema 11 1.3. Objetivo de la investigación 12 Objetivo general 12 Objetivos específicos 12 1.4. Justificación de la investigación 13 2. CAPÍTULO II: MARCO REFERENCIAL 14 2.1. Marco Conceptual 14 2.2. Marco de antecedentes 19 Historia del NLP 19 Inicios del NLP 19 Historia y evolución de los chatbots 24 2.3. Marco de teórico 27 Tendencias, casos de uso clave y necesidades de los chatbots 27 Expectativas o necesidades de los consumidores 27 Expectativas o necesidades de los desarrolladores 29 Arquitectura de un chatbot 29 Limitaciones y retos en los chatbots 30 Falta de información para entrenamiento 31 Poca capacidad de interpretación conversacional 31 Soporte multilenguaje y/o multiplataforma 32 Regulación en el manejo de la información 32 Introducción a las Arquitecturas Serverless 33 3. CAPÍTULO III: ESTADO DEL ARTE 42 3.1. Arquitecturas de Software 42 Diseño y elementos de la Arquitectura de software 42 Etapas del desarrollo de una arquitectura de software 45 4 Architecture Description Language (ADL) 56 Métodos para el análisis y elaboración de arquitecturas 59 Métodos de evaluación de arquitecturas de software 67 Metodología SEI (software Engineering Institute) para la creación de arquitecturas de software 69 Metodología SEI para equipos pequeños de desarrollo 72 Metodología SEI-A, adaptación del SEI 73 3.2. NLP y NLU en el desarrollo de chatbots 76 ¿Qué es el NLP? 76 Objetivos del NLP 77 Natural Language Understanding (NLU) 78 Técnicas usadas en el NLP 78 Arquitecturas basadas en NLP 84 Frameworks y plataformas NLP como servicio para el desarrollo de chatbots 89 4. CAPÍTULO V: DESARROLLO METODOLÓGICO FASE 1 - ANÁLISIS (QAW-A) 98 4.1. Presentación de “LaraBot” cómo caso del estudio 98 4.2. Objetivos de negocio 99 4.3. Descripción del sistema 101 Presentación de componentes del sistema 101 4.4. Usuarios del sistema 104 Usuario Chat 104 Usuario Web 104 Usuario Desarrollador o Administrador 105 4.5. Requisitos específicos del sistema 105 Requisitos Funcionales 105 Requisitos no Funcionales o Atributos de Calidad 113 Restricciones de diseño 120 4.6. Aplicando QAW-A 122 Involucrados en QAW-A 122 Despliegue del método QAW-A 123 Resultados de QAW-A 144 5 5. CAPÍTULO VI: DESARROLLO METODOLÓGICO FASE 2 - DISEÑO (ADD-A) 145 5.1. Involucrados en ADD-A 145 5.2. Despliegue del método ADD-A 145 ITERACIÓN #1 146 ITERACIÓN #2: #ChatPlatform 152 ITERACIÓN #3: #WebApp 159 ITERACIÓN #4: #InputGateway 165 ITERACIÓN #5: #IntentDetector 171 ITERACIÓN #6: #BotEngine 177 ITERACIÓN #7: #OutputInterface 182 ITERACIÓN #8 - Final 186 5.3. Resultados de ADD-A 201 6. CAPÍTULO VII: DESARROLLO METODOLÓGICO FASE 3 - EVALUACIÓN (ATAM-A) 202 6.1. Involucrados en ATAM-A 202 6.2. Despliegue del método ATAM-A 202 7. CAPÍTULO VIII: DESARROLLO METODOLÓGICO FASE 4 - DOCUMENTACIÓN (VAB-A) 233 7.1. Involucrados en VaB-A 233 7.2. Despliegue del método VaB-A 233 8. CAPÍTULO IX: IMPLEMENTACIÓN DE PROTOTIPO (VAB-A) 234 8.1. Tecnologías de desarrollo 234 8.2. Arquitectura de chatbot basada en componentes de tecnología específica 235 9. CAPÍTULO X: CONCLUSIONES Y TRABAJO FUTURO 237 9.1. Conclusiones 237 9.2. Trabajos futuros 241 10. CAPÍTULO XI: REFERENCIAS BIBLIOGRÁFICAS 24

Diseño de una arquitectura conversacional por texto que consuma servicios cognitivos de NLP y Machine Learning para la interacción con Chatbots mediante el uso de lenguaje natural

Este recurso cuenta con la contextualización del problema investigativo y su desarrollo, presentando un informe completo y detallado de la implementación, maquetación y analisis de los resultados propuestos por los autores.Este proyecto presenta el estado del arte del desarrollo de interfaces conversacionales y el diseño de arquitecturas de software, con el objetivo de lograr un impacto positivo en el desarrollo de chatbots comerciales. El resultado obtenido presenta una arquitectura que hace uso del procesamiento de lenguaje natural y serverless cómo una solución arquitectónica ideal y sostenible que satisface atributos de calidad claves, como la extensibilidad, escalabilidad y mantenibilidad, siguiendo las mejores prácticas y patrónes de diseño que permitan implementar un agente conversacional con capacidades para mantener una conversación basada en contexto e intencionalidad del mensaje recibido.This project presents the state of the art in the development of conversational interfaces and the design of software architectures, with the aim of achieving a positive impact on the development of commercial chatbots. The result obtained presents an architecture that makes use of natural language processing and serverless as an ideal and sustainable architectural solution that satisfies key quality attributes, such as extensibility, scalability and maintainability, following the best practices and design patterns that allow the implementation of a conversational agent with abilities to maintain a conversation based on the context and intent of the message received.MaestríaMagíster en Ingeniería de Sistemas y ComputaciónTABLA DE CONTENIDO 1. CAPÍTULO I: GENERALIDADES 9 1.1. Título 9 1.2. Definición del problema 10 Descripción del problema 10 Formulación del problema 11 1.3. Objetivo de la investigación 12 Objetivo general 12 Objetivos específicos 12 1.4. Justificación de la investigación 13 2. CAPÍTULO II: MARCO REFERENCIAL 14 2.1. Marco Conceptual 14 2.2. Marco de antecedentes 19 Historia del NLP 19 Inicios del NLP 19 Historia y evolución de los chatbots 24 2.3. Marco de teórico 27 Tendencias, casos de uso clave y necesidades de los chatbots 27 Expectativas o necesidades de los consumidores 27 Expectativas o necesidades de los desarrolladores 29 Arquitectura de un chatbot 29 Limitaciones y retos en los chatbots 30 Falta de información para entrenamiento 31 Poca capacidad de interpretación conversacional 31 Soporte multilenguaje y/o multiplataforma 32 Regulación en el manejo de la información 32 Introducción a las Arquitecturas Serverless 33 3. CAPÍTULO III: ESTADO DEL ARTE 42 3.1. Arquitecturas de Software 42 Diseño y elementos de la Arquitectura de software 42 Etapas del desarrollo de una arquitectura de software 45 4 Architecture Description Language (ADL) 56 Métodos para el análisis y elaboración de arquitecturas 59 Métodos de evaluación de arquitecturas de software 67 Metodología SEI (software Engineering Institute) para la creación de arquitecturas de software 69 Metodología SEI para equipos pequeños de desarrollo 72 Metodología SEI-A, adaptación del SEI 73 3.2. NLP y NLU en el desarrollo de chatbots 76 ¿Qué es el NLP? 76 Objetivos del NLP 77 Natural Language Understanding (NLU) 78 Técnicas usadas en el NLP 78 Arquitecturas basadas en NLP 84 Frameworks y plataformas NLP como servicio para el desarrollo de chatbots 89 4. CAPÍTULO V: DESARROLLO METODOLÓGICO FASE 1 - ANÁLISIS (QAW-A) 98 4.1. Presentación de “LaraBot” cómo caso del estudio 98 4.2. Objetivos de negocio 99 4.3. Descripción del sistema 101 Presentación de componentes del sistema 101 4.4. Usuarios del sistema 104 Usuario Chat 104 Usuario Web 104 Usuario Desarrollador o Administrador 105 4.5. Requisitos específicos del sistema 105 Requisitos Funcionales 105 Requisitos no Funcionales o Atributos de Calidad 113 Restricciones de diseño 120 4.6. Aplicando QAW-A 122 Involucrados en QAW-A 122 Despliegue del método QAW-A 123 Resultados de QAW-A 144 5 5. CAPÍTULO VI: DESARROLLO METODOLÓGICO FASE 2 - DISEÑO (ADD-A) 145 5.1. Involucrados en ADD-A 145 5.2. Despliegue del método ADD-A 145 ITERACIÓN #1 146 ITERACIÓN #2: #ChatPlatform 152 ITERACIÓN #3: #WebApp 159 ITERACIÓN #4: #InputGateway 165 ITERACIÓN #5: #IntentDetector 171 ITERACIÓN #6: #BotEngine 177 ITERACIÓN #7: #OutputInterface 182 ITERACIÓN #8 - Final 186 5.3. Resultados de ADD-A 201 6. CAPÍTULO VII: DESARROLLO METODOLÓGICO FASE 3 - EVALUACIÓN (ATAM-A) 202 6.1. Involucrados en ATAM-A 202 6.2. Despliegue del método ATAM-A 202 7. CAPÍTULO VIII: DESARROLLO METODOLÓGICO FASE 4 - DOCUMENTACIÓN (VAB-A) 233 7.1. Involucrados en VaB-A 233 7.2. Despliegue del método VaB-A 233 8. CAPÍTULO IX: IMPLEMENTACIÓN DE PROTOTIPO (VAB-A) 234 8.1. Tecnologías de desarrollo 234 8.2. Arquitectura de chatbot basada en componentes de tecnología específica 235 9. CAPÍTULO X: CONCLUSIONES Y TRABAJO FUTURO 237 9.1. Conclusiones 237 9.2. Trabajos futuros 241 10. CAPÍTULO XI: REFERENCIAS BIBLIOGRÁFICAS 24

Construcción de modelos de clasificación automática para discursos de odio

Las llamadas redes sociales constituidas por plataformas tales como Facebook™, Twitter™ constituyen el soporte de los medios (de comunicación) sociales que facilitan el intercambio y la discusión de información, experiencias y opiniones entre individuos de manera rápida y masiva. La explosión de los medios sociales ha tenido consecuencias que han sido valoradas tanto positiva como negativamente para el conjunto de la sociedad. Entre los efectos negativos, los medios sociales han hecho ‘visibles’ algunas actitudes de ciertos grupos sociales que se traducen en ataques a personas o colectivos en razón de su pertenencia a unos determinados grupos definidos por características de nacionalidad, preferencias sexuales, raza, religión, … que, en muchos países, han sido catalogados como delitos de odio (1) Así pues, nace la necesidad de desarrollar un sistema que permita determinar si el autor de un mensaje es perpetrador de delitos de odio o no en una determinada red social, tarea nada sencilla de realizar puesto que la inmensa mayoría de los mensajes en las redes sociales no son de odio, lo que hace este problema muy similar al de buscar una aguja en un pajar. Este proyecto toma como referencia la red social Twitter y los distintos tuits (microblogs) generados en la misma. Para crear un sistema de detección de tuits de odio en primer lugar será necesario desarrollar un modelo predictivo y posteriormente encapsularlo en un clasificador para que pueda utilizarse por el usuario final. Durante el desarrollo del modelo ha sido necesaria la descarga de una gran cantidad de tuits haciendo uso de la API de Twitter y la posterior limpieza de estos, reduciendo la cantidad de ruido existente en los propios mensajes como repetición de caracteres y uso de símbolos extraños tales como los emojis. Además, se ha hecho uso de técnicas de procesamiento de lenguaje natural (NLP) que han permitido extraer información de los tuits previamente procesados. Entre otras herramientas, ha sido necesario entrenar un analizador morfológico (POS-Tagger) para extraer clases de palabras que concentren la mayor parte de la semántica del mensaje (verbos, nombres y adjetivos). Tras el tratamiento de los tuits, se ha desarrollado un filtro que permite equilibrar la cardinalidad de ambas clases de mensajes (odio y no odio) pasando de una proporción de 1:1000 a 270:1000. Una vez realizado el sobremuestreo de tuits con contenido de odio, se procede a la aplicación de técnicas de clasificación supervisada basadas en aprendizaje máquina, siendo las redes neuronales profundas el mejor clasificador para enfrentar este enmarañado problema. Finalmente, tras la validación, se ha creado un clasificador, basado en el modelo desarrollado, que permite al usuario detectar al vuelo los tuits de odio.The so-called “social networks” built-up by platforms such as Facebook™, Twitter™ that operate on the Internet underpin the social media that facilitate quick and mass exchange and discussion of information, experiences and opinions between individuals. The explosion of social media has had consequences that have been valued both positively and negatively for society. Among the effects considered as negative, social media have made 'visible' some attitudes of certain social groups that result in attacks on individuals or groups because of their affiliation to certain groups defined, by characteristics of nationality, sexual preferences, race, religion..., which in many countries have been classified as hate crimes That is why it is necessary to develop a system to detect if a message in a social network contains hate speech. This is a very difficult task because most of the messages in social networks do not contain hate speech; this problem can be compare to find a needle in a haystack. This project will focus on Twitter and the small messages generated in this social network, also known as, tweets. In order, to develop this hate tweets detection system, first we build a predictive model that thereafter will be wrapped in a classifier easy to use by a final user. During this process, huge amounts of tweets were downloaded using Twitter’s API. After download, these tweets had to be cleaned to reduce the noise contained in them such as character repetitions and weird symbols like emojis. Furthermore, natural language processing (NLP) techniques have been used, specifically noteworthy, a morphological analyzer (POS-tagger) has been trained in Spanish to extract class of words, which contain most of the meaning a tweet (verbs, nouns and adjectives). After tweet cleaning, a filter has been applied in order to balance the number of tweets in both classes (hate and non-hate). As a result, the two class ratios changed from 1:1000 to 270:1000. On that oversampled tweets set, supervised classification techniques belonging to the machine learning have been used in the problem. A deep neural network has been selected as the most appropriate classifier to cope with this problem. Finally, a classifier has been created, which is based in the developed model, that allow the user to detect on the fly the tweets that contain hate speech