Deep Reinforcement Learning and its application to games

The following project aims is to review the main concepts of Reinforcement Learning and combine them with the tools of Deep Learning, studying in depth the application of these methodologies, the Deep Reinforcement Learning algorithms, that are having such an impact today being applied to numerous fields such as autonomous driving, robot control, gaming and many more. In order to do this, first, in chapter 1, we will give a general overview of Deep Reinforcement Learning as a introduction, as well as which is motivation to study this topic. Then, in chapter 2, since it will be fundamental to achieve our goal, we give a brief review of Deep Learning. We get into details with chapter 3, where we define Reinforcement Learning mathematically, formalizing the concepts in order to build the classic solution algorithms in chapter 4. As an application of these techniques, the implementation of the algorithms for the game of Blackjack is presented in chapter 5. Finally, in chapter 6, we reach our initial objective by building the algorithm that hides behind the Deep Q-Networks and we apply it to the Gridworld games in chapter 7. A conclusions and improvements section for the project culminates the text.El siguiente proyecto tiene como objetivo revisar los principales conceptos del Aprendizaje con Refuerzo y combinarlo con las herramientas del Aprendizaje Profundo, estudiando con detalle la aplicación de estas metodologías, Aprendizaje con Refuerzo Profundo, que están teniendo tanto impacto en la actualidad siendo aplicados a numerosos campos como la conducción autónoma, el control de robots, juegos y muchos más. Para ello, en primer lugar, en el capítulo 1, situaremos al Aprendizaje con Refuerzo Profundo a modo de introducción, motivando el estudio de este campo. Acto seguido, en el capítulo 2, ya que será fundamental para lograr nuestro objetivo, se realiza una breve revisión del Aprendizaje Profundo. Entraremos en detalles con el capítulo 3, donde definiremos matemáticamente que se entiende Aprendizaje con Refuerzo, formalizando los conceptos con el fin de construir los algoritmos de solución clásicos en el capítulo 4. Como aplicación de estas técnicas, en el capítulo 5 se presenta la implementación de los algoritmos para el juego del Blackjack. Finalmente, en el capítulo 5, alcanzaremos nuestro objetivo inicial construyendo el algoritmo detrás de las Deep Q-Networks y lo aplicamos a los juegos Gridworld en capítulo 7. Una sección de conclusiones y mejoras para el proyecto culmina el texto.Universidad de Sevilla. Grado en Matemáticas y Estadístic

An extended version of the Ordered Median Tree Location Problem including appendices and detailed computational results

In this paper, we propose the Ordered Median Tree Location Problem (OMT). The OMT is a single-allocation facility location problem where p facilities must be placed on a network connected by a non-directed tree. The objective is to minimize the sum of the ordered weighted averaged allocation costs plus the sum of the costs of connecting the facilities in the tree. We present different MILP formulations for the OMT based on properties of the minimum spanning tree problem and the ordered median optimization. Given that ordered median hub location problems are rather difficult to solve we have improved the OMT solution performance by introducing covering variables in a valid reformulation plus developing two pre-processing phases to reduce the size of this formulations. In addition, we propose a Benders decomposition algorithm to approach the OMT. We establish an empirical comparison between these new formulations and we also provide enhancements that together with a proper formulation allow to solve medium size instances on general random graphs.Comment: 112 pages, 4 figures, extended version of 'The Ordered Median Location Problem

Teoría de Juegos

El siguiente trabajo tiene como objetivo el estudio de los diversos modelos de la Teoría de Juegos. Comienza con la definición (capítulo 1 ) de los términos más relevantes en el trascurso del texto seguido de la clasificación (capítulo 2 ) donde se muestran los criterios esenciales para la distinción de las diferentes clases de juegos. Tras los apartados introductorios, el texto entra en materia examinando los principales resultados sobre juegos no cooperativos: juegos estratégicos (capítulo 3 ), juegos dinámicos (capítulo 4 ) y juegos repetidos (capítulo 6 ), para terminar describiendo los juegos cooperativos (capítulo 7 ). Además se presenta un ejemplo, VNM-Póker (capítulo 5 ), que ayuda a la comprensión de los capítulos de juegos estratégicos y dinámicos.The following project aims to study the several models in Game Theory. It begins with the definition (chapter 1 ) of the most relevant terms in the course of the text followed by the classification (chapter 2 ) in which the essential criteria for the distinction of the games are shown. After the introductory sections, the text comes into question examining the main results of non-cooperative games: strategic games (chapter 3 ), dynamic games (chapter 4 ) and repeated games (chapter 6 ), to finish describing the cooperative games (chapter 7 ). In addition, an example is presented, VNM-Poker (chapter 5 ), which helps to understand the chapters of strategic and dynamic games.Universidad de Sevilla. Doble Grado en Matemáticas y Estadístic