Learning and Generalization in Atari Games

Abstract

Treball de fi de grau en informàticaTutor: Anders JonssonThis thesis describes the design of agents that learn to play Atari games using the Arcade Learning Environment (ALE) framework to interact with them. The application of machine learning in video games, given its high complexity, is considered to be a bridge towards real-world domains such as robotics. The goal in Atari games is to achieve the highest possible score. To solve this task, reinforcement learning and search techniques are used. These algorithms outperform humans in 30 of the 61 games supported by ALE. Since humans are very good at making generalizations between games, special emphasis is/ngiven to evaluating how well an agent learns from multiple games simultaneously. These experiments usually result in a higher score for specific pairs of games. Besides, there are games that tend to increase their score when playing with other games, whereas there are games that help others to perform better.Aquesta tesis descriu el disseny d'agents que aprenen a jugar a jocs d'Atari utilitzant el/nframework Arcade Learning Environment (ALE) per a interactuar amb ells. L'aplicació/nd'aprenentatge automàtic en videojocs, donada la seva alta complexitat, es considera un/npont cap a dominis com la robòtica./nL'objectiu als jocs d'Atari és aconseguir la major puntuació possible. Per a resoldre aquesta/ntasca, s'utilitzen tècniques d'aprenentatge per reforç i cerca. Aquests algoritmes superen/nals humans en 30 dels 61 jocs suportats per ALE./nCom els humans són molt bons fent generalitzacions entre jocs, es fa especial èmfasi en/navaluar com un agent pot aprendre de múltiples jocs jugats simultàniament. Aquests/nexperiments solen resultar en una major puntuació per a parelles específiques de jocs. A/nmés, hi ha jocs que tendeixen a incrementar la seva puntuació quan juguen amb altres,/nmentre que també hi ha jocs que ajuden a altres a actuar millor.Esta tesis describe el diseno de agentes que aprenden a jugar a juegos de Atari usando el/nframework Arcade Learning Environment (ALE) para interactuar con ellos. La aplicación/nde aprendizaje automático en videojuegos, dada su alta complejidad, se considera un/npuente hacia dominios como la robótica./nEl objetivo en los juegos de Atari es conseguir la mayor puntuación posible. Para resolver/nesta tarea, se utilizan técnicas de aprendizaje por refuerzo y búsqueda. Estos algoritmos/nsuperan a los humanos en 30 de los 61 juegos soportados por ALE./nComo los humanos son muy buenos haciendo generalizaciones entre juegos, se hace especial énfasis en evaluar cómo un agente puede aprender de múltiples juegos jugados simultáneamente. Estos experimentos suelen resultar en una mayor puntuación para pares/nespecíficos de juegos. Además, hay juegos que tienden a incrementar su puntuación cuando/njuegan con otros, mientras que también hay juegos que ayudan a otros a actuar mejor