Model-Assisted Approaches for Relational Reinforcement Learning (Model-assisterende methoden voor het leren uit beloningen in complexe omgevingen)

Abstract

Automatisch leren (''machine learning'') is het onderzoeksveld binnen kunstmatige intelligentie dat zich bezig houdt met het ontwikkelen van computer programma's die kunnen leren uit ervaring. Een belangrijke toepassing hiervan is het leren uit beloningen (''reinforcement learning'' (RL)) waarbij de programma's dienen te leren door middel van interactie met hun omgeving en dit op basis van beloningen of straffen die zij ontvangen als informatie over hun vertoonde gedrag, d.w.z. positieve of negatieve numerieke waarden. Om dergelijke technieken toe te passen in complexe omgevingen is er veel onderzoek gedaan naar de integratie van allerlei vormen van abstractie en generalisatie in deze leertechniek. E\'en van deze vormen, dewelke recent veel interesse geniet, is het gebruik maken van relationele representaties bij het voorstellen van toestanden, acties en het gedrag van het systeem. In dit proefschrift zullen we technieken onderzoeken die verder bouwen op deze vorm van abstractie en dan met name systemen ontwikkelen die extra informatie over de omgeving kunnen leren en deze informatie vervolgens gebruiken om sneller een goed gedrag te leren. In een eerste deel zullen we drie zulke systemen voorstellen. Een eerste systeem combineert relationele representaties en temporele abstractie. Vervolgens zullen we een model-gebaseerd leersysteem voorstellen dat de dynamica van de omgeving kan leren. Het derde leersysteem onderzoekt de invloed van meerdere leersystemen in dezelfde omgeving. We zullen hierbij aantonen hoe relationele representaties gebruikt kunnen worden om de leersystemen van elkaar te laten leren en hoe deze tevens kunnen helpen bij de communicatie tussen deze verschillende systemen. In een tweede deel zullen twee technieken voorgesteld worden die betere modellen kunnen leren. Een eerste techniek is een nieuwe leermethode voor het incrementeel leren van relationele regressie bomen en een tweede techniek die probabilistisch logische modellen kan leren.status: publishe