A Survey of Available Corpora For Building Data-Driven Dialogue Systems: The Journal Version

During the past decade, several areas of speech and language understanding have witnessed substantial breakthroughs from the use of data-driven models. In the area of dialogue systems, the trend is less obvious, and most practical systems are still built through significant engineering and expert knowledge. Nevertheless, several recent results suggest that data-driven approaches are feasible and quite promising. To facilitate research in this area, we have carried out a wide survey of publicly available datasets suitable for data-driven learning of dialogue systems. We discuss important characteristics of these datasets, how they can be used to learn diverse dialogue strategies, and their other potential uses. We also examine methods for transfer learning between datasets and the use of external knowledge. Finally, we discuss appropriate choice of evaluation metrics for the learning objective

Balancing turn-based games with chained strategy generation

Probabilistic model checking can overcome much of the complexity inherent in balancing games. Game balancing is the careful maintenance of relationships between the ways in which a game can be played, to ensure no single way is strictly better than all others and that players are offered a wide variety of ways to play successfully. We introduce a novel approach towards automating game balancing using probabilistic model checking called chained strategy generation (CSG). This involves generating chains of adversarial strategies which mimic the way players adapt their approach during repeated plays of a game. We use CSG to map out the evolving metagame. The trends identified can allow game developers to identify strategies which will be too strong and ways of playing the game which a player may want to use, but are never viable for successful competitive play. We introduce a case study, a game called RPGLite, and use CSG to compare five candidate configurations for the game. We show how to determine which configurations of RPGLite lead to a more fair and interesting experience for players. We also identify unexpected trends in how the strategies evolve. Our approach introduces a new technique for improving game development and player experience

Balancing turn-based games with chained strategy generation

Probabilistic model checking can overcome much of the complexity inherent in balancing games. Game balancing is the careful maintenance of relationships between the ways in which a game can be played, to ensure no single way is strictly better than all others and that players are offered a wide variety of ways to play successfully. We introduce a novel approach towards automating game balancing using probabilistic model checking called chained strategy generation (CSG). This involves generating chains of adversarial strategies which mimic the way players adapt their approach during repeated plays of a game. We use CSG to map out the evolving metagame. The trends identified can allow game developers to identify strategies which will be too strong and ways of playing the game which a player may want to use, but are never viable for successful competitive play. We introduce a case study, a game called RPGLite, and use CSG to compare five candidate configurations for the game. We show how to determine which configurations of RPGLite lead to a more fair and interesting experience for players. We also identify unexpected trends in how the strategies evolve. Our approach introduces a new technique for improving game development and player experience

Reinforcement Learning for Rogue-like Games

Η Τεχνητή Νοημοσύνη artificial intelligence (AI) είναι ένα σημαντικό μέρος της τέταρτης βιομηχανικής επανάστασης και υπόσχεται να αλλάξει δραματικά τη ζωή μας, αναλαμβάνοντας κουραστικές ή επικίνδυνες εργασίες για εμάς. Ωστόσο, πρέπει να γίνει ακόμα πολλή δουλειά. Μια αποτελεσματική οντότητα τεχνητής νοημοσύνης που θα εκτελέσει δύσκολες εργασίες, που μόνο ένας άνθρωπος μπορεί, είναι ακόμα μακριά. Έτσι, καταβάλλονται συνεχείς προσπάθειες για τη δημιουργία επιτυχημένων οντοτήτων AI. Σε αυτή τη διαδικασία τα βιντεοπαιχνίδια είναι ένα σημαντικό πεδίο δοκιμών, είναι εργασίες που περιλαμβάνουν εκμάθηση και συλλογισμό για έννοιες σε πολλαπλά επίπεδα αφαίρεσης, έναν τομέα στον οποίο η τεχνητή νοημοσύνη υστερεί σε σχέση με την ανθρώπινη. Για το λόγο αυτό, οι αλγόριθμοι τεχνητής νοημοσύνης που καταφέρνουν να παίξουν ένα παιχνίδι σε ανθρώπινο επίπεδο θεωρούνται επιτυχία και ένα βήμα μπροστά για τον κλάδο. Μεταξύ των τομέων της τεχνητής νοημοσύνης, η Ενισχυτική Μάθηση Reinforcement Learning (RL) χρησιμοποιείται συχνότερα για την εκπαίδευση ενός υπολογιστή, που συνήθως ονομάζεται πράκτορας (agent), στο πώς να παίζει βιντεοπαιχνίδια. Αυτή η κατηγορία AI είναι πιο στοχευμένη από τις άλλες, συγκεκριμένα η RL βασίζεται στην αλληλεπίδραση με ένα αβέβαιο περιβάλλον για την επίτευξη ενός τελικού στόχου, μια συμπεριφορά που ταιριάζει με αυτή ενός ανθρώπου που προσπαθεί να παίξει ένα παιχνίδι. Τα τελευταία χρόνια, ένας πράκτορας που εκπαιδεύτηκε με αλγόριθμους RL χρησιμοποιώντας βαθιά νευρωνικά δίκτυα, deep neural networks (DNN), για την προσέγγιση των συναρτήσεων που χρησιμοποιεί, μπόρεσε να παίξει σε ικανοποιητικό βαθμό σχετικά απλά παιχνίδια της κονσόλας ATARI2600 [1], ανοίγοντας το δρόμο για τους πράκτορες AI έτσι ώστε να καταφέρουν να παίξουν ακόμα πιο περίπλοκα παιχνίδια. Στην παρούσα εργασία, ένα rogue-like παιχνίδι δημιουργείται για να χρησιμεύσει ως βάση δοκιμών για έναν αλγόριθμο RL που συνδυάζει πρόσφατες προηγμένες τεχνικές, όπως η ασύγχρονη εκπαίδευση με χρήση πολυεπεξεργαστή, συνελικτικά νευρωνικά δίκτυα, convolutional neural networks (CNN), και δίκτυα μακράς βραχύχρονης μνήμης long short-term Memory (LSTM). Επίσης έγινε χρήση και κάποιον μοναδικών τεχνικών. Οι τεχνικές αφορούν στην χρήση των γραπτών μνημάτων του παιχνιδιού και της καταγραφής της κατάστασης του ήρωα του παιχνιδιού ως εισόδους στα DNNs. Οι τεχνικές αυτές επιλέχθηκαν λόγο της σημασίας που έχουν αυτές οι πληροφορίες για έναν άνθρωπο που προσπαθεί να παίξει το παιχνίδι της διπλωματικής. O τύπος παιχνιδιού rogue-like επιλέγεται λόγω της δυσκολίας του, που οφείλεται στην έλλειψη ντετερμινισμού (κάθε σετ παιχνιδιού δημιουργείται τυχαία), στην ανάγκη χρήσης χρονικά εκτεταμένων στρατηγικών και στην μερική αναπαράσταση της κατάστασης του στον παίκτη. Στο πρώτο κεφάλαιο της διπλωματικής εργασίας, θα γίνει μια σύντομη αναφορά στα rogue-like παιχνίδια και συγκεκριμένα σε αυτό που χρησιμοποιείται στην εργασία, ενώ ακολουθεί μια εισαγωγή στο RL και μια σύντομη περιγραφή των DNNs, δίνοντας έμφαση στα δίκτυα που χρησιμοποιούνται στη διπλωματική. Στο δεύτερο κεφάλαιο, θα παρουσιαστεί η υλοποίηση του αλγορίθμου RL που χρησιμοποιείται, συμπεριλαμβανομένης της αρχιτεκτονικής του δικτύου. Θα δοθεί περαιτέρω μια συλλογιστική ως προς το ποιες τεχνικές χρησιμοποιούνται για την αντιμετώπιση των προκλήσεων ενός rogue-like παιχνιδιού. Στο τρίτο κεφάλαιο, θα παρουσιαστούν και θα αξιολογηθούν τα αποτελέσματα της εκπαίδευσης ενός πράκτορα χρησιμοποιώντας τις τεχνικές που περιγράφονται στο δεύτερο κεφάλαιο. Το τελευταίο κεφάλαιο περιλαμβάνει τα συμπεράσματα που προκύπτουν από τη διπλωματική εργασία και μερικές νεότερες τεχνικές που φαίνονται πολλά υποσχόμενες και μπορούν να βοηθήσουν στη βελτίωση της απόδοσης των μελλοντικών πρακτόρων RL στο παιχνίδι της διπλωματικής.Artificial Intelligence (AI) is an important part of the fourth industrial revolution, and it promises to dramatically change our lives by taking over tedious or dangerous tasks for us. Although, a lot of work still needs to be done. An effective artificial intelligence entity that will perform difficult tasks, which only a human can, is still far away. Thus, continuous efforts are being made to create successful AI entities. In this process, video games are an important testing ground, since they are tasks that involve learning and reasoning about concepts over multiple levels of abstraction, an area in which artificial intelligence lags behind human intelligence. For this reason, AI algorithms that manage to play a game at a human level are considered a success and a step forward in the industry. Among the fields of artificial intelligence, Reinforcement Learning (RL) is most often used to train a computer, usually called an agent, how to play video games. This category of AI is more goal directed than the others, specifically, the RL is based on interacting with an uncertain environment and achieving a final goal, a behavior that matches a human trying to play a game. In recent years, an agent trained with RL algorithms using deep neural networks (DNN) to approximate functions, was able to play relatively simple ATARI2600 games at a human level [1] paving the way for AI agents to master more complex games. In this thesis, a Rogue-like game is created to serve as a testbed for an RL algorithm that combines recent advanced techniques such as, asynchronous training using multiprocessors, convolutional neural networks (CNNs), and long-short-term memory (LSTM) networks. Also, some unique techniques were used. The techniques are the use of the game hero status information and the game text messages as inputs to the DNNs. This choice was made because of the importance of this information to a human playing the game. The Rogue-like type of game is chosen because of its difficulty stemming from their lack of determinism (each game set is randomly generated), the need for time-extended strategies, and the partial representation of their state to the player. The first chapter of the thesis will introduce the rogue-like games and specifically the one used in the thesis, followed by an introduction to RL and a brief description of DNNs, emphasizing the networks used in the thesis. The second chapter will present the implementation of the RL algorithm used including the network architecture. A reasoning will be further given as to what techniques are used to address the challenges of a rogue-like game. In the third chapter, the results of the training of an agent using the techniques, described in chapter two, will be presented and evaluated. The final chapter will include the conclusions drawn from the thesis and some newer techniques that look promising and can help improve the performance of future RL agents in the thesis game

Artificial intelligence and augmented intelligence collaboration: Regaining trust and confidence in the financial sector

Robots and chatbots are sophisticated. Artificial intelligence (AI) is increasingly popular in the financial industry due to its ability to provide customers with cheap, efficient and personalised services. This article uses doctrinal sources and a case study to show that many banks and FinTech start-ups are investing in AI. Yet, there are a number of challenges arising from the use of AI which could undermine trust and confidence amongst consumers. This article features the issue of bias and discrimination in banking. There is evidence that algorithms discriminate against certain races and gender. Legislative gaps in the Equality Act 2010 and the General Data Protection Regime will be analysed. Ultimately, human beings are still needed to input, train and help machines to learn. Fortunately, the FCA are leading in regulating technology, from the launch of regulatory sandboxes to their co-operative collaboration with FinTech start-ups on regulatory matters. Augmented intelligence collaboration is needed to enable industry players and regulators to provide seamless regulation and financial stability. The future of AI regulation is inter-disciplinary in approach