Δυναμικός Συντονισμός Πολλαπλών Πρακτόρων με στόχο την Προσαρμοζόμενη Επιλογή Δράσεων

This thesis deals with the problem of designing autonomous agents. Τhe term autonomous agents is used to describe systems that try to achieve a number of goals in a certain environment by continuously selecting the appropriate actions. A desirable approach should be scalable to complex problems and able to deal successfully with given tasks. Moreover, it should be self-organizing by using environments reinforcement signals of reward and penalty, to improve its performance. In this work, a distributed and hierarchical action selection architecture is proposed, comprised by highly autonomous subsystems. Complex control problems are handled through dynamic cooperation of the independent subsystems, while the self-organization issue is managed by a responsibility distribution scheme that propagates the environments rewards or penalties to the eligible subsystems, changing their amount of influence to the agents behavior. In order to experiment with the proposed architecture, a simulations environment of a discrete-state world was implemented. The designed agents faced the problem of satisfying 2 to 4 parallel and conflicting goals in a static or dynamic environment with positive results. At the same time, the architectures performance in balancing various types of internal subsystems was tested and the main advantages and disadvantages of the architecture were estimated. Finally, positive conclusions were drawn about the generality of the approach, related to the possible types of achievable goals and the complexity of the target application. The proposed architecture can be used in the application field of robotics. However, it can also be applied to any kind of problem that includes action selection by an autonomous agent. Such problems include the control of virtual characters in synthetic worlds, video-games or interactive training systems, process scheduling, device control, packet routing, digital assistants etc.Η παρούσα εργασία αντιμετωπίζει το πρόβλημα του σχεδιασμού αυτόνομων πρακτόρων, δηλαδή συστημάτων τα οποία επιλέγοντας συνεχώς δράσεις σε κάποιο περιβάλλον προσπαθούν αφ εαυτού να επιτύχουν κάποιους στόχους. Τα επιθυμητά χαρακτηριστικά της επιζητούμενης προσέγγισης είναι η διαβαθμισιμότητα σε πολύπλοκα προβλήματα, η αποτελεσματικότητα με την έννοια της δυνατότητας επίδειξης επιτυχούς συμπεριφοράς ως προς τους δοθέντες στόχους και η προσαρμοστικότητα με την έννοια της αυτό-βελτίωσης με τη χρήση ενισχυτικών σημάτων αμοιβής και τιμωρίας που παρέχει το περιβάλλον στον πράκτορα. Προτείνεται μια κατανεμημένη και ιεραρχική αρχιτεκτονική επιλογής δράσεων, βασιζόμενη σε όσο το δυνατόν πιο αυτόνομα υποσυστήματα. Μέσω της συνεργασίας και του ενεργού συντονισμού των πολλαπλών ανεξάρτητων υποσυστημάτων, επιχειρείται η αντιμετώπιση σύνθετων προβλημάτων ελέγχου. Η χρήση σχήματος κατανομής ευθυνών επιτρέπει τη διάδοση της αμοιβής ή τιμωρίας που παρέχει το περιβάλλον για να μεταβληθεί η ισορροπία επιρροών των υποσυστημάτων, προκειμένου να επιτυγχάνεται η αυτο-οργάνωση του συστήματος. Για τον πειραματισμό με την προτεινόμενη αρχιτεκτονική υλοποιήθηκε ένα περιβάλλον προσομοίωσης ενός συνθετικού κόσμου διακριτών καταστάσεων. Οι σχεδιαζόμενοι πράκτορες δοκιμάστηκαν ως προς την ικανότητα επίτευξης 2 έως 4 παράλληλων και αντιφατικών στόχων σε στατικό ή σε δυναμικό περιβάλλον και την ικανότητα εξισορρόπησης διαφόρων στατικών ή δυναμικών εσωτερικών υποσυστημάτων με επιτυχή αποτελέσματα. Παράλληλα, διαφάνηκαν οι ικανότητες και οι περιορισμοί της αρχιτεκτονικής, ανάλογα με τα είδη των χρησιμοποιούμενων υποσυστημάτων, ενώ εξήχθησαν και θετικά συμπεράσματα όσον αφορά τη γενικότητα της προσέγγισης ως προς τα πιθανά είδη στόχων και την ανταπόκριση της αρχιτεκτονικής στις δυσκολίες που παρέχει ένα σύνθετο πρόβλημα. Το πεδίο εφαρμογής αυτής της εργασίας είναι η ρομποτική, αλλά το προτεινόμενο σύστημα μπορεί να εφαρμοστεί σε οποιοδήποτε πρόβλημα απαιτεί επιλογή δράσεων από αυτόνομο πράκτορα. Τέτοια προβλήματα είναι ο έλεγχος συνθετικών χαρακτήρων σε διαδραστικά συστήματα εκπαίδευσης ή διασκέδασης, ο χρονοπρογραμματισμός διαδικασιών, ο έλεγχος συσκευών, η δρομολόγηση πακέτων, οι ψηφιακοί βοηθοί κ.λ.π