Story Comprehension Using Crowdsourced Commonsense Knowledge

This thesis examines the problem of commonsense knowledge acquisition and the application of this knowledge to automated story understanding. Lately, a number of researchers and institutions focused their efforts to gather commonsense knowledge as an essential component for developing "intelligent" machines. The approach taken is that knowledge appropriate for story understanding can be gathered by sourcing the task to the crowd, using both intrinsic and extrinsic methods for knowledge acquisition. The proposed methodology centers on breaking this task into a sequence of more specific tasks, so that human participants not only identify relevant knowledge, but also convert it into a machine-readable form and evaluate its applicability to story understanding tasks, such as question answering. We propose and investigate methods for the acquisition and application of commonsense knowledge, employing techniques for the representation, reasoning and retrieval of commonsense knowledge established by other researchers in the field. The work in this thesis begins with the presentation of a literature review on the current state of affairs on automated story understanding, commonsense knowledge acquisition and appropriate representations of the acquired knowledge. A number of systems are presented, focusing on the ones that use human computation or crowdsourcing as a method for acquiring knowledge. The reader is also introduced to computational argumentation which is an appropriate substrate for representing knowledge. Argumentation semantics are used for representing knowledge and reasoning with it in the internal mechanisms of all the developed tools. We present a tool for helping users to encode a story and to manually add knowledge rules in a way that machines can understand them. This tool is a Web-based Integrated Development Environment called "Web-STAR", that helps both expert and non-expert users in encoding stories in symbolic form and adding background knowledge. The tool also provides a number of embedded utilities for converting natural language stories to symbolic format, visually adding knowledge using a directed graph editor and promoting user collaboration. The output is presented both textually and graphically in a timeline format, where users can follow the comprehension model of a story and track changes in the story timeline. The IDE was evaluated for its ease of use both by expert and non-expert users, following user experience measurement methodologies and it received a high score in its evaluation. Next we present a novel framework and platform we have developed for implementing crowdsourcing applications (e.g., Games with a Purpose or language learning applications) that can be used by human workers for gathering commonsense knowledge. We designed and executed two experiments that examine whether fully automated or hybrid crowdsourcing techniques, i.e., techniques that benefit from both manually, crowd-contributed and automatic acquisition of knowledge, can be used to gather commonsense knowledge. The first application, a Game With A Purpose (GWAP) called "Knowledge Coder" relied only on crowdsourcing approaches to acquire knowledge. The second application, again a GWAP called \enquote{Robot Trainer}, was designed using a hybrid methodology for gathering background knowledge, generalizing it and evaluating its appropriateness in answering questions on unseen stories. The acquired knowledge was tested on story comprehension tasks such as question answering and the results show that the gathered knowledge is useful in answering story questions on new unseen stories, since the gathered knowledge is applicable in different domains. We also study the problem of inferring the geographic focus of a story at a country level, i.e., the geographic location that the story is related to. We developed an application for inferring the geographic focus of stories using crowdsourced knowledge bases, contributing in understanding the "Where" a story takes place type of question. This application, called "Geo-Mantis" retrieves knowledge from popular crowdsourced knowledge bases, such as ConceptNet and YAGO and returns a prediction of the country of focus. Furthermore, an expansion of this application was developed to apply a crowdsourced strategy for this task. Crowd-workers evaluated the usefulness of the arguments supporting a specific country on identifying the geographic focus of a document and the evaluated arguments were tested for identifying the geographic focus. The thesis concludes with a discussion of the outcome of the conducted experiments on the Web-STAR IDE, the GWAPs for acquiring commonsense knowledge and the application of crowdsourced knowledge for geographic focus identification, highlighting the different contributions in the area of commonsense knowledge acquisition and its application in automated story understanding.Η διατριβη επικεντρώνεται στο πρόβλημα της απόκτησης γνώσης κοινής λογικής και στην εφαρμογή της γνώσης αυτής στην αυτόματη κατανόηση ιστοριών από μηχανές. Την τελευταία δεκαετία ένας σημαντικός αριθμός από ερευνητές και ερευνητικά κέντρα έχουν εντατικοποιήσει τις προσπάθειες τους για συλλογή γνώσης κοινής λογικής, η οποία αποτελεί ένα σημαντικό συστατικό για τη δημιουργία "έξυπνων"" μηχανών. Η προσεγγιση που ακολουθούμε εστιάζεται στο ότι η γνώση που είναι κατάλληλη για τη μηχανική κατανόηση ιστοριών μπορει να συλλεγεί μέσω μεθόδων πληθοπορισμού, χρησιμοποιώντας τόσο ενδογενείς όσο και εξωγενείς μεθόδους για συλλογή της γνώσης. Η προτεινόμενη μεθοδολογία έχει ως επίκεντρο τον διαχωρισμό αυτής της εργασίας σε μια σειρά πιο συγκεκριμένων εργασιών, οι οποίες επιτρέπουν στους συμμετέχοντες να εντοπίσουν τη σχετική γνώση, να τη μετατρέψουν σε μορφή που να μπορεί να διαβαστεί από μηχανές και να αξιολογήσουν την εφαρμοσιμότητα της γνώσης στην κατανοηση ιστοριών και πιο συγκεκριμένα στην απάντηση ερωτήσεων. Στην εργασία αυτή προτείνουμε μεθόδους για την απόκτηση και εφαρμογή γνώσης κοινής λογικής για τη μηχανική κατανόηση ιστοριών και χρησιμοποιούμε τεχνικές για την αναπαράσταση, απόκτηση και εξαγωγή συμπερασμάτων από τη χρήση γνώσης κοινής λογικής που έχουν καθιερωθεί από άλλους ερευνητές της περιοχής αυτής. Αρχίζουμε με ανασκόπηση της βιβλιογραφίας, παρουσιάζοντας την παρούσα κατάστασης στις ερευνητικές περιοχές της μηχανικής κατανόησης ιστοριών, της συλλογής γνώσης κοινής λογικής και της εξέυρεσης κατάλληλων αναπαραστάσεων της γνώσης. Στη βιβλιογραφικη ανασκόπηση παρουσιάζουμε και έναν σημαντικό αριθμό συστημάτων που έχουν αναπτυχθεί τις τελευταίες δεκαετίες, δίνοντας έμφαση σε συστήματα που χρησιμοποιούν μεθόδους πληθοπορισμού για τη συλλογή γνώσης. Στο κείμενο παρουσιάζουμε και την έννοια της υπολογιστικής επιχειρηματολογίας που αποτελεί μια καλή επιλογή για αναπαράσταση της γνώσης. Επιπρόσθετα, σε όλα τα εργαλεία που παρουσιάζονται σε αυτή τη διατριβή, χρησιμοποιούμε τους μηχανισμούς της υπολογιστικής επιχειρηματολογίας τόσο για αναπαράσταση της γνώσης όσο και για την εξαγωγή συμπερασμάτων. Αρχικά παρουσιάζουμε ένα εργαλείο που υποστηρίζει τους χρήστες στην κωδικοποίηση ιστοριών και στη χειρωνακτική εισαγωγή κανόνων γνώσης σε μορφή που οι μηχανές μπορούν να διαβάσουν. Το εργαλείο αυτό είναι ένα διαδικτυακό ολοκληρωμένο περιβάλλον ανάπτυξης (IDE) που ονομάζεται "Web-STAR" και υποστηρίζει την κωδικοποίηση ιστοριών σε συμβολική μορφή και την εισαγωγή γνώσης κοινής λογικής τόσο από αρχάριους όσο και από εξειδικευμένους χρήστες. Επίσης, το "Web-STAR" παρέχει και μια σειρά από ενσωματωμένα σε αυτό εργαλεία για: 1) μετατροπή ιστοριών από φυσική γλώσσα σε συμβολική, 2) την προσθήκη γνώσης κοινής λογικής μέσω οπτικού εργαλείου που αναπαριστά τη γνώση σε κατευθυνόμενο γράφο, και 3) τη συνεργασία μεταξύ των χρηστών στην κωδικοποίηση ιστοριών. Το αποτέλεσμα της αυτοματοποιημένης διαδικασίας κατανόησης της ιστορίας παρουσιάζεται στους χρήστες τόσο σε μορφή κειμένου όσο και οπτικά σε μορφή χρονικής ροής, όπου οι χρήστες μπορούν να ακολουθήσουν το μοντέλο κατανόησης της ιστορίας και να εντοπίσουν τις διαφοροποιήσεις στη χρονική ροή. Το σύστημα έχει αξιολογηθεί για την ευχρηστία του τόσο από αρχάριους όσο και από εξειδικευμένους χρήστες ακολουθώντας μεθοδολογίες μέτρησης της εμπειρίας του χρήστη. Κατα την αξιολόγηση το σύστημα έλαβε υψηλό βαθμό ευχρηστίας. Ακολούθως, παρουσιάζουμε ένα καινοτόμο πλαίσιο σχεδιασμού και υλοποίησης εφαρμογών πληθοπορισμού και την πλατφόρμα που δημιουργήσαμε για υλοποίηση των εφαρμογών αυτών (π.χ. παιχνίδια με σκοπό ή εφαρμογές για εκμάθηση γλωσσών) που μπορούν να χρησιμοποιηθούν για τη συλλογή γνώσης κοινής λογικής. Σχεδιάσαμε και εκτελέσαμε δύο πειράματα που εξετάζουν αν οι πλήρως αυτόματες πληθοποριστικές τεχνικές ή οι υβριδικές τεχνικές (αυτές που συνδιάζουν χειρωνακτικές, πληθοποριστικές και αυτόματες μεθόδους απόκτησης γνώ\-σης κοινής λογικής) μπορούν να χρησιμοποιηθούν για την απόκτηση κατάλληλης γνώσης για αυτόματη κατανόηση ιστοριών. Η πρώτη εφαρμογή είναι ένα παιχνίδι με σκοπό, με την ονομασία "Knowledge Coder", που στηρίζεται μόνο σε μεθόδους πληθοπορισμού για την απόκτηση γνώσης από τους παίκτες. Η δευτερη εφαρμογή είναι και αυτή ένα παιχνίδι με σκοπό με την ονομασία "Robot Trainer". Το παιχνίδι αυτό σχεδιάστηκε με τρόπο που να χρησιμοποιεί υβριδική τεχνική για την απόκτηση γνώσης κοινής λογικής, τη γενίκευση της γνώσης και την αξιολόγηση της καταλληλότητας της για απάντηση ερωτή-σεων σε ιστορίες που δεν είχε πρόσβαση το σύστημα προηγουμένως. Η γνώση που αποκτήθηκε δοκιμάστηκε για να απαντηθούν ερωτήσεις σε ιστορίες και τα αποτελέσματα δείχνουν ότι η γνώση αυτή είναι χρήσιμη για τον σκοπό αυτό, αφού μπορεί να εφαρμοστεί σε διάφορες γνωστικές περιοχές. Στο επόμενο στάδιο της έρευνας, προσπαθούμε να αντιμετωπίσουμε το πρόβλημα του εντοπισμού της γεωγραφικής περιοχής που εστιάζει η κάθε ιστορία σε επίπεδο χώρας, δηλαδή τη γεωγραφική τοποθεσία με την οποία σχετίζεται η ιστορία αυτή. Για τον σκοπό αυτό έχουμε αναπτύξει μια εφαρμογή για να συμπεραίνει τη γεωγραφική περιοχή που εστιάζεται μια ιστορία χρησιμοποιώντας γνωσιακές βάσεις δεδομένων που έχουν γνώση που αποκτήθηκε με πληθοποριστικές μεθόδους. Η εφαρμογή αυτή χρησιμεύει στο να απαντήσει την ερώτηση του "πού" μια ιστορία λαμβάνει χώρα. Η εφαρμογή ονομάζεται "Geo-Mantis", χρησιμοποιεί γνώση από γνωσιακές βάσεις δεδομένων όπως το ConceptNet και το YAGO και επιστρέφει μια πρόβλεψη για τη χώρα που εστιάζεται η ιστορία. Επίσης, η εφαρμογη περιλαμβάνει και μηχανισμό που επεκτείνει τις υπάρχουσες στρατηγικές που χρησιμοποιούνται με πληθοποριστικές μεθόδους στις οποίες το πλήθος αξιολογεί τη χρησιμότη-τα των επιχειρημάτων που υποστηρίζουν μια συγκεκριμένη χώρα. Η διατριβή ολοκληρώνεται με συζήτηση των αποτελεσμάτων των πειραμάτων και της συμβολής των αποτελεσμάτων στην ερευνητική περιοχή της απόκτησης γνώσης κοινής λογικής αλλά και της εφαρμογής της στην αυτόματη κατανόηση ιστοριών