Μοντελοποίηση της ακουστικής αναπαράστασης της τυπογραφίας εγγράφων μέσω εκφραστικής συνθετικής ομιλίας για τυφλούς και βλέποντες

Η παρούσα διατριβή ασχολείται με την ακουστικοποίηση, για τυφλούς και βλέποντες, της μεταπληροφορίας Στοιχείων Οπτικής Παρουσίασης των Εγγράφων (ΣΟΠΕ) κατά τη μετατροπή τους σε ομιλία. Η προσέγγιση του προβλήματος χωρίζεται: α) στην αυτόματη εξαγωγή των επαγόμενων συναισθημάτων του αναγνώστη από τις εναλλαγές των ΣΟΠΕ και β) στην ακουστική απόδοσή τους χρησιμοποιώντας εκφραστική συναισθηματική συνθετική ομιλία. Προτείνεται μία αρχιτεκτονική για την πολυτροπική παραγωγή, παρουσίαση και πλοήγηση σε πραγματικό χρόνο σε καθολικά προσβάσιμα έγγραφα, ανεξάρτητα φυσικής γλώσσας, περιεχομένου και πολιτισμού, βασισμένη στην αυτόματη εξαγωγή της επαγόμενης συναισθηματικής κατάστασης από τα ΣΟΠΕ και τη κατάλληλη επισημείωση των εγγράφων με αυτή την πληροφορία. Στη συνέχεια, αναπτύσσεται ένα ποσοτικό μοντέλο του τρόπου ακουστικοποίησης των τυπογραφικών εναλλαγών μέσω: i) της μαθηματικής περιγραφής των μεταβολών της επαγόμενης συναισθηματικής κατάστασης του αναγνώστη βασιζόμενο στη διαστατική φύση των συναισθημάτων («Ευχαρίστηση», «Διέγερση» και «Επικράτηση»), και ii) της αντιστοίχησής τους σε μεταβολές προσωδιακών χαρακτηριστικών της εκφραστικής συνθετικής ομιλίας. Για την αξιολόγηση του προσωδιακού μοντέλου εξετάστηκε κατά πόσο οι ακροατές είναι σε θέση να αναγνωρίσουν τις τυπογραφικές εναλλαγές με ακουστικό τρόπο. Τα αποτελέσματα ήσαν θετικά ακόμη και για ακροατές χωρίς πρότερη εκπαίδευση. Το μοντέλο αξιολογήθηκε από βλέποντες και τυφλούς μαθητές δημοτικού σχολείου ότι προάγει την απόδοσή τους κατά τη διδακτική διαδικασία.This dissertation deals with the sonification of the Visual Presentation Elements in Documents (VPED) metadata during their transformation to speech. The approach to this problem includes: a) the automatic extraction of the VPED induced reader’s emotional states and b) their acoustic rendition using expressive emotional synthetic speech. A novel architecture is proposed for the multimodal universal accessibility of documents, regardless of their natural language, content and culture, based on the automatic extraction of the VPED induced emotional states and the appropriate documents’ annotation with this information. A quantitative model is developed for the sonification of the VPED typographic alternations by: i) the mathematical formulation of the induced reader’s emotional state, based on the dimensional nature of the emotions (“Pleasure”, “Arousal” and “Dominance”), and ii) their mapping into alternation of the prosodic characteristics of the expressive synthetic speech. For the evaluation of the prosodic model we have explored whether the listeners can acoustically recognize the typographic alternations. The results were positive even in the case of listeners without any previous training. The evaluation of the model by sighted and blind students of primary education shows enhancement of their performance during the didactic process

Publicaciones científicas accesibles para personas ciegas y deficientes visuales

La obra, tesis doctoral de la autora, defendida en la Universidad de Barcelona en 2009, analiza la situación actual de la edición accesible, atendiendo a las necesidades específicas de los usuarios con discapacidad visual, y valora las características de los documentos digitales en función de tales necesidades. Al estudiar la estructura de los diversos tipos de documentos digitales, la autora señala la edición de artículos científicos como sector más avanzado, por lo que este tipo de documentos constituyen un modelo particularmente idóneo para validar la edición accesible