Artificial Intelligence Fairness in the Context of Accessibility Research on Intelligent Systems for People who are Deaf or Hard of Hearing

We discuss issues of Artificial Intelligence (AI) fairness for people with disabilities, with examples drawn from our research on human-computer interaction (HCI) for AI-based systems for people who are Deaf or Hard of Hearing (DHH). In particular, we discuss the need for inclusion of data from people with disabilities in training sets, the lack of interpretability of AI systems, ethical responsibilities of access technology researchers and companies, the need for appropriate evaluation metrics for AI-based access technologies (to determine if they are ready to be deployed and if they can be trusted by users), and the ways in which AI systems influence human behavior and influence the set of abilities needed by users to successfully interact with computing systems

Comparative analysis between a respeaking captioning system and a captioning system without human intervention

People living with deafness or hearing impairment have limited access to information broadcast live on television. Live closed captioning is a currently active area of study; to our knowledge, there is no system developed thus far that produces high-quality captioning results without using scripts or human interaction. This paper presents a comparative analysis of the quality of captions generated for four Spanish news programs by two captioning systems: a semiautomatic system based on respeaking (system currently used by a Spanish TV station) and an automatic system without human interaction proposed and developed by the authors. The analysis is conducted by measuring and comparing the accuracy, latency and speed of the captions generated by both captioning systems. The captions generated by the system presented higher quality considering the accuracy in terms of Word Error Rate (WER between 3.76 and 7.29%) and latency of the captions (approximately 4 s) at an acceptable speed to access the information. We contribute a first study focused on the development and analysis of an automatic captioning system without human intervention with promising quality results. These results reinforce the importance of continuing to study these automatic systems

Μελέτη Αξιοπιστίας Αυτόματης και σε Πραγματικό Χρόνο Μεταγραφής Ομιλίας (Υποτιτλισμού) σε Τηλεδιδασκαλία

Η χρήση μεθόδων αυτόματης αναγνώρισης ομιλίας για την μεταγραφή σε πραγματικό χρόνο του προφορικού λόγου του διδάσκοντα σε υπότιτλους επιτρέπει σε άτομα (φοιτητές ή μαθητές) με κώφωση ή με βαρηκοΐα να παρακολουθήσουν τηλεδιδασκαλία μέσω του διαδικτύου. Σκοπός της διπλωματικής είναι να διεξάγει μια συστηματική μελέτη της αξιοπιστίας χρήσης ενός web-based εργαλείου μεταγραφής/υποτιτλισμού για την ελληνική γλώσσα, και συγκεκριμένα του Web Captioner, κατά την τηλεδιδασκαλία στην τριτοβάθμια εκπαίδευση με χρήση μετρικών αντικειμενικής αξιολόγησης της απόδοσης. Στην πειραματική διαδικασία συμμετέχουν 26 ομιλητές και με κατάλληλα επιλεγμένο corpus από αντιπροσωπευτικό δείγμα πέντε διαφορετικών πανεπιστημιακών τμημάτων/σχολών. Έχει γίνει εμπεριστατωμένη ανάλυση των λαθών, κάνοντας σύγκριση με το αρχικό κείμενο. Καταλήξαμε στα εξής κύρια συμπεράσματα: το Word Error Rate (WER) ήταν μικρότερο από ~2,5% για το 50% των χρηστών, ενώ ανερχόταν έως και σε 5-6% για το 90% των χρηστών. Επίσης, υπήρχε σημαντική στατιστική συσχέτιση μεταξύ του χρήστη και του επιπέδου λαθών στα διαφορετικά κείμενα που χρησιμοποιήθηκαν. Εξετάζοντας τις λέξεις που συχνότερα αποδίδονταν λάθος από το Web Captioner, παρατηρήσαμε ότι πολλές είναι μονογραμματικά άρθρα, άλλες είναι αρκετά σπάνιες για τις οποίες τυγχάνει να υπάρχουν ηχητικά παρόμοιες αλλά πολύ λιγότερο σπάνιες λέξεις στην ελληνική, και άλλες χρησιμοποιούνται συχνά ως προθέματα αλλά δεν αναγνωρίζονται ως σύνδεσμοι (π.χ. “εκ”).The use of automatic speech recognition methods (ASR) for transcribing speech of a lecturer/teacher in real time allows deaf and hearing impaired students to attend distance learning online. The goal of this dissertation is to conduct a systematic study of the reliability in using a web-based transcription/subtitling tool (Web Captioner) for the Greek language, in the context of distance learning in higher education, while using well-established metrics for evaluating the tool’s performance. The experimental evaluation involved 26 participants and used sampled texts selected from a representative corpus of five different university departments / faculties. We made a thorough analysis of the errors generated in the live captioning process, by comparing the captions with the original text. We came to the following main conclusions: Word Error Rate (WER) was less than ~2.5% at the 50th percentile of users, and up to 5-6% at the 90th percentile. There was also a significant statistical correlation between the user and the number of errors in the different texts that were used. After examining the words most often captured incorrectly by Web Captioner, we noticed that many are single-letter articles, others are quite rare and happen to have similar-sounding words that occur much more frequently in Greek, and others are often used as prefixes but not as easily recognized as conjunctions (e.g., "εκ")