An interactive speech training system with virtual reality articulation for Mandarin-speaking hearing impaired children

The present project involved the development of a novel interactive speech training system based on virtual reality articulation and examination of the efficacy of the system for hearing impaired (HI) children. Twenty meaningful Mandarin words were presented to the HI children via a 3-D talking head during articulation training. Electromagnetic Articulography (EMA) and graphic transform technology were used to depict movements of various articulators. In addition, speech corpuses were organized in listening and speaking training modules of the system to help improve language skills of the HI children. Accuracy of virtual reality articulatory movement was evaluated through a series of experiments. Finally, a pilot test was performed to train two HI children using the system. Preliminary results showed improvement in speech production by the HI children, and the system was recognized as acceptable and interesting for children. It can be concluded that the training system is effective and valid in articulation training for HI children. © 2013 IEEE.published_or_final_versio

Multimodal Based Audio-Visual Speech Recognition for Hard-of-Hearing: State of the Art Techniques and Challenges

Multimodal Integration (MI) is the study of merging the knowledge acquired by the nervous system using sensory modalities such as speech, vision, touch, and gesture. The applications of MI expand over the areas of Audio-Visual Speech Recognition (AVSR), Sign Language Recognition (SLR), Emotion Recognition (ER), Bio Metrics Applications (BMA), Affect Recognition (AR), Multimedia Retrieval (MR), etc. The fusion of modalities such as hand gestures- facial, lip- hand position, etc., are mainly used sensory modalities for the development of hearing-impaired multimodal systems. This paper encapsulates an overview of multimodal systems available within literature towards hearing impaired studies. This paper also discusses some of the studies related to hearing-impaired acoustic analysis. It is observed that very less algorithms have been developed for hearing impaired AVSR as compared to normal hearing. Thus, the study of audio-visual based speech recognition systems for the hearing impaired is highly demanded for the people who are trying to communicate with natively speaking languages.  This paper also highlights the state-of-the-art techniques in AVSR and the challenges faced by the researchers for the development of AVSR systems

Rehabilitation and assessment of lipreading, and the need for new lipreading training material in Finland

Tavoitteet. Kyselytutkimukseni tarkoitus oli selvittää huulioluvun kuntoutuksen, opetuksen ja arvioinnin nykytilaa ja tarvetta uudelle harjoittelumateriaalille usean kohderyhmän näkökulmasta. Tavoitteena oli myös tuottaa tietoa Kuuloliiton huuliolukumateriaalin kehittämishankkeelle. Huulioluvun harjoittelumateriaalia on kehitetty ja huuliolukua tutkittu Suomessa varsinkin 1990-luvulla, mutta kuntoutus- ja arviointikäytännöistä tai materiaalin tarpeesta ei ole ajantasaista tietoa. Menetelmät. Tutkimukseni jakautui kuuteen eri osakyselyyn, jotka oli suunnattu erikoissairaanhoidon puheterapeuteille, perusterveydenhuollon puheterapeuteille, Kuuloliiton jäsenyhdistyksille, kuulovammaisten järjestöille, aikuisille kuulovammaisille ja kuulovammaisten lasten vanhemmille. Kyselyt koostuivat suljetuista ja avoimista kysymyksistä, joilla kerättiin tietoa vastaajien kokemuksista ja näkemyksistä. Jaoin kyselyt erilaisilla internet-alustoilla ja sain niihin vastauksia vaihtelevasti yhdestä 70:een. Analysoin suljettujen kysymysten vastaukset määrällisesti laskemalla frekvenssit ja luottamusvälit ja avointen kysymysten vastaukset laadullisesti tyypittelemällä. Tulokset ja johtopäätökset. Huulioluvun arviointi ja kuntoutus on Suomessa epäjärjestelmällistä ja niissä käytetään vaihtelevia menetelmiä. Arviointiin ei ole normitettuja ja riittävän monipuolisia menetelmiä, lähes kaikki julkaistu kuntoutusmateriaali on vanhaa ja nykyaikaista itseharjoittelumateriaalia ei ole. Vain kolmannes kuulovammaisista vastaajista oli saanut huulioluvun kuntoutusta ja suurin osa Kuuloliiton jäsenyhdistyksistä ei ollut järjestänyt huulioluvun opetusta. Monilla puheterapeuteilla ei ole huulioluvusta, sitä tarvitsevista kliinisistä ryhmistä ja kuntoutusmateriaalistakaan ajantasaista tietoa. Suomessa tarvitaan huulioluvun tiedotuskampanjaa, uusia huuliolukutestejä ja uutta harjoittelumateriaalia. Kyselytutkimuksen tulosten perusteella verkkopohjaiseen harjoittelumateriaaliin tai mobiilipeliin suhtaudutaan myönteisesti. Monet vastaajat toivoivat kuitenkin myös painettua materiaalia ja perinteistä kasvokkaista kuntoutusta

Methodology of Augmented Reality Chinese Language Articulatory Pronunciation Practice: Game and Study Design

Learning a language can be hard. Learning a language that contains tones to convey meaning is even harder. This dissertation presents a novel methodology for creating a language practice using augmented reality that has never been used before. The design of a new app in AR and non-AR versions can evaluate the same practice methodology. This methodology was applied to new software and was examined in regard to the importance of this software. Although the study results are inconclusive, progress has been made in answering research questions on the effectiveness of AR versus non-AR and the reliability of peer assessment. This study is essential for developing future language applications using design and methodologies in AR and peer evaluation