Samoglasnički prostor govora teško nagluhih i gluhih osoba.

U radu su mjerene i uspoređene dimenzije samoglasničkog prostora teško nagluhih i gluhih srednjoškolaca oba spola (N = 29) i njihovih čujućih vršnjaka (N = 9) kao razlika između frekvencijski najviših i najnižih prvih, odnosno drugih formanata tri krajnja samoglasnika /a/, /i/ i /u/, s ciljem provjere izvora mogućih razlika koje nudi dosadašnja literatura. Rezultati akustičkog mjerenja analizirani su deskriptivno i multivarijatno diskriminacijskom analizom. Obrada prikupljenih podataka ukazala je da su akustički definirane dimenzije samoglasničkog prostora ispitanih govornika s oštećenjem sluha značajno manje nego u čujućoj skupini. Smanjenju tog prostora najviše je pridonijelo ograničenje raspona između centralnih frekvencija drugih formanata samoglasnika /i/ i /u/, odnosno ograničenje područja drugog formanta samoglasničkog prostora, za što su predložena moguća objašnjenja

Paralinguistic vocal control of interactive media: how untapped elements of voice might enhance the role of non-speech voice input in the user's experience of multimedia.

Much interactive media development, especially commercial development, implies the dominance of the visual modality, with sound as a limited supporting channel. The development of multimedia technologies such as augmented reality and virtual reality has further revealed a distinct partiality to visual media. Sound, however, and particularly voice, have many aspects which have yet to be adequately investigated. Exploration of these aspects may show that sound can, in some respects, be superior to graphics in creating immersive and expressive interactive experiences. With this in mind, this thesis investigates the use of non-speech voice characteristics as a complementary input mechanism in controlling multimedia applications. It presents a number of projects that employ the paralinguistic elements of voice as input to interactive media including both screen-based and physical systems. These projects are used as a means of exploring the factors that seem likely to affect users’ preferences and interaction patterns during non-speech voice control. This exploration forms the basis for an examination of potential roles for paralinguistic voice input. The research includes the conceptual and practical development of the projects and a set of evaluative studies. The work submitted for Ph.D. comprises practical projects (50 percent) and a written dissertation (50 percent). The thesis aims to advance understanding of how voice can be used both on its own and in combination with other input mechanisms in controlling multimedia applications. It offers a step forward in the attempts to integrate the paralinguistic components of voice as a complementary input mode to speech input applications in order to create a synergistic combination that might let the strengths of each mode overcome the weaknesses of the other

SoundRise: sviluppo e validazione di un'applicazione multimodale interattiva per la didattica basata sull'analisi di feature vocali

In questo lavoro si presentano i passi e gli strumenti utilizzati per lo sviluppo di SoundRise a partire da un prototipo Pure Data e i primi test effettuati per valutare e migliorare il risultato ottenuto. SoundRise è un’applicazione multimodale e interattiva a fini didattici, finalizzata a proporre ai bambini della scuola primaria una modalità alternativa di apprendimento delle caratteristiche del suono. Il bambino può esplorare tali caratteristiche attraverso una rappresentazione grafica in tempo reale delle proprie produzioni vocali. Protagonista di questo gioco è il sole e mediante la sua posizione sull’orizzonte di un paesaggio stilizzato, le sue dimensioni e il suo colore si cerca di dare una raffigurazione coerente delle caratteristiche sonore. L’altezza del sole sull’orizzonte corrisponde all’altezza del tono prodotto dall’utente, la sua dimensione all’ampiezza della produzione, mentre la durata è rappresentata dal viso sorridente del sole che apre o chiude gli occhi in presenza o assenza di produzione vocale. Non potendo ottenere un’immagine ragionevole del timbro partendo dall’analisi delle caratteristiche della voce, quest’ultimo è sostituito con una visualizzazione delle cinque vocali della lingua italiana associando a ciascuna un colore col quale disegnare il sole. Le caratteristiche possono essere ispezionate singolarmente oppure tutte assieme, lasciando piena libertà di scelta al bambino. Si è cercato di proporre un’interfaccia semplice e amichevole, che fosse intuitiva e non causasse confusione o distraesse l’utente dall’obiettivo dell’applicazione, basandosi su alcune delle caratteristiche indicate come importanti per una applicazione di questo tipo nel lavoro di Anne-Marie Oster dove si valuta l’applicazione clinica di un’applicazione di speech training nel trattamento di bambini affetti da deficit uditivo. Tra gli obiettivi di questo lavoro vi è lo studio delle potenzialità offerte dall’uso di Pure Data e libpd, una libreria C++ che consente di integrare un’istanza di Pure Data all’interno di una applicazione qualsiasi. Questa libreria permette di utilizzare Pure Data per creare in modo semplice e veloce un prototipo di ciò che si vuole realizzare e di convertirlo successivamente in un’applicazione multi-piattaforma facilmente distribuibile, in quanto non dipendente dalla presenza di Pure Data nel computer dell’utente. Molto interessante è la possibilità di creare applicazioni per i principali sistemi operativi mobili a partire dallo stesso codice. Si è cercato inoltre di strutturare il progetto in modo da ottenere una piattaforma versatile e adattabile alla sperimentazione delle tecnologie di analisi audio nel trattamento di patologie che interessano la produzione vocale di base. Questo progetto è stato testato su sistemi Apple Mac OS X, Apple iOS, Microsoft WindowsXP e Microsoft Windows7. Il test e l’eventuale adattamento su piattaforme GNU/Linux e Google Android saranno oggetto di lavori futuri. Nel primo capitolo si propone una selezione di lavori riguardanti applicazioni a supporto di logopedisti e terapeuti nel trattamento di patologie che riguardano la produzione vocale, sia dovute a deficit fisici che neurologici. Infine si propone una panoramica sul campo molto recente delle applicazioni per dispositivi mobili a supporto di persone affette da disturbo autistico, dei loro familiari o dei terapeuti che si occupano di queste sindromi. Nel secondo capitolo si presentano gli obiettivi di questo lavoro, un’analisi degli strumenti utilizzati, le caratteristiche dei progetti per lo sviluppo delle tre versioni dell’applicazione e le linee guida da rispettare per realizzare una patch Pure Data adatta ad essere utilizzata con libpd. Infine si descrivono le parti pi`u interessanti del codice sorgente prodotto. Nel terzo capitolo si illustrano le caratteristiche offerte dell’interfaccia grafica dell’applicazione e le modalit`a di utilizzo. Infine nel quarto capitolo vengono esposti i risultati di un test sull’usabilit`a dell’applicazione sottoposto a un pubblico eterogeneo di utent

Paralinguistic vocal control of interactive media : how untapped elements of voice might enhance the role of non-speech voice input in the user's experience of multimedia

Much interactive media development, especially commercial development, implies the dominance of the visual modality, with sound as a limited supporting channel. The development of multimedia technologies such as augmented reality and virtual reality has further revealed a distinct partiality to visual media. Sound, however, and particularly voice, have many aspects which have yet to be adequately investigated. Exploration of these aspects may show that sound can, in some respects, be superior to graphics in creating immersive and expressive interactive experiences. With this in mind, this thesis investigates the use of non-speech voice characteristics as a complementary input mechanism in controlling multimedia applications. It presents a number of projects that employ the paralinguistic elements of voice as input to interactive media including both screen-based and physical systems. These projects are used as a means of exploring the factors that seem likely to affect users' preferences and interaction patterns during non-speech voice control. This exploration forms the basis for an examination of potential roles for paralinguistic voice input. The research includes the conceptual and practical development of the projects and a set of evaluative studies. The work submitted for Ph.D. comprises practical projects (50 percent) and a written dissertation (50 percent). The thesis aims to advance understanding of how voice can be used both on its own and in combination with other input mechanisms in controlling multimedia applications. It offers a step forward in the attempts to integrate the paralinguistic components of voice as a complementary input mode to speech input applications in order to create a synergistic combination that might let the strengths of each mode overcome the weaknesses of the other.EThOS - Electronic Theses Online ServiceGBUnited Kingdo

Proceedings of the 8th international conference on disability, virtual reality and associated technologies (ICDVRAT 2010)

The proceedings of the conferenc

Computer-based speech training for children

A computer-based speech training system has been developed for children. The system is able to perform diagnostics and training in Malay language at both syllable and word level. The system allows children with difficulty in articulating plosive sounds to train with the computer to correct their speech articulation problems. Besides that, the system also provides audio and visual feedback to make the children aware of their errors of articulation. Sixteen Malay monosyllables and 16 bisyllabic Malay words are selected as the stimulus items. All these syllables and words have a plosive consonant-vowel structure (CV or CVCV). The system tests showed that it has the potential to be used in schools, homes and speech therapy clinics