Conceptual design of a database to store recordings from articulographic studies of Polish speech

W artykule opisano strukturę i funkcjonalność bazy danych artykulograficznych do przechowywania danych z badań przeprowadzanych z wykorzystaniem artykulografu elektromagnetycznego, kamery akustycznej i 3 kamer wideo. Baza danych umożliwia selektywne pobieranie różnych typów danych, w szczególności dotyczących mówcy, sesji nagraniowej, nagrań oraz eksperymentów. Opisano strukturę i budowę bazy danych. Przedstawiono również potencjalne przyszłe zastosowania do przeprowadzania analiz statystycznych oraz w eksperymentach dotyczących inwersji mowy z wykorzystaniem modeli sieci Bayesa.The article describes the structure and functionality of the articulographic database for storing data from articulographic research using an electromagnetic articulograph, an acoustic camera and 3 video cameras. The database enables selective extraction of various types of data for scientific research and interoperates with programs that carry out experiments. Structure and construction of the database is described. Potential future application in statistical analysis and experiments on speech inversion using dynamic Bayesian networks (DBN) was also presented

Fusing the electromagnetic articulograph, high-speed video cameras and a 16-channel microphone array for speech analysis

Electromagnetic articulography (EMA) is one of the instrumental phonetic research methods used for recording and assessing articulatory movements. Usually, articulographic data are analysed together with standard audio recordings. This paper, however, demonstrates how coupling the articulograph with devices providing other types of information may be used in more advanced speech research. A novel measurement system is presented that consists of the AG 500 electromagnetic articulograph, a 16-channel microphone array with a dedicated audio recorder and a video module consisting of 3 high-speed cameras. It is argued that synchronization of all these devices allows for comparative analyses of results obtained with the three components. To complement the description of the system, the article presents innovative data analysis techniques developed by the authors as well as preliminary results of the system’s accuracy

Application Hidden Markov Models to Automatic Detection of Speech Disorder

W artykule przedstawiono wyniki badań dotyczących automatycznej detekcji wad wymowy u dzieci. Jako materiał badawczy zostały wykorzystane nagrania pochodzące od dzieci z wadami wymowy. Zadanie polegało na rozpoznaniu nieprawidłowo realizowanego fonemu w wybranych słowach testowych. Detekcja była dokonywana za pomocą metod rozpoznawania mowy, w których jako cec sygnału mowy użyto dwóch najbardziej obiecujących rodzajów cech: współczynnika MFCC praz współczynników HFCC. Jako klasyfikatora użyto metody niejawnych modeli Markowa (HMM), gdzie modelowanymi jednostkami fonetycznimi były zarówno fonemy jak i całe słowa. W badanych metodach dobrano ich parametry w celu zmaksymalizowania skuteczności rozpoznawania. W artykule zaprezentowano również analizę porównawczą wyników rozpoznawania otrzymanych z wykorzystaniem metody HMM oraz testowanej w poprzednich pracach metody nieliniowej transformacji czasowej (DTW).The results of research on automatic detection of the pathological phoneme pronunciation are presented in the paper. Speech samples came from speech impaired children and persons who imitated pathological phoneme pronunciation. The recognition task was to find wrongly realized phoneme in the selected test utterances. At the reature extraction stage the most effective features` types have been used: standard Mel-Frequency Cepstral Coefficients (MFCC) and recently proposed Human Factor Cepstral Coefficients (HFCC). As a classificator hidden Markov models, with modeled speech unit being a phoneme as well as a whole word, have been used. The parameters of the HMMs were adjusted in order to achieve the best recognition accuracy. Comparision of the HMM and DTW methods is also presented in the paper