662 research outputs found
Towards Automatic Speech Identification from Vocal Tract Shape Dynamics in Real-time MRI
Vocal tract configurations play a vital role in generating distinguishable
speech sounds, by modulating the airflow and creating different resonant
cavities in speech production. They contain abundant information that can be
utilized to better understand the underlying speech production mechanism. As a
step towards automatic mapping of vocal tract shape geometry to acoustics, this
paper employs effective video action recognition techniques, like Long-term
Recurrent Convolutional Networks (LRCN) models, to identify different
vowel-consonant-vowel (VCV) sequences from dynamic shaping of the vocal tract.
Such a model typically combines a CNN based deep hierarchical visual feature
extractor with Recurrent Networks, that ideally makes the network
spatio-temporally deep enough to learn the sequential dynamics of a short video
clip for video classification tasks. We use a database consisting of 2D
real-time MRI of vocal tract shaping during VCV utterances by 17 speakers. The
comparative performances of this class of algorithms under various parameter
settings and for various classification tasks are discussed. Interestingly, the
results show a marked difference in the model performance in the context of
speech classification with respect to generic sequence or video classification
tasks.Comment: To appear in the INTERSPEECH 2018 Proceeding
A Survey on Deep Learning in Medical Image Analysis
Deep learning algorithms, in particular convolutional networks, have rapidly
become a methodology of choice for analyzing medical images. This paper reviews
the major deep learning concepts pertinent to medical image analysis and
summarizes over 300 contributions to the field, most of which appeared in the
last year. We survey the use of deep learning for image classification, object
detection, segmentation, registration, and other tasks and provide concise
overviews of studies per application area. Open challenges and directions for
future research are discussed.Comment: Revised survey includes expanded discussion section and reworked
introductory section on common deep architectures. Added missed papers from
before Feb 1st 201
Retainer-Free Optopalatographic Device Design and Evaluation as a Feedback Tool in Post-Stroke Speech and Swallowing Therapy
Stroke is one of the leading causes of long-term motor disability, including oro-facial impairments which affect speech and swallowing. Over the last decades, rehabilitation programs have evolved from utilizing mainly compensatory measures to focusing on recovering lost function. In the continuing effort to improve recovery, the concept of biofeedback has increasingly been leveraged to enhance self-efficacy, motivation and engagement during training. Although both speech and swallowing disturbances resulting from oro-facial impairments are frequent sequelae of stroke, efforts to develop sensing technologies that provide comprehensive and quantitative feedback on articulator kinematics and kinetics, especially those of the tongue, and specifically during post-stroke speech and swallowing therapy have been sparse. To that end, such a sensing device needs to accurately capture intraoral tongue motion and contact with the hard palate, which can then be translated into an appropriate form of feedback, without affecting tongue motion itself and while still being light-weight and portable. This dissertation proposes the use of an intraoral sensing principle known as optopalatography to provide such feedback while also exploring the design of optopalatographic devices itself for use in dysphagia and dysarthria therapy. Additionally, it presents an alternative means of holding the device in place inside the oral cavity with a newly developed palatal adhesive instead of relying on dental retainers, which previously limited device usage to a single person. The evaluation was performed on the task of automatically classifying different functional tongue exercises from one another with application in dysphagia therapy, whereas a phoneme recognition task was conducted with application in dysarthria therapy. Results on the palatal adhesive suggest that it is indeed a valid alternative to dental retainers when device residence time inside the oral cavity is limited to several tens of minutes per session, which is the case for dysphagia and dysarthria therapy. Functional tongue exercises were classified with approximately 61 % accuracy across subjects, whereas for the phoneme recognition task, tense vowels had the highest recognition rate, followed by lax vowels and consonants. In summary, retainer-free optopalatography has the potential to become a viable method for providing real-time feedback on tongue movements inside the oral cavity, but still requires further improvements as outlined in the remarks on future development.:1 Introduction
1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Problem statement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Goals and contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.4 Scope and limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2 Basics of post-stroke speech and swallowing therapy
2.1 Dysarthria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.2 Dysphagia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.3 Treatment rationale and potential of biofeedback . . . . . . . . . . . . . . . . . 13
2.4 Summary and conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3 Tongue motion sensing
3.1 Contact-based methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3.1.1 Electropalatography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3.1.2 Manometry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.1.3 Capacitive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.2 Non-contact based methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.2.1 Electromagnetic articulography . . . . . . . . . . . . . . . . . . . . . . . 23
3.2.2 Permanent magnetic articulography . . . . . . . . . . . . . . . . . . . . 24
3.2.3 Optopalatography (related work) . . . . . . . . . . . . . . . . . . . . . . 25
3.3 Electro-optical stomatography . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.4 Extraoral sensing techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.5 Summary, comparison and conclusion . . . . . . . . . . . . . . . . . . . . . . . 29
4 Fundamentals of optopalatography
4.1 Important radiometric quantities . . . . . . . . . . . . . . . . . . . . . . . . . . 32
4.1.1 Solid angle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
4.1.2 Radiant flux and radiant intensity . . . . . . . . . . . . . . . . . . . . . 33
4.1.3 Irradiance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
4.1.4 Radiance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
4.2 Sensing principle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
4.2.1 Analytical models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
4.2.2 Monte Carlo ray tracing methods . . . . . . . . . . . . . . . . . . . . . . 37
4.2.3 Data-driven models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4.2.4 Model comparison . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.3 A priori device design consideration . . . . . . . . . . . . . . . . . . . . . . . . 41
4.3.1 Optoelectronic components . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.3.2 Additional electrical components and requirements . . . . . . . . . . . . 43
4.3.3 Intraoral sensor layout . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
5 Intraoral device anchorage
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
5.1.1 Mucoadhesion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
5.1.2 Considerations for the palatal adhesive . . . . . . . . . . . . . . . . . . . 48
5.2 Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
5.2.1 Polymer selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
5.2.2 Fabrication method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
5.2.3 Formulations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
5.2.4 PEO tablets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
5.2.5 Connection to the intraoral sensorâs encapsulation . . . . . . . . . . . . 50
5.2.6 Formulation evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
5.3 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
5.3.1 Initial formulation evaluation . . . . . . . . . . . . . . . . . . . . . . . . 54
5.3.2 Final OPG adhesive formulation . . . . . . . . . . . . . . . . . . . . . . 56
5.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
6 Initial device design with application in dysphagia therapy
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
6.2 Optode and optical sensor selection . . . . . . . . . . . . . . . . . . . . . . . . . 60
6.2.1 Optode and optical sensor evaluation procedure . . . . . . . . . . . . . . 61
6.2.2 Selected optical sensor characterization . . . . . . . . . . . . . . . . . . 62
6.2.3 Mapping from counts to millimeter . . . . . . . . . . . . . . . . . . . . . 62
6.2.4 Results and discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
6.3 Device design and hardware implementation . . . . . . . . . . . . . . . . . . . . 64
6.3.1 Block diagram . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
6.3.2 Optode placement and circuit board dimensions . . . . . . . . . . . . . 64
6.3.3 Firmware description and measurement cycle . . . . . . . . . . . . . . . 66
6.3.4 Encapsulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
6.3.5 Fully assembled OPG device . . . . . . . . . . . . . . . . . . . . . . . . 67
6.4 Evaluation on the gesture recognition task . . . . . . . . . . . . . . . . . . . . . 69
6.4.1 Exercise selection, setup and recording . . . . . . . . . . . . . . . . . . . 69
6.4.2 Data corpus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
6.4.3 Sequence pre-processing . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
6.4.4 Choice of classifier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
6.4.5 Training and evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
6.4.6 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
6.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
7 Improved device design with application in dysarthria therapy
7.1 Device design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
7.1.1 Design considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
7.1.2 General system overview . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
7.1.3 Intraoral sensor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
7.1.4 Receiver and controller . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
7.1.5 Multiplexer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
7.2 Hardware implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
7.2.1 Optode placement and circuit board layout . . . . . . . . . . . . . . . . 87
7.2.2 Encapsulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
7.3 Device characterization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
7.3.1 Photodiode transient response . . . . . . . . . . . . . . . . . . . . . . . 91
7.3.2 Current source and rise time . . . . . . . . . . . . . . . . . . . . . . . . 91
7.3.3 Multiplexer switching speed . . . . . . . . . . . . . . . . . . . . . . . . . 92
7.3.4 Measurement cycle and firmware implementation . . . . . . . . . . . . . 93
7.3.5 In vitro measurement accuracy . . . . . . . . . . . . . . . . . . . . . . . 95
7.3.6 Optode measurement stability . . . . . . . . . . . . . . . . . . . . . . . 96
7.4 Evaluation on the phoneme recognition task . . . . . . . . . . . . . . . . . . . . 98
7.4.1 Corpus selection and recording setup . . . . . . . . . . . . . . . . . . . . 98
7.4.2 Annotation and sensor data post-processing . . . . . . . . . . . . . . . . 98
7.4.3 Mapping from counts to millimeter . . . . . . . . . . . . . . . . . . . . . 99
7.4.4 Classifier and feature selection . . . . . . . . . . . . . . . . . . . . . . . 100
7.4.5 Evaluation paradigms . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
7.5 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
7.5.1 Tongue distance curve prediction . . . . . . . . . . . . . . . . . . . . . . 105
7.5.2 Tongue contact patterns and contours . . . . . . . . . . . . . . . . . . . 105
7.5.3 Phoneme recognition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
7.6 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
8 Conclusion and future work 115
9 Appendix
9.1 Analytical light transport models . . . . . . . . . . . . . . . . . . . . . . . . . . 119
9.2 Meshed Monte Carlo method . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
9.3 Laser safety . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
9.4 Current source modulation voltage . . . . . . . . . . . . . . . . . . . . . . . . . 123
9.5 Transimpedance amplifierâs frequency responses . . . . . . . . . . . . . . . . . . 123
9.6 Initial OPG deviceâs PCB layout and circuit diagrams . . . . . . . . . . . . . . 127
9.7 Improved OPG deviceâs PCB layout and circuit diagrams . . . . . . . . . . . . 129
9.8 Test station layout drawing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
Bibliography 152Der Schlaganfall ist eine der hĂ€ufigsten Ursachen fĂŒr motorische Langzeitbehinderungen, einschlieĂlich solcher im Mund- und Gesichtsbereich, deren Folgen u.a. Sprech- und Schluckprobleme beinhalten, welche sich in den beiden Symptomen Dysarthrie und Dysphagie Ă€uĂern.
In den letzten Jahrzehnten haben sich Rehabilitationsprogramme fĂŒr die Behandlung von motorisch ausgeprĂ€gten Schlaganfallsymptomatiken substantiell weiterentwickelt. So liegt nicht mehr die reine Kompensation von verlorengegangener motorischer FunktionalitĂ€t im Vordergrund, sondern deren aktive Wiederherstellung. Dabei hat u.a. die Verwendung von sogenanntem Biofeedback vermehrt Einzug in die Therapie erhalten, um Motivation, Engagement und Selbstwahrnehmung von ansonsten unbewussten BewegungsablĂ€ufen seitens der Patienten zu fördern. Obwohl jedoch Sprech- und Schluckstörungen eine der hĂ€ufigsten Folgen eines Schlaganfalls darstellen, wird diese Tatsache nicht von der aktuellen Entwicklung neuer GerĂ€te und Messmethoden fĂŒr quantitatives und umfassendes Biofeedback reflektiert, insbesondere nicht fĂŒr die explizite Erfassung intraoraler Zungenkinematik und -kinetik und fĂŒr den Anwendungsfall in der Schlaganfalltherapie. Ein möglicher Grund dafĂŒr liegt in den sehr strikten Anforderungen an ein solche Messmethode: Sie muss neben PortabilitĂ€t idealerweise sowohl den Kontakt zwischen der Zunge und dem Gaumen, als auch die dreidimensionale Bewegung der Zunge in der Mundhöhle erfassen, ohne dabei die Artikulation selbst zu beeinflussen. Um diesen Anforderungen gerecht zu werden, wird in dieser Dissertation das Messprinzip der Optopalatographie untersucht, mit dem Schwerpunkt auf der Anwendung in der Dysarthrie- und Dysphagietherapie. Dies beinhaltet auch die Entwicklung eines entsprechenden GerĂ€tes sowie dessen Befestigungsmethode in der Mundhöhle ĂŒber ein dediziertes MundschleimhautadhĂ€siv.
Letzteres umgeht das bisherige Problem der notwendigen Anpassung eines solchen intraoralen GerĂ€tes an einen einzelnen Nutzer. FĂŒr die Anwendung in der Dysphagietherapie erfolgte die Evaluation anhand einer automatischen Erkennung von MobilisationsĂŒbungen der Zunge, welche routinemĂ€Ăig in der funktionalen Dysphagietherapie durchgefĂŒhrt werden. FĂŒr die Anwendung in der Dysarthrietherapie wurde eine Lauterkennung durchgefĂŒhrt. Die Resultate
bezĂŒglich der Verwendung des MundschleimhautadhĂ€sives suggerieren, dass dieses tatsĂ€chlich eine valide Alternative zu den bisher verwendeten Techniken zur Befestigung intraoraler GerĂ€te in der Mundhöhle darstellt. ZungenmobilisationsĂŒbungen wurden ĂŒber Probanden hinweg mit einer Rate von 61 % erkannt, wogegen in der Lauterkennung Langvokale die höchste Erkennungsrate erzielten, gefolgt von Kurzvokalen und Konsonanten. Zusammenfassend lĂ€sst sich konstatieren, dass das Prinzip der Optopalatographie eine ernstzunehmende Option fĂŒr die intraorale Erfassung von Zungenbewegungen darstellt, wobei weitere Entwicklungsschritte notwendig sind, welche im Ausblick zusammengefasst sind.:1 Introduction
1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Problem statement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Goals and contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.4 Scope and limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2 Basics of post-stroke speech and swallowing therapy
2.1 Dysarthria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.2 Dysphagia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.3 Treatment rationale and potential of biofeedback . . . . . . . . . . . . . . . . . 13
2.4 Summary and conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3 Tongue motion sensing
3.1 Contact-based methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3.1.1 Electropalatography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3.1.2 Manometry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.1.3 Capacitive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.2 Non-contact based methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.2.1 Electromagnetic articulography . . . . . . . . . . . . . . . . . . . . . . . 23
3.2.2 Permanent magnetic articulography . . . . . . . . . . . . . . . . . . . . 24
3.2.3 Optopalatography (related work) . . . . . . . . . . . . . . . . . . . . . . 25
3.3 Electro-optical stomatography . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.4 Extraoral sensing techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.5 Summary, comparison and conclusion . . . . . . . . . . . . . . . . . . . . . . . 29
4 Fundamentals of optopalatography
4.1 Important radiometric quantities . . . . . . . . . . . . . . . . . . . . . . . . . . 32
4.1.1 Solid angle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
4.1.2 Radiant flux and radiant intensity . . . . . . . . . . . . . . . . . . . . . 33
4.1.3 Irradiance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
4.1.4 Radiance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
4.2 Sensing principle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
4.2.1 Analytical models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
4.2.2 Monte Carlo ray tracing methods . . . . . . . . . . . . . . . . . . . . . . 37
4.2.3 Data-driven models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4.2.4 Model comparison . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.3 A priori device design consideration . . . . . . . . . . . . . . . . . . . . . . . . 41
4.3.1 Optoelectronic components . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.3.2 Additional electrical components and requirements . . . . . . . . . . . . 43
4.3.3 Intraoral sensor layout . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
5 Intraoral device anchorage
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
5.1.1 Mucoadhesion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
5.1.2 Considerations for the palatal adhesive . . . . . . . . . . . . . . . . . . . 48
5.2 Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
5.2.1 Polymer selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
5.2.2 Fabrication method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
5.2.3 Formulations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
5.2.4 PEO tablets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
5.2.5 Connection to the intraoral sensorâs encapsulation . . . . . . . . . . . . 50
5.2.6 Formulation evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
5.3 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
5.3.1 Initial formulation evaluation . . . . . . . . . . . . . . . . . . . . . . . . 54
5.3.2 Final OPG adhesive formulation . . . . . . . . . . . . . . . . . . . . . . 56
5.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
6 Initial device design with application in dysphagia therapy
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
6.2 Optode and optical sensor selection . . . . . . . . . . . . . . . . . . . . . . . . . 60
6.2.1 Optode and optical sensor evaluation procedure . . . . . . . . . . . . . . 61
6.2.2 Selected optical sensor characterization . . . . . . . . . . . . . . . . . . 62
6.2.3 Mapping from counts to millimeter . . . . . . . . . . . . . . . . . . . . . 62
6.2.4 Results and discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
6.3 Device design and hardware implementation . . . . . . . . . . . . . . . . . . . . 64
6.3.1 Block diagram . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
6.3.2 Optode placement and circuit board dimensions . . . . . . . . . . . . . 64
6.3.3 Firmware description and measurement cycle . . . . . . . . . . . . . . . 66
6.3.4 Encapsulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
6.3.5 Fully assembled OPG device . . . . . . . . . . . . . . . . . . . . . . . . 67
6.4 Evaluation on the gesture recognition task . . . . . . . . . . . . . . . . . . . . . 69
6.4.1 Exercise selection, setup and recording . . . . . . . . . . . . . . . . . . . 69
6.4.2 Data corpus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
6.4.3 Sequence pre-processing . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
6.4.4 Choice of classifier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
6.4.5 Training and evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
6.4.6 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
6.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
7 Improved device design with application in dysarthria therapy
7.1 Device design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
7.1.1 Design considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
7.1.2 General system overview . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
7.1.3 Intraoral sensor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
7.1.4 Receiver and controller . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
7.1.5 Multiplexer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
7.2 Hardware implementation . . . . . . . . . . . . . . . . . . . . .
A multilinear tongue model derived from speech related MRI data of the human vocal tract
We present a multilinear statistical model of the human tongue that captures
anatomical and tongue pose related shape variations separately. The model is
derived from 3D magnetic resonance imaging data of 11 speakers sustaining
speech related vocal tract configurations. The extraction is performed by using
a minimally supervised method that uses as basis an image segmentation approach
and a template fitting technique. Furthermore, it uses image denoising to deal
with possibly corrupt data, palate surface information reconstruction to handle
palatal tongue contacts, and a bootstrap strategy to refine the obtained
shapes. Our evaluation concludes that limiting the degrees of freedom for the
anatomical and speech related variations to 5 and 4, respectively, produces a
model that can reliably register unknown data while avoiding overfitting
effects. Furthermore, we show that it can be used to generate a plausible
tongue animation by tracking sparse motion capture data
- âŠ