Hondatze kognitibo arinaren detekzio goiztiarrerako hizketa ezagutza automatikoan oinarrituriko ekarpenak

302 p.Alzheimerdun gaixoengan, mintzamena ez ezik, erantzun emozionala ere kaltetu egiten da. Emozioak giza gogoaren arkitekturarekin zerikusia dituzten prozesu kognitiboak dira, eta erabakiak hartzearekin eta oroimenaren kudeaketa edota arretarekin zerikusia dute, eta aldi berean ere, horiek hertsiki lotuta dauden komunikazioarekin. Hortaz, erantzun eta kudeaketa emozionalak ere badira gaitzaren hasierako fase horietan nahasten diren beste komunikazio-elementu batzuk, eta disfluentzia bezala, emozio-erantzuna narriadura kognitiboa neurtzeko adierazlea izan daiteke.Hortaz, zenbait atazaren bidez sortutako ahots-laginen azterketak direla medio, disfluentzia eta emozio-erantzuna jaso daitezke. Hizkuntzarekiko independenteak diren parametroak bildu eta horien hizkeraren nahasmenduak ezaugarritu badaitezke, ekarpena lagungarria izan daiteke diagnostikoa egingo duten espezialistentzat.Lehengaiak ahots-laginak direnez, ingurune kliniko zein etxeko ingurunean egindako ataza desberdinen bidez grabazioak egin eta datu-baseak osatu dira, osasun-guneen irizpide etikoak kontuan hartuta eta. Datu-base horien ikerketaren bidez, galera kognitiboaren garapena neurtu, kuantifikatu, balioztatu eta sailkatu nahi da. Gaitzaren etapa desberdinak hautematen laguntzeko ekarpena egin nahi da, eta horretarako, hizkuntzarekiko independenteak diren parametroen azterketa automatikorako teknika eta metodologiak garatu dira. Mintzamen automatikoaren analisian oinarritutako multi-hurbilketa ez-lineala egin da, zeinak hizketa-analisian erabiltzen diren denborazko serieen konplexutasunaren neurtze kuantitatiboa eman diezaguke

Hondatze kognitibo arinaren detekzio goiztiarrerako hizketa ezagutza automatikoan oinarrituriko ekarpenak

302 p.Alzheimerdun gaixoengan, mintzamena ez ezik, erantzun emozionala ere kaltetu egiten da. Emozioak giza gogoaren arkitekturarekin zerikusia dituzten prozesu kognitiboak dira, eta erabakiak hartzearekin eta oroimenaren kudeaketa edota arretarekin zerikusia dute, eta aldi berean ere, horiek hertsiki lotuta dauden komunikazioarekin. Hortaz, erantzun eta kudeaketa emozionalak ere badira gaitzaren hasierako fase horietan nahasten diren beste komunikazio-elementu batzuk, eta disfluentzia bezala, emozio-erantzuna narriadura kognitiboa neurtzeko adierazlea izan daiteke.Hortaz, zenbait atazaren bidez sortutako ahots-laginen azterketak direla medio, disfluentzia eta emozio-erantzuna jaso daitezke. Hizkuntzarekiko independenteak diren parametroak bildu eta horien hizkeraren nahasmenduak ezaugarritu badaitezke, ekarpena lagungarria izan daiteke diagnostikoa egingo duten espezialistentzat.Lehengaiak ahots-laginak direnez, ingurune kliniko zein etxeko ingurunean egindako ataza desberdinen bidez grabazioak egin eta datu-baseak osatu dira, osasun-guneen irizpide etikoak kontuan hartuta eta. Datu-base horien ikerketaren bidez, galera kognitiboaren garapena neurtu, kuantifikatu, balioztatu eta sailkatu nahi da. Gaitzaren etapa desberdinak hautematen laguntzeko ekarpena egin nahi da, eta horretarako, hizkuntzarekiko independenteak diren parametroen azterketa automatikorako teknika eta metodologiak garatu dira. Mintzamen automatikoaren analisian oinarritutako multi-hurbilketa ez-lineala egin da, zeinak hizketa-analisian erabiltzen diren denborazko serieen konplexutasunaren neurtze kuantitatiboa eman diezaguke

Linguistic- and Acoustic-based Automatic Dementia Detection using Deep Learning Methods

Dementia can affect a person's speech and language abilities, even in the early stages. Dementia is incurable, but early detection can enable treatment that can slow down and maintain mental function. Therefore, early diagnosis of dementia is of great importance. However, current dementia detection procedures in clinical practice are expensive, invasive, and sometimes inaccurate. In comparison, computational tools based on the automatic analysis of spoken language have the potential to be applied as a cheap, easy-to-use, and objective clinical assistance tool for dementia detection. In recent years, several studies have shown promise in this area. However, most studies focus heavily on the machine learning aspects and, as a consequence, often lack sufficient incorporation of clinical knowledge. Many studies also concentrate on clinically less relevant tasks such as the distinction between HC and people with AD which is relatively easy and therefore less interesting both in terms of the machine learning and the clinical application. The studies in this thesis concentrate on automatically identifying signs of neurodegenerative dementia in the early stages and distinguishing them from other clinical, diagnostic categories related to memory problems: (FMD, MCI, and HC). A key focus, when designing the proposed systems has been to better consider (and incorporate) currently used clinical knowledge and also to bear in mind how these machine-learning based systems could be translated for use in real clinical settings. Firstly, a state-of-the-art end-to-end system is constructed for extracting linguistic information from automatically transcribed spontaneous speech. The system's architecture is based on hierarchical principles thereby mimicking those used in clinical practice where information at both word-, sentence- and paragraph-level is used when extracting information to be used for diagnosis. Secondly, hand-crafted features are designed that are based on clinical knowledge of the importance of pausing and rhythm. These are successfully joined with features extracted from the end-to-end system. Thirdly, different classification tasks are explored, each set up so as to represent the types of diagnostic decision-making that is relevant in clinical practice. Finally, experiments are conducted to explore how to better deal with the known problem of confounding and overlapping symptoms on speech and language from age and cognitive decline. A multi-task system is constructed that takes age into account while predicting cognitive decline. The studies use the publicly available DementiaBank dataset as well as the IVA dataset, which has been collected by our collaborators at the Royal Hallamshire Hospital, UK. In conclusion, this thesis proposes multiple methods of using speech and language information for dementia detection with state-of-the-art deep learning technologies, confirming the automatic system's potential for dementia detection