Multi-Level Audio-Visual Interactions in Speech and Language Perception

That we perceive our environment as a unified scene rather than individual streams of auditory, visual, and other sensory information has recently provided motivation to move past the long-held tradition of studying these systems separately. Although they are each unique in their transduction organs, neural pathways, and cortical primary areas, the senses are ultimately merged in a meaningful way which allows us to navigate the multisensory world. Investigating how the senses are merged has become an increasingly wide field of research in recent decades, with the introduction and increased availability of neuroimaging techniques. Areas of study range from multisensory object perception to cross-modal attention, multisensory interactions, and integration. This thesis focuses on audio-visual speech perception, with special focus on facilitatory effects of visual information on auditory processing. When visual information is concordant with auditory information, it provides an advantage that is measurable in behavioral response times and evoked auditory fields (Chapter 3) and in increased entrainment to multisensory periodic stimuli reflected by steady-state responses (Chapter 4). When the audio-visual information is incongruent, the combination can often, but not always, combine to form a third, non-physically present percept (known as the McGurk effect). This effect is investigated (Chapter 5) using real word stimuli. McGurk percepts were not robustly elicited for a majority of stimulus types, but patterns of responses suggest that the physical and lexical properties of the auditory and visual stimulus may affect the likelihood of obtaining the illusion. Together, these experiments add to the growing body of knowledge that suggests that audio-visual interactions occur at multiple stages of processing

Applying the summation model in audiovisual speech perception

Peer reviewe

Metacognition in the audiovisual McGurk illusion:perceptual and causal confidence

Almost all decisions in everyday life rely on multiple sensory inputs that can come from common or independent causes. These situations invoke perceptual uncertainty about environmental properties and the signals' causal structure. Using the audiovisual McGurk illusion, this study investigated how observers formed perceptual and causal confidence judgements in information integration tasks under causal uncertainty. Observers were presented with spoken syllables, their corresponding articulatory lip movements or their congruent and McGurk combinations (e.g. auditory B/P with visual G/K). Observers reported their perceived auditory syllable, the causal structure and confidence for each judgement. Observers were more accurate and confident on congruent than unisensory trials. Their perceptual and causal confidence were tightly related over trials as predicted by the interactive nature of perceptual and causal inference. Further, observers assigned comparable perceptual and causal confidence to veridical 'G/K' percepts on audiovisual congruent trials and their causal and perceptual metamers on McGurk trials (i.e. illusory 'G/K' percepts). Thus, observers metacognitively evaluate the integrated audiovisual percept with limited access to the conflicting unisensory stimulus components on McGurk trials. Collectively, our results suggest that observers form meaningful perceptual and causal confidence judgements about multisensory scenes that are qualitatively consistent with principles of Bayesian causal inference. This article is part of the theme issue 'Decision and control processes in multisensory perception'.</p

Transfer of Colloquial Elements in Translation from Finnish Speech into English Subtitles. A Case Study of the Television Series Pasila

Tutkielma käsittelee puhekielisten elementtien välittymistä lähtötekstistä kohdetekstiin käännettäessä puhetta ruututekstitykseksi. Aikaisempien tutkimuksien perusteella on esitetty, että käännöksillä on taipumus olla lähtötekstiä yleiskielisempiä. Tutkielmassa tarkastellaan tämän väittämän paikkansapitävyyttä erityisesti audiovisuaalisen kääntämisen näkökulmasta. Tutkimusaineistona käytetään televisiosarja Pasilan DVD-tallenteella olevaa suomenkielistä audiomateriaalia sekä englanninkielisiä tekstityskäännöksiä. Tekstittäminen eroaa monin tavoin muista käännösmuodoista, joten tutkimuksessa täytyy huomioida erityisesti tekstityksen tila- ja aikarajoitteet sekä viestin siirtyminen puhutusta muodosta kirjoitettuun. Rajoitteet antavat olettaa, että joitain puhekielelle tyypillisiä ominaisuuksia on jouduttu jättämään pois käännöksistä repliikkien lyhentämiseksi. Kirjoitettu muoto puolestaan tekee monista elementeistä leimallisempia, minkä vuoksi esimerkiksi kiroilun voidaan olettaa olevan vähäisempää kohdetekstissä. Tutkielman teoriaosiossa esitellään ensin puhekielen sanastollisia, fonologisia, morfologisia ja syntaksisia piirteitä etenkin suomen ja englannin kielten osalta. Sen jälkeen käsitellään yleiskielestä poikkeavan kielen esiintymistä kirjoitetussa muodossa ja tällaisen kielen kääntämistä sekä tekstityskääntämisen erityispiirteitä. Analyysissa verrataan lähtö- ja kohdetekstien puhekielisten elementtien määrää sekä millä kielellisellä tasolla puhekielisyydet esiintyvät. Tutkimusaineiston pohjalta voidaan todeta, että väittämä käännöksien yleiskielistymisestä pitää paikkansa myös audiovisuaalisten käännösten osalta. Lisäksi lähtö- ja kohdekielten puhekielisyyden havaittiin ilmenevän eri tasoilla. Ainoastaan sanaston osalta puhekielisyyksien määrä säilyi jokseenkin samalla tasolla, vaikka lähtötekstin puhekielinen sana ei aina välittynytkään suoraan kohdetekstiin, vaan poisjättöjä kompensoitiin lisäyksillä muualla kohdetekstissä. Olettamus kiroilun vähentymisestä tai lieventymisestä ei kuitenkaan käynyt toteen, sillä kirosanoja esiintyi lähtö- ja kohdetekstissä likimäärin yhtä paljon.fi=Opinnäytetyö kokotekstinä PDF-muodossa.|en=Thesis fulltext in PDF format.|sv=Lärdomsprov tillgängligt som fulltext i PDF-format

Interactions of the processing of letters and speech sounds as reflected by event-related brain potentials

The processing of audiovisual information is ubiquitous in our daily life. As such, understanding the cortical correlates of audiovisual processing and its interactions offers a promise of practical interventions in many real-life settings. Reading, as one example, relies on the formation of artificial audiovisual associations and requires adaptions from brain mechanisms in order to process and integrate these connections effortlessly. In dyslexia, reading problems are associated with a failure in forming those associations, and neural changes and improvements of reading skills in children with dyslexia were reported after interventions ameliorated those processes. The present thesis investigates the neural networks associated with speech sound processing and discrimination when accompanied by printed text. In all studies, a high-density EEG system was utilized, enabling the examination of spatio-temporal dynamics of audiovisual processing in adult fluent readers and in readers with dyslexia. In fluent adult readers, change-related responses to consonant and pitch changes were greater when presented with printed text than with scrambled images, suggesting that letters modulate speech sound discrimination at an early cortical processing stage. This integration was sensitive to precise temporal alignment between the sounds and printed text, as it broke down when a time delay between the sounds and print was introduced. In contrast to fluent readers, adult readers with dyslexia showed a general attenuated discrimination of speech sounds when presented with print. Their neural responses for speech sounds presented with print did not differ from those presented with scrambled images. Our results, therefore, suggest that audiovisual processing is generally impaired in dyslexia, and support the notion that letter representations are poorer in readers with dyslexia than fluent readers. In addition, audiovisual processing was delayed in readers with dyslexia, suggesting a deficit in concurrent processing of multiple sensory cues. The studies of this thesis also show that attention to one of the modalities is needed for the audiovisual integration to occur, and, moreover, that audiovisual attention boosts the integration. Furthermore, our results reveal that, in addition to attention, the phonological content of the task modulates letter-speech sound processing. The studies presented in the present thesis confirmed, with a more controlled methodology, that letters modulate speech sound discrimination at an early neural level. The present results illuminate the way these processes are impaired in dyslexia, and, further, that audiovisual attention is most beneficial for such an integration to occur. To conclude, the studies at hand have shed novel light on the basic and aberrant mechanisms of letter-speech sound processing, and can be used, for instance, in training programs to promote accurate mapping of letters and speech sounds, and, consequently, reading skills in individuals with dyslexia.Tiedon audiovisuaalinen käsittely liittyy jokapäiväiseen toimintaamme. Näkö- ja kuulotiedon aivomekanismien ymmärtämisen pohjalta voidaan muun muassa kehittää erilaisia interventioita. Esimerkiksi lukemisen edellytyksenä on, että aivot käsittelevät tehokkaasti äänteiden ja kirjainten välisiä audiovisuaalisia yhteyksiä. Lukihäiriöisillä lukivaikeuksien taustalla voi olla audiovisuaalisten yhteyksien muodostamisen ongelmia ja audiovisuaalisten interventioiden onkin osoitettu lapsilla tehostaneen sekä hermoston tiedonkäsittelyä että lukutaitoa. Tässä väitöskirjassa selvitetään puheäänteiden ja samaan aikaan esitetyn tekstin yhtäaikaisen tiedonkäsittelyn hermostollista perustaa. Tutkimuksissa käytetään monikanavaista elektroenkefalografiaa (EEG), joka mahdollistaa aivojen audiovisuaalisen tiedonkäsittelyn tutkimisen sekä sujuvasti lukevilla että lukihäiriöisillä henkilöillä. Väitöskirjan tulokset osoittavat, että sujuvasti lukevilla aikuisilla konsonantin ja äänenkorkeuden muutosten hermostollinen tiedonkäsittely voimistui kun ne esitettiin kirjoitetun tekstin yhteydessä verrattuna siihen, että ne esitettiin merkityksettömien symbolien yhteydessä. Tulos viittaa siihen, että kirjainten näkeminen muokkaa puheäänteiden hermostollista tiedonkäsittelyä jo hyvin varhaisessa tiedonkäsittelyn vaiheessa. Tutkimuksissa havaittu hermostollisen tiedonkäsittelyn voimistuminen edellytti kuitenkin, että puheäänet ja teksti esitettiin samanaikaisesti sillä hermostollinen tiedonkäsittely ei voimistunut kun puheäänen ja tekstin esittämisen välillä oli ajallinen viive. Sujuvasti lukeviin aikuisiin verrattuna lukihäiriöisillä samanaikaisesti esitettyjen puheäänten ja tekstin hermostollinen tiedonkäsittely oli vaimeampaa eikä siihen vaikuttanut se, että teksti oli korvattu merkityksettömillä symboleilla. Tulosten mukaan lukihäiriöisillä audiovisuaalinen tiedonkäsittely on kauttaaltaan heikentynyttä ja löydökset tukevat ajatusta siitä, että kirjainten hermostolliset edustukset ovat heikommin muodostuneita lukihäiriöisillä kuin sujuvasti lukevilla. Lisäksi lukihäiriöisillä audiovisuaalinen tiedonkäsittely oli ajallisesti viivästynyttä, mikä viittaa ongelmiin useiden aistimusten samanaikaisessa tiedonkäsittelyssä. Väitöskirjatutkimukset osoittivat myös tarkkaavaisuuden kohdistamisen ääniin tai tekstiin olevan tarpeellista, jotta tiedon integrointia aivoissa tapahtuisi. Tämä integraatioprosessi voimistui tarkkaavaisuuden kohdistuessa molempien aistien ärsykkeisiin. Tutkimusten mukaan tarkkaavuuden lisäksi myös tehtävässä käytetyn fonologisen aineksen sisällöllä oli vaikutusta kirjainten ja puheäänten audiovisuaaliseen tiedonkäsittelyyn. Kokonaisuudessaan väitöskirjatutkimukset osoittavat, että kirjaimet vaikuttavat puheäänteiden hermostolliseen tiedonkäsittelyyn jo hyvin varhaisessa tiedonkäsittelyn vaiheessa. Tulokset antavat uutta tietoa siitä, miksi nämä tiedonkäsittelyn prosessit ovat heikentyneet lukihäiriössä ja kuvaavat, kuinka audiovisuaalinen tarkkaavuus edesauttaa kirjainten ja puheäänten yhdistämistä aivoissa. Väitöskirjan tulokset laajentavat tietämystämme puheäänten ja kirjainten samanaikaisen tiedonkäsittelyn taustalla olevista aivomekanismeista ja tuloksia voidaan hyödyntää esimerkiksi interventiotutkimuksissa, joilla pyritään sujuvoittamaan lukemista lukihäiriöisillä tehostamalla kirjainten ja puheäänten yhdistämistä aivoissa

Language learning in infancy

Although immensely complex, speech is also a very efficient means of communication between humans. Understanding how we acquire the skills necessary for perceiving and producing speech remains an intriguing goal for research. However, while learning is likely to begin as soon as we start hearing speech, the tools for studying the language acquisition strategies in the earliest stages of development remain scarce. One prospective strategy is statistical learning. In order to investigate its role in language development, we designed a new research method. The method was tested in adults using magnetoencephalography (MEG) as a measure of cortical activity. Neonatal brain activity was measured with electroencephalography (EEG). Additionally, we developed a method for assessing the integration of seen and heard syllables in the developing brain as well as a method for assessing the role of visual speech when learning phoneme categories. The MEG study showed that adults learn statistical properties of speech during passive listening of syllables. The amplitude of the N400m component of the event-related magnetic fields (ERFs) reflected the location of syllables within pseudowords. The amplitude was also enhanced for syllables in a statistically unexpected position. The results suggest a role for the N400m component in statistical learning studies in adults. Using the same research design with sleeping newborn infants, the auditory event-related potentials (ERPs) measured with EEG reflected the location of syllables within pseudowords. The results were successfully replicated in another group of infants. The results show that even newborn infants have a powerful mechanism for automatic extraction of statistical characteristics from speech. We also found that 5-month-old infants integrate some auditory and visual syllables into a fused percept, whereas other syllable combinations are not fully integrated. Auditory syllables were paired with visual syllables possessing a different phonetic identity, and the ERPs for these artificial syllable combinations were compared with the ERPs for normal syllables. For congruent auditory-visual syllable combinations, the ERPs did not differ from those for normal syllables. However, for incongruent auditory-visual syllable combinations, we observed a mismatch response in the ERPs. The results show an early ability to perceive speech cross-modally. Finally, we exposed two groups of 6-month-old infants to artificially created auditory syllables located between two stereotypical English syllables in the formant space. The auditory syllables followed, equally for both groups, a unimodal statistical distribution, suggestive of a single phoneme category. The visual syllables combined with the auditory syllables, however, were different for the two groups, one group receiving visual stimuli suggestive of two separate phoneme categories, the other receiving visual stimuli suggestive of only one phoneme category. After a short exposure, we observed different learning outcomes for the two groups of infants. The results thus show that visual speech can influence learning of phoneme categories. Altogether, the results demonstrate that complex language learning skills exist from birth. They also suggest a role for the visual component of speech in the learning of phoneme categories.Puhe on monimuotoinen signaali, joka välittää ihmistenvälistä kommunikaatiota erityisen tehokkaasti. On osin vielä hämärän peitossa, miten opimme puhumaan ja havaitsemaan puhetta syntymän jälkeen. Oppiminen alkanee heti, kun alamme kuulla puhetta. Puheen sisältämät lukuisat tilastolliset säännönmukaisuudet saattavat auttaa oppimista. Niiden hyödyntämistä kutsutaan tilastolliseksi oppimiseksi. Tilastollista oppimista ajatellaan kielenoppimisessa voitavan käyttää jatkuvan puheen jakamiseksi erillisiksi sanoiksi. Tässä tutkimuksessa kehitettiin uusi aivomittauksiin perustuva tutkimusmenetelmä tilastollisen kielenoppimisen mittaamiseksi. Menetelmää testattiin aikuisilla mittaamalla aivokuoriaktivaatiota magnetoenkefalografiaa käyttäen. Tulokset osoittivat, että aikuiset oppivat tilastollisia ominaisuuksia tavuvirrasta silloinkin, kun he eivät kiinnitä siihen tietoisesti huomiota. Tilastollista oppimista pystyttiin mittaamaan aivojen magneettisissa herätevasteissa näkyvän N400m-vasteen yhteydessä. Samaa koeasetelmaa käytettiin mittamaan tilastollisen kielenoppimisen kykyjä vastasyntyneiltä käyttäen elektroenkefalografiaa aivotoiminnan mittarina. Tulokset osoittivat, että vastasyntyneet oppivat tilastollisia riippuvuuksia tavujen välillä unen aikana kuulemastaan tavuvirrasta. Tutkimustulos toistui myös toisella ryhmällä vastasyntyneitä. Jo vastasyntyneillä on siis hyvä puheen tilastollisten ominaisuuksien oppimiskyky. Tehokkaassa puheenhavaitsemisessa olennaisena pidetään kykyä yhdistää eli integroida kuultu puhe ja nähty artikulaatio yhdeksi havainnoksi. Ajatellaan, että aikuisilla aivot käsittelevät integroidun puheen tehokkaammin kuin erilliset kuulo- ja näköhavainnot. Kehitimme koeasetelman kuullun ja nähdyn puheen integroinnin mittaamiseksi viiden kuukauden ikäisillä vauvoilla. Tulokset osoittivat, että tässä kehitysvaiheessa vauvat muodostavat yhdistyneen havainnon tietyistä kuulluista ja nähdyistä tavuista, kun taas toisia tavuyhdistelmiä ei integroida. Koska integrointi ei onnistu tilanteessa, jossa muodostuva havainto ei ole äidinkielen sääntöjen mukainen, tulokset myös viittaavat siihen, että viiden kuukauden iässä vauvat ovat jo omaksuneet tietoa äidinkielen tyypillisistä rakenteista. Lopuksi arvioitiin myös sitä, millainen rooli nähdyllä puheella saattaisi olla kielenoppimisessa. Kaksi ryhmää kuuden kuukauden ikäisiä vauvoja osallistui kokeeseen. Vauvoille näytettiin ruudulta puhetta, jossa videoon tavallisesta artikulaatiosta oli liitetty keinotekoisesti muokattuja tavuääniä. Osalle vauvoista nähty puhe sisälsi vihjeen kahdesta erilaisesta tavuryhmästä, kun taas toiselle ryhmälle nähty puhe pysyi koko ajan samanlaisena. Kuultu puhe oli kaikille vauvoille täysin samanlaista. Lyhyen katselu- ja kuunteluajan jälkeen vauvojen havaintoa kyseisistä tavuäänistä testattiin. Eri ryhmillä havaittiin erilaiset oppimistulokset, joka viittaa siihen, että nähdyillä artikulaatioilla oli vaikutusta oppimiseen. Nähty puhe siis voi vaikuttaa puheäänten oppimiseen tässä kehitysvaiheessa. Kokonaisuudessaan tässä väitöskirjassa esitetyt tulokset korostavat varhaisimpien vaiheiden merkitystä kielenoppimisessa. Pystymme oppimaan puheen ominaisuuksia monipuolisesti heti syntymästä lähtien. Tulokset myös viittaavat siihen, että nähdyllä puheella saattaa olla tärkeä rooli puheäänien oppimisessa ensimmäisen vuoden aikana

Cortical mechanisms of seeing and hearing speech

In face-to-face communication speech is perceived through eyes and ears. The talker's articulatory gestures are seen and the speech sounds are heard simultaneously. Whilst acoustic speech can be often understood without visual information, viewing articulatory gestures aids hearing substantially in noisy conditions. On the other hand, speech can be understood, to some extent, by solely viewing articulatory gestures (i.e., by speechreading). In this thesis, electroencephalography (EEG), magnetoencephalography (MEG) and functional magnetic resonance imaging (fMRI) were utilized to disclose cortical mechanisms of seeing and hearing speech. One of the major challenges of modern cognitive neuroscience is to find out how the brain integrates inputs from different senses. In this thesis, integration of seen and heard speech was investigated using EEG and MEG. Multisensory interactions were found in the sensory-specific cortices at early latencies and in the multisensory regions at late latencies. Viewing other person's actions activate regions belonging to the human mirror neuron system (MNS) which are also activated when subjects themselves perform actions. Possibly, the human MNS enables simulation of other person's actions, which might be important also for speech recognition. In this thesis, it was demonstrated with MEG that seeing speech modulates activity in the mouth region of the primary somatosensory cortex (SI), suggesting that also the SI cortex is involved in simulation of other person's articulatory gestures during speechreading. The question whether there are speech-specific mechanisms in the human brain has been under scientific debate for decades. In this thesis, evidence for the speech-specific neural substrate in the left posterior superior temporal sulcus (STS) was obtained using fMRI. Activity in this region was found to be greater when subjects heard acoustic sine wave speech stimuli as speech than when they heard the same stimuli as non-speech.reviewe

Cortical multi-attribute auditory discrimination deficits and their amelioration in dyslexia

Dyslexia is a highly heritable neurobiological disorder defined as a persistent difficulty in learning to read. Phonological processing skills, associating letters to sounds, and word retrieval are deficient in many children with dyslexia. Poor reading accuracy and slow reading speed are, in turn, characteristic for adults with dyslexia. Intact processing of even minor differences in speech sounds is essential for language development and reading skills. Speech perception requires sound discrimination and phoneme identification, despite the variation in their acoustical features. Accurate phonological representations are also important for learning the connection between sounds and letters. Difficulties in auditory processing are common in individuals with dyslexia. Cortical auditory processing can be investigated by recording the electroencephalography (EEG). The detection of changes in the regularities of the auditory input gives rise to neural activity in the brain that is seen as a mismatch negativity (MMN) response of the event-related potential (ERP) recorded by EEG. As the recording of MMN requires neither a subject s behavioural response nor attention towards the sounds, it is suitable for studies of even young children. Despite its advantages over behavioural measures, a major obstacle to the use of the MMN method has been the relatively long duration of its recording. However, the multi-feature MMN paradigm with several types of sound changes was recently developed in order to obtain a comprehensive profile of auditory sensory memory and discrimination accuracy in a short recording time. The present thesis investigated cortical multi-attribute auditory processing in dyslexia and the efficacy of intervention on reading-related skills and cortical speech sound discrimination. Moreover, the feasibility of the multi-feature paradigm for dyslexia research, and studies in children was tested for the first time. In this thesis, the multi-feature paradigm was found to be well suited for studies investigating central auditory processing in dyslexia and in children. The results showed that cortical auditory processing is aberrant in dyslexia. In children at risk for dyslexia, auditory processing seems to be deficient even at the initial phase of sound encoding. Furthermore, these children also showed a widespread pattern of abnormal cortical auditory discrimination processes. Adults with dyslexia, in turn, have difficulties in discriminating sound frequency and duration features in a complex auditory environment. Early intervention can influence the developmental path of dyslexia, however. The results of this thesis show that even a short intervention with audio-visual letter-sound exercises improves children s reading-related skills and cortical discrimination of vowel contrasts.Lukivaikeus on vahvasti perinnöllinen neurobiologinen häiriö, jota määrittää pysyvä vaikeus lukemaanoppimisessa. Fonologinen prosessointi, kirjain-äänne vastaavuuksien oppiminen sekä sanahaku ovat usein poikkeavia lapsilla, joilla on lukivaikeus. Lukemisen virheet ja hitaus ovat puolestaan lukivaikeudelle tyypillisiä piirteitä aikuisuuteen saakka. Normaali kielenkehitys ja lukemaanoppiminen edellyttävät puheessa tapahtuvien muutosten tarkkaa käsittelykykyä. Puheen havaitseminen vaatii äänten hienojakoista erottelukykyä ja foneemien tunnistamista akustisten piirteiden vaihtelusta huolimatta. Vahvat fonologiset edustukset ovat tärkeitä myös kirjain-äänne vastaavuuksien oppimisessa. Kuulotiedon käsittelyn vaikeudet ovat yleisiä lukivaikeudessa. Kuulotiedon esitietoista käsittelyä voidaan tutkia aivosähkökäyrää mittaamalla. Ääniympäristöstä poikkeavien äänien havaitsemisesta syntyvä hermosolujen aktivoituminen näkyy aivosähkökäyrässä tapahtumasidonnaisena MMN-jännitevasteena (engl. mismatch negativity). Koska MMN:n rekisteröiminen ei edellytä tutkittavalta tehtävän tekemistä tai ärsykkeiden aktiivista kuuntelemista, sen avulla voidaan tutkia sensorisen kuulotiedon käsittelyä jo pienillä lapsilla. Vaikka MMN-tutkimuksella onkin huomattavia etuja verrattuna behavioraalisiin menetelmiin, sen yleistymistä laajempaan käyttöön on jarruttanut MMN-rekisteröinnin suhteellinen hitaus. Vastikään kehitetyillä koeasetelmilla voidaan kuitenkin rekisteröidä lyhyessä ajassa useiden äänten piirteiden prosessoinnin profiilit. Tässä väitöskirjassa tutkittiin esitietoista kuuloprosessoinnin profiilia lukivaikeudessa sekä kuntoutusmenetelmän vaikutuksia lukuvalmiustaitoihin ja puheäänissä tapahtuvien muutosten esitietoiseen erotteluun. Lisäksi monipiirreparadigman soveltuvuutta lukivaikeus- ja lapsitutkimuksiin tutkittiin ensimmäistä kertaa. Väitöskirjan tulokset osoittavat, että monipiirreparadigma soveltuu sensorisen kuulotiedon käsittelyn tutkimukseen lukivaikeudessa ja lapsilla. Väitöskirjan tulosten mukaan sensorinen kuulotiedon käsittely on poikkeavaa lukivaikeudessa. Lapsilla, joilla on riski lukivaikeuteen, kuulotiedon sensorinen käsittely poikkeaa jo äänitiedon peruskäsittelyssä. Lisäksi näillä lapsilla kuulotiedon esitietoinen erottelutarkkuus on heikompaa niin kielellisten kuin ei-kielellisten ääntenpiirteiden osalta. Aikuisilla, joilla on lukivaikeus, on puolestaan vaikeuksia muodostaa muistijälkeä äänen taajuudelle ja kestolle ääniympäristön ollessa haasteellinen. Lukivaikeuden kehityskulkuun voidaan kuitenkin vaikuttaa aikaisella kuntoutuksella. Väitöskirjan tulosten mukaan jo lyhytkestoinen audiovisuaalinen kirjain-äänne yhteyksien harjoittelujakso kohentaa lasten lukemiseen liittyviä taitoja ja esitietoista vokaalierottelua

Effect of attentional load on audiovisual speech perception: Evidence from ERPs

Peer reviewe