The processing of audiovisual information is ubiquitous in our daily life. As such, understanding the cortical correlates of audiovisual processing and its interactions offers a promise of practical interventions in many real-life settings. Reading, as one example, relies on the formation of artificial audiovisual associations and requires adaptions from brain mechanisms in order to process and integrate these connections effortlessly. In dyslexia, reading problems are associated with a failure in forming those associations, and neural changes and improvements of reading skills in children with dyslexia were reported after interventions ameliorated those processes. The present thesis investigates the neural networks associated with speech sound processing and discrimination when accompanied by printed text. In all studies, a high-density EEG system was utilized, enabling the examination of spatio-temporal dynamics of audiovisual processing in adult fluent readers and in readers with dyslexia.
In fluent adult readers, change-related responses to consonant and pitch changes were greater when presented with printed text than with scrambled images, suggesting that letters modulate speech sound discrimination at an early cortical processing stage. This integration was sensitive to precise temporal alignment between the sounds and printed text, as it broke down when a time delay between the sounds and print was introduced. In contrast to fluent readers, adult readers with dyslexia showed a general attenuated discrimination of speech sounds when presented with print. Their neural responses for speech sounds presented with print did not differ from those presented with scrambled images. Our results, therefore, suggest that audiovisual processing is generally impaired in dyslexia, and support the notion that letter representations are poorer in readers with dyslexia than fluent readers. In addition, audiovisual processing was delayed in readers with dyslexia, suggesting a deficit in concurrent processing of multiple sensory cues. The studies of this thesis also show that attention to one of the modalities is needed for the audiovisual integration to occur, and, moreover, that audiovisual attention boosts the integration. Furthermore, our results reveal that, in addition to attention, the phonological content of the task modulates letter-speech sound processing.
The studies presented in the present thesis confirmed, with a more controlled methodology, that letters modulate speech sound discrimination at an early neural level. The present results illuminate the way these processes are impaired in dyslexia, and, further, that audiovisual attention is most beneficial for such an integration to occur. To conclude, the studies at hand have shed novel light on the basic and aberrant mechanisms of letter-speech sound processing, and can be used, for instance, in training programs to promote accurate mapping of letters and speech sounds, and, consequently, reading skills in individuals with dyslexia.Tiedon audiovisuaalinen käsittely liittyy jokapäiväiseen toimintaamme. Näkö- ja kuulotiedon aivomekanismien ymmärtämisen pohjalta voidaan muun muassa kehittää erilaisia interventioita. Esimerkiksi lukemisen edellytyksenä on, että aivot käsittelevät tehokkaasti äänteiden ja kirjainten välisiä audiovisuaalisia yhteyksiä. Lukihäiriöisillä lukivaikeuksien taustalla voi olla audiovisuaalisten yhteyksien muodostamisen ongelmia ja audiovisuaalisten interventioiden onkin osoitettu lapsilla tehostaneen sekä hermoston tiedonkäsittelyä että lukutaitoa. Tässä väitöskirjassa selvitetään puheäänteiden ja samaan aikaan esitetyn tekstin yhtäaikaisen tiedonkäsittelyn hermostollista perustaa. Tutkimuksissa käytetään monikanavaista elektroenkefalografiaa (EEG), joka mahdollistaa aivojen audiovisuaalisen tiedonkäsittelyn tutkimisen sekä sujuvasti lukevilla että lukihäiriöisillä henkilöillä.
Väitöskirjan tulokset osoittavat, että sujuvasti lukevilla aikuisilla konsonantin ja äänenkorkeuden muutosten hermostollinen tiedonkäsittely voimistui kun ne esitettiin kirjoitetun tekstin yhteydessä verrattuna siihen, että ne esitettiin merkityksettömien symbolien yhteydessä. Tulos viittaa siihen, että kirjainten näkeminen muokkaa puheäänteiden hermostollista tiedonkäsittelyä jo hyvin varhaisessa tiedonkäsittelyn vaiheessa. Tutkimuksissa havaittu hermostollisen tiedonkäsittelyn voimistuminen edellytti kuitenkin, että puheäänet ja teksti esitettiin samanaikaisesti sillä hermostollinen tiedonkäsittely ei voimistunut kun puheäänen ja tekstin esittämisen välillä oli ajallinen viive. Sujuvasti lukeviin aikuisiin verrattuna lukihäiriöisillä samanaikaisesti esitettyjen puheäänten ja tekstin hermostollinen tiedonkäsittely oli vaimeampaa eikä siihen vaikuttanut se, että teksti oli korvattu merkityksettömillä symboleilla. Tulosten mukaan lukihäiriöisillä audiovisuaalinen tiedonkäsittely on kauttaaltaan heikentynyttä ja löydökset tukevat ajatusta siitä, että kirjainten hermostolliset edustukset ovat heikommin muodostuneita lukihäiriöisillä kuin sujuvasti lukevilla. Lisäksi lukihäiriöisillä audiovisuaalinen tiedonkäsittely oli ajallisesti viivästynyttä, mikä viittaa ongelmiin useiden aistimusten samanaikaisessa tiedonkäsittelyssä. Väitöskirjatutkimukset osoittivat myös tarkkaavaisuuden kohdistamisen ääniin tai tekstiin olevan tarpeellista, jotta tiedon integrointia aivoissa tapahtuisi. Tämä integraatioprosessi voimistui tarkkaavaisuuden kohdistuessa molempien aistien ärsykkeisiin. Tutkimusten mukaan tarkkaavuuden lisäksi myös tehtävässä käytetyn fonologisen aineksen sisällöllä oli vaikutusta kirjainten ja puheäänten audiovisuaaliseen tiedonkäsittelyyn.
Kokonaisuudessaan väitöskirjatutkimukset osoittavat, että kirjaimet vaikuttavat puheäänteiden hermostolliseen tiedonkäsittelyyn jo hyvin varhaisessa tiedonkäsittelyn vaiheessa. Tulokset antavat uutta tietoa siitä, miksi nämä tiedonkäsittelyn prosessit ovat heikentyneet lukihäiriössä ja kuvaavat, kuinka audiovisuaalinen tarkkaavuus edesauttaa kirjainten ja puheäänten yhdistämistä aivoissa. Väitöskirjan tulokset laajentavat tietämystämme puheäänten ja kirjainten samanaikaisen tiedonkäsittelyn taustalla olevista aivomekanismeista ja tuloksia voidaan hyödyntää esimerkiksi interventiotutkimuksissa, joilla pyritään sujuvoittamaan lukemista lukihäiriöisillä tehostamalla kirjainten ja puheäänten yhdistämistä aivoissa
