Obligatory integration of face features in expression discrimination

Previous composite face studies have shown that an unattended face half that differs in identity or in expression from the attended face half distracts face perception. These studies have typically not controlled for the amount of information in different face halves. We investigated feature integration while participants discriminated angry and happy expressions. The stimuli were scaled using individual thresholds to control the expression strength in face halves. In the first experiment, we varied the relative amount of information in upper and lower parts. In the second experiment, participants tried to ignore one half of the face, which was either congruent or incongruent with the attended half. We found both beneficial and obligatory integration of face halves. A robust face composite effect was found both when attending eyes or mouth, and both for congruent and incongruent expressions, suggesting similar processing of face halves when the amount of information is controlled for.Peer reviewe

Summation of auditory and visual speech in inverted faces

Tämän tutkimuksen tarkoituksena oli selvittää, miten kasvojen kääntäminen ylösalaisin vaikuttaa audiovisuaalisen puheen havaitsemiseen ja erityisesti audiovisuaalisessa puheessa tapahtuvaan aistitiedon yhdistämiseen. Tiedetään, että kasvojen havaitsemisessa on käytössä erikoistuneita mekanismeja, ja on esitetty, että kasvojen kääntäminen ylösalaisin estäisi pääsyn näihin mekanismeihin. Toisaalta tiedetään, että puheen havaitseminen on niin ikään erikoistunut prosessi, jossa aistitiedon yhdistäminen on voimakasta. Tutkimuksessa haluttiin selvittää, onko voimakas aistitiedon yhdistäminen audiovisuaalisen puheen havaitsemisessa yksi tällaisista erikoistuneista mekanismeista, jota ei pystytä hyödyntämään kasvoärsykkeen muuttuessa. Oikeinpäin ja ylösalaisin esitettyjen kasvoärsykkeiden audiovisuaalisen integraation mahdollista eroa tutkittiin psykofysiikan menetelmin summaatiokoeasetelmassa. Tutkimuksessa mitattiin yksi- ja moniaistisia erotuskynnyksiä, jolla kaksi tavua [pa] ja [ka] erotetaan toisistaan audiovisuaalisessa kohinassa. Erotuskynnyksiin sovitettiin Minkowski-metriikka, josta pystytään johtamaan erilaisia summaatiomalleja sille, miten aistitiedon yhdistäminen tapahtuu. Tutkimuksen tulosten perusteella visuaalisen puheen havaitseminen oli vaikeampaa ylösalaisin esitetyillä kasvoilla, mutta oikeinpäin ja ylösalaisin havaitut kasvoärsykkeet eivät eronneet toisistaan audiovisuaalisen integraation suhteen. Tutkimuksen tulokset ovat yhdenmukaisia aikaisemman käsityksen kanssa siitä, että visuaalisen puheen havaitseminen heikentyy huomattavasti kasvojen ollessa ylösalaisin. Aikaisempi tutkimus aistitiedon yhdistämisestä audiovisuaalisessa puheessa samankaltaisella asetelmalla on vähäistä. Tämä tutkimus viittaisi siihen, että nähtyä ja kuultua puhetta yhdistetään samalla tavalla sekä oikeinpäin että ylösalaisissa kasvoissa. Vaikuttaisi siltä, ettei audiovisuaalisessa puheessa ilmenevä voimakas summaatio nojaa niihin mekanismeihin, jotka inversioefektissä heikentyvät.The purpose of this study was to examine how inverting the face upside down impacts the perception of audiovisual speech and especially the integration of sensory information during such speech perception. It is well known that face perception involves specialized mechanisms, and it has been suggested that inverting the face would impair the use of to these mechanisms. On the other hand, speech perception is also known to be a specialized process, categorized by a strong audiovisual summation. The aim of this study was to find out whether the strong integration of sensory information in the perception of audiovisual speech is one such specialized mechanism that impairs when the face is inverted. The potential difference in audiovisual summation between upright and inverted faces was investigated using subthreshold summation paradigm. In this paradigm, single and multisensory discrimination thresholds were measured by presenting subjects video clips of spoken syllables [pa] and [ka] masked with audiovisual noise. The task was to identify which of the syllables were presented. Then, by fitting the Minkowski metric to the separation thresholds it is possible to derive different summation models that describe the strength of summation. The study’s results suggest that visual speech perception was poorer when the faces were perceived upside down. However, the audiovisual summation was equally strong for both upright and inverted faces. These results align with the previous knowledge that visual speech perception is considerably impaired when the face is inverted. While there is limited previous research on the effect of inversion on audiovisual summation using a similar setup, this study indicates that auditory and visual speech are combined in the same manner for both upright and inverted faces. Therefore, it seems, that the mechanisms responsible for the strong summation taken place in audiovisual speech perception appear to be distinct from those processes that are impaired in face inversion

Integration of facial features is optimal and mandatory

Yleisesti ajatellaan, että kasvonpiirteiden prosessoinnissa on jotain erityistä verrattuna muiden objektien visuaaliseen prosessointiin. Tämän erityisyyden on ajateltu liittyvän kasvojen kokonaisvaltaiseen havaitsemiseen, jossa erityinen sija on ollut kasvonpiirteiden keskinäisillä suhteilla. Kasvojen prosessoinnin on ajateltu olevan holistista ja kasvojen visuaalisena signaalina niin sanotusti olevan enemmän kuin osiensa summa. Aikaisemmat tutkimukset lähes poikkeuksetta eivät kuitenkaan ole pystyneet määrittelemään holistista prosessointia yksiselitteisesti tai kvantitatiivisesti mitattavana ilmiönä eikä ole lainkaan selvää, onko niissä mitattu havaitseminen sellaista, joka aisti-informaation integroinnin suhteen poikkeaa muusta havaitsemisesta. Tämän tutkielman tavoitteena oli tutkia kasvonpiirteiden integraatiota kokeellisesti psykofysiikan menetelmin vertaamalla kasvonilmeiden erottelukykyä ilmeiden eri voimakkuuksilla. Ensimmäisessä osatutkimuksessa määritettiin piirteiden optimaalinen integraatio tilastollisella mallilla käyttäen lähestymistapaa, jota on hyödynnetty laajalti muissa vihjeiden integraation tutkimuksissa. Lisäksi tutkittiin, pystyykö tietoinen tarkkailu-strategia parantamaan kasvonilmeen tunnistamista. Toisessa osatutkimuksessa tutkittiin integraation tahattomuutta, tarkastelemalla ristiriitaisten ilmeen vaikutusta tarkkailtavan kasvonilmeen havaitsemiseen. Tutkimus osoitti, että kasvojen havaitsemiseen liittyy tahaton integraatio eri kasvonpiirteiden välittämän informaation välillä. Tämä tukee holistiseen prosessointiin liittyvää määritelmää, että kasvot havaitaan ensisijaisesti kokonaisuutena. Tutkimuksen tulokset piirteiden integraatiosta eivät olleet täysin yksiselitteisiä, mutta integraation voidaan ainakin sanoa olevan optimaalista