Time-resolved multivariate pattern analysis of infant EEG data: A practical tutorial

Time-resolved multivariate pattern analysis (MVPA), a popular technique for analyzing magneto- and electro-encephalography (M/EEG) neuroimaging data, quantifies the extent and time-course by which neural representations support the discrimination of relevant stimuli dimensions. As EEG is widely used for infant neuroimaging, time-resolved MVPA of infant EEG data is a particularly promising tool for infant cognitive neuroscience. MVPA has recently been applied to common infant imaging methods such as EEG and fNIRS. In this tutorial, we provide and describe code to implement time-resolved, within-subject MVPA with infant EEG data. An example implementation of time-resolved MVPA based on linear SVM classification is described, with accompanying code in Matlab and Python. Results from a test dataset indicated that in both infants and adults this method reliably produced above-chance accuracy for classifying stimuli images. Extensions of the classification analysis are presented including both geometric- and accuracy-based representational similarity analysis, implemented in Python. Common choices of implementation are presented and discussed. As the amount of artifact-free EEG data contributed by each participant is lower in studies of infants than in studies of children and adults, we also explore and discuss the impact of varying participant-level inclusion thresholds on resulting MVPA findings in these datasets

Le développement de la perception des expressions faciales

This thesis addressed the question of how the perception of emotional facial expressions develops, reframing it in the theoretical framework of face perception: the separation of variant (expression, gaze) and invariant (gender, race) streams, the role of experience, and social attention. More specifically, we investigated how in infants and children the perception of angry, smiling, or fearful facial expressions interacts with gender perception (Studies 1-2), gaze perception (Study 3), and face detection (Study 4).In a first study, we found that adults and 5-12 year-old children tend to categorize angry faces as male (Study 1). Comparing human performance with that of several automatic classifiers suggested that this reflects a strategy of using specific features and second-order relationships in the face to categorize gender. The bias was constant over all ages studied and extended to other-race faces, further suggesting that it doesn't require extensive experience. A second set of studies examined whether, in infants, the perception of smiling depends on experience-sensitive, invariant dimensions of the face such as gender and race (Study 2). Indeed, infants are typically most familiar with own-race female faces. The visual preference of 3.5 month-old infants for open-mouth, own-race smiling (versus neutral) faces was restricted to female faces and reversed in male faces. The effect did not replicate with own- or other-race closed-mouth smiles. We attempted to extend these results to an object-referencing task in 3.5-, 9- and 12-month-olds (Study 3). Objects previously referenced by smiling faces attracted similar attention as objects previously cued by neutral faces, regardless of age group and face gender, and despite differences in gaze following. Finally, we used univariate (face side preference) and multivariate (face versus noise side decoding evidence) trial-level measures of face detection, coupled with non-linear mixed modeling of psychometric curves, to reveal the detection advantage of fearful faces (compared to smiling faces) embedded in phase-scrambled noise in 3.5-, 6-, and 12-month-old infants (Study 4). The advantage was as or more evident in the youngest group than in the two older age groups.Taken together, these results provide insights into the early ontogeny and underlying cause of gender-emotion relationships in face perception and the sensitivity to fear.Cette thèse se propose d'examiner le développement de la perception des expressions faciales émotionnelles en le replaçant dans le cadre théorique de la perception des visages: séparation entre aspects variants (expression, regard) et invariants (genre, type), rôle de l'expérience, attention sociale. Plus spécifiquement, nous avons cherché à mettre en évidence l'existence, tant chez l'enfant que chez le nourrisson, d'interactions réciproques entre la perception d'expressions faciales de colère, de sourire ou de peur et la perception du genre (Études 1-2), la perception du regard (Étude 3), et la détection des visages (Étude 4).Dans un premier temps, nous avons montré que les adultes et les enfants de 5 à 12 ans tendent à catégoriser les visages en colère comme masculins (Étude 1). Comparer les performances humaines avec celles de classifieurs automatique suggère que ce biais reflète l'utilisation de certains traits et relations de second-ordre des visages pour en déterminer le genre. Le biais est identique à tous les âges étudiés ainsi que pour les visages de types non-familiers. Dans un second temps, nous avons testé si, chez le nourrisson, la perception du sourire dépend de dimensions invariantes du visage sensibles à l'expérience - le genre et le type (Étude 2). Les nourrissons ont généralement plus d'expérience avec les visages féminins d'un seul type. Les nourrissons de 3.5 mois montrent une préférence visuelle pour les visages souriants (dents visibles, versus neutre, de type familier) lorsque ceux-ci sont féminins; l'inverse est observé lorsqu'ils sont masculins. L'effet n'est pas répliqué lorsque les dents des visages souriants (d'un type familier ou non) ne sont pas visibles. Nous avons cherché à généraliser ces résultats à une tâche de référencement d'objet chez des nourrissons de 3.5, 9 et 12 mois (Étude 3). Les objets préalablement référencés par des visages souriants étaient autant regardés que les objets préalablement référencés par des visages neutres, quel que soit le groupe d'âge ou le genre du visage, et ce malgré des différences en terme de suivi du regard. Enfin, en employant une mesure univariée (préférence visuelle pour le visage) et une mesure multivariée (évidence globale distinguant le visage du bruit) de la détection du visage à chaque essai, associées à une modélisation des courbes psychométriques par modèles non-linéaire mixtes, nous mettons en évidence une meilleure détection des visages de peur (comparés aux visages souriants) dans le bruit phasique chez les nourrissons à 3.5, 6 et 12 mois (Étude 4).Ces résultats éclairent le développement précoce et le mécanisme des relations entre genre et émotion dans la perception des visages ainsi que de la sensibilité à la peur

The development of facial expressions perception

Cette thèse se propose d'examiner le développement de la perception des expressions faciales émotionnelles en le replaçant dans le cadre théorique de la perception des visages: séparation entre aspects variants (expression, regard) et invariants (genre, type), rôle de l'expérience, attention sociale. Plus spécifiquement, nous avons cherché à mettre en évidence l'existence, tant chez l'enfant que chez le nourrisson, d'interactions réciproques entre la perception d'expressions faciales de colère, de sourire ou de peur et la perception du genre (Études 1-2), la perception du regard (Étude 3), et la détection des visages (Étude 4).Dans un premier temps, nous avons montré que les adultes et les enfants de 5 à 12 ans tendent à catégoriser les visages en colère comme masculins (Étude 1). Comparer les performances humaines avec celles de classifieurs automatique suggère que ce biais reflète l'utilisation de certains traits et relations de second-ordre des visages pour en déterminer le genre. Le biais est identique à tous les âges étudiés ainsi que pour les visages de types non-familiers. Dans un second temps, nous avons testé si, chez le nourrisson, la perception du sourire dépend de dimensions invariantes du visage sensibles à l'expérience - le genre et le type (Étude 2). Les nourrissons ont généralement plus d'expérience avec les visages féminins d'un seul type. Les nourrissons de 3.5 mois montrent une préférence visuelle pour les visages souriants (dents visibles, versus neutre, de type familier) lorsque ceux-ci sont féminins; l'inverse est observé lorsqu'ils sont masculins. L'effet n'est pas répliqué lorsque les dents des visages souriants (d'un type familier ou non) ne sont pas visibles. Nous avons cherché à généraliser ces résultats à une tâche de référencement d'objet chez des nourrissons de 3.5, 9 et 12 mois (Étude 3). Les objets préalablement référencés par des visages souriants étaient autant regardés que les objets préalablement référencés par des visages neutres, quel que soit le groupe d'âge ou le genre du visage, et ce malgré des différences en terme de suivi du regard. Enfin, en employant une mesure univariée (préférence visuelle pour le visage) et une mesure multivariée (évidence globale distinguant le visage du bruit) de la détection du visage à chaque essai, associées à une modélisation des courbes psychométriques par modèles non-linéaire mixtes, nous mettons en évidence une meilleure détection des visages de peur (comparés aux visages souriants) dans le bruit phasique chez les nourrissons à 3.5, 6 et 12 mois (Étude 4).Ces résultats éclairent le développement précoce et le mécanisme des relations entre genre et émotion dans la perception des visages ainsi que de la sensibilité à la peur.This thesis addressed the question of how the perception of emotional facial expressions develops, reframing it in the theoretical framework of face perception: the separation of variant (expression, gaze) and invariant (gender, race) streams, the role of experience, and social attention. More specifically, we investigated how in infants and children the perception of angry, smiling, or fearful facial expressions interacts with gender perception (Studies 1-2), gaze perception (Study 3), and face detection (Study 4).In a first study, we found that adults and 5-12 year-old children tend to categorize angry faces as male (Study 1). Comparing human performance with that of several automatic classifiers suggested that this reflects a strategy of using specific features and second-order relationships in the face to categorize gender. The bias was constant over all ages studied and extended to other-race faces, further suggesting that it doesn't require extensive experience. A second set of studies examined whether, in infants, the perception of smiling depends on experience-sensitive, invariant dimensions of the face such as gender and race (Study 2). Indeed, infants are typically most familiar with own-race female faces. The visual preference of 3.5 month-old infants for open-mouth, own-race smiling (versus neutral) faces was restricted to female faces and reversed in male faces. The effect did not replicate with own- or other-race closed-mouth smiles. We attempted to extend these results to an object-referencing task in 3.5-, 9- and 12-month-olds (Study 3). Objects previously referenced by smiling faces attracted similar attention as objects previously cued by neutral faces, regardless of age group and face gender, and despite differences in gaze following. Finally, we used univariate (face side preference) and multivariate (face versus noise side decoding evidence) trial-level measures of face detection, coupled with non-linear mixed modeling of psychometric curves, to reveal the detection advantage of fearful faces (compared to smiling faces) embedded in phase-scrambled noise in 3.5-, 6-, and 12-month-old infants (Study 4). The advantage was as or more evident in the youngest group than in the two older age groups.Taken together, these results provide insights into the early ontogeny and underlying cause of gender-emotion relationships in face perception and the sensitivity to fear

Sensitivity to face animacy and inversion in childhood: Evidence from event-related potentials and time-resolved classification of EEG data

Recent evidence suggests that adults process inanimate or artificial faces as “out-groups”, with implications for the use of such faces in person perception research as well as in the design of artificial social agents. However, the developmental trajectory of the perception of inanimate faces is unknown. In the present study, we investigated the electrophysiological correlates of processing inanimate (doll) faces in children, as a function of age and face inversion. Two groups of children, 5-7 year-olds (N=18) and 8-10 year-olds (N=18), passively watched pictures of real or doll faces presented in an upright or inverted orientation. Analysis of the elicited event-related potentials, focusing on the P100 and N170 components, revealed that the amplitude of the N170 component was sensitive to face animacy in 5-10 year-old children. More specifically, the amplitude of the N170 was larger (more negative) in response to doll faces irrespective of the children’s age or of the face’s orientation. Thus, the sensitivity of the N170 to face animacy in children did not seem to necessitate or affect face-specific processing strategies. Multivariate pattern analyses of the EEG signal were additionally conducted to assess whether, and at which time post stimulus-onset, face animacy information was represented during processing. While information on face orientation could be extracted from approximately 250-350 ms post-onset in children, there was no indication that information on face animacy was reliably represented during processing at any age, including in an adult sample. Together, these results suggest that 5-10 year-old children exhibit some sensitivity to face animacy

Sensitivity to face animacy and inversion in childhood: Evidence from EEG data

Adults exhibit behavioral deficits in processing inanimate, artificial faces compared to real human faces, with implications for using artificial faces in research and designing artificial social agents. However, the developmental trajectory of inanimate face perception is unknown. Here, we used electroencephalography to investigate inanimate faces processing in cross-sectional groups of 5-10-year-old children and adults. A face inversion manipulation was used to test whether face animacy processing relies on expert face processing strategies. 5-7-year-olds (N=18), 8-10-year-olds (N=18), and adults (N=16) watched pictures of real or doll faces presented in an upright or inverted orientation. Analyses of event-related potentials revealed larger N170 amplitudes in response to doll faces, irrespective of age group or face orientation. Thus, the N170 is sensitive to face animacy by 5-7 years of age, but such sensitivity may not reflect high-level, expert face processing. Multivariate pattern analyses of the EEG signal additionally assessed whether animacy information could be reliably extracted during face processing. Face orientation information was evident in children and adults, but there was no indication that face animacy information could be reliably extracted at any age. Together, these results suggest that 5-10-year-old children exhibit some sensitivity to face animacy that is comparable to adults

Le développement de la discrimination des expressions faciales émotionnelles chez les nourrissons dans la première année

Cette revue présente une synthèse des études examinant la discrimination des expressions faciales émotionnelles chez les nourrissons durant la première année de vie. Ces études montrent 1. une sensibilité aux changements d’expression faciale ainsi qu’une attirance pour les visages joyeux, probablement dès les premiers jours après la naissance et sûrement lors des premiers mois, 2. la capacité de distinguer les visages joyeux d’autres expressions après les premiers mois, 3. une attirance plus tardive, vers 6 à 7 mois, pour les visages de peur due à une modulation de l’attention, 4. l’émergence vers 6 à 7 mois de la capacité à distinguer entre elles les expressions autres que le sourire. Nous discutons enfin de l’aspect intrinsèquement émotionnel de cette discrimination précoce des expressions faciales émotionnelles, plus ou moins laissé en suspens par les études recensées, de même que l’explication causale de son développemen

Le développement de la discrimination des expressions faciales émotionnelles chez les nourrissons dans la première année

International audienceHere we review the studies of emotional facial expression discrimination by newborns andinfants in the first year of life. These studies show that 1. sensitivity to changes in facialexpression and an attraction to smiling faces might exist in newborns, and are presentin the first months of life, 2. the ability to discriminate joy from several other expressionsappears before 6 months of age, 3. older infants (aged of 6 or 7 months) show an attractionto fearful faces due to attentional effects and 4. those older infants begin to develop theability to discriminate between several expressions other than joy. We then discuss thesensitivity of the infants to the genuinely emotional content of facial expressions, which isleft more or less unresolved by the reviewed studies, and some possible causal explanationsfor its development.Cette revue présente une synthèse des études examinant la discriminationdes expressions faciales émotionnelles chez les nourrissons durant lapremière année de vie. Ces études montrent 1. une sensibilité auxchangements d’expression faciale ainsi qu’une attirance pour les visagesjoyeux, probablement dès les premiers jours après la naissance et sûrementlors des premiers mois, 2. la capacité de distinguer les visages joyeuxd’autres expressions après les premiers mois, 3. une attirance plus tardive,vers 6 à 7 mois, pour les visages de peur due à une modulation del’attention, 4. l’émergence vers 6 à 7 mois de la capacité à distinguerentre elles les expressions autres que le sourire. Nous discutons enfin del’aspect intrinsèquement émotionnel de cette discrimination précoce desexpressions faciales émotionnelles, plus ou moins laissé en suspens par lesétudes recensées, de même que l’explication causale de son développement

Introspection reveals covert intentions during serial search (2013)

<p>Poster presented by Sébastien Marti at the ASSC17, San Diego, USA in 2013. Eye-tracking is used to quantify introspective access to eye-movements during visual search. Seemingly confabulated fixations may give unique access to covert shifts of attention.</p