Biologically Inspired Dynamic Textures for Probing Motion Perception

Perception is often described as a predictive process based on an optimal inference with respect to a generative model. We study here the principled construction of a generative model specifically crafted to probe motion perception. In that context, we first provide an axiomatic, biologically-driven derivation of the model. This model synthesizes random dynamic textures which are defined by stationary Gaussian distributions obtained by the random aggregation of warped patterns. Importantly, we show that this model can equivalently be described as a stochastic partial differential equation. Using this characterization of motion in images, it allows us to recast motion-energy models into a principled Bayesian inference framework. Finally, we apply these textures in order to psychophysically probe speed perception in humans. In this framework, while the likelihood is derived from the generative model, the prior is estimated from the observed results and accounts for the perceptual bias in a principled fashion.Comment: Twenty-ninth Annual Conference on Neural Information Processing Systems (NIPS), Dec 2015, Montreal, Canad

Évaluation de l'impact des facteurs émotionnels lors d'interactions physiques entre humains réels et virtuels

Avec l'expansion de l'informatique dans tous les domaines de la vie courante, les interactions avec des agents virtuels sont devenues courantes. Par ailleurs, nous savons que les émotions influencent les interactions entre individus. Dans cette thèse, nous nous plaçons dans le cas de la marche expressive non contrainte pour étudier, dans un premier temps, l'influence des émotions sur les interactions entre deux marcheurs réels. Puis, dans un deuxième temps, nous nous intéressons aux interactions entre un marcheur expressif virtuel et un sujet réel. La première étape de ce travail a consisté à concevoir et valider un protocole expérimental permettant l'analyse de marches expressives non contraintes. Nous avons ainsi capturé les mouvements de deux acteurs dans des tâches de marche seul ou en groupe. Dans la deuxième partie de ce travail, nous avons étudié les données de marche en groupe afin de mettre en évidence l'émergence d'un comportement de synchronisation entre les marcheurs de type meneur-suiveur. Nous avons également montré que les caractéristiques des émotions (comme le dialogue par exemple) peuvent avoir une influence sur cette synchronisation. Enfin, dans la troisième et dernière partie de cette thèse, nous avons étudié l'influence des émotions sur les interactions entre un humain virtuel et un humain réel. Pour cela, nous avons adopté une démarche en trois étapes : conception et analyse d'une base de données de marches expressives entre deux acteurs réels en ligne droite ; validation de la base de données par une étude en perception ; animation d'un humain virtuel grâce aux données de la base de données puis analyse de la marche entre des sujets réels et l'humain virtuel. Les résultats obtenus ont montré une forte similarité entre les deux situations.With the growing of information technologies in all everyday life situations, interactions with virtual agents are now common. Furthermore, we know that people's emotions influence interactions between them. In this thesis, we consider the case of unconstrained and expressive walk to study the influence of emotions on interactions between two real walkers. Then, we focus on the interactions between a virtual expressive human and a real subject. The first step of this work was to design and validate an experimental protocol allowing the analysis of unconstrained and expressive walks. Thus, we captured the motion of two actors walking alone and walking together. In the second part, we studied the data from the group walk situation and we highlighted the emergence of a leader-follower behavior between the walkers. We also showed that the characteristics of the emotions (eg dialogue) have an influence on this kind of synchronization. Last and not least, we studied the influence of emotions on interactions between a virtual human and a real one. We used a three-step process : creation and analysis of a database of expressive walks along a line between two walkers ; validation of the database through a perceptual study ; animation of a virtual human with the data from the database and analyze of the walk between real subjects and the virtual human. Results showed a strong similarity between the two situations.RENNES1-Bibl. électronique (352382106) / SudocSudocFranceF

Evaluation of the impact of emotional factors during physical interactions between real and virtual humans.

Avec l'expansion de l'informatique dans tous les domaines de la vie courante, les interactions avec des agents virtuels sont devenues courantes. Par ailleurs, nous savons que les émotions influencent les interactions entre individus. Dans cette thèse, nous nous plaçons dans le cas de la marche expressive non contrainte pour étudier, dans un premier temps, l'influence des émotions sur les interactions entre deux marcheurs réels. Puis, dans un deuxième temps, nous nous intéressons aux interactions entre un marcheur expressif virtuel et un sujet réel. La première étape de ce travail a consisté à concevoir et valider un protocole expérimental permettant l'analyse de marches expressives non contraintes. Nous avons ainsi capturé les mouvements de deux acteurs dans des tâches de marche seul ou en groupe. Dans la deuxième partie de ce travail, nous avons étudié les données de marche en groupe afin de mettre en évidence l'émergence d'un comportement de synchronisation entre les marcheurs de type meneur-suiveur. Nous avons également montré que les caractéristiques des émotions (comme le dialogue par exemple) peuvent avoir une influence sur cette synchronisation. Enfin, dans la troisième et dernière partie de cette thèse, nous avons étudié l'influence des émotions sur les interactions entre un humain virtuel et un humain réel. Pour cela, nous avons adopté une démarche en trois étapes : conception et analyse d'une base de données de marches expressives entre deux acteurs réels en ligne droite ; validation de la base de données par une étude en perception ; animation d'un humain virtuel grâce aux données de la base de données puis analyse de la marche entre des sujets réels et l'humain virtuel. Les résultats obtenus ont montré une forte similarité entre les deux situations.With the growing of information technologies in all everyday life situations, interactions with virtual agents are now common. Furthermore, we know that people's emotions influence interactions between them. In this thesis, we consider the case of unconstrained and expressive walk to study the influence of emotions on interactions between two real walkers. Then, we focus on the interactions between a virtual expressive human and a real subject. The first step of this work was to design and validate an experimental protocol allowing the analysis of unconstrained and expressive walks. Thus, we captured the motion of two actors walking alone and walking together. In the second part, we studied the data from the group walk situation and we highlighted the emergence of a leader-follower behavior between the walkers. We also showed that the characteristics of the emotions (eg dialogue) have an influence on this kind of synchronization. Last and not least, we studied the influence of emotions on interactions between a virtual human and a real one. We used a three-step process : creation and analysis of a database of expressive walks along a line between two walkers ; validation of the database through a perceptual study ; animation of a virtual human with the data from the database and analyze of the walk between real subjects and the virtual human. Results showed a strong similarity between the two situations

Évaluation de l'impact des facteurs émotionnels lors d'interactions physiques entre humains réels et virtuels

With the growing of information technologies in all everyday life situations, interactions with virtual agents are now common. Furthermore, we know that people's emotions influence interactions between them. In this thesis, we consider the case of unconstrained and expressive walk to study the influence of emotions on interactions between two real walkers. Then, we focus on the interactions between a virtual expressive human and a real subject. The first step of this work was to design and validate an experimental protocol allowing the analysis of unconstrained and expressive walks. Thus, we captured the motion of two actors walking alone and walking together. In the second part, we studied the data from the group walk situation and we highlighted the emergence of a leader-follower behavior between the walkers. We also showed that the characteristics of the emotions (eg dialogue) have an influence on this kind of synchronization. Last and not least, we studied the influence of emotions on interactions between a virtual human and a real one. We used a three-step process : creation and analysis of a database of expressive walks along a line between two walkers ; validation of the database through a perceptual study ; animation of a virtual human with the data from the database and analyze of the walk between real subjects and the virtual human. Results showed a strong similarity between the two situations.Avec l'expansion de l'informatique dans tous les domaines de la vie courante, les interactions avec des agents virtuels sont devenues courantes. Par ailleurs, nous savons que les émotions influencent les interactions entre individus. Dans cette thèse, nous nous plaçons dans le cas de la marche expressive non contrainte pour étudier, dans un premier temps, l'influence des émotions sur les interactions entre deux marcheurs réels. Puis, dans un deuxième temps, nous nous intéressons aux interactions entre un marcheur expressif virtuel et un sujet réel. La première étape de ce travail a consisté à concevoir et valider un protocole expérimental permettant l'analyse de marches expressives non contraintes. Nous avons ainsi capturé les mouvements de deux acteurs dans des tâches de marche seul ou en groupe. Dans la deuxième partie de ce travail, nous avons étudié les données de marche en groupe afin de mettre en évidence l'émergence d'un comportement de synchronisation entre les marcheurs de type meneur-suiveur. Nous avons également montré que les caractéristiques des émotions (comme le dialogue par exemple) peuvent avoir une influence sur cette synchronisation. Enfin, dans la troisième et dernière partie de cette thèse, nous avons étudié l'influence des émotions sur les interactions entre un humain virtuel et un humain réel. Pour cela, nous avons adopté une démarche en trois étapes : conception et analyse d'une base de données de marches expressives entre deux acteurs réels en ligne droite ; validation de la base de données par une étude en perception ; animation d'un humain virtuel grâce aux données de la base de données puis analyse de la marche entre des sujets réels et l'humain virtuel. Les résultats obtenus ont montré une forte similarité entre les deux situations

Évaluation de l'impact des facteurs émotionnels lors d'interactions physiques entre humains réels et virtuels

With the growing of information technologies in all everyday life situations, interactions with virtual agents are now common. Furthermore, we know that people's emotions influence interactions between them. In this thesis, we consider the case of unconstrained and expressive walk to study the influence of emotions on interactions between two real walkers. Then, we focus on the interactions between a virtual expressive human and a real subject. The first step of this work was to design and validate an experimental protocol allowing the analysis of unconstrained and expressive walks. Thus, we captured the motion of two actors walking alone and walking together. In the second part, we studied the data from the group walk situation and we highlighted the emergence of a leader-follower behavior between the walkers. We also showed that the characteristics of the emotions (eg dialogue) have an influence on this kind of synchronization. Last and not least, we studied the influence of emotions on interactions between a virtual human and a real one. We used a three-step process : creation and analysis of a database of expressive walks along a line between two walkers ; validation of the database through a perceptual study ; animation of a virtual human with the data from the database and analyze of the walk between real subjects and the virtual human. Results showed a strong similarity between the two situations.Avec l'expansion de l'informatique dans tous les domaines de la vie courante, les interactions avec des agents virtuels sont devenues courantes. Par ailleurs, nous savons que les émotions influencent les interactions entre individus. Dans cette thèse, nous nous plaçons dans le cas de la marche expressive non contrainte pour étudier, dans un premier temps, l'influence des émotions sur les interactions entre deux marcheurs réels. Puis, dans un deuxième temps, nous nous intéressons aux interactions entre un marcheur expressif virtuel et un sujet réel. La première étape de ce travail a consisté à concevoir et valider un protocole expérimental permettant l'analyse de marches expressives non contraintes. Nous avons ainsi capturé les mouvements de deux acteurs dans des tâches de marche seul ou en groupe. Dans la deuxième partie de ce travail, nous avons étudié les données de marche en groupe afin de mettre en évidence l'émergence d'un comportement de synchronisation entre les marcheurs de type meneur-suiveur. Nous avons également montré que les caractéristiques des émotions (comme le dialogue par exemple) peuvent avoir une influence sur cette synchronisation. Enfin, dans la troisième et dernière partie de cette thèse, nous avons étudié l'influence des émotions sur les interactions entre un humain virtuel et un humain réel. Pour cela, nous avons adopté une démarche en trois étapes : conception et analyse d'une base de données de marches expressives entre deux acteurs réels en ligne droite ; validation de la base de données par une étude en perception ; animation d'un humain virtuel grâce aux données de la base de données puis analyse de la marche entre des sujets réels et l'humain virtuel. Les résultats obtenus ont montré une forte similarité entre les deux situations

Walk with me: interactions in emotional walking situations, a pilot study

International audienceThis paper is about interactions between real and virtual humans. We are interested in whole body and emotionally tinted situations of interactions. We focus on the daily situation of walking together. We propose two experiments. In a first experiment, we measure the effect of emotions on the kinematics and metrics of interactions between two walkers. Then, in a second experiment, we reproduce a similar situation of interaction between a real subject and a virtual walker expressing emotions. We perform comparisons between real-real interactions and real-virtual ones. We show promising results: similar effects are observed on the kinematics of interactions in both experiments. We implicitly demonstrate the ability of real subjects to perceive emotions expressed by a virtual character through whole body motion. We show that real subjects' reaction to the behavior of an expressive virtual character complies with their reaction to the behavior of an expressive real human walker. This result is one step toward the use of such virtual reality platform to study social interactions through fully controlled experiments

Emotional influences on the kinematics of interactions between two walkers: preliminary results on angriness

International audienceBACKGROUND AND AIM: Gait kinematics are influenced by the emotional state [1] or the emotional context [2]. Observers recognize emotions from the whole body motion [1,3]. We investigated the influence of emotions on the kinematics of interactions between two walkers. We focused on the specific case of walking together. METHODS: 2 professional actors walked in an 8m circular area. They were first asked to walk alone in a neutral or angry emotional state. Then they walked simultaneously: individually or together. For these 2 situations, either both actors had a neutral emotional state or one or both of them experienced angriness with variations: transitive or not (Tr/NTr) and with or without talking (D/ND). Alone and individual situations were used as controlled tasks. Each task was 1' long and repeated 3 times. We focused on walking speed, relative angle and distance between actors. RESULTS: In neutral state, walking speed depended on the situation (H=8.9, p<0.05). It was slower when actors walked together: neutral gait may not be modified by the presence of another walker but by the interaction itself. No difference was observed between the 3 situations for one angry actor (NTr-ND). Nevertheless, when walking together the actor in neutral state walked faster when the other was angry NTr-ND (U=1114, p<0.001). The neutral actor may adapt his speed to follow the angry actor. For together situation, results showed that walking speed was slower when angriness was transitive (U=38472, p<0.001) or when actors spoke (U=35713, p<0.001) and faster when both actors were angry (U=36792, p<0.001). Moreover, the distance between actors was higher when angriness was transitive (U=14406, p<0.001) and when both actors were angry (U=21214, p<0.001) and lower when they spoke (U=21377, p<0.001). There was no difference between relative angles when both actors were neutral or angry NTr-ND but when only one actor was angry NTr-ND, he walked ahead. When one actor was angry, he also walked more ahead in NTr variation compared to Tr one (U=7553, p<0.001). CONCLUSIONS: This preliminary study suggests leader-follower interactions depending on emotions when two humans walk together. These interactions are expressed by relative positions and walking speed adaptations. A neutral walker accelerates to follow an angry one (NTr-ND) and this latter walks ahead as if he leads the motion. Distance between walkers is increased when both of them experience transitive angriness. This may indicate that personal spaces are adapted with respect to the perceived risk that should be enhanced with the combination of negative emotions towards the other. Future work will extend analysis to more participants and investigate the influence of other emotions and their variations on interactions while walking. ACKNOWLEDGEMENTS: This study was funded by the FP7 European project Tango. 1 Gross et al. Hum Mov Sci In press 2 Gelat et al. Neurosci Lett 497: 64-67,2011 3 Kadone et al. ISPGR200

Effets des émotions sur l'interaction physique entre humains dans des tâches de locomotion

National audienceWhen Humans walk in the street, they can easily identify the kind of relationship between the persons they perceive. For example, they will not pass between the members of a group if they identify them as a group of friends or a family. In the same way, they will probably maintain a larger distance with an angry person. Emotions have an important impact on pedestrian locomotion. We conducted an experiment to determine how emotions could influence the interactions between pedestrians during a locomotion task. The results showed the emergence of leader-follower interactions varying with the emotional state of pedestrians. These results will allow to define models of interaction in crowds simulations.Lors de son déplacement dans la rue, l'Homme identifie aisément la nature des relations entre les personnes qu'il perçoit. Par exemple, il ne passera pas au milieu d'un groupe d'individus s'il remarque qu'il s'agit d'un groupe d'amis ou d'une famille. De la même manière, il contournera probablement différemment une personne qu'il perçoit en colère. L'émotion joue donc un rôle prépondérant dans les interactions durant la locomotion. Nous avons donc mené une expérience afin de déterminer comment les facteurs émotionnels pouvaient influencer les interactions entre individus lors de la marche. Les résultats obtenus ont mis en évidence l'émergence d'un comportement de type meneur-suiveur dépendant de l'état émotionnel des sujets. Ces mêmes résultats permettront de développer des modèles d'interaction dans les simulations de foules

Bayesian Modeling of Motion Perception using Dynamical Stochastic Textures

International audienceA common practice to account for psychophysical biases in vision is to frame them as consequences of a dynamic process relying on optimal inference with respect to a generative model. The present study details the complete formulation of such a gener-ative model intended to probe visual motion perception with a dynamic texture model. It is first derived in a set of axiomatic steps constrained by biological plausibility. We extend previous contributions by detailing three equivalent formulations of this texture model. First, the composite dynamic textures are constructed by the random ag-gregation of warped patterns, which can be viewed as 3D Gaussian fields. Secondly, these textures are cast as solutions to a stochastic partial differential equation (sPDE). This essential step enables real time, on-the-fly texture synthesis using time-discretized auto-regressive processes. It also allows for the derivation of a local motion-energy model, which corresponds to the log-likelihood of the probability density. The log-likelihoods are essential for the construction of a Bayesian inference framework. We use the dynamic texture model to psychophysically probe speed perception in humans using zoom-like changes in the spatial frequency content of the stimulus. The human data replicates previous findings showing perceived speed to be positively biased by spatial frequency increments. A Bayesian observer who combines a Gaussian likelihood centered at the true speed and a spatial frequency dependent width with a "slow speed prior" successfully accounts for the perceptual bias. More precisely, the bias arises from a decrease in the observer's likelihood width estimated from the experiments as the spatial frequency increases. Such a trend is compatible with the trend of the dynamic texture likelihood width