FaceTuneGAN: Face Autoencoder for Convolutional Expression Transfer Using Neural Generative Adversarial Networks

In this paper, we present FaceTuneGAN, a new 3D face model representation decomposing and encoding separately facial identity and facial expression. We propose a first adaptation of image-toimage translation networks, that have successfully been used in the 2D domain, to 3D face geometry. Leveraging recently released large face scan databases, a neural network has been trained to decouple factors of variations with a better knowledge of the face, enabling facial expressions transfer and neutralization of expressive faces. Specifically, we design an adversarial architecture adapting the base architecture of FUNIT and using SpiralNet++ for our convolutional and sampling operations. Using two publicly available datasets (FaceScape and CoMA), FaceTuneGAN has a better identity decomposition and face neutralization than state-of-the-art techniques. It also outperforms classical deformation transfer approach by predicting blendshapes closer to ground-truth data and with less of undesired artifacts due to too different facial morphologies between source and target

Toward Haptic Cinematography: Enhancing Movie Experience with Haptic Effects based on Cinematographic Camera Motions

International audienceHaptics, the technology which brings tactile or force-feedback to users, has a great potential for enhancing movies and could lead to new immersive experiences. In this paper we introduce \textit{Haptic Cinematography} which presents haptics as a new component of the filmmaker's toolkit. We propose a taxonomy of haptic effects and we introduce novel effects coupled with classical cinematographic motions to enhance video viewing experience. More precisely we propose two models to render haptic effects based on camera motions: the first model makes the audience feel the motion of the camera and the second provides haptic metaphors related to the semantics of the camera effect. Results from a user study suggest that these new effects improve the quality of experience. Filmmakers may use this new way of creating haptic effects to propose new immersive audiovisual experiences

Contribution à l'étude des retours haptiques pour améliorer l'expérience audiovisuelle

Haptic technology, stimulating the sense of touch, is used for years in virtual reality and teleoperation applications for enhancing the user immersion. Yet it is still underused in audiovisual systems such as movie theaters. The objective of this thesis is thus to exploit the potential of haptics for audiovisual content. In the first part of this Ph.D. thesis, we address the haptic rendering in video viewing context. We first present a new device providing 6 degrees of freedom motion effects. Instead of moving the whole user's body, as it is traditionally done with motion platform, only the head and hands are stimulated. This device allows thus to enrich the audiovisual experience. Then we focus on the haptic rendering of haptic-audiovisuals. The combination of haptic effects and video sequences yields new challenges for the haptic rendering. We introduce a new haptic rendering algorithm to tackle these issues. The second part of this Ph.D. is dedicated to the production of haptic effects. We first present of novel authoring tool. Three editing methods are proposed to create motion effects and to synchronize them to a video. Besides, the tool allows to preview motion effects thanks to a force-feedback device. Then we study combinations of haptic feedback and audiovisual content. In a new approach, the Haptic Cinematography, we explore the potential of haptic effects to create new effects dedicated to movie makers.Les technologies haptiques, stimulant le sens du toucher, sont utilisées depuis des années dans des applications de réalité virtuelle et de téléopération pour accroître l'immersion de l'utilisateur. Elles sont en revanche très peu employées dans les systèmes audiovisuels comme les cinémas. L'objectif de cette thèse est d'exploiter le potentiel des retours haptiques pour les contenus audiovisuels. Dans la première partie de la thèse, nous nous intéressons au rendu d'effets haptiques lors du visionnage d'une vidéo. Nous présentons tout d'abord un appareil générant des sensations de mouvements à 6 degrés de liberté. Au lieu de mettre tout le corps de l'utilisateur en mouvement, comme cela est fait avec les simulateurs de mouvements traditionnels, seulement la tête et les mains sont stimulées. Ce dispositif permet ainsi d'enrichir l'expérience audiovisuelle. Nous nous intéressons ensuite aux algorithmes de rendu d'effets haptiques dans un contexte audiovisuel. La combinaison de retours haptiques et de séquences vidéo amène de nouveaux problèmes lors du rendu haptique. Nous proposons un nouvel algorithme adapté à ce contexte. Dans la seconde partie de la thèse, nous nous concentrons sur la production d'effets haptiques. Premièrement nous présentons un nouvel outil d'édition graphique. Celui-ci propose trois méthodes d'interaction pour créer des effets de mouvement et pour les synchroniser avec une vidéo. De plus, cet outil permet de ressentir les effets créés. Ensuite nous nous penchons sur les combinaisons haptiques et audiovisuelles. Dans une nouvelle approche nommée Cinématographie Haptique, nous explorons le potentiel des effets haptiques pour créer de nouveaux effets dédiés aux réalisateurs de films

Contribution à l'étude des retours haptiques pour l'amélioration de l'expérience audiovisuelle

Les technologies haptiques, stimulant le sens du toucher, sont utilisées depuis des années dans des applications de réalité virtuelle et de téléopération pour accroître l'immersion de l'utilisateur. Elles sont en revanche très peu employées dans les systèmes audiovisuels comme les cinémas. L'objectif de cette thèse est d'exploiter le potentiel des retours haptiques pour les contenus audiovisuels. Dans la première partie de la thèse, nous nous intéressons au rendu d'effets haptiques lors du visionnage d'une vidéo. Nous présentons tout d'abord un appareil générant des sensations de mouvements à 6 degrés de liberté. Au lieu de mettre tout le corps de l'utilisateur en mouvement, comme cela est fait avec les simulateurs de mouvements traditionnels, seulement la tête et les mains sont stimulées. Ce dispositif permet ainsi d'enrichir l'expérience audiovisuelle. Nous nous intéressons ensuite aux algorithmes de rendu d'effets haptiques dans un contexte audiovisuel. La combinaison de retours haptiques et de séquences vidéo amène de nouveaux problèmes lors du rendu haptique. Nous proposons un nouvel algorithme adapté à ce contexte. Dans la seconde partie de la thèse, nous nous concentrons sur la production d'effets haptiques. Premièrement nous présentons un nouvel outil d'édition graphique. Celui-ci propose trois méthodes d'interaction pour créer des effets de mouvement et pour les synchroniser avec une vidéo. De plus, cet outil permet de ressentir les effets créés. Ensuite nous nous penchons sur les combinaisons haptiques et audiovisuelles. Dans une nouvelle approche nommée Cinématographie Haptique, nous explorons le potentiel des effets haptiques pour créer de nouveaux effets dédiés aux réalisateurs de films.Haptic technology, stimulating the sense of touch, is used for years in virtual reality and teleoperation applications for enhancing the user immersion. Yet it is still underused in audiovisual systems such as movie theaters. The objective of this thesis is thus to exploit the potential of haptics for audiovisual content. In the first part of this Ph.D. thesis, we address the haptic rendering in video viewing context. We first present a new device providing 6 degrees of freedom motion effects. Instead of moving the whole user's body, as it is traditionally done with motion platform, only the head and hands are stimulated. This device allows thus to enrich the audiovisual experience. Then we focus on the haptic rendering of haptic-audiovisuals. The combination of haptic effects and video sequences yields new challenges for the haptic rendering. We introduce a new haptic rendering algorithm to tackle these issues. The second part of this Ph.D. is dedicated to the production of haptic effects. We first present of novel authoring tool. Three editing methods are proposed to create motion effects and to synchronize them to a video. Besides, the tool allows to preview motion effects thanks to a force-feedback device. Then we study combinations of haptic feedback and audiovisual content. In a new approach, the Haptic Cinematography, we explore the potential of haptic effects to create new effects dedicated to movie makers

Contribution à l'étude des retours haptiques pour l'amélioration de l'expérience audiovisuelle

Les technologies haptiques, stimulant le sens du toucher, sont utilisées depuis des années dans des applications de réalité virtuelle et de téléopération pour accroître l'immersion de l'utilisateur. Elles sont en revanche très peu employées dans les systèmes audiovisuels comme les cinémas. L'objectif de cette thèse est d'exploiter le potentiel des retours haptiques pour les contenus audiovisuels. Dans la première partie de la thèse, nous nous intéressons au rendu d'effets haptiques lors du visionnage d'une vidéo. Nous présentons tout d'abord un appareil générant des sensations de mouvements à 6 degrés de liberté. Au lieu de mettre tout le corps de l'utilisateur en mouvement, comme cela est fait avec les simulateurs de mouvements traditionnels, seulement la tête et les mains sont stimulées. Ce dispositif permet ainsi d'enrichir l'expérience audiovisuelle. Nous nous intéressons ensuite aux algorithmes de rendu d'effets haptiques dans un contexte audiovisuel. La combinaison de retours haptiques et de séquences vidéo amène de nouveaux problèmes lors du rendu haptique. Nous proposons un nouvel algorithme adapté à ce contexte. Dans la seconde partie de la thèse, nous nous concentrons sur la production d'effets haptiques. Premièrement nous présentons un nouvel outil d'édition graphique. Celui-ci propose trois méthodes d'interaction pour créer des effets de mouvement et pour les synchroniser avec une vidéo. De plus, cet outil permet de ressentir les effets créés. Ensuite nous nous penchons sur les combinaisons haptiques et audiovisuelles. Dans une nouvelle approche nommée Cinématographie Haptique, nous explorons le potentiel des effets haptiques pour créer de nouveaux effets dédiés aux réalisateurs de films.Haptic technology, stimulating the sense of touch, is used for years in virtual reality and teleoperation applications for enhancing the user immersion. Yet it is still underused in audiovisual systems such as movie theaters. The objective of this thesis is thus to exploit the potential of haptics for audiovisual content. In the first part of this Ph.D. thesis, we address the haptic rendering in video viewing context. We first present a new device providing 6 degrees of freedom motion effects. Instead of moving the whole user's body, as it is traditionally done with motion platform, only the head and hands are stimulated. This device allows thus to enrich the audiovisual experience. Then we focus on the haptic rendering of haptic-audiovisuals. The combination of haptic effects and video sequences yields new challenges for the haptic rendering. We introduce a new haptic rendering algorithm to tackle these issues. The second part of this Ph.D. is dedicated to the production of haptic effects. We first present of novel authoring tool. Three editing methods are proposed to create motion effects and to synchronize them to a video. Besides, the tool allows to preview motion effects thanks to a force-feedback device. Then we study combinations of haptic feedback and audiovisual content. In a new approach, the Haptic Cinematography, we explore the potential of haptic effects to create new effects dedicated to movie makers.RENNES1-Bibl. électronique (352382106) / SudocSudocFranceF

Contribution à l'étude des retours haptiques pour l'amélioration de l'expérience audiovisuelle

Les technologies haptiques, stimulant le sens du toucher, sont utilisées depuis des années dans des applications de réalité virtuelle et de téléopération pour accroître l'immersion de l'utilisateur. Elles sont en revanche très peu employées dans les systèmes audiovisuels comme les cinémas. L'objectif de cette thèse est d'exploiter le potentiel des retours haptiques pour les contenus audiovisuels. Dans la première partie de la thèse, nous nous intéressons au rendu d'effets haptiques lors du visionnage d'une vidéo. Nous présentons tout d'abord un appareil générant des sensations de mouvements à 6 degrés de liberté. Au lieu de mettre tout le corps de l'utilisateur en mouvement, comme cela est fait avec les simulateurs de mouvements traditionnels, seulement la tête et les mains sont stimulées. Ce dispositif permet ainsi d'enrichir l'expérience audiovisuelle. Nous nous intéressons ensuite aux algorithmes de rendu d'effets haptiques dans un contexte audiovisuel. La combinaison de retours haptiques et de séquences vidéo amène de nouveaux problèmes lors du rendu haptique. Nous proposons un nouvel algorithme adapté à ce contexte. Dans la seconde partie de la thèse, nous nous concentrons sur la production d'effets haptiques. Premièrement nous présentons un nouvel outil d'édition graphique. Celui-ci propose trois méthodes d'interaction pour créer des effets de mouvement et pour les synchroniser avec une vidéo. De plus, cet outil permet de ressentir les effets créés. Ensuite nous nous penchons sur les combinaisons haptiques et audiovisuelles. Dans une nouvelle approche nommée Cinématographie Haptique, nous explorons le potentiel des effets haptiques pour créer de nouveaux effets dédiés aux réalisateurs de films.Haptic technology, stimulating the sense of touch, is used for years in virtual reality and teleoperation applications for enhancing the user immersion. Yet it is still underused in audiovisual systems such as movie theaters. The objective of this thesis is thus to exploit the potential of haptics for audiovisual content. In the first part of this Ph.D. thesis, we address the haptic rendering in video viewing context. We first present a new device providing 6 degrees of freedom motion effects. Instead of moving the whole user's body, as it is traditionally done with motion platform, only the head and hands are stimulated. This device allows thus to enrich the audiovisual experience. Then we focus on the haptic rendering of haptic-audiovisuals. The combination of haptic effects and video sequences yields new challenges for the haptic rendering. We introduce a new haptic rendering algorithm to tackle these issues. The second part of this Ph.D. is dedicated to the production of haptic effects. We first present of novel authoring tool. Three editing methods are proposed to create motion effects and to synchronize them to a video. Besides, the tool allows to preview motion effects thanks to a force-feedback device. Then we study combinations of haptic feedback and audiovisual content. In a new approach, the Haptic Cinematography, we explore the potential of haptic effects to create new effects dedicated to movie makers

A Robotic Game to Evaluate Interfaces used to Show and Teach Visual Objects to a Robot in Real World Condition

In this paper, we present a real world user study of 4 interfaces designed to teach new visual objects to a social robot. This study was designed as a robotic game in order to maintain the user’s motivation during the whole experiment. Among the 4 interfaces 3 were based on mediator objects such as an iPhone, a Wiimote and a laser pointer. They also provided the users with different kind of feedback of what the robot is perceiving. The fourth interface was a gesture based interface with a Wizard-of-Oz recognition system added to compare our mediator interfaces with a more natural interaction. Here, we specially studied the impact the interfaces have on the quality of the learning examples and the usability. We showed that providing non-expert users with a feedback of what the robot is perceiving is needed if one is interested in robust interaction. In particular, the iPhone interface allowed non-expert users to provide better learning examples due to its whole visual feedback. Furthermore, we also studied the user’s gaming experience and found that in spite of its lower usability, the gestures interface was stated as entertaining as the other interfaces and increases the user’s feeling of cooperating with the robot. Thus, we argue that this kind of interface could be wellsuited for robotic game

The Impact of Human-Robot Interfaces on the Learning of Visual Objects

International audienceThis paper studies the impact of interfaces allowing non-expert users to efficiently and intuitively teach a robot to recognize new visual objects. We present challenges that need to be addressed for real-world deployment of robots capable of learning new visual ¡objects in interaction with everyday users. We argue that in addition to robust machine learning and computer vision methods, well-designed interfaces are crucial for learning efficiency. In particular, we argue that interfaces can be key in helping non-expert users to collect good learning examples and thus improve the performance of the overall learning system. Then, we present four alternative human-robot interfaces: three are based on the use of a mediating artifact (smartphone, wiimote, wiimote and laser), and one is based on natural human gestures (with a Wizard-of-Oz recognition system). These interfaces mainly vary in the kind of feedback provided to the user, allowing him to understand more or less easily what the robot is perceiving, and thus guide his way of providing training examples differently. We then evaluate the impact of these interfaces, in terms of learning efficiency, usability and user's experience, through a real world and large scale user study. In this experiment, we asked participants to teach a robot twelve different new visual objects in the context of a robotic game. This game happens in a home-like environment and was designed to motivate and engage users in an interaction where using the system was meaningful. We then discuss results that show significant differences among interfaces. In particular, we show that interfaces such as the smartphone interface allows non-expert users to intuitively provide much better training examples to the robot, almost as good as expert users who are trained for this task and aware of the different visual perception and machine learning issues. We also show that artifact-mediated teaching is significantly more efficient for robot learning, and equally good in terms of usability and user's experience, than teaching thanks to a gesture-based human-like interaction

FaceTuneGAN: Face Autoencoder for Convolutional Expression Transfer Using Neural Generative Adversarial Networks

In this paper, we present FaceTuneGAN, a new 3D face model representation decomposing and encoding separately facial identity and facial expression. We propose a first adaptation of image-toimage translation networks, that have successfully been used in the 2D domain, to 3D face geometry. Leveraging recently released large face scan databases, a neural network has been trained to decouple factors of variations with a better knowledge of the face, enabling facial expressions transfer and neutralization of expressive faces. Specifically, we design an adversarial architecture adapting the base architecture of FUNIT and using SpiralNet++ for our convolutional and sampling operations. Using two publicly available datasets (FaceScape and CoMA), FaceTuneGAN has a better identity decomposition and face neutralization than state-of-the-art techniques. It also outperforms classical deformation transfer approach by predicting blendshapes closer to ground-truth data and with less of undesired artifacts due to too different facial morphologies between source and target