Mind wandering dynamic in automated environments and its influence on out-of-the-loop situations

Des niveaux d'automatisation élevés sont intégrés dans les environnements critiques pour satisfaire la demande croissante de systèmes plus sûrs. Cette philosophie déplace les opérateurs vers un rôle de supervision et crée de nouveaux problèmes appelés problèmes de performance liés à la sortie de boucle (SDB). L'émergence de pensées sans lien avec ici et maintenant, ou divagation attentionnelle (DA), pourrait affecter les opérateurs dans des situations de SDB par le biais du découplage perceptuel induit. Cette thèse a étudié la dynamique de la DA dans les situations de SDB et son influence sur les opérateurs. Nous avons en premier lieu examiné les preuves dans la littérature pointant vers un lien entre le problème de performance lié à la SDB et la DA. Nous avons complété cette analyse théorique en rapportant la tendance des pilotes (collectée avec un questionnaire) à rencontrer plus de problèmes avec leur pilote automatique pour ceux ayant une plus grande propension au MW non lié à la tâche. Nous avons ensuite mené trois expériences dans des conditions de SDB. Nous avons observé une augmentation significative des épisodes de DA dans les situations de SDB quelle que soit la fiabilité du système, par rapport aux conditions manuelles. Les épisodes de DA étaient également accompagnés d'un découplage perceptuel vis-à-vis de la tâche créé par la DA non lié à la tâche. Ce découplage était visible sur des rapports de demande mentale ainsi que les signaux oculométriques et encéphalographiques. Dans l'ensemble, nos résultats démontrent la possibilité d'utiliser des marqueurs physiologiques de la DA dans des environnements de SDB complexes. Nous discutons de nouvelles perspectives d'utilisation des marqueurs de la DA pour caractériser les problèmes de performance liés à la SDB. Sans vouloir arrêter aveuglément l'émergence de la DA, qui pourrait être bénéfique pour les opérateurs, les recherches futures devraient se concentrer sur la conception de systèmes capables de gérer la DA et d'identifier les informations nécessaires pour faciliter la rentrée de l'opérateur dans la boucle de contrôle.Higher levels of automation are progressively integrated in critical environments to satisfy the increasing demand for safer systems. Such philosophy moves operators to a supervisory role, also called out-of-the-loop (OOTL) situations. Unfortunately, OOTL situations also create a new kind of human-machine interaction issues, called OOTL performance problem. The dramatic consequences of OOTL performance problem stress the need to identify which mechanisms could influence their appearance. The emergence of thoughts unrelated to the here and now, labeled mind wandering (MW), could affect operators in OOTL situations through the perceptual decoupling induced. This thesis investigates MW dynamic in OOTL situations and its influence on operators. We firstly reviewed the evidences in the literature underlining a link between OOTL performance problem and MW. We completed theoretical insights by reporting pilots' tendency (collected with a questionnaire) to encounter more problems with autopilots when experiencing more task-unrelated MW. Then, we conducted three experiments in OOTL conditions using an obstacle avoidance task. With non-expert population and sessions longer than 45 minutes, we observed a significant increase of MW in OOTL situations compared to manual conditions, independently of system reliability. MW episodes were also accompanied by a perceptual decoupling from the task induced by task-unrelated MW. This decoupling was visible on reports of mental demand as well as oculometric (pupil size, blinks) and encephalographic (N1 component, alpha activity) signals. Overall, our results demonstrate the possibility to use physiological markers of MW in complex OOTL environments. We discuss new perspectives towards the use of MW markers to characterize the OOTL performance problem. Instead of blindly stopping MW episodes, which could have benefits for operators, future research should focus on designing systems able to cope with MW and identify information needed to facilitate the reentry in the control loop when needed

How to integrate the Neuroergonomics research outputs in industrial Human Factor Design process ?

The everyday life Human Factors specialist job in the aerospace industry is challenging. Finding a good balance between following the pace of the industrial design process and providing evidence that design is easier and safer. This communication paper is good opportunity for the Human Factors in Design community to question ourselves and challenge as well the research in Neuroergonomic. Is there efficient and usable means to fulfill our expectations taking into account industrial constraints. There are 4 important questions: How can we address emergency situations in an ecological way? How can we take into account the simulation constraints in our common practise ? Do Neuroergonomics research outputs bring new means and knowledge to better understand how the pilot behaves in such situations? Do Neuroergonomics research outputs can really complete current industrial methods using simulations, observations, human physiological measures, verbalisations

Dynamique de la divagation attentionnelle dans les environnements automatisés et son influence sur les situations de sorties de boucle

Higher levels of automation are progressively integrated in critical environments to satisfy the increasing demand for safer systems. Such philosophy moves operators to a supervisory role, also called out-of-the-loop (OOTL) situations. Unfortunately, OOTL situations also create a new kind of human-machine interaction issues, called OOTL performance problem. The dramatic consequences of OOTL performance problem stress the need to identify which mechanisms could influence their appearance. The emergence of thoughts unrelated to the here and now, labeled mind wandering (MW), could affect operators in OOTL situations through the perceptual decoupling induced.This thesis investigates MW dynamic in OOTL situations and its influence on operators. We firstly reviewed the evidences in the literature underlining a link between OOTL performance problem and MW. We completed theoretical insights by reporting pilots’ tendency (collected with a questionnaire) to encounter more problems with autopilots when experiencing more task-unrelated MW. Then, we conducted three experiments in OOTL conditions using an obstacle avoidance task. With non-expert population and sessions longer than 45 minutes, we observed a significant increase of MW in OOTL situations compared to manual conditions, independently of system reliability. MW episodes were also accompanied by a perceptual decoupling from the task induced by task-unrelated MW. This decoupling was visible on reports of mental demand as well as oculometric (pupil size, blinks) and encephalographic (N1 component, alpha activity) signals.Overall, our results demonstrate the possibility to use physiological markers of MW in complex OOTL environments. We discuss new perspectives towards the use of MW markers to characterize the OOTL performance problem. Instead of blindly stopping MW episodes, which could have benefits for operators, future research should focus on designing systems able to cope with MW and identify information needed to facilitate the reentry in the control loop when needed.Des niveaux d'automatisation élevés sont intégrés dans les environnements critiques pour satisfaire la demande croissante de systèmes plus sûrs. Cette philosophie déplace les opérateurs vers un rôle de supervision et créent de nouveaux problèmes appelés problèmes de performance liés à la sortie de boucle (SDB). L'émergence de pensées sans lien avec ici et maintenant, ou divagation attentionnelle (DA), pourrait affecter les opérateurs dans des situations de SDB par le biais du découplage perceptuel induit.Cette thèse a étudié la dynamique de la DA dans les situations de SDB et son influence sur les opérateurs. Nous avons en premier lieu examiné les preuves dans la littérature pointant vers un lien entre le problème de performance lié à la SDB et la DA. Nous avons complété cette analyse théorique en rapportant la tendance des pilotes (collectée avec un questionnaire) à rencontrer plus de problèmes avec leur pilote automatique pour ceux ayant une plus grande propension au MW non lié à la tâche. Nous avons ensuite mené trois expériences dans des conditions de SDB. Nous avons observé une augmentation significative des épisodes de DA dans les situations de SDB quelle que soit la fiabilité du système, par rapport aux conditions manuelles. Les épisodes de DA étaient également accompagnés d'un découplage perceptuel vis-à-vis de la tâche créé par la DA non lié à la tâche. Ce découplage était visible sur des rapports de demande mentale ainsi que les signaux oculométriques et encéphalographiques.Dans l'ensemble, nos résultats démontrent la possibilité d'utiliser des marqueurs physiologiques de la DA dans des environnements de SDB complexes. Nous discutons de nouvelles perspectives d'utilisation des marqueurs de la DA pour caractériser les problèmes de performance liés à la SDB. Sans vouloir arrêter aveuglément l'émergence de la DA, qui pourrait être bénéfique pour les opérateurs, les recherches futures devraient se concentrer sur la conception de systèmes capables de gérer la DA et d’identifier les informations nécessaires pour faciliter la rentrée de l’opérateur dans la boucle de contrôle

Dynamique de la divagation attentionnelle dans des environnements automatises et son influence sur les situations de sortie de boucle

Higher levels of automation are progressively integrated in critical environments to satisfy the increasing demand for safer systems. Such philosophy moves operators to a supervisory role, also called out-of-the-loop (OOTL) situations. Unfortunately, OOTL situations also create a new kind of human-machine interaction issues, called OOTL performance problem. The dramatic consequences of OOTL performance problem stress the need to identify which mechanisms could influence their appearance. The emergence of thoughts unrelated to the here and now, labeled mind wandering (MW), could affect operators in OOTL situations through the perceptual decoupling induced. This thesis investigates MW dynamic in OOTL situations and its influence on operators. We firstly reviewed the evidences in the literature underlining a link between OOTL performance problem and MW. We completed theoretical insights by reporting pilots' tendency (collected with a questionnaire) to encounter more problems with autopilots when experiencing more task-unrelated MW. Then, we conducted three experiments in OOTL conditions using an obstacle avoidance task. With non-expert population and sessions longer than 45 minutes, we observed a significant increase of MW in OOTL situations compared to manual conditions, independently of system reliability. MW episodes were also accompanied by a perceptual decoupling from the task induced by task-unrelated MW. This decoupling was visible on reports of mental demand as well as oculometric (pupil size, blinks) and encephalographic (N1 component, alpha activity) signals. Overall, our results demonstrate the possibility to use physiological markers of MW in complex OOTL environments. We discuss new perspectives towards the use of MW markers to characterize the OOTL performance problem. Instead of blindly stopping MW episodes, which could have benefits for operators, future research should focus on designing systems able to cope with MW and identify information needed to facilitate the reentry in the control loop when needed.Des niveaux d'automatisation élevés sont intégrés dans les environnements critiques pour satisfaire la demande croissante de systèmes plus sûrs. Cette philosophie déplace les opérateurs vers un rôle de supervision et crée de nouveaux problèmes appelés problèmes de performance liés à la sortie de boucle (SDB). L'émergence de pensées sans lien avec ici et maintenant, ou divagation attentionnelle (DA), pourrait affecter les opérateurs dans des situations de SDB par le biais du découplage perceptuel induit. Cette thèse a étudié la dynamique de la DA dans les situations de SDB et son influence sur les opérateurs. Nous avons en premier lieu examiné les preuves dans la littérature pointant vers un lien entre le problème de performance lié à la SDB et la DA. Nous avons complété cette analyse théorique en rapportant la tendance des pilotes (collectée avec un questionnaire) à rencontrer plus de problèmes avec leur pilote automatique pour ceux ayant une plus grande propension au MW non lié à la tâche. Nous avons ensuite mené trois expériences dans des conditions de SDB. Nous avons observé une augmentation significative des épisodes de DA dans les situations de SDB quelle que soit la fiabilité du système, par rapport aux conditions manuelles. Les épisodes de DA étaient également accompagnés d'un découplage perceptuel vis-à-vis de la tâche créé par la DA non lié à la tâche. Ce découplage était visible sur des rapports de demande mentale ainsi que les signaux oculométriques et encéphalographiques. Dans l'ensemble, nos résultats démontrent la possibilité d'utiliser des marqueurs physiologiques de la DA dans des environnements de SDB complexes. Nous discutons de nouvelles perspectives d'utilisation des marqueurs de la DA pour caractériser les problèmes de performance liés à la SDB. Sans vouloir arrêter aveuglément l'émergence de la DA, qui pourrait être bénéfique pour les opérateurs, les recherches futures devraient se concentrer sur la conception de systèmes capables de gérer la DA et d'identifier les informations nécessaires pour faciliter la rentrée de l'opérateur dans la boucle de contrôle

Link Between Out-of-the-Loop Performance Problem and Mind Wandering

International audienc

Mind Wandering Influences EEG Signal in Complex Multimodal Environments

International audienceThe phenomenon of mind wandering (MW), as a family of experiences related to internally directed cognition, heavily influences vigilance evolution. In particular, humans in teleoperations monitoring partially automated fleet before assuming manual control whenever necessary may see their attention drift due to internal sources; as such, it could play an important role in the emergence of out-of-the-loop (OOTL) situations and associated performance problems. To follow, quantify, and mitigate this phenomenon, electroencephalogram (EEG) systems already demonstrated robust results. As MW creates an attentional decoupling, both ERPs and brain oscillations are impacted. However, the factors influencing these markers in complex environments are still not fully understood. In this paper, we specifically addressed the possibility of gradual emergence of attentional decoupling and the differences created by the sensory modality used to convey targets. Eighteen participants were asked to (1) supervise an automated drone performing an obstacle avoidance task (visual task) and (2) respond to infrequent beeps as fast as possible (auditory task). We measured event-related potentials and alpha waves through EEG. We also added a 40-Hz amplitude modulated brown noise to evoke steady-state auditory response (ASSR). Reported MW episodes were categorized between task-related and task-unrelated episodes. We found that N1 ERP component elicited by beeps had lower amplitude during task-unrelated MW, whereas P3 component had higher amplitude during task-related MW, compared with other attentional states. Focusing on parieto-occipital regions, alpha-wave activity was higher during task-unrelated MW compared with others. These results support the decoupling hypothesis for task-unrelated MW but not task-related MW, highlighting possible variations in the “depth” of decoupling depending on MW episodes. Finally, we found no influence of attentional states on ASSR amplitude. We discuss possible reasons explaining why. Results underline both the ability of EEG to track and study MW in laboratory tasks mimicking ecological environments, as well as the complex influence of perceptual decoupling on operators' behavior and, in particular, EEG measures

Hors de la boucle, dans votre bulle: la divagation attentionnelle est indépendante de la fiabilité de l'automatisation, mais influence l'engagement dans la tâche

International audienceThis study examined the influence of automation reliability on task-unrelated mind wandering (MW) frequency and the impact of MW on task engagement. Automated environment features make it particularly prone to increase MW frequency. Through mechanisms like complacency or agency, automating a task could increase MW frequency for the operator. For safety-critical industries, the lower perception and degraded stimuli processing associated with MW, summarized by the term “decoupling hypothesis,” are particularly concerning. Sixteen participants supervised an autopilot avoiding obstacles with two levels of reliability. Each condition lasted 45 min. We recorded thoughts as either pertaining to being focused, task-related MW or task-unrelated MW. We also recorded perceived mental demand, trust regarding the autopilot and oculometric measures. Based on questionnaire results, our protocol succeeded in inducing more mental demand and lower trust when the automation was unreliable. Attentional states were not correlated, nor did it influence trust in the system reliability. On the contrary, mental demand ratings and pupil diameter were lower during both task-related and task-unrelated MW, compared to those during the focus attentional state. This shows that perceptual decoupling also affects the engagement of operators in automated environments, which may dramatically lower their ability to supervise automation efficiently. This research informs human-automation designers to consider operator engagement when creating automated systems.Cette étude a examiné l'influence de la fiabilité de l'automatisation sur la fréquence de la divagation attentionnelle sans rapport avec la tâche et l'impact de la divagation sur l'engagement dans la tâche. Les fonctions d’environnement automatisé la rendent particulièrement enclin à augmenter la fréquence de déplacement de l’esprit. Grâce à des mécanismes tels que la complaisance ou l’agentivité, l’automatisation d’une tâche peut augmenter la fréquence de la divagation attentionnelle chez l’opérateur. Pour les domaines industriels où la sécurité est critique, la perception diminuée et le traitement dégradé de stimuli associés à la divagation attentionnelle, résumé par l'expression «hypothèse de découplage», sont particulièrement préoccupants. 16 participants ont supervisé un pilote automatique en évitant les obstacles avec deux niveaux de fiabilité. Chaque condition a duré 45 minutes. Nous avons enregistré des pensées comme étant liées à la concentration, à la divagation attentionnelle liée à une tâche ou à la divagation attentionnelle sans relation avec la tâche. Nous avons également enregistré la demande mentale perçue, la confiance concernant le pilote automatique et les mesures oculométriques. Sur la base des résultats du questionnaire, notre protocole a réussi à induire une demande mentale accrue et une confiance plus faible lorsque l’automatisation n’était pas fiable. Les états attentionnels n’étaient pas corrélés et n’influaient pas non plus sur la fiabilité du système. Au contraire, les évaluations de la demande mentale et le diamètre de la pupille étaient plus faibles lors de l'errance mentale à la fois liée à la tâche et non liée à la tâche, par rapport à l'état d'attention focale. Cela montre que le découplage perceptuel affecte également l'engagement des opérateurs dans les environnements automatisés, ce qui peut réduire considérablement leur capacité à superviser efficacement l'automatisation. Cette recherche informe les concepteurs d'automatisation de prendre en compte l'engagement de l'opérateur lors de la création de systèmes automatisés

When Older Adults Outperform Young Adults: Effects of Prior-Task Success in Arithmetic

International audienceBackground: Older adults improve their cognitive performance on a target task after succeeding in a prior task. We tested whether effects of prior-task success occur via changing older adults’ ability to select the better strategy and/or to execute strategies efficiently. Methods: Young and older participants (n = 162) accomplished a computational estimation task (i.e., providing the best estimates to arithmetic problems) after accomplishing a dot comparison task. Results: Both groups increased their performance on computational estimation following success on dot comparison. Older adults improved most and outperformed young adults following prior-task success. Prior-task success led older adults to select the better strategy more often and to repeat (or not) the same strategy more often when it was appropriate. Better strategy use mediated effects of prior-task success. Individual differences in baseline performance moderated individuals’ sensitivity to effects of prior-task success. Conclusion: Our findings further our understanding of mechanisms underlying effects of prior-task success and provide new perspectives on how social environment modulates age-related differences in cognitive performance

Influence de l'automatisation sur la fréquence de la divagation attentionnelle lors d'une tâche d'attention soutenue

International audienceThere is accumulating evidence which shows that mind wandering may be increased within automated environments. This is particularly concerning when considering the negative effect of mind wandering on short-term performance. Seventeen participants performed an obstacle avoidance task under two conditions, manual and automated, each lasting 40 min. Subjects perceived the manual condition as more demanding than the automated one. We noted a significant increase of mind wandering frequency after only approximately 20 min under the automated condition. While learning and workload alone cannot explain these results, more automation-related phenomena, such as complacency or loss of agency, could play a role. Pupil diameter decreased during mind wandering compared to focus periods, revealing a decoupling from the task. The decrease remained stable in amplitude across different times and conditions. Research on mind wandering could be used to characterize an operator’s state of mind regarding issues related to system interactions.Les preuves accumulées montrent que la déambulation pourrait être accrue dans les environnements automatisés. Cela est particulièrement inquiétant compte tenu de l’effet négatif de la divagation attentionnelle sur les performances à court terme. 17 participants ont effectué une tâche d'évitement d'obstacles dans une condition manuelle et une automatisée en 2 sessions de 45 minutes chacune. Les sujets ont perçu la condition manuelle comme plus exigeante que celle automatisée. Nous avons mis en évidence une augmentation significative de la fréquence de la divagation attentionnelle après un certain temps seulement dans la condition automatisée. Bien que l'apprentissage et la charge de travail seuls ne puissent expliquer ces résultats, davantage de phénomènes liés à l'automatisation, tels que la complaisance ou la perte d'agentivité, pourraient jouer un rôle. Le diamètre de la pupille diminuait pendant la divagation attentionnelle par rapport aux périodes de concentration sur la tâche, soulignant un découplage de la tâche. La chute est restée stable en amplitude à travers le temps et les conditions. Ces recherches sur la divagation attentionnelle peuvent être utilisées pour caractériser et quantifier l'état d'esprit d'un opérateur en ce qui concerne les interactions entre opérateurs et automatisation

A Preliminary Study on the Influence of Automation over Mind Wandering Frequency in Sustained Attention

International audienc