Multimodal Analysis of Pilot’s Fatigue During a Multi-Phase Flight Mission

One troubling threat to successful flight missions is attributed to fatigue induced and errors. Therefore, discovering effective methods to assess fatigue has been a major topic discussed by professional pilots and aviation experts. Fatigue is a major human factor related issue in aviation and currently subject to increased discussion by aviation administrations and professional pilots. Therefore, effective assessment of fatigue will provide opportunities to reduce the risk of fatigue-induced errors. Currently available subjective measures that assess fatigue can be somewhat affected by external and internal factors, that might cause biased judgment. Therefore, Psychomotor Vigilance Task (PVT), which provides objective measures, can be a viable approach to measure fatigue. In addition, eye movement analysis might augment the fatigue assessment, because eye movement analysis is an unobtrusive approach that does not require direct contact with the participant and can be measured for a long duration. However, it is unknown how eye movement characteristics are correlated with fatigue. In this research, a multi-modal fatigue measurement framework was developed by combining the PVT analysis with eye movement analysis. In detail, PVT measures (i.e., reaction time, lapses & false starts) and eye movement characteristics (i.e., eye fixation duration, pupil size, number of eye fixations, gaze entropy) were measured to determine pilots’ fatigue level under different flight conditions. The results show that significant correlations exist among the eye movement characteristics and the PVTs measures. The proposed multi-modal approach show promise on evaluating pilot fatigue in near real time, which in turn might enable timely recovery interventions

Mental-State Estimation, 1987

Reports on the measurement and evaluation of the physiological and mental state of operators are presented

Toward the real time estimation of the attentional state through ocular activity analysis

L'analyse d'incidents aéronautiques et d'expériences en laboratoire a montré que la tunnélisation attentionnelle amène les pilotes à négliger des alarmes critiques. Une piste intéressante pour répondre à ce problème s'appuie sur les systèmes adaptatifs qui pourraient assister l'opérateur en temps réel (en changeant le comportement du pilote automatique par exemple). Ce type de systèmes adaptatifs requiert l'état de l'opérateur en entrée. Pour cela, des méthodes d'inférence de l'état de l'opérateur doublées de métriques de la tunnélisation attentionnelle doivent être proposées. Le but de cette thèse de doctorat est d'apporter la preuve que la détection de la tunnélisation attentionnelle est possible en temps réel. Pour cela une méthode adaptative neuro-floue utilisant les métriques de la tunnélisation attentionnelle sera proposée, ainsi que de nouvelles métriques de la tunnélisation attentionnelle qui ne dépendent pas du contexte de l'opérateur, et qui sont calculables en temps réel. L'algorithme d'identification des états de l'oeil (ESIA) est proposé en ce sens. Les métriques attentionnelles en sont dérivées et testées dans le contexte d'une expérience robotique dont le design favorise la tunnélisation attentionnellle. Nous proposons également une nouvelle définition du ratio exploitation/exploration d'information dont la pertinence en tant que marqueur de la tunnélisation attentionnelle est démontrée statistiquement. Le travail est ensuite discuté et appliqué sur divers cas d'étude en aviation et robotique.The analysis of aerospace incidents and laboratory experiments have shown that attentional tunneling leads pilots to neglect critical alarms. One interesting avenue to deal with this issue is to consider adaptive systems that would help the operator in real time (for instance: switching the auto-pilot mode). Such adaptive systems require the operator's state as an input. Therefore, both attentional tunneling metrics and state inference techniques have to be proposed. The goal of the PhD Thesis is to provide attentional tunneling metrics that are real-time and context independent. The Eye State Identification Algorithm (ESIA) that analyses ocular activity is proposed. Metrics are then derived and tested on a robotic experiment meant for favouring attentional tunneling. We also propose a new definition of the explore/exploit ratio that was proven statistically to be a relevant attentional tunneling marker. This work is then discussed and applied to different case studies in aviation and robotics

Study of pupil diameter and eye movements to enhance flight safety. Etude de diamètre pupillaire et de mouvements oculaires pour la sécurité aérienne

L'analyse d'événements aériens révèle que la plupart des accidents aéronautiques ont pour origine une surveillance inadaptée de paramètres de vol induite par une vigilance réduite, le stress ou une charge de travail importante. Une solution prometteuse pour améliorer la sécurité aérienne est d'étudier le regard des pilotes. La pupille est un bon indicateur de l'état attentionnel/cognitif tandis que les mouvements oculaires révèlent des stratégies de prises d'information. La question posée dans ce manuscrit est d'évaluer l'apport de l'oculométrie pour la sécurité aérienne par les contributions suivantes : 1-2) Les deux premières études de ce doctorat ont démontré que les effets d'interaction entre la luminance et la charge cognitive sur la réaction pupillaire. La composante pupillaire impactée dépend de la nature de la charge - soutenue ou transitoire. 3) Un cadre mathématique développé fournit un moyen d'illustration de schémas visuels pour l'analyse qualitative. Ce cadre ouvre également la voie à de nouvelles méthodes pour comparer quantitativement ces schémas visuels. 4) Une technique originale d'analyse de fixations et de construction d'un ratio "exploration-exploitation" est proposée et est appliquée dans deux cas d'études en simulateur de vol. 5) Enfin, on propose un cadre théorique d'intégration de l'oculométrie dans les cockpits. Ce cadre comporte quatre étapes présentées dans, à la fois, l'ordre chronologique de l'intégration et la complexité technique de réalisation.Most aviation accidents include failures in monitoring or decision-making which are hampered by arousal, stress or high workload. One promising avenue to further enhance the flight safety is looking into the pilots' eyes. The pupil is a good indicator of cognitive/attentional states while eye movements reveal monitoring strategies. This thesis reflected upon the application of eye tracking in aviation with following contributions: 1-2) The two pupil experiments revealed that the luminance impacts the cognitive pupil reaction. Depending on the nature of the cognitive load - sustained or transient - the corresponding pupillary component would be impacted. The same amount of cognitive load under dimmer luminance condition would elicit larger tonic pupil diameter in a sustained load paradigm and larger phasic pupil response in a transient load paradigm. 3) We designed a novel mathematical framework and method that provide comprehensive illustrations of scanpaths for qualitative analysis. This framework also makes a lane for new methods of scanpaths comparison. 4) The developed technique of analysis of fixations and construction of "explore-exploit" ratio is presented and verifed on the data from two experiments in flight simulators. 5) Eventually, we proposed a framework of eye tracking integration into the cockpits. It contains four stages presented in both chronological order of its integration and technical complexity

Aerospace medicine and biology. A continuing bibliography (supplement 231)

This bibliography lists 284 reports, articles, and other documents introduced into the NASA scientific and technical information system in March 1982

Nineteenth Annual Conference on Manual Control

No abstract availabl

Proceedings of the Seventeenth Annual Conference on Manual Control

Manual control is considered, with concentration on perceptive/cognitive man-machine interaction and interface