thesis

Toward the real time estimation of the attentional state through ocular activity analysis

Abstract

L'analyse d'incidents aéronautiques et d'expériences en laboratoire a montré que la tunnélisation attentionnelle amène les pilotes à négliger des alarmes critiques. Une piste intéressante pour répondre à ce problème s'appuie sur les systèmes adaptatifs qui pourraient assister l'opérateur en temps réel (en changeant le comportement du pilote automatique par exemple). Ce type de systèmes adaptatifs requiert l'état de l'opérateur en entrée. Pour cela, des méthodes d'inférence de l'état de l'opérateur doublées de métriques de la tunnélisation attentionnelle doivent être proposées. Le but de cette thèse de doctorat est d'apporter la preuve que la détection de la tunnélisation attentionnelle est possible en temps réel. Pour cela une méthode adaptative neuro-floue utilisant les métriques de la tunnélisation attentionnelle sera proposée, ainsi que de nouvelles métriques de la tunnélisation attentionnelle qui ne dépendent pas du contexte de l'opérateur, et qui sont calculables en temps réel. L'algorithme d'identification des états de l'oeil (ESIA) est proposé en ce sens. Les métriques attentionnelles en sont dérivées et testées dans le contexte d'une expérience robotique dont le design favorise la tunnélisation attentionnellle. Nous proposons également une nouvelle définition du ratio exploitation/exploration d'information dont la pertinence en tant que marqueur de la tunnélisation attentionnelle est démontrée statistiquement. Le travail est ensuite discuté et appliqué sur divers cas d'étude en aviation et robotique.The analysis of aerospace incidents and laboratory experiments have shown that attentional tunneling leads pilots to neglect critical alarms. One interesting avenue to deal with this issue is to consider adaptive systems that would help the operator in real time (for instance: switching the auto-pilot mode). Such adaptive systems require the operator's state as an input. Therefore, both attentional tunneling metrics and state inference techniques have to be proposed. The goal of the PhD Thesis is to provide attentional tunneling metrics that are real-time and context independent. The Eye State Identification Algorithm (ESIA) that analyses ocular activity is proposed. Metrics are then derived and tested on a robotic experiment meant for favouring attentional tunneling. We also propose a new definition of the explore/exploit ratio that was proven statistically to be a relevant attentional tunneling marker. This work is then discussed and applied to different case studies in aviation and robotics

    Similar works