Contribution de l'analyse du signal vocal à la détection de l'état de somnolence et du niveau de charge mentale

Abstract

Operational requirements of aircraft pilots may cause drowsiness and inadequate mental load levels (i.e., too low or too high) during flights. Sleep debts and circadian disruptions linked to various factors (e.g., long working periods, irregular work schedules, etc.) require pilots to challenge their biological limits. Moreover, pilots' mental workload exhibits strong fluctuations during flights: higher during critical phases (i.e., takeoff and landing), it becomes very low during cruising phases. When the mental load becomes too high or, conversely, too low, performance decreases and flight errors may manifest. Implementation of detection methods of drowsiness and mental load levels in near real time is a major challenge for monitoring and controlling flight activity. The aim of this thesis is therefore to determine if the human voice can serve to detect on one hand the drowsiness and on the other hand the mental load level of an individual. In a first study, the voice of participants was recorded during a reading task before and after a night of total sleep deprivation (TSD). Drowsiness variations linked to TSD were assessed using self-evaluative and electrophysiological measures (ElectroEncephaloGraphy [EEG] and Evoked Potentials [EPs]). Results showed significant variations after the TSD in many acoustic features related to: (a) the amplitude of the glottal pulses (amplitude modulation frequency), (b) the shape of the acoustic wave (Euclidean length of the signal and its associated features) and (3) the spectrum of the vowel signal (harmonic-to-noise ratio, second formant frequency, skewness, spectral center of gravity, energy differences, spectral tilt and Mel-frequency cepstral coefficients). Most spectral features showed different sensitivity to sleep deprivation depending on the vowel type. Significant correlations were found between several acoustic features and several objective indicators (EEG and PEs) of drowsiness. In a second study, voices were recorded during a task featuring word-list recall. The difficulty of the task was manipulated by varying the number of words in each list (i.e., between one and seven, corresponding to seven mental load conditions). Evoked pupillary response - known to be a useful proxy of mental load - was recorded simultaneously with speech to attest variations in mental load level during the experimental task. Results showed that classical features (fundamental frequency and its standard deviation, shimmer, number of periods and harmonic-to-noise ratio) and original features (amplitude modulation frequency and short-term variation in digital amplitude length) were particularly sensitive to variations in mental load. Variations in these acoustic features were correlated to those of the pupil size. Results suggest that the acoustic features of the human voice identified during these experiments could represent relevant indicators for the detection of drowsiness and mental load levels of an individual. Findings open up many research and applications perspectives in the field of transport safety, particularly in the aeronautical sector.Les exigences opérationnelles du métier de pilote sont susceptibles d'engendrer de la somnolence et des niveaux de charge mentale inadéquats (i.e., trop faible ou trop élevé) au cours des vols. Les dettes de sommeil et les perturbations circadiennes liées à divers facteurs (e.g., longues périodes de services, horaires de travail irrégulier, etc.) demandent aux pilotes de repousser sans cesse leurs limites biologiques. Par ailleurs, la charge de travail mental des pilotes présente de fortes variations au cours d'un vol : élevée au cours des phases critiques (i.e., décollage et atterrissage), elle devient très réduite pendant les phases de croisière. Lorsque la charge mentale devient trop élevée ou, à l'inverse, trop faible, les performances se dégradent et des erreurs de pilotage peuvent apparaître. La mise en oeuvre de méthodes de détection de l'état de somnolence et du niveau de charge mentale en temps quasi réel est un défi majeur pour le suivi et le contrôle de l'activité de pilotage. L'objectif de la thèse est de déterminer si la voix humaine peut permettre de détecter d'une part, l'état de somnolence et d'autre part, le niveau de charge mentale d'un individu. Dans une première étude, la voix de participants a été enregistrée lors d'une tâche de lecture avant et après une nuit de privation totale de sommeil (PTS). Les variations de l'état de somnolence consécutives à la PTS ont été évaluées au moyen de mesures auto-évaluatives et électrophysiologiques (ÉlectroEncéphaloGraphie [EEG] et Potentiels Évoqués [PEs]). Les résultats ont montré une variation significative après la PTS de plusieurs paramètres acoustiques liés : (a) à l'amplitude des impulsions glottiques (fréquence de modulation d'amplitude), (b) à la forme du signal acoustique (longueur euclidienne du signal et ses caractéristiques associées) et (c) au spectre du signal des voyelles (rapport harmonique sur bruit, fréquence du second formant, coefficient d'asymétrie, centre de gravité spectral, différences d'énergie, pente spectrale et coefficients cepstraux à échelle Mel). La plupart des caractéristiques spectrales ont montré une sensibilité différente à la privation de sommeil en fonction du type de voyelles. Des corrélations significatives ont été mises en évidence entre plusieurs paramètres acoustiques et plusieurs indicateurs objectifs (EEG et PEs) de l'état de somnolence. Dans une seconde étude, le signal vocal a été enregistré durant une tâche de rappel de listes de mots. La difficulté de la tâche était manipulée en faisant varier le nombre de mots dans chaque liste (i.e., entre un et sept, correspondant à sept conditions de charge mentale). Le diamètre pupillaire - qui est un indicateur objectif pertinent du niveau de charge mentale - a été mesuré simultanément avec l'enregistrement de la voix afin d'attester de la variation du niveau de charge mentale durant la tâche expérimentale. Les résultats ont montré que des paramètres acoustiques classiques (fréquence fondamentale et son écart type, shimmer, nombre de périodes et rapport harmonique sur bruit) et originaux (fréquence de modulation d'amplitude et variations à court-terme de la longueur euclidienne du signal) ont été particulièrement sensibles aux variations de la charge mentale. Les variations de ces paramètres acoustiques étaient corrélées à celles du diamètre pupillaire. L'ensemble des résultats suggère que les paramètres acoustiques de la voix humaine identifiés lors des expérimentations pourraient représenter des indicateurs pertinents pour la détection de l'état de somnolence et du niveau de charge mentale d'un individu. Les résultats ouvrent de nombreuses perspectives de recherche et d'applications dans le domaine de la sécurité des transports, notamment dans le secteur aéronautique