Automatic driver distraction detection using deep convolutional neural networks

Recently, the number of road accidents has been increased worldwide due to the distraction of the drivers. This rapid road crush often leads to injuries, loss of properties, even deaths of the people. Therefore, it is essential to monitor and analyze the driver's behavior during the driving time to detect the distraction and mitigate the number of road accident. To detect various kinds of behavior like- using cell phone, talking to others, eating, sleeping or lack of concentration during driving; machine learning/deep learning can play significant role. However, this process may need high computational capacity to train the model by huge number of training dataset. In this paper, we made an effort to develop CNN based method to detect distracted driver and identify the cause of distractions like talking, sleeping or eating by means of face and hand localization. Four architectures namely CNN, VGG-16, ResNet50 and MobileNetV2 have been adopted for transfer learning. To verify the effectiveness, the proposed model is trained with thousands of images from a publicly available dataset containing ten different postures or conditions of a distracted driver and analyzed the results using various performance metrics. The performance results showed that the pre-trained MobileNetV2 model has the best classification efficiency. © 2022 The Author(s

Understanding driving stress in urban Bangladesh: An exploratory study, wearable development and experiment

Driving stress significantly impacts driving behavior primarily from roadside factors, where driving is more challenging in developing countries (i.e., Bangladesh) for unique cultural and infrastructural setups. We conduct an exploratory study (Qualitative n=26, and Subjective Feedback n= 80) and a correlational analysis involving professional and private car drivers in urban Bangladesh. The study reveals drivers' demography and driving stress factors on the road. These findings motivate us to identify driving stress from physiological factors by developing a low-cost wearable, Stress Wear. This can detect stress from varying Heart Rates, validated by expensive commercial wearables. Between subject experiments on drivers (total n=14 in two phases) with wearables, we also found that road factors are responsible for driving stress. Therefore, the developed system is helpful for these drivers to self-sensing their stress

Multimodal focus attention and stress detection and feedback in an augmented driver simulator

This paper presents a driver simulator, which takes into account the information about the user's state of mind (level of attention, fatigue state, stress state). The user's state of mind analysis is based on video data and biological signals. Facial movements such as eyes blinking, yawning, head rotations, etc., are detected on video data: they are used in order to evaluate the fatigue and the attention level of the driver. The user's electrocardiogram and galvanic skin response are recorded and analyzed in order to evaluate the stress level of the driver. A driver simulator software is modified so that the system is able to appropriately react to these critical situations of fatigue and stress: some audio and visual messages are sent to the driver, wheel vibrations are generated and the driver is supposed to react to the alert messages. A multi-threaded system is proposed to support multi-messages sent by the different modalities. Strategies for data fusion and fission are also provided. Some of these components are integrated within the first prototype of OpenInterface: the multimodal similar platform

Fission multimodale pour les systèmes d'interaction

Les systèmes informatiques sont nés de besoins scientifiques. Leur succès est dû à leur utilisation grand public. Ceci a motivé les chercheurs à développer des systèmes qui permettent de satisfaire les besoins de l’utilisateur et de viser la démocratisation de leur utilisation à grande échelle. L’avancement technologique actuel a créé la nécessité de produire des machines de plus en plus performantes, faciles à utiliser et permettant de répondre aux besoins des utilisateurs. Pour atteindre ces objectifs, ces machines doivent être en mesure d’interférer d’une façon harmonieuse avec l’utilisateur. Cela n’est possible que si ces systèmes sont capables de comprendre la communication humaine. Cette dernière se fait à travers plusieurs modalités naturelles telles que la parole, les gestes, le regard et les expressions faciales. En s’inspirant de la communication humaine, les systèmes multimodaux ont était développés pour combiner plusieurs modalités en fonction de la tâche, des préférences et des intentions communicationnelles. Cette thèse s’inscrit dans ce cadre. Elle a pour thème principal la fission multimodale pour les systèmes d’interactions. L’objectif principal de nos travaux de recherche est triple. En premier lieu, nous proposons une architecture qui est très utile dans un système multimodal. Cette architecture est modélisée, spécifiée formellement et raffinée par l’emploi de réseaux de Pétri colorés. Elle réalise un module de fission multimodale. En second lieu, nous avons créé une ontologie du domaine qui décrit l’environnement du système multimodal. Ce modèle contient également les différents scénarios applicables pour la réalisation de la fission. Ces scénarios sont stockés sous forme de patterns. Notre algorithme de fission repose sur l’utilisation de la technique de pattern. Nous avons défini deux patterns 1) pattern de fission : sélectionne les sous-tâches élémentaires d’une commande complexe et 2) pattern de modalité : associe à chaque sous-tâche le ou les modalités adéquates. En troisième lieu, nous avons proposé une nouvelle méthode/technique basée sur le contexte en utilisant les réseaux bayésiens pour résoudre les problèmes d’ambiguïté ou d’incertitude dans un système de fission multimodal. Ces techniques ont été validées par des études de cas et en utilisant les réseaux de Pétri colorés et l’outil de simulation CPN-Tools. Ainsi, deux applications ont été implémentées : 1) une interface pour le contrôle d’un robot. Elle peut être utilisée pour assister des handicapés ou des personnes âgées. Cette interface est implémentée pour valider l’utilisation de la technique de pattern dans le processus de fission et 2) une interface GPS pour indiquer le trajet à un conducteur de voiture. Cette interface est implémentée pour valider notre nouvelle méthode basée sur le contexte en utilisant un réseau bayésien dans le cas d’ambiguïtés ou d’incertitudes