Quantifying Uncertainty in Systems - Two Practical Use Cases Using Machine Learning to Predict and Explain Systems Failures

RÉSUMÉ : Afin d’accomplir et automatiser des tâches complexes, différents modèles et composantes peuvent être organisés sous forme d’un système. Par exemple, les chaînes d’approvisionnement sont des systèmes qui permettent de transformer et transporter des matières premières en produits finis. Ces systèmes sont primordiaux lorsque la complexité d’un processus est telle qu’elle ne pourrait être gérée manuellement par un seul humain. Cependant, différentes sources d’incertitude peuvent affecter le comportement d’un système et son résultat. Cela peut mener à ce que l’on désigne comme une défaillance du système, c’est-à-dire lorsqu’un système ne produit pas un résultat désiré. Ce mémoire présente et compare deux projets où l’on utilise l’apprentissage machine afin de prédire les défaillances dans les systèmes, en modélisant ces sources d’incertitude avec une approche holistique. Dans le premier projet, pour lequel nous avons soumis un papier au INFORMS Journal on Applied Analytics, nous cherchons à prédire les défaillances dans les chaines d’approvisionnement. Nous avons développé notre approche à JDA, un fournisseur de logiciels en chaînes d’approvisionnement, et en coopération avec Michelin, un manufacturier international de pneus. Dans le cadre du projet, nous avons défini une défaillance du système comme étant une baisse du niveau de service en dessous d’un seuil désiré. Nous avons modélisé les différents risques présents dans la chaîne d’approvisionnement en fonction de leur habilité à prédire les défaillances quelques semaines à l’avance. Nous démontrons que notre modèle d’apprentissage automatique donne de bons résultats sur un large éventail de produits. Nous soulignons également l’importance de considérer dans l’approche la façon dont les utilisateurs interagissent avec les prédictions. Pour cela, nous avons développé un outil interactif afin que les utilisateurs puissent naviguer à travers les prédictions et obtenir le contexte nécessaire afin de comprendre la source de la défaillance. Cet outil a permis de convertir les prédictions en actions concrètes afin de prévenir et éliminer les défaillances avant qu’elles ne se produisent. Dans nos résultats, nous présentons également comment l’outil a permis d’identifier des causes récurrentes de défaillances dans leur chaîne d’approvisionnement. Dans le cadre du second projet, nous présentons nos résultats préliminaires effectués à Element AI, un fournisseur de logiciels en intelligence artificielle. Le projet consiste à quantifier la confiance associée à chaque prédiction générée par un système d’intelligence artificielle. Le système en question est composé d’une séquence de modèles, incluant deux algorithmes d’apprentissage profond et quelques heuristiques. L’objectif du système est d’extraire automatiquement de l’information contenue sur un document. Dans une approche similaire au premier projet, nous avons identifié les sources principales d’incertitude dans le système, telle de l’incertitude aléatorique et épistémique, pour ensuite les modéliser avec une approche d’apprentissage machine afin de déterminer la confiance du système dans chacune de ses prédictions. L’approche est de ce fait inverse à notre premier projet, puisque nous quantifions la possibilité que le système ne soit pas en état de défaillance. En pratique, cela revient à la même tâche. Nos résultats préliminaires suggèrent que notre approche est prometteuse. Pour nos deux approches, nous prédisons les défaillances d’un système dans le même but, celui d’identifier les situations incertaines où un humain-dans-la-boucle (human-in-the-loop)peut intervenir afin de rectifier le résultat du système et ainsi éviter la défaillance. Cela permet de mettre à profit la créativité et la connaissance de l’humain pour les situations plus délicates, et ainsi augmenter la performance du système. Dans le contexte des chaînes d’approvisionnement, cela peut vouloir dire d’ignorer les paramètres du plan afin de déplacer des items au bon endroit ou encore augmenter manuellement la production. Dans un système d’intelligence artificielle, l’humain peut directement changer la prédiction du système en regardant par lui-même les données, dans notre cas lire le document et extraire lui même l’information. Nous soulignons aussi comment notre approche est générique et peut s’adapter à divers types de systèmes, avec différentes granularités et sources d’incertitude. Nous discutons également comment le modèle utilisé se doit d’être explicable, afin que les utilisateurs puissent identifier et potentiellement éliminer les causes récurrentes de défaillances. Pour terminer, notre approche permet aussi d’augmenter la confiance de l’utilisateur dans le système utilisé ainsi que l’automatisation qu’il permet.----------ABSTRACT : Systems are widely used to execute complex tasks, such as supply chain systems, which transform and transport raw materials into finished goods. We often rely on systems to automate, at least partially, a process that would be unmanageable or not-efficient for humans to tackle manually. However, different sources of uncertainty can affect systems’ outcomes and behavior, and eventually lead to system failure. The definition of failure is dependent on the context, and it represents an outcome of the system that we want to avoid. This thesis presents and compares two different tracks of work where we explored how to predict system failures, using machine learning, by modeling its sources of uncertainty holistically. In the first project, for which we submitted a paper to the INFORMS Journal on Applied Analytics, we predict failures in a supply chain system. We developed our approach at JDA, a supply chain software provider, in co-operation with Michelin, an international tires manufacturer. In our approach, we modeled risks with features from different segments of the supply chain that could be good indicators of a future failure. We defined failure as a drop in the service level below the desired target. We showcase that our machine learning model works well on a large variety of products. Most importantly, we highlight the importance of considering in the approach how users interact with the models’ predictions. We designed and built an interactive tool for users so they could navigate through the predictions, get the necessary context, and receive an explanation as to the cause of the failure. The tool allowed for predictions to become actionable, so users could act and avoid system failures. We also present in our results how planners identified recurrent issues in their supply chains. In the second use case, we present early experiments that we have done at Element AI, an artificial intelligence software provider, on quantifying the confidence of an AI system in its prediction. The system is composed of a sequence of models, including deep learning algorithms, and aims at extracting text from documents. In a similar idea to the first project, we modeled the primary sources of uncertainty of the system, such as aleatoric and epistemic uncertainty, and used a machine learning model to measure confidence estimates in each AI system’s predictions. Our early results on a given dataset suggest that our method is promising. In both approaches, we predict system failure for a similar purpose: identifying uncertain situations where a human-in-the-loop can rectify the system’s outcome to avoid failure. Indeed, by leveraging a human’s creativity and knowledge in complex cases, we can boost the system’s performance. In supply chains, this could mean overriding the system’s parameters to change the location of some stock or increase the production. In the AI system use case, this could mean to change the predicted text to its correct value manually. We also highlight how our approach to system failure prediction is generic and flexible to various types of systems, with different granularity, failure definition, and uncertainty sources. We further underscore how the model needs to be explainable so that users can identify and potentially eliminate recurrent causes of system failure. Lastly, failures prediction also help to build general trust in the system and the automation it is providing

La gestion des médicaments dans les simulations en établissement de santé

Objectif : Développer une politique et des procédures pour la gestion des médicaments réels et factices utilisés dans les simulations et la formation du personnel au Centre hospitalier universitaire Sainte-Justine. Description de la problématique : Plusieurs simulations et formations ont lieu au Centre hospitalier universitaire Sainte-Justine chaque année. Les gestionnaires du département de pharmacie reçoivent plusieurs demandes pour des médicaments réels ou factices malgré l’existence d’une politique et des procédures sur les simulations à l’hôpital. La décision quant au type de matériel à fournir leur revient. La procédure à appliquer doit être uniformisée pour permettre un accès équitable entre les divers secteurs, mais également pour assurer la sécurité du personnel et des patients. Résolution de la problématique : Nous avons d’abord effectué une revue de littérature pour comprendre les enjeux liés à la gestion des médicaments réels ou factices lors d’une simulation. Ensuite, nous avons fait des entrevues avec des pharmaciens participant aux simulations dans les centres hospitaliers universitaires, des gestionnaires des centres d’enseignement et des représentants des ordres professionnels pour dresser un portrait de la situation au Québec. Enfin, nous avons rédigé une politique ainsi qu’un algorithme décisionnel résumé. Conclusion : L’utilisation de médicaments dans les simulations est bénéfique, mais comporte des risques. Le choix de représentation médicamenteuse doit donc être évalué pour chaque simulation et tenir compte du but de l’exercice, des risques associés à chaque type de représentation médicamenteuse et de l’endroit où se déroule la simulation. Abstract Objective: To develop policies and procedures for managing real and mock medication used in simulation-based trainings at the Centre hospitalier universitaire Sainte-Justine and to create a decision-tree algorithm for the type of medication to supply. Problem description: Many simulation-based training sessions take place at the Centre hospitalier universitaire Sainte-Justine every year. Despite the existence of policies and procedures on simulation-based training at the hospital, members of the pharmacy department’s leadership teams receive a large number of requests for real and mock medication and therefore bear the responsibility to determine which type of supplies to provide. The procedure should be standardized to allow equitable access between departments, but also to ensure the safety of staff and patients. Problem resolution: First, we conducted a literature review to understand the issues associated with managing real and mock medication during simulation-based trainings. Furthermore, we conducted interviews with pharmacists involved in simulation-based trainings at the teaching hospitals, members of the pharmacy department’s leadership teams, and representatives from professional orders to obtain an overview of the situation in Quebec. Lastly, we drafted a policy and a summary decision-tree algorithm. Conclusion: The use of drugs in simulation-based trainings is beneficial, but it also entails certain risks. The type of medication to supply must therefore be evaluated for each simulation-based training and take into account the purpose of the training exercise, the risks associated with each type of medication, and the setting of the training

Examining the Impact of Guided Memory Retrieval on Intrusive Memories: An Online Trauma Film Paradigm Study

Thesis (Master's)--University of Washington, 2023Intrusive memories are a cardinal symptom of chronic post-traumatic mental health problems (e.g., Brewin et al., 2010). Post-event memory processing may be a key facilitator of remission of intrusive memories (Marks et al., 2018). Contextual processing has been proposed to decrease unwanted distressing memories (e.g., Besnard & Sahay, 2016). In this study (N = 87), participants viewed a distressing film, following which memory retrieval of context, gist, or film-independent information was experimentally manipulated via text-message. Both context and gist retrieval facilitated decreased intrusion distress (d = 0.17, p = .03; d = 0.17, p = .005) and vividness (d = 0.16, p = .046; d = 0.17, p = .005) over a three day follow-up relative to the control condition. This study highlights the potential adaptive role of post-event retrieval processing following trauma and is the first to investigate the role of context in memory retrieval, rather than encoding. Implications for early intervention development are discussed

Design and Experimental Assessment of a Vibration Control System Driven by Low Inertia Hydrostatic Magnetorheological Actuators for Heavy Equipment

Active suspension systems for automotive vehicles were developed in the past using hydrostatic, electric, magnetic and magnetorheological (MR) technologies to control road vibrations and vehicle dynamics and thus improve ride comfort and vehicle performance. However, no such systems were developed for heavy equipment, trucks and off-highway vehicles. For instance, agricultural tractors are still equipped with minimal suspension systems causing discomfort and health problems to drivers. The high suspension loads due to the massive weight of these vehicles are a challenge since high forces are needed to achieve efficient active suspension control. This paper presents an experimentally validated feasibility study of a hydrostatic, MR clutch-driven system of actuators. The scope of this paper is to evaluate the preliminary performance of the actuator for future vibration control. The hydraulic system allows the actuators to be remotely located from the wheels or cabin of the heavy vehicle and conveniently placed on the vehicle’s suspended frame. The design includes two MR clutches driven in an antagonistic configuration to push and pull on the end effector. Experiments on a laboratory prototype show that the low-inertia characteristics of the clutches allow a high blocked-output force bandwidth of 20 Hz with peak output forces exceeding 15 kN

Pre-pandemic sleep behavior and adolescents’ stress during Covid-19: a prospective longitudinal study

International audienceAbstract Objective To prospectively document changes in adolescents’ sleep before versus during the COVID-19 pandemic, and to examine their impact on adolescents’ perceived stress. Methods Sixty-two typically developing adolescents participated in the study before (Time 1: January 15 to March 13, 2020) and during (Time 2: May 15 to June 30, 2020) the COVID-19 pandemic in Canada. At Time 1, each participant’s sleep pattern was assessed in the home environment using actigraphy and sleep logs for seven consecutive nights. Adolescents completed a battery of questionnaires in which they reported on their sleep schedule, duration, and quality, as well as their activities at bedtime, their daytime sleepiness, and their social/emotional behavior. The participants’ parents provided demographic information. At Time 2, each participant completed a sleep log, the same battery of questionnaires regarding sleep, and the Perceived Stress Scale. Results (1) Adolescents’ reported sleep was of longer duration and on a delayed schedule during the COVID-19 pandemic compared to pre-pandemic. (2) A larger proportion of adolescents reported meeting or exceeding the recommended amount of sleep during the COVID-19 pandemic compared to pre-pandemic sleep. (3) “Social jet lag” disappeared during the COVID-19 pandemic. (4) A shorter reported sleep duration and higher level of arousal at bedtime at Time 1 were significant predictors of adolescents’ perceived stress at Time 2—during the COVID-19 pandemic. (5) A higher levels of arousal at bedtime and lower reported sleep quality at Time 2 were concurrently associated with higher levels of perceived stress among adolescents, even when we controlled for the levels of pre-pandemic emotional or behavioral issues, sleep duration, or sleep quality. Conclusion Sleep duration and cognitive-emotional arousal, which are both modifiable behaviors, were associated with adolescents’ perceived stress during the COVID-19 pandemic. These behaviors could be useful targets for preventive interventions aiming to reduce adolescents’ stress in the face of stressogenic situations, such as the COVID-19 pandemic

Evolution of the regulatory network in Buchnera aphidicola, the obligate intracellular symbiotic bacteria of aphids

National audienc