The more the better? The impact of number of stages of likelihood alarm systems on human performance

Responses to alarms involve decisions under uncertainty. Operators do not know if an alarm is more likely to be a hit or a false alarm. Likelihood alarm systems (LAS) help reduce this uncertainty by providing information about the certainty of their output. Unlike traditional binary alarm systems, they have three or more stages: each one represents a different degree of likelihood that a critical event is really present. Consequently, the more stages, the more specific is the information provided by the alarm system to reduce uncertainty. A laboratory experiment with 48 participants was conducted to investigate the effect of specificity of information of LAS on performances and responding behaviour. Specifically, a three-stage, four-stage, and five-stage LAS were compared using a multi-task environment. Results show higher percentages of correct decisions in the alarm task when participants used the four- and five-stage LAS than the three-stage LAS but no significant differences were found between the four-and five-stage LAS. Interesting differences in response patterns were also observed. This study suggests that four stages is the best degree of specificity for optimal performance

Investigating benefits of likelihood alarm systems in presence of alarm validity information

Dieser Beitrag ist mit Zustimmung des Rechteinhabers aufgrund einer (DFG geförderten) Allianz- bzw. Nationallizenz frei zugänglich.This publication is with permission of the rights owner freely accessible due to an Alliance licence and a national licence (funded by the DFG, German Research Foundation) respectively.Providing operators additional information helping them to validate alarms has been found to be a countermeasure for problems related to the cry wolf effect (i.e., operators ignoring alarms). Adding information can be realized with likelihood alarm systems (LAS) or with access to alarm validity information (AVI). The two studies presented here examined behavior and performance consequences of the combination of LAS and AVI in multi-task settings. It was investigated to what extent concurrent task performance and alert task performance depend on characteristics of the LAS (i.e. proportion of different alert types) and cost of cross-checking AVI. Results suggest that those LAS characteristics varied here do not influence participants’ performance. Secondly, no benefit of LAS over binary alarm systems (BAS) emerged when increasing the cost of accessing AVI. Results are further discussed with regard to participants’ response patterns

Likelihood Alarmsysteme : die Auswirkung der Basisrate kritischer Ereignisse, die Kosten von Prüfoption, und die Anzahl der Stufen auf die Leistung von Operateuren

Traditional alarm systems emit two types of outputs, namely alarms and non-alarms. They are therefore called binary alarm systems (BAS). Ideally, an alarm should go off only if a critical event occurs. This is unfortunately not the case and they tend to generate a lot of false alarms. This means that an alarm goes off even if there actually is no critical event. False alarms affect operators, which start reacting slower to emitted alarms or even start ignoring them. This has been referred to as the cry-wolf effect that can result in a loss of safety and productivity. A possible solution to the cry-wolf effect is the use of Likelihood Alarm Systems (LAS). Contrary to BAS, LAS emit different types of alerts depending on the likelihood that a critical event occurs. Two main benefits of LAS over BAS had been suggested in the literature. First, LAS might better support operators to differentiate between true alarms and false alarms and therefore make their decisions more accurate. Second, LAS might allow for a better allocation of operators’ attention between the alarm task and other concurrent tasks they are responsible for. Despite these assumptions of benefits, studies investigating the benefit of LAS over BAS have provided very inconsistent results. These inconsistent results are likely to be due to the presence of moderating variables, which affect the potential benefit that LAS have over BAS. The base rate of critical events and the cost and ease of consulting to Alarm Validity Information (AVI) might be among these moderators. This PhD Dissertation aims clarify these inconsistent results. It does so by investigating two of these potential moderating variables as well as the characteristics of LAS that lead to the best possible performance. Three laboratory experiments have been conducted for this purpose that put participants in the role of operators working in control rooms of a chemical plants. Participants were concurrently responsible for three tasks and in one of these tasks, participants were assisted by an alarm system. In the first experiment the effect of LAS and BAS on participants´ behavior and performance was investigated while manipulating the base rate of critical events. In the second experiment the cost of consulting additional information was manipulated. In the third experiment the effect of the number of stages of LAS on performance was investigated. Results show that the base rate of critical events is an important moderator of operators’ behavior and performance. If the base rate is low, LAS improve performance compared to BAS, but only regarding to the number of false alarms emitted. If the base rate of critical events is high, BAS support operators better to detect critical events. Furthermore, the findings show that when participants have access to additional information, LAS do not help participants to detect more critical events than BAS, whatever the cost of consulting additional information is. The results also show that 4-stage LAS support operators´ performance in the best way and that more than four stages (e.g., 5-stage LAS) do not further improve performance. The results clearly suggest that LAS should not be implemented in high base rate environments and in settings in which additional information is available to participants. The key takeaway of this PhD Dissertation is that there is no optimal alarm system design or characteristic that can be applied across the diversity of existing task settings and environments. One useful future line of research on alarm systems is the development of adaptive alarm systems, which would constantly display the optimal characteristics to any evolving situations in order to improve the best safety and productivity.Herkömmliche Alarmanlagen geben zweierlei Diagnosen ab, und zwar entweder einen Alarm oder keinen Alarm. Deswegen werden sie binäre Alarmanlagen (BAS) genannt. Idealerweise sollte ein Alarm nur dann ausgelöst werden, wenn ein kritisches Ereignis eintritt. Leider ist dies nicht der Fall, und sie neigen dazu, viele falsche Alarme abzugeben. Dies bedeutet, dass ein Alarm ausgelöst wird, obwohl tatsächlich kein kritisches Ereignis vorliegt. Falsche Alarme beeinflussen Nutzer, die langsam auf abgegebene Alarme reagieren oder anfangen, sie komplett zu ignorieren. Dies wird der Cry-Wolf-Effekt genannt, der zu Sicherheits- und Produktivitätsverlusten führen kann. Eine mögliche Lösung für den Cry-Wolf-Effekt ist die Verwendung von Likelihood Alarmsystemen (LAS). Im Gegensatz zu BAS geben LAS verschiedene Alarmmeldungen ab, abhängig davon, wie wahrscheinlich das Eintreten eines kritischen Ereignisses ist. In der Literatur werden zwei Hauptvorteile von LAS gegenüber BAS genannt. Erstens könnten LAS es Nutzern ermöglichen, besser zwischen richtigen und falschen Alarmen zu differenzieren und somit ihre Entscheidungen präziser machen. Zweitens könnten LAS eine besser Aufteilung der Aufmerksamkeit der Nutzer zwischen der Alarm-Aufgabe und anderen Aufgaben, für die sie verantwortlich sind, ermöglichen. Trotz dieser angenommen Vorteile, haben Studien, die den Nutzen von LAS gegenüber BAS untersuchen, sehr inkonsistente Ergebnisse geliefert. Diese inkonsistenten Ergebnisse sind vermutlich das Resultat von abmildernden Variablen, die den potenziellen Nutzen der LAS gegenüber BAS beeinflussen. Die Basisrate kritischer Ereignisse und der Aufwand und die Schwierigkeit, die Prüfoption (AVI) abzufragen, könnten solche abmindernden Variablen sein. Diese Dissertation hat es sich zum Ziel gesetzt, diese inkonsistenten Ergebnisse abzuklären. Dies geschieht durch die Untersuchung zweier dieser potentiellen abmildernden Variablen sowie den Eigenschaften des LAS, die zur bestmöglichen Leistung führen. Zu diesem Zweck wurden drei Laboruntersuchungen durchgeführt, in denen Teilnehmer die Rollen von Leitwartenmitarbeitern in der Prozessindustrie annahmen. Die Teilnehmer waren gleichzeitig für drei Aufgaben zuständig. In einer dieser Aufgaben wurden die Teilnehmer durch ein Alarmsystem unterstützt. Im ersten Experiment wurde die Wirkung von LAS und BAS auf das Verhalten und die Leistung der Teilnehmer untersucht, während die Basisrate der kritischen Ereignisse manipuliert wurde. Im zweiten Experiment wurde der Aufwand für das Konsultieren von zusätzlicher Information manipuliert. Im dritten Experiment wurde die Auswirkung der Anzahl von LAS-Stufen auf die Leistung untersucht. Die Ergebnisse zeigen, dass die Basisrate der kritischen Ereignisse ein wichtiger Moderator des Verhaltens und der Leistung der Nutzer ist. Wenn die Basisrate niedrig ist, verbessern LAS die Leistung im Vergleich zu BAS, aber nur in Bezug auf die Anzahl der abgegebenen falschen Alarme. Wenn die Basisrate von kritischen Ereignissen hoch ist, werden Nutzer von BAS besser beim Erkennen von kritischen Ereignissen unterstützt. Darüber hinaus zeigen die Ergebnisse, dass, wenn Teilnehmer Zugriff auf zusätzliche Informationen haben, LAS ihnen nicht dabei hilft, mehr kritische Ereignisse zu bemerken als BAS, egal wie hoch der Aufwand für die Befragung zusätzlicher Informationen ist. Die Ergebnisse zeigen auch, dass 4-Stufen LAS die Leistung der Nutzer optimal verbessern und dass mehr als vier Stufen (z.B. 5-Stufen LAS) die Leistung nicht weiter verbessern. Die Ergebnisse weisen deutlich darauf hin, dass LAS nicht in Umgebungen mit hoher Basisrate oder in Situationen eingesetzt werden sollten, in denen den Teilnehmern zusätzliche Informationen zur Verfügung stehen. Die Hauptschlussfolgerung dieser Dissertation ist, dass es kein optimales Alarmsystem oder Eigenschaft gibt, die gleichermaßen für die Vielfalt der bestehenden Aufgabeneinstellungen und Umgebungen angewendet werden kann. Ein nützlicher künftiger Forschungsansatz zu Alarmsystemen ist die Entwicklung von adaptiven Alarmanlagen, die fortwährend die optimalen Eigenschaften zu allen sich entwickelnden Situationen anzeigen würden, um Sicherheit und Produktivität optimal zu verbessern