Visualization Support for Requirements Monitoring in Systems of Systems

Heutzutage sind viele Software Systeme sogenannte Systems of Systems (SoS). Alle Teilsysteme eines SoS interagieren erst während der Laufzeit, weswegen Laufzeitüberwachung erforderlich ist, um sicherzustellen dass sich das SoS gemäß seiner Anforderungen verhält. Es existieren zwar einige Lösungen zur Anforderungsüberwachung, aber nur wenige davon bieten Visualisierungen um einem End-Benutzer die Resultate der Überwachung und die Details von Anforderungsverletzungen zu präsentieren. Der erste Teil dieser Arbeit beschreibt die Erweiterung des existierenden Anforderungsüberwachungsframeworks ReMinds durch die Entwicklung von Visualisierungsmöglichkeiten motiviert durch industrielle Szenarien. Die Visualisierungen unterstützen ein ‘Drill-Down-Szenario: angefangen mit einem grafischen Statusüberblick des überwachten SoS, welches die Bestimmung von Systemen oder Komponenten mit Anforderungsverletzungen erlaubt, können Trends und Statistiken über die Monitoring-Resultate betrachtet werden. Durch das Inspizieren von Abhängigkeiten von Ereignissen und Daten, welche zu einer Verletzung geführt haben, kann die Wurzel der Ursache des Problems diagnostiziert werden. Der zweite Teil dieser Arbeit beschreibt die Durchführung einer Studie über die Zweckmäßigkeit der entwickelten Visualisierungsmöglichkeiten. Die Studie bestand aus drei Teilen: (1) ein Walkthrough des Tools unter Verwendung des Cognitive Dimension of Notations Frameworks aus dem Feld der Human-Computer Interaktion, (2) die Durchführung einer Studie mit vier Forschern gefolgt von einer Überarbeitung des Tools und (3) der Durchführung der selben Studie mit fünf Praktikern aus der Industrie. Alle Teilnehmer konnten erfolgreich ein echtes Automatisierungssystem für Stahlwerke überwachen und Probleme unter Verwendung der Visualisierungen diagnostizieren. Die Resultate haben gezeigt, dass die Visualisierungen vor allem dabei helfen, das Verhalten komplexer Systeme besser zu verstehen. Basierend auf den Studienergebnissen konnten wir schließlich Implikationen, Chancen und Risiken der Verwendung verschiedener Visualisierungen in Anforderungsüberwachungstools ableiten.Nowadays many software systems are so called systems of systems (SoS). The full behavior of SoS only emerges at runtime and these systems therefore need to be monitored during runtime to determine compliance with requirements. Although there exists many requirements monitoring solutions, only few of them provide visualizations to present monitoring results and details on requirements violations to end users. The first part of this thesis describes how we extended the existing requirements monitoring framework ReMinds (Requirements Monitoring Infrastructure for Diagnosing Systems of Systems) by developing visualization capabilities motivated by industrial scenarios. The Visualizations support a ‘drill-down scenario: starting with a graphical status overview of the monitored SoS, which allows determining violated systems or components, trends and statistics about monitoring results can be viewed and the root cause of problems may be diagnosed by inspecting the dependencies on events and event data that led to a violation. The second part of this theses describes a study of the usefulness of the developed visualization capabilities. The study consisted of three steps: (1) a walk-through of the tool using the cognitive dimensions of notations framework from the field of human-computer interaction, (2) a user study involving four researchers followed by some refinements of the tool, and (3) another study involving five industrial practitioners. All subjects succeeded in monitoring a real-world automation system for steelplants and in diagnosing violations by using the visualization capabilities. The results show that the visualizations particularly helps to understand the behavior of complex systems. Based on the study results we derive implications, opportunities, and risks of using visualization in requirements monitoring tools.submitted by Lisa Maria KritzingerUniversität Linz, Masterarbeit, 2018(VLID)286832