Adaptive Automation and the Third Pilot

Currently, automation does not take into consideration the cognitive and emotional state of the crew. Rather, automation provides assistance based on explicit and static task assignments, with no adaptive capabilities, even though it is capable of providing higher or lower levels of support depending on the crew state and/or complexity of the operational situation. This chapter presents a new adaptive automation concept which offers an innovative ‘team’ centred approach to solving crew awareness/workload management problems and enhancing flight safety. Partnership underpins the ‘Third Pilot’ approach. The crew (pilot flying and pilot monitoring), automation and the ‘Third Pilot’ are in charge together. Overall, partnership is proposed. This replaces existing paradigms involving dynamic changes in control function, where changes can be autonomously controlled by the system. Moreover, a new multimodal cockpit concept is advanced providing enhanced assessment of crew state/workload

Modellbildung der mentalen Repräsentation von Plänen

In vielen Fällen müssen Bedienerinnen und Bediener komplexer dynamischer Systeme geeignete Maßnahmen planen, um zukünftige Systemzustände in gewünschter Weise beeinflussen zu können. Der menschliche Bediener kann dabei verschiedene Methoden anwenden, um mit Unsicherheiten umzugehen. Eine Übertragung dieser Methode auf technische Systeme könnte zu Assistenzsystemen führen, die besser mit Unsicherheit umgehen und besser mit dem Menschen kooperieren können. In diesem Beitrag wird für in der Literatur beschriebenen Eigenschaften mentaler Pläne eine Modellierung vorgeschlagen, die ein erster Schritt zu einem besseres Verständnis der mentalen Repräsentation von Plänen sein soll und somit auch bessere Assistenzsysteme ermöglichen soll. Insbesondere werden der Detaillierungsgrad der Pläne, der zu berücksichtigenden Planungshorizont, im Plan enthaltene Alternativen und der Zusammenhang der Elemente eines Plans, diskutiert und Modellierungsmöglichkeiten mit Hilfe der Situations-Operator-Modellbildung vorgeschlagen. Des Weitern werden die möglichen Einflüsse von Unsicherheiten und Arbeitsbelastung erörtert. Abschließend wird eine geplante Versuchskampagne zur Untersuchung der Planung vorgestellt, in der eine neu entwickelte Mikrowelt eingesetzt wird, deren Ansatz über bekannte ältere inhaltlich hinaus geht

Integration of Prediction Uncertainty into a Human Operator Planning Model Realized with Coloured Petri Nets

This contribution integrates uncertainty in human performance models based on Coloured Petri Nets to predict human performance more realistically. As decisions often have to be made under uncertainty and existing models of human cognitive performance use if-then rules, the arising questions are about the combination of uncertainty with these rules. Uncertainty is present, if the environment is not exactly known or cannot be predicted precisely. As discrete uncertainty can be well integrated into Petri Nets, but continuous uncertainty is at least of equal importance, this contribution extends Coloured Petri Nets to represent continuous uncertainty as well which was not realized before. First, a probability distribution is selected and subsequently implemented in Coloured Petri Nets. Finally, the integration into an application example is shown. An experiment demonstrated that a planning model including prediction uncertainty is able to describe the performance of human operators during interaction scenarios more realistically

Model-Based Process-Oriented Human Operator Cognitive Performance Measurement for the Evaluation of Human-Machine Systems.

In this thesis, a model-based process-oriented human operator cognitive performance measurement for Human-Machine Systems is developed. Existing measures of human operator performance concentrate on the results of interactions. They provide no information about the decisions leading to the measured performance. Instead, the developed measure allows evaluating the performance during an interaction. According to the evaluation process developed in this thesis, measured interaction sequences are completed by generated interaction sequences, which represent the best available option. By repeating this step for different situations, the reachable performance is determined at any point during interaction. Subsequently, the evaluation of decisions of human operator is based on changes of the reachable performance. By comparing the effects of the available options with the effects of the selected options, the impact of different types of errors and kind of actions on the overall performance can be identified. A human operator cognitive planning model is developed in this thesis to generate the required interaction sequences. This planning model contains a model of the controlled system realized with Coloured Petri Nets and a model of human operators’ behavior. This model is implemented as a set of rules in this thesis and deducted from the objectives and available options. To not tempt human operators to a counterproductive change of their working methods by a comparison with the optimal calculations of the model, the effect of prediction uncertainty is integrated into the model. Consequently, more realistic predictions of human behavior are possible. Finally, the developed model-based process-oriented performance measure is validated with a study. This study demonstrates that the performance measure can not only replace conventional result-oriented performance measures but gives a lot of additional information. The addition benefits of this thesis are the insights made possible by the developed measurement. For example, the available options and their consequences at different times during an interaction as well as the consequences of the human operators’ decisions can be determined. These insights support the goal-oriented improvement and development of assistance. Moreover, the developed measurement enables estimating the benefits of assistance before its implementation. Additionally, human operator can be confronted with the measured performance. On the one hand, this can be used for training purposes. On the other hand, potential Improvements of Human-Machine Systems can be identified by a discussion with human operators about the reasons and consequences of detected erroneous actions

A-PiMod - Cockpit der Zukunft

Der Einsatz von Automatisierung im Cockpit erfolgt heutzutage meist aus technischen Gründen - der Zustand der Piloten wird dabei selten berücksichtigt. Wie Unfalluntersuchungen aufgezeigt haben, tragen Probleme an dieser Mensch-Maschine-Schnittstelle zu 60 bis 80 Prozent aller Unfälle bei. Die neu entwickelte Cockpit-Architektur A-PiMod (Applying Pilot Models for Safer Aircraft) verbessert die Kooperation zwischen Mensch und Maschine, indem sie nicht nur den Flugzeugzustand und die Umgebungsbedingungen überwacht, sondern auch den Zustand der Piloten einbezieht. Basierend auf den Blickbewegungen, Gesten und Eingaben der Piloten werden Rückschlüsse auf ihre aktuellen Absichten, ihr Situationsbewusstsein sowie ihre Arbeitsbelastung gezogen, um die Piloten situationsunabhängig bestmöglich zu unterstützen. Die entwickelte Cockpit-Architektur erlaubt zudem eine dynamische Verteilung von Aufgaben zwischen der Besatzung und der Maschine. Dazu werden zuerst die in der aktuellen Situation anstehenden Aufgaben identifiziert und anschließend alle möglichen Aufgabenverteilungen und die davon abhängigen Fehlerrisiken bestimmt. Zur Erleichterung der Kooperation zwischen Mensch und Systemen wird in A-PiMod die konventionelle Interaktion im Cockpit durch die Integration von Spracherkennungssoftware und Touchscreens erweitert

Adaptive kooperative Mensch-Maschine Systeme: Berichte aus aktuellen Forschungsprojekten

In diesem Beitrag wird das Projekt A-PiMod (Aplying Pilot Models for Safer Aircraft) vorge-stellt. Das Ziel von A-PiMod ist eine kooperative und adaptive Interaktion zwischen Piloten und Automatisierung durch die Entwicklung einer neuartigen Cockpit-Architektur zu ermög-lichen. Dadurch sollen durch Unfälle offenbar gewordenen Probleme des heutigen Cockpit-Designs gelöst werden und die Sicherheit weiter erhöht werden. Die entwickelte Cockpit-Architektur besteht aus drei miteinander verknüpften Säulen: einer Online-Risikobewertung, einer multimodalen Schnittstelle und einer auf einem Pilotenmodell basierenden Aufgabenverteilung. Diese drei Säulen ermöglichen der Architektur in dreierlei Hinsicht adaptiv zu sein. Zum ersten werden permanent Daten über die Umgebung und den Zustands des Flugzeugs ausgewertet, um die bestmögliche Adaption der Mission an die aktu-elle Situation zu ermitteln. Zweitens ist die Interaktion zwischen Piloten und Automatisierung adaptiv. Das heißt, die Art und Weise, wie Informationen zwischen Crew und Automatisie-rung ausgetauscht werden können, ist variabel. Schließlich ist durch die dynamische Vertei-lung der Aufgaben die Automatisierung adaptiv. Um die Aufgabenverteilung permanent an die aktuelle Leistungsfähigkeit der Piloten anzupassen, wird diese sowohl aufbauend auf Wis-sen über die generelle Leistungsfähigkeit als auch abhängig vom aktuellen Status der Piloten bestimmt, der permanent erfasst und bewertet wird

A Human Cognitive Performance Measure Based on Available Options for Adaptive Aiding

The concept of adaptive automation stipulates dynamically changing levels of automation as solution for the conflict between the advantages different static levels of automation offer. The use of a task performance measure to invoke adaptive automation enables adapting not only to the current situation but additionally to the specific needs of different operators. This paper presents an approach to measure the task performance by comparing the observed interaction behavior with the interaction options available during the interaction sequence. This takes account of the fact that the achievable result strongly depends on the current situation and the available interaction options. The presented approach is based on a Coloured-Petri-Net (CPN) simulation environment and generates action sequences in the Petri Nets state space, which represent the consequences of alternative options. Thereby, it becomes possible to evaluate operators’ actions taking into account the available options. This paper further discusses the advantages and disadvantages of the proposed approach regarding its application for adaptive automation. On the one hand the method is sensible to the environmental conditions and is able to measure the performance at any time. On the other hand a drawback of the method is its high computational demand, so that it has been used only for retrospective analyses up to now

Command Prediction and Command Recognition Technical Details and Licencse and Support Options

This document describes the interfaces to and from the automatic speech recognition and understanding building blocks Command Prediction and Command Extraction. The interfaces rely on JSON ASCII format and on Asterix CAT 62, which is technical exchanged via the Rabbit MQ framework. It also sketches options for licensing and R&D suppor