Improving the quality of team task analysis: experimental validation of guidelines

Traditionally, task analysis is conducted at the level of individual task performers. Instructional designers for team training find it hard to conduct task analyses at the level of a team. It is difficult to capture the interactivity and interdependency between the various team members, and to formulate team instructional objectives. Therefore, guidelines supporting the analysis of team tasks were developed and tested. For the first experiment, two versions of guidelines were developed: an experimental version with an explicit focus on team aspects, and a control version in which this specific focus was absent. The results on the post-test show that the experimental guidelines lead to a significantly better quality of the analysis process. The purpose of the second experiment was to investigate the effect of a more elaborate introduction (an interactive workshop) of the experimental guidelines. The results on the post-test show that only on topics that were dealt with during the workshop, the quality of the analysis process improved. An overall improvement could not be achieved

Instructional design for team training : development and validation of guidelines

Slechts recent zijn organisaties begonnen met het trainen van teams. Het is echter niet altijd duidelijk welke, en hoe, onderwijskundige principes worden toegepast bij de training van teams. Het lijkt er op dat deze zijn afgeleid uit individuele functie-opleidingen, en dat er nauwelijks rekening wordt gehouden met de karakteristieke eigenschappen van teams, het leren door teams en het evalueren en verbeteren van teamprocessen. Als gevolg hiervan ligt bij het ontwikkelen van teamtrainingen voornamelijk de nadruk op technische en minder op onderwijskundige en leerpsychologische zaken. Het proces van het ontwerpen en ontwikkelen van teamtraining zou effectiever en efficidnter kunnen verlopen als hiervoor een meer formele en systematische methode beschikbaar is. Literatuur- en veldstudies lieten zien dat er ruimte lijkt te zijn voor verbetering van de analyse en de ontwikkeling van teamtrainingen als fasen voorafgaand aan de daadwerkelijke uitvoering ervan. Dit kan bereikt worden door het geven van ondersteuning aan het personeel verantwoordelijk voor de opleidingsontwikkeling. Het onderzoek beschreven in dit proefschrift is gericht op (a) de wijze waarop opleidingsontwikkelaars ondersteund kunnen worden bij het analyseren van teamtaken en het ontwikkelen van teamtraining scenario's, (b) het valideren van deze ondersteuning, en (c) hoe de resultaten kunnen bijdragen aan een opleidingsontwikkelingsmodel voor teamtraining. Instructional Design (ID) is gericht op het analyseren van taken en competenties, het formuleren van leerdoelen, het definidren van trainingsstrategiedn en het ontwerpen van leeromgevingen. Het eerste hoofdstuk geeft een beschrijving van en reflectie op ID expertise. De karakteristieken van teams, teamprestatie en teamleren worden beschreven in hoofdstuk 2, gevolgd door een discussie over ID voor teamtraining (hoofdstuk 3). De opleidingsontwikkelaars in dit onderzoek zijn beginnende militaire opleidingsontwikkelaars. Er wordt beargumenteerd waarom richtlijnen voor hen de meest geschikte vorm van ondersteuning zouden zijn. Huidige richtlijnen voor het ontwikkelen van teamtrainingen zijn beoordeeld, en de richtlijnen die zijn ontwikkeld ter ondersteuning van de analyse van teamtaken en het ontwikkelen van teamtraining scenario's worden beschreven. Duidelijk wordt gemaakt dat er een constante spanning aanwezig is tussen nieuwe en constructivistische paradigma's op leren, de karakteristieken van ID, de behoefte aan het systematisch ontwerpen van training en de beste wijze waarop opleidingsontwikkelaars ondersteund kunnen worden. De empirische studies die zijn uitgevoerd om de richtlijnen te valideren zijn beschreven in hoofdstukken 4 en 5. Tenslotte wordt er in hoofdstuk 6 afgesloten met een discussie

Supporting observers during distributed team training: the development of a mobile evaluation system

Distributed team training, often in joint settings, is becoming more and more important in the military training today. As the teams and training staff are not physically on the same location, special attention should be paid to performance measurement and feedback. The question is what should be measured in distributed training and how the training staff should be supported in doing this. This paper describes a mobile performance measurement and evaluation tool, specifically developed for distributed team training (MOPED). The MOPED tool helps the evaluator in observing team performance and in quickly generating, sending and receiving data to support his evaluation

MOPED - A mobile evaluation system to support observers during distributed team training

Distributed team training, often in joint settings, is becoming more and more important in the military training today. As the teams and training staff are not physically on the same location, special attention should be paid to performance measurement and feedback. Important questions are what should be measured during distributed team training, how this should be evaluated during the After Action Review, and in what ways the training staff should be supported in doing this. In this paper we will explore these issues and describe a tool, the Mobile tool for Performance measurement and Evaluation in Distributed training (MOPED), which we have developed specifically for distributed team training. When evaluating team performance in distributed team training it is important to not only address the performance of the local team, but also the performance of the local team in relation to the other teams in the training and vice versa. The mobile evaluation tool is a hand held device that supports the evaluator in observing team performance. The observer can send data to a central database, where the data of all observers of the distributed team are analyzed and then sent back to the local observer, who can now complete the debrief. Some other functional features of the tool are on call checklists based on targeted behaviors and a debrief organization screen that facilitates the observer's preparation of the After Action Review. A preliminary version of the tool was tested at the Royal Netherlands Navy during a small scale pilot. The results were promising and used to improve the tool. MOPED will be tested more thoroughly to identify those aspects of distributed team training that are crucial for the teams and should be addressed during the After Action Review. Special attention will be paid to the support of observers in providing this AAR

The development of MOPED - a mobile tool for performance measurement and evaluation during distributed team training

Distributed team training, often in joint settings, is becoming more and more important in military training today. Performance measurement and feedback are crucial for effective team training. To support observers during distributed team training the Mobile tool for Performance measurement and Evaluation during Distributed team training (MOPED) was developed. This handheld device can help the observer to evaluate targeted behaviors that are vital for local and distributed team performance. It also enables the observer to quickly generate an after action review (AAR). MOPED is currently being tested at the Royal Netherlands Navy. Because of the importance of the AAR for learning by teams, more research is being done on supporting observers and evaluators in providing a comprehensive and to-the-point AAR in a relatively short timeframe

A PC-Based virtual environment for training team decision-making in high-risk situations

Live team training of firefighters has several disadvantages. Firstly, it is costly because many team members and training staff are involved. Secondly, not all team members have the same competency level, and some individuals may just not be ready to train in a team context. Thirdly, live training in high-risk situations is difficult and dangerous. Consequently, critical situations can not be trained adequately. Following a scenario-based and a rapid prototyping approach, we are designing and developing a pc-based virtual training environment to train individual firefighters in making decisions in a team context operating in high-risk situations. This individual training program can better prepare the firefighters for live training, enhancing the effectiveness and efficiency of these team-training exercises. In this paper we describe the training-method, we outline how this is technologically implemented and discuss how we are planning to test the prototype

Training van crisismanagement-teams [Training of emergency management teams]

Een rampenplan of bedrijfsnoodplan bestaat veelal slechts uit een lijst met telefoonnummers, of het is een plan dat niet is geactualiseerd. Bovendien is het trainen van crisismanagement-teams lastig omdat crises vaak een onvoorspelbaar karakter hebben. in deze bijdrage worden twee methoden beschreven voor de training van crisismanagement-teams. Dubbelden

Performance-based measurement of national crisis management

Voyager was the biggest crisis management exercise ever held in The Netherlands. About 2000 professionals, ranging from fire-fighters to ministers and from local teams to the national crisis centre, participated in a complex multi-threat scenario. In order to learn from this exercise, an evaluation was carried out. The individual actors as such were not evaluated, but rather the overarching system of national crisis management. At the system level, three major crisis management functions were described: information exchange, decision-making, and communication with the media. Next, an evaluation format was developed. For each function, goals, criteria and performance indicators were identified. The performance indicators were specified in consultancy with representatives of all major actors during the Voyager exercise. This provided relevant information for the evaluators and made the results of the evaluation study more acceptable to the actors. Based on the evaluation format, observation schemes were designed to support the observers. Overall, 34 trained observers monitored the performance of 28 teams. The evaluation team combined all these observations and additional material into one coherent system evaluation. This paper describes the system approach to the evaluation, the evaluation format, (briefly) the main results of the Voyager exercise, and recommendations for further research

Ontwikkeling en test van een instrument voor het optimaliseren van crisismanagement organisaties

Het blijkt in de praktijk dat ongelukken veelal te wijten zijn aan onjuiste procedures, falend onderhoud of slechte communicatie. Naar aanleiding hiervan is in het kader van het Nieuw Initiatief 'Systeem Systeem Innovatie Maatschappelijke Veiligheid' deze methodiek ontwikkeld en getest. Daarbij is een expliciete link gelegd tussen het (dynamisch) optreden van het crisismanagement team en andere relevante actoren binnen de organisatie en de (statische) organisatorische andvoorwaarden die dit optreden mogelijk moet maken. Met dit het model en de protocollen kunnen de verschillende delen van een crisismanagementorganisatie op input, throughput, resultaat en evalueren (leren van de incidenten) beoordeeld worden. Het instrument dient door gebruik in de praktijk verder ontwikkeld te worden. Met behulp van dit intrumentarium kunnen organisaties zich beter voorbereiden op mogelijke crises. Verder kan het in de toekomst een onderdeel gaan vormen van een development center voor crisismanagementteams