The independence and interdependence of coacting observers in regard to performance efficiency, workload, and stress in a vigilance task

Objective We investigated performance, workload, and stress in groups of paired observers who performed a vigilance task in a coactive (independent) manner. Background Previous studies have demonstrated that groups of coactive observers detect more signals in a vigilance task than observers working alone. Therefore, the use of such groups might be effective in enhancing signal detection in operational situations. However, concern over appearing less competent than one's cohort might induce elevated levels of workload and stress in coactive group members and thereby undermine group performance benefits. Accordingly, we performed the initial experiment comparing workload and stress in observers who performed a vigilance task coactively with those of observers who performed the vigilance task alone. Method Observers monitored a video display for collision flight paths in a simulated unmanned aerial vehicle control task. Self-reports of workload and stress were secured via the NASA-Task Load Index and the Dundee Stress State Questionnaire, respectively. Results Groups of coactive observers detected significantly more signals than did single observers. Coacting observers did not differ significantly from those operating by themselves in terms of workload but did in regard to stress; posttask distress was significantly lower for coacting than for single observers. Conclusion Performing a visual vigilance task in a coactive manner with another observer does not elevate workload above that of observers working alone and serves to attenuate the stress associated with vigilance task performance. Application The use of coacting observers could be an effective vehicle for enhancing performance efficiency in operational vigilance

The education passport: Connecting programmatic assessment across learning and practice

Competency-based medical education (CBME) shifts us from static assessment of learning to developmental assessment for learning. However, implementation challenges associated with CBME remain a major hurdle, especially after training and into practice. The full benefit of developmental assessment for learning over time requires collaboration, cooperation, and trust among learners, regulators, and the public that transcends each individual phase. The authors introduce the concept of an “Education Passport” that provides evidence of readiness to travel across the boundaries between undergraduate medical education, graduate medical education, and the expanse of practice.The Education Passport uses programmatic assessment, a process of collecting numerous low stakes assessments from multiple sources over time, judging these data using criterion-referencing, and enhancing this with coaching and competency committees to understand, process, and accelerate growth without end. Information in the Passport is housed on a cloud-based server controlled by the student/physician over the course of training and practice. These data are mapped to various educational frameworks such Entrustable Professional Activities or milestones for ease of longitudinal performance tracking. At each stage of education and practice the student/physician grants Passport access to all entities that can provide data on performance. Database managers use learning analytics to connect and display information over time that are then used by the student/physician, their assigned or chosen coaches, and review committees to maintain or improve performance. Global information is also collected and analyzed to improve the entire system of learning and care.Developing a true continuum that embraces performance and growth will be a long-term adaptive challenge across many organizations and jurisdictions and will require coordination from regulatory and national agencies. An Education Passport could also serve as an organizing tool and will require research and high-value communication strategies to maximize public trust in the work.La formation médicale fondée sur les compétences (FMFC) nous fait passer d’une évaluation statique à une évaluation évolutive de l’apprentissage. Cependant, les défis qui accompagnent sa mise en œuvre demeurent un obstacle majeur, en particulier après la formation et dans la pratique. Pour tirer pleinement parti de l’évaluation évolutive de l’apprentissage au fil du temps, il faut une collaboration, une coopération et une confiance entre les apprenants, les organismes de réglementation et le public qui transcendent chaque phase individuelle. Les auteurs présentent le concept de « passeport éducatif » en guise de titre attestant que l’on est prêt à franchir les frontières entre la formation médicale de premier cycle, la formation postdoctorale et l’étendue de la pratique.Dans le passeport éducatif, on utilise l’évaluation programmatique, un processus qui consiste à rassembler de nombreuses évaluations à faible enjeu provenant de sources multiples au fil du temps, dont les données sont évaluées à l’aide de critères de référence et améliorées par un encadrement et un examen par des comités de compétences afin de comprendre, de développer et d’accélérer la croissance de façon continue. Les informations contenues dans le passeport sont hébergées sur un serveur nuagique contrôlé par l’étudiant/médecin au cours de sa formation et de sa pratique. Ces données sont cartographies en fonction de divers cadres éducatifs comme les activités professionnelles confiables ou des jalons pour faciliter le suivi longitudinal des performances. À chaque étape de la formation et de la pratique, l’étudiant/médecin accorde l’accès au passeport à toutes les entités qui peuvent fournir des données sur ses performances. Les gestionnaires de la base de données utilisent l’analyse de l’apprentissage pour recouper et afficher les informations au fil du temps, informations qui sont ensuite utilisées par l’étudiant/médecin, les coachs qu’on lui a désignés ou qu’il a choisis, et les comités d’examen pour maintenir ou améliorer les performances. Des informations globales sont également recueillies et analysées pour améliorer l’ensemble du système d’apprentissage et de soins.L’élaboration d’un véritable continuum qui englobe la performance et la croissance constituera un défi d’adaptation à long terme pour les organisations et les provinces, et nécessitera une coordination entre instances réglementaires à l’échelle du pays. Le passeport éducatif pourrait également servir d’outil d’organisation, mais il impliquera des recherches et des stratégies de communication importantes pour maximiser la confiance du public dans ce travail

Le Passeport éducatif : relier l’évaluation programmatique à l’apprentissage et à la pratique tout au long de la formation

Competency-based medical education (CBME) shifts us from static assessment of learning to developmental assessment for learning. However, implementation challenges associated with CBME remain a major hurdle, especially after training and into practice. The full benefit of developmental assessment for learning over time requires collaboration, cooperation, and trust among learners, regulators, and the public that transcends each individual phase. The authors introduce the concept of an “Education Passport” that provides evidence of readiness to travel across the boundaries between undergraduate medical education, graduate medical education, and the expanse of practice. The Education Passport uses programmatic assessment, a process of collecting numerous low stakes assessments from multiple sources over time, judging these data using criterion-referencing, and enhancing this with coaching and competency committees to understand, process, and accelerate growth without end. Information in the Passport is housed on a cloud-based server controlled by the student/physician over the course of training and practice. These data are mapped to various educational frameworks such Entrustable Professional Activities or milestones for ease of longitudinal performance tracking. At each stage of education and practice the student/physician grants Passport access to all entities that can provide data on performance. Database managers use learning analytics to connect and display information over time that are then used by the student/physician, their assigned or chosen coaches, and review committees to maintain or improve performance. Global information is also collected and analyzed to improve the entire system of learning and care. Developing a true continuum that embraces performance and growth will be a long-term adaptive challenge across many organizations and jurisdictions and will require coordination from regulatory and national agencies. An Education Passport could also serve as an organizing tool and will require research and high-value communication strategies to maximize public trust in the work.La formation médicale fondée sur les compétences (FMFC) nous fait passer d’une évaluation statique à une évaluation évolutive de l’apprentissage. Cependant, les défis qui accompagnent sa mise en œuvre demeurent un obstacle majeur, en particulier après la formation et dans la pratique. Pour tirer pleinement parti de l’évaluation évolutive de l’apprentissage au fil du temps, il faut une collaboration, une coopération et une confiance entre les apprenants, les organismes de réglementation et le public qui transcendent chaque phase individuelle. Les auteurs présentent le concept de « passeport éducatif » en guise de titre attestant que l’on est prêt à franchir les frontières entre la formation médicale de premier cycle, la formation postdoctorale et l’étendue de la pratique. Dans le passeport éducatif, on utilise l’évaluation programmatique, un processus qui consiste à rassembler de nombreuses évaluations à faible enjeu provenant de sources multiples au fil du temps, dont les données sont évaluées à l’aide de critères de référence et améliorées par un encadrement et un examen par des comités de compétences afin de comprendre, de développer et d’accélérer la croissance de façon continue. Les informations contenues dans le passeport sont hébergées sur un serveur nuagique contrôlé par l’étudiant/médecin au cours de sa formation et de sa pratique. Ces données sont cartographies en fonction de divers cadres éducatifs comme les activités professionnelles confiables ou des jalons pour faciliter le suivi longitudinal des performances. À chaque étape de la formation et de la pratique, l’étudiant/médecin accorde l’accès au passeport à toutes les entités qui peuvent fournir des données sur ses performances. Les gestionnaires de la base de données utilisent l’analyse de l’apprentissage pour recouper et afficher les informations au fil du temps, informations qui sont ensuite utilisées par l’étudiant/médecin, les coachs qu’on lui a désignés ou qu’il a choisis, et les comités d’examen pour maintenir ou améliorer les performances. Des informations globales sont également recueillies et analysées pour améliorer l’ensemble du système d’apprentissage et de soins. L’élaboration d’un véritable continuum qui englobe la performance et la croissance constituera un défi d’adaptation à long terme pour les organisations et les provinces, et nécessitera une coordination entre instances réglementaires à l’échelle du pays. Le passeport éducatif pourrait également servir d’outil d’organisation, mais il impliquera des recherches et des stratégies de communication importantes pour maximiser la confiance du public dans ce travail.

Entrustment Unpacked:Aligning Purposes, Stakes, and Processes to Enhance Learner Assessment

Educators use entrustment, a common framework in competency-based medical education, in multiple ways, including frontline assessment instruments, learner feedback tools, and group decision making within promotions or competence committees. Within these multiple contexts, entrustment decisions can vary in purpose (i.e., intended use), stakes (i.e., perceived risk or consequences), and process (i.e., how entrustment is rendered). Each of these characteristics can be conceptualized as having 2 distinct poles: (1) purpose has formative and summative, (2) stakes has low and high, and (3) process has ad hoc and structured. For each characteristic, entrustment decisions often do not fall squarely at one pole or the other, but rather lie somewhere along a spectrum. While distinct, these continua can, and sometimes should, influence one another, and can be manipulated to optimally integrate entrustment within a program of assessment. In this article, the authors describe each of these continua and depict how key alignments between them can help optimize value when using entrustment in programmatic assessment within competency-based medical education. As they think through these continua, the authors will begin and end with a case study to demonstrate the practical application as it might occur in the clinical learning environment