Exploring the Gamification Paradox: Why Does Improved Engagement Not Lead to Improved Performance?

Gamification is the application of game elements to non-game environments (Deterding, 2012), and is often used to engage people and make their experiences more enjoyable in areas ranging from fitness and education to psychological research. Previous studies have shown that adding gamification to new environments can result in increased motivation (Hamari, Koivisto, & Sarsa, 2014). However, increased motivation from gamification does not seem to increase performance in terms of accuracy or response times (Hawkins et al., 2013). This research study examined this “gamification paradox” by testing the performance of 87 participants on a visual search task both with and without gamification elements. We found no difference in terms of intrinsic motivation between participants in the gamified and non-gamified conditions. Additionally, the two conditions did not significantly differ in their performance. However, we did find that motivation was related to performance in terms of accuracy. We also found that our point formula altered participant behavior, such that participants emphasized accuracy over response time. These findings suggest that game elements, such as points, can affect participant behavior. However, because the implementation of gamification failed to sufficiently motivate participants, we were unable to see whether gamification can increase participant performanc

Moving Toward An Air Traffic Control Display Standard: Creating A Standardized Target Symbology for Terminal Situation Displays

In this study, we applied human factors best practices to the design of an enhanced target symbol set for terminal displays. To design new symbols, we first identified types of information that would be most operationally useful. We selected four types of information that would provide the greatest operational benefits and tactical support for the controllers. These included aircraft category (Small, Large, Heavy, and Super Heavy), aircraft heading, aircraft altitude, and aircraft conformance to its assigned route or altitude. To evaluate the effectiveness of the symbols, we used search, sorting, and selection tasks that measured symbol preference, reaction time, and symbol identification. Our results indicated that the controllers used consistent heuristics for categorizing symbols into different size and conformance categories. For both the heading and category coding, we also found benefits in terms of both increased accuracy and decreased reaction times. We did not find any benefits for the altitude coding. By using meaningful symbols to convey relevant tactical information, such as aircraft category and heading, we can both increase visual search speed and increase target detection accuracy. On the basis of our findings, we propose a set of symbols and provide recommendations for creating standardized symbology for terminal situation displays and other safety critical systems

Detection of changes through visual alerts and comparisons using a multi-layered display.

The Multi-Layered Displays (MLD) comprise two LCD screens mounted one in front of the other, allowing the presentation of information on both screens. This physical separation produces depth without requiring glasses. This research evaluated the utility of the MLD for change detection tasks, particularly in operational environments. Change Blindness refers to the failure to detect changes when the change happens during a visual disruption. The literature equates these visual disruptions with the types of interruptions that occur regularly in work situations. Change blindness is more likely to occur when operators monitor dynamic situations spread over several screens, when there are popup messages, and when there are frequent interruptions which are likely to block the visual transients that signal a change. Four laboratory experiments were conducted to evaluate the utility of the MLD for change detection tasks. The results from the experiments revealed that, when depth is used as a visual cue, the depth of the MLD has a different effect on the detection of expected changes and unexpected events. When the depth of the MLD is used as a comparison tool, the detection of differences is limited to translation differences in simple stimuli with a white background. These results call into question previous claims made for the MLD regarding operational change detection. In addition, observations and interviews were used to explore whether change blindness occurred in an operational command room. The results suggested that operators develop strategies to recover from interruptions and multitasking. These results call into doubt the wisdom of applying change detection theories to real world operational settings. More importantly, the research serves as a reminder that cognitive limitations found in the laboratory are not always found in real world environments

Detection of changes through visual alerts and comparisons using a multi-layered display

The Multi-Layered Displays (MLD) comprise two LCD screens mounted one in front of the other, allowing the presentation of information on both screens. This physical separation produces depth without requiring glasses. This research evaluated the utility of the MLD for change detection tasks, particularly in operational environments. Change Blindness refers to the failure to detect changes when the change happens during a visual disruption. The literature equates these visual disruptions with the types of interruptions that occur regularly in work situations. Change blindness is more likely to occur when operators monitor dynamic situations spread over several screens, when there are popup messages, and when there are frequent interruptions which are likely to block the visual transients that signal a change. Four laboratory experiments were conducted to evaluate the utility of the MLD for change detection tasks. The results from the experiments revealed that, when depth is used as a visual cue, the depth of the MLD has a different effect on the detection of expected changes and unexpected events. When the depth of the MLD is used as a comparison tool, the detection of differences is limited to translation differences in simple stimuli with a white background. These results call into question previous claims made for the MLD regarding operational change detection. In addition, observations and interviews were used to explore whether change blindness occurred in an operational command room. The results suggested that operators develop strategies to recover from interruptions and multitasking. These results call into doubt the wisdom of applying change detection theories to real world operational settings. More importantly, the research serves as a reminder that cognitive limitations found in the laboratory are not always found in real world environments

Visualisation de l'information appliquée à l'analyse et à l'attribution de performances financières

Croesus Finansoft développe depuis 28 ans un logiciel intégré de gestion de portefeuille pour les firmes de courtages et les conseillers indépendants. Leur application est présentement utilisée par la plupart des grandes firmes au pays, incluant les financières CIBC, Banque Nationale, Valeurs Mobilières Desjardins et TD. L’application développée par l’entreprise doit donc gérer des tables de données contenant souvent plus d’un milliard de transactions. Pour l’entreprise, le défi est de taille. L’application doit offrir une vue cohérente des portefeuilles des investisseurs, en plus de guider les gestionnaires quant aux nouvelles possibilités d’investissement, au suivi des objectifs de placement, des calculs de rendement, de performance, etc. Malgré les différentes avancées technologiques, certaines de ces tâches sont encore très difficiles à effectuer, principalement à cause de la quantité de données impliquées. L’analyse des performances des portefeuilles d’investissements est particulièrement problématique dans ces circonstances. L’analyse de performances ne se limite pas simplement à comparer des rendements obtenus à différents moments dans le temps. Il s’agit d’un processus complexe qui demande la corrélation d’une multitude d’informations afin d’obtenir une vue complète de la situation. Les performances des investissements sont toujours évaluées par rapport à une référence, par exemple un indice de marché. L’attribution de performances tente d’expliquer d’où proviennent les écarts de rendement par rapport à cette référence. Est-ce explicable par le fait que les investisseurs ont choisi des titres ayant offert des rendements supérieurs à ceux de l’indice ? Ou encore parce qu’ils ont investi davantage dans les obligations à long terme, limitant ainsi leur exposition au risque ? L’outil développé par Croesus permet facilement de mesurer les performances d’un seul portefeuille ou d’un petit groupe de portefeuilles. Effectuer cette analyse pour tous les clients d’une succursale simultanément devient beaucoup plus complexe. Croesus ne supporte pas non plus l’attribution de performances. Pour les gestionnaires de l’entreprise, offrir ces fonctionnalités s’avère un enjeu de taille, surtout à cause de la quantité de données impliquées. Comment présenter ces informations à l’expert sans créer une surcharge d’information ? Comment permettre d’identifier facilement les problèmes dans les données, les tendances générales, les écarts par rapport aux références, de façon à ce que des actions concrètes puissent être mises en place afin de corriger la situation ? La visualisation permet de tirer profit de la capacité humaine à interpréter des images beaucoup plus rapidement et efficacement que des données numériques ou textuelles. Elle vise à augmenter les capacités de traitement de l’humain, de façon à ce qu’il soit conservé dans le processus d’analyse, contrairement aux processus de décisions automatisés. Bien que la visualisation soit un domaine actif de recherche depuis de nombreuses années, très peu de solutions adaptées à la réalité de la finance, et encore moins à l’analyse des performances, ont été présentées jusqu’à présent. Cette thèse explore différentes techniques de visualisation permettant de simplifier le processus d’analyse de performances financières dans le contexte de gestion de portefeuilles de l’application développée par Croesus. Elle présente les résultats de trois projets distincts réalisés au cours des dernières années, tous liés à l’analyse des performances financières. Le premier projet présente une technique d’interaction novatrice permettant de simplifier l’analyse des performances sur un graphique linéaire simple (line graph). Que ce soit pour comparer les rendements de plusieurs centaines de portefeuilles simultanément ou pour plusieurs centaines de titres d’un secteur d’activité, les graphiques linéaires sont rapidement surchargés d’information, rendant l’analyse plutôt complexe. L’outil proposé, VectorLens, permet d’explorer les données en offrant des techniques de sélection avancées. La principale contribution concerne la sélection angulaire. Dans la mesure où le graphique présente des rendements, la pente des droites encode l’essentiel de l’information. VectorLens tire profit de cette caractéristique et permet, en un seul mouvement, de sélectionner rapidement et efficacement les éléments en fonction de leur pente, moyennant une marge établie de façon dynamique. L’outil intègre également d’autres outils de sélection, incluant la sélection par zone (pinceau), la sélection par catégories, etc. Il est également possible de combiner plusieurs lentilles VectorLens pour effectuer des requêtes plus complexes. La technique a été comparée aux principales techniques de sélection de courbes dans le cadre d’une expérience contrôlée en laboratoire. Les résultats ont démontré que VectorLens offrait des performances supérieures ou égales dans la plupart des cas, en plus d’être préférée par la plupart des utilisateurs. Le deuxième projet propose une nouvelle technique de visualisation permettant de séparer efficacement les couches d’informations sur un graphique linéaire simple. Cette technique s’avère intéressante pour comparer les rendements de titres de différents secteurs, ou même les rendements de portefeuilles de différents clients, gestionnaires ou même succursales, par exemple. Plutôt que d’utiliser uniquement la couleur pour séparer les différents groupes d’éléments, cette technique consiste à exploiter l’espace inutilisé entre deux valeurs sur l’abscisse en compressant les courbes des différentes couches, de façon à éviter l’occlusion causée par le chevauchement des courbes. Plusieurs variantes tirant profit de ce concept ont été proposées et comparées à l’état de l’art dans le cadre d’une évaluation en laboratoire. Les résultats ont démontré que les techniques de compression, et plus particulièrement la technique superposée, permettaient d’effectuer les tâches de façon plus précise et avec un taux de succès globalement supérieur par rapport à l’état de l’art. Enfin, le troisième projet tente d’adresser le problème d’attribution de performances à grande échelle. Deux nouvelles techniques de visualisation, basées sur un graphique ternaire (ternary plot), ont été proposées afin de représenter sur un seul graphique la relation entre le rendement différentiel avec la référence et les effets expliquant cette différence. Un système complet, sous la forme d’un tableau de bord intégrant les visualisations proposées, a été développé et évalué avec quatre experts du domaine dans un contexte réel d’analyse. Les résultats ont démontré que les outils proposés permettent d’analyser un grand ensemble de portefeuilles, à différents niveaux, de façon simple et efficace. Les outils proposés révèlent clairement les écarts de performance, permettent d’identifier facilement la source du problème, et même la stratégie globale utilisée par les gestionnaires de comptes auprès de leurs clients et les comptes qui dévient de ces stratégies

Effet de l’encombrement visuel de l’écran primaire de vol sur la performance du pilote, la charge de travail et le parcours visuel

RÉSUMÉ : Le poste de pilotage d’un avion de ligne du XXIe siècle ne ressemble pas à celui que les frères Wright ont occupé lors de leur premier vol. En effet, la croissance accélérée de l’aviation civile a entrainé une augmentation et une complexification des instruments de vol du poste de pilotage afin de compléter le vol en toute sécurité et dans les temps prévus. Or, présenter au pilote une abondance d’information visuelle par l’entremise d’instruments de vol visuellement encombrés risque de diminuer sa performance de vol. La thématique de l’encombrement visuel des écrans a reçu un intérêt croissant de la communauté aéronautique qui cherche à connaître les effets de la densité et de la surcharge d’information sur le travail des pilotes. La réglementation aérienne demande de minimiser l’encombrement visuel des écrans du poste de pilotage. Les études précédentes sur le sujet ont trouvé un effet mixte de l’encombrement visuel de l’écran primaire de vol sur la performance technique de vol des pilotes. D’autres recherches s’avéraient donc nécessaire pour mieux comprendre ce phénomène. Dans cette thèse, nous avons réalisé une étude expérimentale dans un simulateur de vol afin d’étudier les effets de l’encombrement visuel de l’écran primaire de vol sur la performance du pilote, sa charge mentale de travail et son parcours visuel. Tout d’abord, nous avons identifié une lacune dans les définitions existantes de l’encombrement visuel d’un affichage et nous avons proposé une nouvelle définition pertinente pour le milieu aéronautique qui tient compte du contexte d’utilisation de l’affichage. Ensuite, nous avons montré que les études précédentes sur l’effet de l’encombrement visuel de l’écran primaire de vol sur la performance des pilotes ont mal isolé la variable d’encombrement visuel en manipulant celle-ci en même temps que la fonction de guidage de l’appareil. L’utilisation d’une fonction de guidage différente entre les affichages peut avoir masquée l’effet de l’encombrement visuel sur la performance du pilote. Pour résoudre ce problème, nous avons proposé trois exigences que tous les affichages à l’étude doivent satisfaire afin d’assurer que seule la variable d’encombrement visuelle est manipulée durant l’étude en laissant intouchées les autres variables. Ensuite, nous avons conçu trois écrans primaires de vol ayant un niveau d’encombrement visuel différent (faible, modéré, élevé) mais la même fonction de guidage, en respectant les exigences mentionnées ci-dessus. Douze pilotes, comptant en moyenne plus de 4000 heures de vol, ont complété une approche aux instruments dans un simulateur de vol en utilisant chacun des écrans pour un total de neuf répétitions. Les principaux résultats montrent que les pilotes ont rapporté un niveau de charge mentale de travail inférieure et ont obtenu une meilleure précision latérale durant l’approche en utilisant l’écran ayant un niveau modéré d’encombrement visuel comparativement aux écrans ayant un niveau faible et un niveau élevé d’encombrement visuel. Les pilotes ont aussi jugé que l’écran modérément encombré a été le plus utile pour la tâche de vol comparativement aux deux autres écrans. Les résultats d’oculométrie montrent que l’efficience du parcours visuel du pilote a diminué pour l’écran ayant un encombrement élevé comparativement aux écrans ayant un encombrement faible et un encombrement modéré. Globalement, ces nouveaux résultats expérimentaux révèlent la pertinence d’optimiser l’encombrement visuel des affichages de vol, car il affecte la performance objective et subjective de pilotes expérimentés dans la tâche de vol. La thèse se conclut avec des recommandations pratiques visant à permettre aux concepteurs d’optimiser l’encombrement visuel des écrans dans les interfaces humain-machine.----------ABSTRACT : Flight deck of 21st century commercial aircrafts does not look like the one the Wright brothers used for their first flight. The rapid growth of civilian aviation resulted in an increase in the number of flight deck instruments and of their complexity, in order to complete a safe and on- time flight. However, presenting an abundance of visual information using visually cluttered flight instruments might reduce the pilot’s flight performance. Visual clutter has received an increased interest by the aerospace community to understand the effects of visual density and information overload on pilots’ performance. Aerospace regulations demand to minimize visual clutter of flight deck displays. Past studies found a mixed effect of visual clutter of the primary flight display on pilots’ technical flight performance. More research is needed to better understand this subject. In this thesis, we did an experimental study in a flight simulator to test the effects of visual clutter of the primary flight display on the pilot’s technical flight performance, mental workload and gaze pattern. First, we identified a gap in existing definitions of visual clutter and we proposed a new definition relevant to the aerospace community that takes into account the context of use of the display. Then, we showed that past research on the effects of visual clutter of the primary flight display on pilots’ performance did not manipulate the variable of visual clutter in a similar manner. Past research changed visual clutter at the same time than the flight guidance function. Using a different flight guidance function between displays might have masked the effect of visual clutter on pilots’ performance. To solve this issue, we proposed three requirements that all tested displays must satisfy to assure that only the variable of visual clutter is changed during study while leaving other variables unaffected. Then, we designed three primary flight displays with a different visual clutter level (low, medium, high) but with the same flight guidance function, by respecting the previous requirements. Twelve pilots, with a mean experience of over 4000 total flight hours, completed an instrument landing in a flight simulator using all three displays for a total of nine repetitions. Our results showed that pilots reported lower workload level and had better lateral precision during the approach using the medium-clutter display compared to the low- and high-clutter displays. Also, pilots reported that the medium-clutter display was the most useful for the flight task compared to the two other displays. Eye tracker results showed that pilots’ gaze pattern was less efficient for the high-clutter display compared to the low- and medium-clutter displays. Overall, these new experimental results emphasize the importance of optimizing visual clutter of flight displays as it affects both objective and subjective performance of experienced pilots in their flying task. This thesis ends with practical recommendations to help designers optimize visual clutter of displays used for man-machine interface