Leveraging Peer Feedback to Improve Visualization Education

Peer review is a widely utilized pedagogical feedback mechanism for engaging students, which has been shown to improve educational outcomes. However, we find limited discussion and empirical measurement of peer review in visualization coursework. In addition to engagement, peer review provides direct and diverse feedback and reinforces recently-learned course concepts through critical evaluation of others' work. In this paper, we discuss the construction and application of peer review in a computer science visualization course, including: projects that reuse code and visualizations in a feedback-guided, continual improvement process and a peer review rubric to reinforce key course concepts. To measure the effectiveness of the approach, we evaluate student projects, peer review text, and a post-course questionnaire from 3 semesters of mixed undergraduate and graduate courses. The results indicate that course concepts are reinforced with peer review---82% reported learning more because of peer review, and 75% of students recommended continuing it. Finally, we provide a road-map for adapting peer review to other visualization courses to produce more highly engaged students

Multi-rendezvous Spacecraft Trajectory Optimization with Beam P-ACO

The design of spacecraft trajectories for missions visiting multiple celestial bodies is here framed as a multi-objective bilevel optimization problem. A comparative study is performed to assess the performance of different Beam Search algorithms at tackling the combinatorial problem of finding the ideal sequence of bodies. Special focus is placed on the development of a new hybridization between Beam Search and the Population-based Ant Colony Optimization algorithm. An experimental evaluation shows all algorithms achieving exceptional performance on a hard benchmark problem. It is found that a properly tuned deterministic Beam Search always outperforms the remaining variants. Beam P-ACO, however, demonstrates lower parameter sensitivity, while offering superior worst-case performance. Being an anytime algorithm, it is then found to be the preferable choice for certain practical applications.Comment: Code available at https://github.com/lfsimoes/beam_paco__gtoc

Linked Data Supported Information Retrieval

Um Inhalte im World Wide Web ausfindig zu machen, sind Suchmaschienen nicht mehr wegzudenken. Semantic Web und Linked Data Technologien ermöglichen ein detaillierteres und eindeutiges Strukturieren der Inhalte und erlauben vollkommen neue Herangehensweisen an die Lösung von Information Retrieval Problemen. Diese Arbeit befasst sich mit den Möglichkeiten, wie Information Retrieval Anwendungen von der Einbeziehung von Linked Data profitieren können. Neue Methoden der computer-gestützten semantischen Textanalyse, semantischen Suche, Informationspriorisierung und -visualisierung werden vorgestellt und umfassend evaluiert. Dabei werden Linked Data Ressourcen und ihre Beziehungen in die Verfahren integriert, um eine Steigerung der Effektivität der Verfahren bzw. ihrer Benutzerfreundlichkeit zu erzielen. Zunächst wird eine Einführung in die Grundlagen des Information Retrieval und Linked Data gegeben. Anschließend werden neue manuelle und automatisierte Verfahren zum semantischen Annotieren von Dokumenten durch deren Verknüpfung mit Linked Data Ressourcen vorgestellt (Entity Linking). Eine umfassende Evaluation der Verfahren wird durchgeführt und das zu Grunde liegende Evaluationssystem umfangreich verbessert. Aufbauend auf den Annotationsverfahren werden zwei neue Retrievalmodelle zur semantischen Suche vorgestellt und evaluiert. Die Verfahren basieren auf dem generalisierten Vektorraummodell und beziehen die semantische Ähnlichkeit anhand von taxonomie-basierten Beziehungen der Linked Data Ressourcen in Dokumenten und Suchanfragen in die Berechnung der Suchergebnisrangfolge ein. Mit dem Ziel die Berechnung von semantischer Ähnlichkeit weiter zu verfeinern, wird ein Verfahren zur Priorisierung von Linked Data Ressourcen vorgestellt und evaluiert. Darauf aufbauend werden Visualisierungstechniken aufgezeigt mit dem Ziel, die Explorierbarkeit und Navigierbarkeit innerhalb eines semantisch annotierten Dokumentenkorpus zu verbessern. Hierfür werden zwei Anwendungen präsentiert. Zum einen eine Linked Data basierte explorative Erweiterung als Ergänzung zu einer traditionellen schlüsselwort-basierten Suchmaschine, zum anderen ein Linked Data basiertes Empfehlungssystem

Helping people see their place in community immunity : a dynamic web-based visualization

L'immunité collective - parfois appelée immunité de groupe - est un concept important et complexe de la santé publique qui n'est pas toujours bien compris par le grand public. Cette incompréhension est particulièrement prononcée chez les personnes qui hésitent à se faire vacciner. Des recherches antérieures ont suggéré que la décision d'obtenir un vaccin pour soi ou son enfant est principalement motivée par les avantages et les risques individuels, plutôt que par les avantages pour la communauté. Cependant, peu de recherches ont identifié des moyens d'aider les gens à comprendre le fonctionnement de l'immunité collective. Il y a également eu relativement peu de recherches sur le rôle des émotions sur la perception du risque et sur les connaissances et les comportements relatifs à l'immunité collective. La visualisation d'informations est un mécanisme de communication puissant pour transmettre des informations et des données sur les risques, car elle permet de présenter rapidement des concepts complexes de manière claire et attrayante. La visualisation d'informations pourrait également permettre d'influencer les émotions. La première partie de ce travail visait à examiner systématiquement les interventions conçues pour communiquer au grand public ce qu'est l'immunité collective et comment elle fonctionne. Cet examen systématique a montré qu'il existe relativement peu de preuves scientifiques des effets de stratégies de communication sur l'immunité collective. Il existe un certain nombre d'interventions disponibles en ligne pour transmettre le concept d'immunité collective, mais leurs effets ont rarement été évalués et aucune étude n'a évalué les effets des interventions sur les émotions. La deuxième partie de ce travail visait à concevoir une application Web au sujet de l'immunité collective et à optimiser cette application en fonction des réponses cognitives et émotionnelles des utilisateurs. Dans notre application, les utilisateurs sont invités à construire leur communauté en créant un personnage qui les représente (leur avatar) et huit autres personnages qui représentent des personnes de leur entourage, par exemple leur famille ou leurs collègues de travail. L'application intègre ces personnages dans une visualisation animée de deux minutes montrant comment différents paramètres (par exemple, la couverture vaccinale et les contacts au sein des communautés) influencent l'immunité collective. Cette étude a montré que notre animation avec des avatars personnalisés peut aider les gens à comprendre leur rôle dans la santé de la population. Notre application s'est révélée être une méthode de communication prometteuse pour expliquer la relation entre les comportements individuels et la santé de la communauté. Elle offre une stratégie potentielle pour concevoir du matériel de communication sur des sujets complexes tels que la santé ou l'immunité collective. La troisième et dernière partie de ce travail visait à évaluer les effets de notre application Web montrant le fonctionnement de l'immunité collective sur la perception des risques, sur les émotions, sur la confiance dans les informations, sur les connaissances et sur les intentions en matière de vaccination. Dans le cadre d'un vaste essai contrôlé randomisé en ligne et factoriel, notre application a influencé tous les résultats dans le sens souhaité, en particulier chez les personnes ayant une vision du monde plus collectiviste. Cette étude est encore plus pertinente aujourd'hui, alors que les pays du monde entier mènent des campagnes de vaccination contre la COVID-19. Notre application est d'ailleurs présentement utilisée dans un outil d'aide à la décision en ligne, permettant aux gens de prendre une décision éclairée par rapport aux vaccins contre la COVID-19 pour eux-mêmes ou leurs enfants.Community immunity--sometimes referred to as herd immunity--is an important and complex concept in public health that is not always well-understood by members of the general public. This lack of understanding is particularly pronounced among people who are vaccine hesitant. Previous research has suggested that decisions about whether or not to vaccinate oneself or one's child are primarily driven by benefits and risks to the individual, with community-level benefits being less compelling. However, little research has identified ways to help people understand how community immunity works, and there has also been relatively little research investigating the role of emotion in risk perceptions, knowledge, and behavior relevant to community immunity. Visualization is a powerful communication mechanism for communicating information and data, including information and data about risk, because it enables rapid presentation of complex concepts in understandable, compelling ways. Visualization may also influence emotions. The first part of this work was aimed to systematically review interventions designed to communicate what community immunity is and how community immunity works to members of the general public. This systematic review demonstrates that there is relatively little evidence about the effects of communicating about community immunity. There are a number of interventions available online for conveying the concept of community immunity, but very few interventions were evaluated for its effects and no studies evaluated the effects of interventions on emotions. The second part aimed to design a web application about community immunity and optimize it based on users' cognitive and emotional responses. In our application, people build their own community by creating an avatar representing themselves and 8 other avatars representing people around them, for example, their family or coworkers. The application integrates these avatars in a 2-min visualization showing how different parameters (eg, vaccine coverage, and contact within communities) influence community immunity. This study found out that applications with personalized avatars may help people understand their individual role in population health. Our application showed promise as a method of communicating the relationship between individual behaviour and community health. It offers a potential roadmap for designing health communication materials for complex topics such as community immunity. The third and last part of this work aimed to evaluate the effects of our online application showing how community immunity (herd immunity) works on risk perception, emotions, trust in information, knowledge and intentions regarding vaccination. In a large, factorial, online randomized controlled trial, our application influenced all outcomes in the desired directions, particularly among people who have more collectivist worldviews. This work is increasingly relevant as countries around the world carry out COVID-19 vaccination campaigns. Accordingly, our application is currently being used in an online decision aid to support people making evidence-informed decisions about COVID-19 vaccines for themselves or their children

Unmasking Clever Hans Predictors and Assessing What Machines Really Learn

Current learning machines have successfully solved hard application problems, reaching high accuracy and displaying seemingly "intelligent" behavior. Here we apply recent techniques for explaining decisions of state-of-the-art learning machines and analyze various tasks from computer vision and arcade games. This showcases a spectrum of problem-solving behaviors ranging from naive and short-sighted, to well-informed and strategic. We observe that standard performance evaluation metrics can be oblivious to distinguishing these diverse problem solving behaviors. Furthermore, we propose our semi-automated Spectral Relevance Analysis that provides a practically effective way of characterizing and validating the behavior of nonlinear learning machines. This helps to assess whether a learned model indeed delivers reliably for the problem that it was conceived for. Furthermore, our work intends to add a voice of caution to the ongoing excitement about machine intelligence and pledges to evaluate and judge some of these recent successes in a more nuanced manner.Comment: Accepted for publication in Nature Communication