Leveraging Peer Feedback to Improve Visualization Education

Peer review is a widely utilized pedagogical feedback mechanism for engaging students, which has been shown to improve educational outcomes. However, we find limited discussion and empirical measurement of peer review in visualization coursework. In addition to engagement, peer review provides direct and diverse feedback and reinforces recently-learned course concepts through critical evaluation of others' work. In this paper, we discuss the construction and application of peer review in a computer science visualization course, including: projects that reuse code and visualizations in a feedback-guided, continual improvement process and a peer review rubric to reinforce key course concepts. To measure the effectiveness of the approach, we evaluate student projects, peer review text, and a post-course questionnaire from 3 semesters of mixed undergraduate and graduate courses. The results indicate that course concepts are reinforced with peer review---82% reported learning more because of peer review, and 75% of students recommended continuing it. Finally, we provide a road-map for adapting peer review to other visualization courses to produce more highly engaged students

Preparing undergraduates for visual analytics

Visual analytics (VA) combines the strengths of human and machine intelligence to enable the discovery of interesting patterns in challenging datasets. Historically, most attention has been given to developing the machine component—for example, machine learning or the human-computer interface. However, it is also essential to develop the abilities of the analysts themselves, especially at the beginning of their careers. For the past several years, we at the University of British Columbia (UBC)—with the support of The Boeing Company—have experimented with various ways of preparing undergraduate students for VA. Although inspired by the need to prepare students to become visual analysts, the result turned out to be fairly general in scope, applicable to other analytical approaches, as well as more general research. In hindsight, this makes considerable sense. Although the visual component of VA is necessary, it is insufficient; many analytical activities at the human end involve nonvisual skills, such as effective decision-making and the ability to quickly focus on the relevant parts of a problem. The result of this experimentation is a third-year undergraduate course titled Cognitive Systems 303 (COGS 303) that focuses on “VA unplugged”—that is, on developing investigative abilities prior to training on the VA systems themselves. It was felt that if students focused on developing basic analytical habits of thought prior to learning VA systems, these habits would be reinforced by subsequent practice on “live” systems

Challenges and Opportunities in Data Visualization Education: A Call to Action

This paper is a call to action for research and discussion on data visualization education. As visualization evolves and spreads through our professional and personal lives, we need to understand how to support and empower a broad and diverse community of learners in visualization. Data Visualization is a diverse and dynamic discipline that combines knowledge from different fields, is tailored to suit diverse audiences and contexts, and frequently incorporates tacit knowledge. This complex nature leads to a series of interrelated challenges for data visualization education. Driven by a lack of consolidated knowledge, overview, and orientation for visualization education, the 21 authors of this paper-educators and researchers in data visualization-identify and describe 19 challenges informed by our collective practical experience. We organize these challenges around seven themes People, Goals & Assessment, Environment, Motivation, Methods, Materials, and Change. Across these themes, we formulate 43 research questions to address these challenges. As part of our call to action, we then conclude with 5 cross-cutting opportunities and respective action items: embrace DIVERSITY+INCLUSION, build COMMUNITIES, conduct RESEARCH, act AGILE, and relish RESPONSIBILITY. We aim to inspire researchers, educators and learners to drive visualization education forward and discuss why, how, who and where we educate, as we learn to use visualization to address challenges across many scales and many domains in a rapidly changing world: viseducationchallenges.github.io.Comment: Accepted for publication at VIS 2023 Conference, Melbourne, VI

Challenges and Opportunities in Data Visualization Education: A Call to Action

This paper is a call to action for research and discussion on data visualization education. As visualization evolves and spreads through our professional and personal lives, we need to understand how to support and empower a broad and diverse community of learners in visualization. Data Visualization is a diverse and dynamic discipline that combines knowledge from different fields, is tailored to suit diverse audiences and contexts, and frequently incorporates tacit knowledge. This complex nature leads to a series of interrelated challenges for data visualization education. Driven by a lack of consolidated knowledge, overview, and orientation for visualization education, the 21 authors of this paper-educators and researchers in data visualization-identify and describe 19 challenges informed by our collective practical experience. We organize these challenges around seven themes People, Goals & Assessment, Environment, Motivation, Methods, Materials, and Change . Across these themes, we formulate 43 research questions to address these challenges. As part of our call to action, we then conclude with 5 cross-cutting opportunities and respective action items: embrace DIVERSITY+INCLUSION, build COMMUNITIES, conduct RESEARCH, act AGILE, and relish RESPONSIBILITY. We aim to inspire researchers, educators and learners to drive visualization education forward and discuss why, how, who and where we educate, as we learn to use visualization to address challenges across many scales and many domains in a rapidly changing world: viseducationchallenges.github.io

Interdisciplining Digital Humanities: Boundary Work in an Emerging Field

The first book to test the claim that the emerging field of Digital Humanities is interdisciplinary and also examines the boundary work of establishing and sustaining a new field of stud

Futures thinking for academic librarians : higher education in 2025

33 p. : ill. ; 28 cm.Libro Electrónico"Para los bibliotecarios académicos que tratan de demostrar el valor de sus bibliotecas en sus instituciones, es importante saber lo que va a ser valorado en el futuro para que podamos empezar a tomar las medidas apropiadas ahora. Este documento presenta 26 posibles escenarios basados en una evaluación de las implicaciones de las tendencias actuales, que pueden tener un impacto en todo tipo de bibliotecas universitarias y de investigación durante los próximos 15 años. Los escenarios representan los temas relacionados con la cultura académica, la demografía, la educación a distancia, la financiación, la globalización, la infraestructura, instalaciones, bibliotecas, clima político, la industria editorial, los valores sociales, los alumnos, el aprendizaje, y la tecnología. El informe refleja la opinión experta de los miembros de la ACRL en cuanto a sus expectativas y percepciones acerca de la probabilidad, el impacto, la velocidad del cambio, y la amenaza, oportunidades potenciales de cada escenario. Finalmente, el estudio extrae consecuencias para las bibliotecas universitarias. Para los escenarios que han sido identificados como de alto impacto con una alta probabilidad de ocurrir, es responsabilidad de los directores de bibliotecas y de aquellos que establecer agendas estratégicas para bibliotecas universitarias con el fin de poder planificar para actuar ahora sobre estos escenarios. Este informe refuerza la idea de que las bibliotecas universitarias son parte de un ecosistema más grande, y los bibliotecarios deben constantemente explorar el entorno en busca de signos de los cambios que puedan surgir. Se incluye un apéndice con una actividad sugerida para participar junto a colegas de la biblioteca en desarrollar su imaginación y teniendo en cuenta los futuros posibles. Esto puede aumentar la capacidad de participar en el pensamiento estratégico y la planificación, el apoyo a los bibliotecarios en la toma de mejores decisiones ahora que se puede abordar una variedad de diversos futuros posibles de futuros posibles" Tomado de: http://www.universoabierto.com/8045/el-futuro-de-las-bibliotecas-universitarias/ACRL has released a new report, “Futures Thinking for Academic Librarians: Higher Education in 2025,” to prompt academic librarians to consider what trends may impact the future of higher education in order to take strategic action now. Authored by David J. Staley, director of the Harvey Goldberg Center for Excellence in Teaching in the History Department of Ohio State University, and Kara J. Malenfant, ACRL scholarly communications and government relations specialist, the report presents 26 possible scenarios for the future which may have an impact on all types of academic libraries over the next 15 years. The scenarios are based on implications assessment of current trends and reflect a variety of potential futures for higher education. The scenarios represent a variety of themes relating to academic culture, demographics, distance education, funding, globalization, infrastructure/facilities, libraries, political climate, publishing industry, societal values, students/learning and technology."For academic librarians seeking to demonstrate the value of their libraries to their parent institutions, it is important to understand not only the current climate. We must also know what will be valued in the future so that we can begin to take appropriate action now. This document presents 26 possible scenarios based on an implications assessment of current trends, which may have an impact on all types of academic and research libraries over the next 15 years. The scenarios represent themes relating to academic culture, demographics, distance education, funding, globalization, infrastructure/facilities, libraries, political climate, publishing industry, societal values, students/learning, and technology. They are organized in a “scenario space” visualization tool, reflecting the expert judgment of ACRL members as to their expectations and perceptions about the probability, impact, speed of change, and threat/opportunity potential of each scenario. Finally, the study draws out implications for academic libraries. For scenarios which have been identified as high impact with a high probability of occurring, it is incumbent upon library directors and those who set strategic agendas for academic libraries to plan to act now upon these scenarios. This report reinforces the notion that academic libraries are part of a larger ecosystem, and librarians should be consistently scanning the environment to look for signs of the changes that may come. It includes an appendix with a suggested activity to engage library colleagues in stretching your imaginations and considering possible futures. This can build capacity to engage in strategic thinking and planning, supporting librarians in making better decisions now that can address a variety of possible futures." Tomado de: http://stephenslighthouse.com/2010/06/24/futures-thinking-for-academic-librarians-higher-education-in-2025/"La prospectiva nos ayuda a comprender lo que puede pasar en el futuro -no a conocer el futuro mismo- y nos da la oportunidad -si sabemos aprovecharla- de influir en él trabajando desde el presente. Un instrumento prospectivo bastante habitual es la creación de escenarios que ayudan a las organizaciones a prever futuros posibles, a entender las diferentes maneras en que los acontecimientos pueden desarrollarse y a diseñar con acierto sus planificaciones estratégicas. Para poder ser verdaderamente útiles, los escenarios deben ser bien documentados, relevantes, pertinentes, coherentes y verosímiles. La creación de escenarios que enmarquen los planes estratégicos de las bibliotecas es relativamente frecuente ya que son un potente elemento inspirador a la hora de establecer estrategias de futuro. La técnica ha sido empleada con éxito por muchas bibliotecas que, de esta manera, han podido enfocar el uso de sus recursos y su potencial innovador hacia aquellas acciones que tendrían mayor impacto y aportarían más valor a sus usuarios. Muy a menudo las bibliotecas, a la hora de planificar, buscan horizontes a 3-5 años pero el estudio encargado por la ACRL, Futures thinking for academic librarians: Higher Education in 2025, nos propone echar un vistazo a lo que espera a las bibliotecas universitarias mucho más allá, en el horizonte de los próximos 15 años. Tomando como punto de partida las tendencias actuales, presenta 26 posibles escenarios con el fin de ayudar a descubrir qué será importante en el futuro para que, ya desde ahora mismo, las bibliotecas puedan emprender las acciones adecuadas. Los diferentes escenarios proponen una visión plausible e internamente consistente de lo que podría pasar en la posible evolución de temas clave para las bibliotecas universitarias como son la cultura académica, la demografía, la educación a distancia, la financiación, la globalización, las infraestructuras, las mismas bibliotecas, el clima político, la industria editorial, los valores sociales, los estudiantes y el aprendizaje, y la tecnología. A partir de los resultados de una encuesta, el estudio refleja las opiniones, expectativas y percepciones de los miembros de la ACRL sobre la probabilidad, impacto, velocidad de cambio y amenaza y / o oportunidad potencial de cada uno de los escenarios. Hay que indicar, sin embargo, que aunque los escenarios han sido preparados para ayudar principalmente a las bibliotecas estadounidenses, la mayoría son perfectamente plausibles y adaptables a nuestro entorno. De los 26 escenarios presentados aquel que fue considerado de más alto impacto y mayor probabilidad y, en definitiva, el que preocupó más, fue el escenario titulado "Aumento de la amenaza de la delincuencia informática" que presenta la universidad como objetivo de los piratas informáticos, que interrumpen las operaciones durante días y semanas mientras los bibliotecarios luchan por mantener la privacidad de los usuarios y se enfrentan a un creciente escrutinio y crítica en su intento de preservar la libertad intelectual en línea. Ciencia ficción? No, un escenario posible. El estudio propone otros escenarios de títulos sugerentes como "Un título universitario para cada ciudadano", "Rotura del monopolio del libro de texto", "Veo lo que ves", "Fuera del negocio" o "La longevidad es la nueva salud ". No todos acabarán siendo reales, a medida que el horizonte temporal se acerque a estos 15 años se irán transformando. Unos ganarán en detalle y certeza, otros se desvanecerán o nuevos acontecimientos les harán tomar un giro inesperado. Lo que probablemente es más importante, como dice el estudio, es no perder la visión estratégica periférica que nos ayudará a evitar ser sorprendidos por las sorpresas. Futures thinking for academic librarians: Higher Education in 2025 concluye con un apéndice que presenta una metodología sencilla para trabajar los escenarios dentro de las bibliotecas y sacar todo el provecho adaptándolos al entorno específico de cada una. De esta manera se puede estimular el pensamiento en clave de futuro y se pueden crear y poner a prueba nuevas estrategias de la biblioteca universitaria." Tomado de: http://www.ub.edu/blokdebid/es/content/escenarios-de-2025-para-bibliotecas-universitarias-de-2010-como-evitar-ser-sorprendidos-por-Table of Contents Executive Summary 3 Introduction 3 Theoretical Frameworks 4 Methodology 5 The Scenarios 7 Analysis of Findings and Discussion 21 Conclusion 23 References 23 Appendix A Methodological Notes 25 Appendix B Demographic Profile of Survey Respondents 28 Appendix C Activity: Scenario Thinking at Your Library 3

Innovation through Cross-Fertilization: Serious games and gamification in the EU-funded research projects

[eng] In recent years, ecosystems of innovation have gained substantial momentum in academic research. As a response to recent calls in open innovation literature for novel research, this doctoral thesis extends the study of the process and ecosystems of innovation in projects that include serious games and gamification by considering the cross-fertilization of knowledge and technologies. Organizations’ orchestration of activities within their activity systems and transformation of their business models through innovation to realize opportunities with the objective to increase value creation are part of the topic of this dissertation. It has endeavoured to improve the understanding of how cross-fertilized alliances are formed, what their outcomes are, what causes them to generate value (or not) and what capabilities organizations need in order to successfully manage and reap value from the innovation process. For this purpose, two approaches that support innovation have been complementarily taken into account: the knowledge-technological perspective and the management perspective. These perspectives are analysed with the information retrieved from a database of 87 H2020 projects including serious games and/or gamification, 519 organizations and 597 observations. Later, in order to get more insights into the Innovation Management Strategies, a project coordinators survey was conducted. The Knowledge-Technology perspective presents how creating adequate multidisciplinary knowledge and technology is fundamental to ensuring the long-term success of an emerging technology including serious games and/or gamification, and how important is the research and innovation that takes place in the practitioners’ communities. The Management perspective presents the analysis of the innovation management strategies that boost the cross-fertilization of technologies that include serious games and/or gamification. These strategies were analysed by considering literature on innovation and network theories, absorptive capacity and dynamic capabilities. Some personal interviews were conducted with independent experts to understand and have elements for the analysis and discussion of the previous results. Findings suggest that the multidisciplinarity of a project is highly influenced by the creation of knowledge and technology. Furthermore, the management strategies boosting high levels of cross-fertilization of knowledge and technologies -including serious games and/or gamification- are principally market and customer-oriented strategies. Practical and methodological contributions from this study could enrich innovation literature from the point of view of technological and management approaches. The thesis concludes with fruitful avenues for future research.[nor] I de senere årene har økosystemer for innovasjon fått vesentlig fart i akademisk forskning. Nylig har det oppstått et større behov for mer forskning i området åpen innovasjon. Som et respons til dette, utvider denne avhandlingen seg på studier om prosesser og økosystemer av innovasjon i prosjekter. Prosjektene inkluderer seriøse spill og det som kalles for gamification. Målet er å vurdere kryss-befruktning av kunnskap og teknologi. En del av tema for denne avhandling er hvordan organisasjoner, gjennom innovasjon, virkeliggjør mulighetene for å øke verdiskapning. Dette vurderes ut ifra organisasjoners orkestrering av aktiviteter innenfor deres aktivitetssystemer og transformasjon av forretningsmodellene. Det har lenge vært forsøkt på å forbedre forståelsen av hvordan kryss-befruktet allianser dannes, hva er resultatene, hva skal til for å generere verdi (eller ikke), og hvilke evner organisasjoner trenger for å kunne forvalte og innhente verdier. På bakgrunn av dette, har to tilnærminger som støtter innovasjon, blitt komplementært tatt med i betraktningen. Disse er, den kunnskaps-teknologiske perspektiv og ledelses perspektivet. Perspektivene blir analysert med informasjon hentet fra en database med 87 H2020 prosjekter, inkludert seriøse spill og eller gamification. Det er totalt 519 organisasjoner og 597 observasjoner. I senere tid, for å få et større innblikk i strategier for innovasjonsledelse, ble det gjennomført en prosjekt koordinator undersøkelse. Det kunnskaps-teknologiske perspektivet innebærer hvordan en kan skape tilstrekkelig tverrfaglig kunnskap. Her er teknologi grunnleggende for å sikre langsiktig suksess til en fremtredende teknologi, som inkluderer seriøse spill og eller gamification, og viktigheten av forskningen og innovasjonen som fremkommer i utøvernes samfunn. På den andre siden, ledelses perspektivet inkluderer analysen av innovasjonsstrategier som har som mål å øke kryss-befruktning av teknologier som inkluderer seriøse spill og eller gamification. Strategiene ble analysert ved å vurdere innovasjon- og nettverks teorier, evnen til å absorbere, og dynamisk kapasitet litteratur. For å forstå og samle elementer for analysen og diskusjonen av tidligere resultater, bestemte personlige intervjuer ble gjennomført med uavhengige eksperter. Funnene viser at flerfaglighet av et prosjekt er sterkt påvirket av etablering av kunnskap og teknologi. Videre, ledelses strategier er med på å øke nivåer av kryss-befruktning av kunnskap og teknologi. Dette inkluderer seriøse spill og eller gamification, men hovedsakelig markeds- og kundeorienterte strategier. De praktiske og metodologiske bidrag fra denne studien er med på å berike innovasjons litteratur fra det teknologiske og det ledelsesmessig synspunkt. Avhandlingen avsluttes med fruktbare veier for fremtidig forskning.[cat] Al llarg dels darrers anys, els ecosistemes d’innovació han pres un impuls substancial en la recerca acadèmica. Com a resposta a les darreres crides a noves recerques en la literatura sobre innovació oberta, aquesta tesi doctoral amplia l’estudi del procés i els ecosistemes d’innovació en projectes que inclouen jocs seriosos i gamificació al considerar la fertilització creuada de coneixement i tecnologies. L’orquestració d’activitats per part de les organitzacions dins dels seus sistemes d’activitats i la transformació dels seus models comercials a través de la innovació per generar oportunitats amb l’objectiu d’augmentar la creació de valor són part dels temes d’aquesta tesi. Hi ha hagut un esforç per millorar la comprensió de com es formen aliances amb la fertilització creuada, quins són els seus resultats, què fa que generin valor (o no) i quines capacitats necessiten les organitzacions per gestionar i assolir valor a través del procés d’innovació. Amb aquest propòsit, dos enfocaments que recolzen la innovació s’han tingut en compte de manera complementària: la perspectiva coneixement-tecnologia i la perspectiva de gestió. Aquestes perspectives s’analitzen amb la informació obtinguda d’una base de dades de 87 projectes H2020 que inclouen jocs seriosos i/o gamificació, 519 organitzacions i 597 observacions. Posteriorment, amb l’objectiu d’obtenir informació addicional sobre les Estratègies de Gestió de la Innovació, es va realitzar una enquesta adreçada als coordinadors dels projectes. La perspectiva de Coneixement i Tecnologia mostra com la creació adequada de coneixement i tecnologia multidisciplinaris és fonamental per garantir l’èxit a llarg termini d’una tecnologia emergent, que inclogui els jocs seriosos i la gamificació, i com d’important és la recerca i la innovació que té lloc en les comunitats de professionals. La perspectiva de Gestió mostra l’anàlisi de les estratègies de gestió de la innovació que fomenten la fertilització creuada de tecnologies que inclouen jocs seriosos i/o gamificació. Aquestes estratègies es van analitzar a partir de la literatura en innovació i teories de xarxes, capacitat d’absorció i capacitats dinàmiques. També, es van dur a terme entrevistes personals amb experts independents per comprendre i tenir elements per a l’anàlisi i la discussió dels resultats anteriors. Els resultats suggereixen que la multidisciplinarietat d’un projecte està molt influenciada per la creació de coneixement i tecnologia. A més, les estratègies de gestió que impulsen els alts nivells de fertilització creuada de coneixement i tecnologies –inclosos els jocs seriosos i/o la gamificació- són principalment estratègies orientades al mercat i al client. Les contribucions pràctiques i metodològiques d’aquest estudi podrien enriquir la literatura sobre innovació des del punt de vista dels enfocaments tecnològics i de gestió. La tesi conclou amb suggeriments de línies de recerca futures.[spa] Durante los últimos años, los ecosistemas de innovación han tomado un impulso sustancial en la investigación académica. Como respuesta a las recientes llamadas a nuevas investigaciones en la literatura sobre innovación abierta, esta tesis doctoral amplía el estudio del proceso y los ecosistemas de innovación en proyectos que incluyen juegos serios y gamificación al considerar la fertilización cruzada de conocimiento y tecnologías. La orquestación de actividades por parte de las organizaciones dentro de sus sistemas de actividades y la transformación de sus modelos comerciales a través de la innovación para generar oportunidades con el objetivo de aumentar la creación de valor son parte de los temas de esta tesis. Ha habido un esfuerzo por mejorar la comprensión de cómo se forman alianzas con fertilización cruzada, cuáles son sus resultados, qué hace que generen valor (o no) y qué capacidades necesitan las organizaciones para gestionar y cosechar valor a través del proceso de innovación. Con este propósito, dos enfoques que apoyan la innovación se han tenido en cuenta de manera complementaria: la perspectiva conocimiento-tecnología y la perspectiva de gestión. Estas perspectivas se analizan con la información obtenida de una base de datos de 87 proyectos H2020 que incluyen juegos serios y/o gamificación, 519 organizaciones y 597 observaciones. Posteriormente, con el objetivo de obtener información adicional sobre las Estrategias de Gestión de la Innovación, se realizó una encuesta a los coordinadores de los proyectos. La perspectiva de Conocimiento y Tecnología muestra cómo la creación adecuada de conocimiento y tecnología multidisciplinarios es fundamental para garantizar el éxito a largo plazo de una tecnología emergente, que incluya los juegos serios y la gamificación, y cómo de importante es la investigación y la innovación en las comunidades de profesionales. La perspectiva de Gestión muestra el análisis de las estrategias de gestión de la innovación que fomentan la fertilización cruzada de tecnologías que incluyen juegos serios y/o gamificación. Estas estrategias se analizaron a partir de la literatura en innovación y teorías de redes, la capacidad de absorción y las capacidades dinámicas. También, se realizaron entrevistas personales con expertos independientes para comprender y tener elementos para el análisis y la discusión de los resultados anteriores. Los hallazgos sugieren que la multidisciplinariedad de un proyecto está muy influenciada por la creación de conocimiento y tecnología. Además, las estrategias de gestión que impulsan los altos niveles de fertilización cruzada de conocimientos y tecnologías -incluidos los juegos serios y/o la gamificación- son principalmente estrategias orientadas al mercado y al cliente. Las contribuciones prácticas y metodológicas de este estudio podrían enriquecer la literatura sobre innovación desde el punto de vista de los enfoques tecnológicos y de gestión. La tesis concluye con sugerencias de líneas de investigación futuras

A New Kind of Data Science: The Need for Ethical Analytics

Ethics can no longer be regarded as an add-on in data science and analytics. This paper argues for the necessity of formalizing a new, practically-oriented sub-discipline of AI ethics by outlining the needs, highlighting shortcomings in current approaches, and providing a framework for ethical analytics, which is concerned with the study of the ethical issues surrounding the development, deployment, and/or dissemination of ML/AI systems and data science research, as well as the development of tools and procedures to mitigate ethical harms. While data science and machine learning are primarily concerned with data from start to finish, ethical analytics is concerned primarily with people – moral agents, the groups and societies they comprise, and the world they inhabit. Ethical analytics should be seen as complementary to the more techno-abstracted analytic disciplines, interfacing with the nuanced, ethical issues that stem from ill-defined or vague, socially-relative normative concepts. It studies the issues that arise in this holistic sociotechnical environment, and it seeks to develop concrete solutions or interventions where possible – from mathematics and algorithms to procedures and protocols

Earth Observation Open Science and Innovation

geospatial analytics; social observatory; big earth data; open data; citizen science; open innovation; earth system science; crowdsourced geospatial data; citizen science; science in society; data scienc