From complex data to clear insights: visualizing molecular dynamics trajectories

Advances in simulations, combined with technological developments in high-performance computing, have made it possible to produce a physically accurate dynamic representation of complex biological systems involving millions to billions of atoms over increasingly long simulation times. The analysis of these computed simulations is crucial, involving the interpretation of structural and dynamic data to gain insights into the underlying biological processes. However, this analysis becomes increasingly challenging due to the complexity of the generated systems with a large number of individual runs, ranging from hundreds to thousands of trajectories. This massive increase in raw simulation data creates additional processing and visualization challenges. Effective visualization techniques play a vital role in facilitating the analysis and interpretation of molecular dynamics simulations. In this paper, we focus mainly on the techniques and tools that can be used for visualization of molecular dynamics simulations, among which we highlight the few approaches used specifically for this purpose, discussing their advantages and limitations, and addressing the future challenges of molecular dynamics visualization

시각화 초심자에게 시각적 비교를 돕는 정보 시각화 기술의 디자인

학위논문(박사)--서울대학교 대학원 :공과대학 컴퓨터공학부,2020. 2. 서진욱.The visual comparison is one of the fundamental tasks in information visualization (InfoVis) that enables people to organize, evaluate, and combine information fragmented in visualizations. For example, people perform visual comparison tasks to compare data over time, from different sources, or with different analytic models. While the InfoVis community has focused on understanding the effectiveness of different visualization designs for supporting visual comparison tasks, it is still unclear how to design effective comparative visualizations due to several limitations: (1) Empirical findings and practical implications from those studies are fragmented, and (2) we lack user studies that directly investigated the effectiveness of different visualization designs for visual comparison. In this dissertation, we present the results of three studies to build our knowledge on how to support effective visual comparison to InfoVis novices⁠—general people who are not familiar with visual representations and visual data exploration process. Identifying the major stages in the visualization construction process where novices confront challenges with visual comparison tasks, we explored two high-level comparison tasks with actual users: comparing visual mapping (encoding barrier) and comparing information (interpretation barrier) in visualizations. First, we conducted a systematical literature review on research papers (N = 104) that focused on supporting visual comparison tasks to gather and organize the practical insights that researchers gained in the wild. From this study, we offered implications for designing comparative visualizations, such as actionable guidelines, as well as the lucid categorization of comparative designs which can help researchers explore the design space. In the second study, we performed a qualitative user study (N = 24) to investigate how novices compare and understand visual mapping suggested in a visual-encoding recommendation interface. Based on the study, we present novices' main challenges in using visual encoding recommendations and design implications as remedies. In the third study, we conducted a design study in the area on bioinformatics to design and implement a visual analytics tool, XCluSim, that helps users to compare multiple clustering results. Case studies with a bioinformatician showed that our system enables analysts to easily evaluate the quality of a large number of clustering results. Based on the results of three studies in this dissertation, we suggest a future research agenda, such as designing recommendations for visual comparison and distinguishing InfoVis novices from experts.시각적 비교는 정보 시각화를 이용한 핵심적인 데이터 분석 과정 중 하나로써, 분산되어 있는 정보들을 사람들이 서로 정리, 평가, 병합할 수 있도록 돕는다. 예를 들어, 사람들은 시간의 흐름에 따른 데이터의 변화를 보거나, 서로 다른 출처의 데이터를 비교하거나, 같은 데이터를 여러 분석 모델들을 이용해 평가하기 위해 시각적 비교 과업을 흔히 수행하게 된다. 효과적인 시각화 디자인을 위한 여러 연구가 정보 시각화 분야에서 이루어지고 있는 반면, 어떤 디자인을 통해 효과적으로 시각적 비교를 지원할 수 있는지에 대한 이해는 다음의 제약들로 인해 아직까지 불분명하다. (1) 경험적 통찰들과 실용적 설계 지침들이 파편화되어 있으며 (2) 비교 시각화를 지원하는 방법을 이해하기 위한 사용자 실험의 수가 여전히 제한적이다. 본 논문에서는 시각화 초심자들에게 효과적으로 시각적 비교를 지원하기 위한 정보 시각화 디자인 방법을 더 깊이 이해하기 위해서 일련의 세 연구를 진행하고 이에 대한 결과를 제시한다. 특별히, 시각화 초심자들이 시각적 비교를 할 때 어려움을 경험할 수 있는 두 주요 시각화 단계를 확인함으로써, 본 연구에서는 시각적 인코딩 비교 (인코딩 장벽) 및 정보 비교 (해석 장벽) 과업들에 초점을 맞춘다. 첫째, 비교 시각화 디자인을 제시한 문헌들(N = 104)을 체계적으로 조사 및 분석함으로써 시각화 연구자들이 사용자 실험과 시각화 설계 과정을 통해 얻은 실용적 통찰들을 정리하였다. 이 문헌조사를 기반으로 비교 시각화 설계에 대한 지침들을 정립하고, 비교 시각화를 위한 디자인 공간을 더 깊이 이해하고 탐색하는 데 도움을 줄 수 있는 시각화 분류 및 예시들을 제공한다. 둘째, 초심자들이 시각화 추천 인터페이스에서 어떻게 새로운 시각적 인코딩들을 서로 비교하고 사용하는지에 대한 이해를 돕기 위해 사용자 실험(N = 24)을 수행하였다. 이 실험의 결과를 기반으로, 초심자들의 주요 어려움들과 이들을 해결하기 위한 디자인 지침들을 제시한다. 셋째, 생명정보학자가 시각적으로 다수 개의 클러스터링 결과들을 비교 및 분석할 수 있도록 도와주는 시각화 시스템, XCluSim을 디자인하고 구현하는 디자인 스터디를 수행하였다. 사례 연구를 통해 실제로 생명정보학자가 XCluSim을 이용하여 많은 클러스터링 결과들을 쉽게 비교 및 평가할 수 있다는 것을 보였다. 마지막으로, 이 세 연구 결과들을 기반으로 비교 시각화 분야에서 유망한 향후 연구들을 제시한다.CHAPTER 1. Introduction 1 1.1 Background and Motivation 1 1.2 Research Questions and Approaches 4 1.2.1 Revisiting Comparative Layouts: Design Space, Guidelines, and Future Directions 5 1.2.2 Understanding How InfoVis Novices Compare Visual Encoding Recommendation 6 1.2.3 Designing XCluSim: a Visual Analytics System for Comparing Multiple Clustering Results 7 1.3 Dissertation Outline 8 CHAPTER 2. Related Work 9 2.1 Visual Comparison Tasks 9 2.2 Visualization Designs for Comparison 10 2.2.1 Gleicher et al.s Comparative Layout 11 2.3 Understanding InfoVis Novices 12 2.4 Visualization Recommendation Interfaces 13 2.5 Comparative Visualizations for Cluster Analysis 14 CHAPTER 3. Comparative Layouts Revisited: Design Space, Guidelines, and Future Directions 19 3.1 Introduction 19 3.2 Literature Review 21 3.2.1 Method 22 3.3 Comparative Layouts in The Wild 23 3.3.1 Classifying Comparison Tasks in User Studies 25 3.3.2 Same LayoutIs Called Differently 26 3.3.3 Lucid Classification of Comparative Layouts 28 3.3.4 Advantages and Concerns of Using Each Layout 30 3.3.5 Trade-offs between Comparative Layouts 36 3.3.6 Approaches to Overcome the Concerns 38 3.3.7 Comparative Layout Explorer 42 3.4 Discussion 42 3.4.1 Guidelines for Comparative Layouts 44 3.4.2 Promising Directions for Future Research 48 3.5 Summary 49 CHAPTER 4. Understanding How InfoVis Novices Compare Visual Encoding Recommendation 51 4.1 Motivation 51 4.2 Interface 53 4.2.1 Visualization Goals 53 4.2.2 Recommendations 54 4.2.3 Representation Methods for Recommendations 54 4.2.4 Interface 58 4.2.5 Pilot Study 61 4.3 User Study 62 4.3.1 Participants 62 4.3.2 Interface 62 4.3.3 Tasks and Datasets 65 4.3.4 Procedure. 65 4.4 Findings 68 4.4.1 Poor Design Decisions 68 4.4.2 Role of Preview, Animated Transition, and Text 69 4.4.3 Challenges For Understanding Recommendations 70 4.4.4 Learning By Doing 71 4.4.5 Effects of Recommendation Order 71 4.4.6 Personal Criteria for Selecting Recommendations 72 4.5 Discussion 73 4.5.1 Design Implications 73 4.5.2 Limitations and FutureWork 75 4.6 Summary 77 CHAPTER 5. Designing XCluSim: a Visual Analytics System for Comparing Multiple Clustering Results 78 5.1 Motivation 78 5.2 Task Analysis and Design Goals 79 5.3 XCluSim 80 5.3.1 Color Encoding of Clusters Using Tree Colors 82 5.3.2 Overview of All Clustering Results 83 5.3.3 Visualization for Comparing Selected Clustering Results 86 5.3.4 Visualization for Individual Clustering Results 92 5.3.5 Implementation 100 5.4 CaseStudy 100 5.4.1 Elucidating the Role of Ferroxidase in Cryptococcus Neoformans Var. Grubii H99 (CaseStudy 1) 100 5.4.2 Finding a Clustering Result that Clearly Represents Biological Relations (CaseStudy 2) 103 5.5 Discussion 106 5.5.1 Limitations and FutureWork 108 5.6 Summary 108 CHAPTER 6. Future Research Agenda 110 6.0.1 Recommendation for Visual Comparison 110 6.0.2 Understanding the Perception of Subtle Difference 111 6.0.3 Distinguishing InfoVis Novices from Experts 112 CHAPTER 7. Conclusion. 113 Abstract (Korean) 129 Acknowledgments (Korean) 131Docto

From Molecules to the Masses : Visual Exploration, Analysis, and Communication of Human Physiology

Det overordnede målet med denne avhandlingen er tverrfaglig anvendelse av medisinske illustrasjons- og visualiseringsteknikker for å utforske, analysere og formidle aspekter ved fysiologi til publikum med ulik faglig nivå og bakgrunn. Fysiologi beskriver de biologiske prosessene som skjer i levende vesener over tid. Vitenskapen om fysiologi er kompleks, men samtidig kritisk for vår forståelse av hvordan levende organismer fungerer. Fysiologi dekker en stor bredde romlig-temporale skalaer og fordrer behovet for å kombinere og bygge bro mellom basalfagene (biologi, fysikk og kjemi) og medisin. De senere årene har det vært en eksplosjon av nye, avanserte eksperimentelle metoder for å detektere og karakterisere fysiologiske data. Volumet og kompleksiteten til fysiologiske data krever effektive strategier for visualisering for å komplementere dagens standard analyser. Hvilke tilnærminger som benyttes i visualiseringen må nøye balanseres og tilpasses formålet med bruken av dataene, enten dette er for å utforske dataene, analysere disse eller kommunisere og presentere dem. Arbeidet i denne avhandlingen bidrar med ny kunnskap innen teori, empiri, anvendelse og reproduserbarhet av visualiseringsmetoder innen fysiologi. Først i avhandlingen er en rapport som oppsummerer og utforsker dagens kunnskap om muligheter og utfordringer for visualisering innen fysiologi. Motivasjonen for arbeidet er behovet forskere innen visualiseringsfeltet, og forskere i ulike anvendelsesområder, har for en sammensatt oversikt over flerskala visualiseringsoppgaver og teknikker. Ved å bruke søk over et stort spekter av metodiske tilnærminger, er dette den første rapporten i sitt slag som kartlegger visualiseringsmulighetene innen fysiologi. I rapporten er faglitteraturen oppsummert slik at det skal være enkelt å gjøre oppslag innen ulike tema i rom-og-tid-skalaen, samtidig som litteraturen er delt inn i de tre høynivå visualiseringsoppgavene data utforsking, analyse og kommunikasjon. Dette danner et enkelt grunnlag for å navigere i litteraturen i feltet og slik danner rapporten et godt grunnlag for diskusjon og forskningsmuligheter innen feltet visualisering og fysiologi. Basert på arbeidet med rapporten var det særlig to områder som det er ønskelig for oss å fortsette å utforske: (1) utforskende analyse av mangefasetterte fysiologidata for ekspertbrukere, og (2) kommunikasjon av data til både eksperter og ikke-eksperter. Arbeidet vårt av mangefasetterte fysiologidata er oppsummert i to studier i avhandlingen. Hver studie omhandler prosesser som foregår på forskjellige romlig-temporale skalaer og inneholder konkrete eksempler på anvendelse av metodene vurdert av eksperter i feltet. I den første av de to studiene undersøkes konsentrasjonen av molekylære substanser (metabolitter) ut fra data innsamlet med magnetisk resonansspektroskopi (MRS), en avansert biokjemisk teknikk som brukes til å identifisere metabolske forbindelser i levende vev. Selv om MRS kan ha svært høy sensitivitet og spesifisitet i medisinske anvendelser, er analyseresultatene fra denne modaliteten abstrakte og vanskelige å forstå også for medisinskfaglige eksperter i feltet. Vår designstudie som undersøkte oppgavene og kravene til ekspertutforskende analyse av disse dataene førte til utviklingen av SpectraMosaic. Dette er en ny applikasjon som gjør det mulig for domeneeksperter å analysere konsentrasjonen av metabolitter normalisert for en hel kohort, eller etter prøveregion, individ, opptaksdato, eller status på hjernens aktivitetsnivå ved undersøkelsestidspunktet. I den andre studien foreslås en metode for å utføre utforskende analyser av flerdimensjonale fysiologiske data i motsatt ende av den romlig-temporale skalaen, nemlig på populasjonsnivå. En effektiv arbeidsflyt for utforskende dataanalyse må kritisk identifisere interessante mønstre og relasjoner, noe som blir stadig vanskeligere når dimensjonaliteten til dataene øker. Selv om dette delvis kan løses med eksisterende reduksjonsteknikker er det alltid en fare for at subtile mønstre kan gå tapt i reduksjonsprosessen. Isteden presenterer vi i studien DimLift, en iterativ dimensjonsreduksjonsteknikk som muliggjør brukeridentifikasjon av interessante mønstre og relasjoner som kan ligge subtilt i et datasett gjennom dimensjonale bunter. Nøkkelen til denne metoden er brukerens evne til å styre dimensjonalitetsreduksjonen slik at den følger brukerens egne undersøkelseslinjer. For videre å undersøke kommunikasjon til eksperter og ikke-eksperter, studeres i neste arbeid utformingen av visualiseringer for kommunikasjon til publikum med ulike nivåer av ekspertnivå. Det er naturlig å forvente at eksperter innen et emne kan ha ulike preferanser og kriterier for å vurdere en visuell kommunikasjon i forhold til et ikke-ekspertpublikum. Dette påvirker hvor effektivt et bilde kan benyttes til å formidle en gitt scenario. Med utgangspunkt i ulike teknikker innen biomedisinsk illustrasjon og visualisering, gjennomførte vi derfor en utforskende studie av kriteriene som publikum bruker når de evaluerer en biomedisinsk prosessvisualisering målrettet for kommunikasjon. Fra denne studien identifiserte vi muligheter for ytterligere konvergens av biomedisinsk illustrasjon og visualiseringsteknikker for mer målrettet visuell kommunikasjonsdesign. Særlig beskrives i større dybde utviklingen av semantisk konsistente retningslinjer for farging av molekylære scener. Hensikten med slike retningslinjer er å heve den vitenskapelige kompetansen til ikke-ekspertpublikum innen molekyler visualisering, som vil være spesielt relevant for kommunikasjon til befolkningen i forbindelse med folkehelseopplysning. All kode og empiriske funn utviklet i arbeidet med denne avhandlingen er åpen kildekode og tilgjengelig for gjenbruk av det vitenskapelige miljøet og offentligheten. Metodene og funnene presentert i denne avhandlingen danner et grunnlag for tverrfaglig biomedisinsk illustrasjon og visualiseringsforskning, og åpner flere muligheter for fortsatt arbeid med visualisering av fysiologiske prosesser.The overarching theme of this thesis is the cross-disciplinary application of medical illustration and visualization techniques to address challenges in exploring, analyzing, and communicating aspects of physiology to audiences with differing expertise. Describing the myriad biological processes occurring in living beings over time, the science of physiology is complex and critical to our understanding of how life works. It spans many spatio-temporal scales to combine and bridge the basic sciences (biology, physics, and chemistry) to medicine. Recent years have seen an explosion of new and finer-grained experimental and acquisition methods to characterize these data. The volume and complexity of these data necessitate effective visualizations to complement standard analysis practice. Visualization approaches must carefully consider and be adaptable to the user's main task, be it exploratory, analytical, or communication-oriented. This thesis contributes to the areas of theory, empirical findings, methods, applications, and research replicability in visualizing physiology. Our contributions open with a state-of-the-art report exploring the challenges and opportunities in visualization for physiology. This report is motivated by the need for visualization researchers, as well as researchers in various application domains, to have a centralized, multiscale overview of visualization tasks and techniques. Using a mixed-methods search approach, this is the first report of its kind to broadly survey the space of visualization for physiology. Our approach to organizing the literature in this report enables the lookup of topics of interest according to spatio-temporal scale. It further subdivides works according to any combination of three high-level visualization tasks: exploration, analysis, and communication. This provides an easily-navigable foundation for discussion and future research opportunities for audience- and task-appropriate visualization for physiology. From this report, we identify two key areas for continued research that begin narrowly and subsequently broaden in scope: (1) exploratory analysis of multifaceted physiology data for expert users, and (2) communication for experts and non-experts alike. Our investigation of multifaceted physiology data takes place over two studies. Each targets processes occurring at different spatio-temporal scales and includes a case study with experts to assess the applicability of our proposed method. At the molecular scale, we examine data from magnetic resonance spectroscopy (MRS), an advanced biochemical technique used to identify small molecules (metabolites) in living tissue that are indicative of metabolic pathway activity. Although highly sensitive and specific, the output of this modality is abstract and difficult to interpret. Our design study investigating the tasks and requirements for expert exploratory analysis of these data led to SpectraMosaic, a novel application enabling domain researchers to analyze any permutation of metabolites in ratio form for an entire cohort, or by sample region, individual, acquisition date, or brain activity status at the time of acquisition. A second approach considers the exploratory analysis of multidimensional physiological data at the opposite end of the spatio-temporal scale: population. An effective exploratory data analysis workflow critically must identify interesting patterns and relationships, which becomes increasingly difficult as data dimensionality increases. Although this can be partially addressed with existing dimensionality reduction techniques, the nature of these techniques means that subtle patterns may be lost in the process. In this approach, we describe DimLift, an iterative dimensionality reduction technique enabling user identification of interesting patterns and relationships that may lie subtly within a dataset through dimensional bundles. Key to this method is the user's ability to steer the dimensionality reduction technique to follow their own lines of inquiry. Our third question considers the crafting of visualizations for communication to audiences with different levels of expertise. It is natural to expect that experts in a topic may have different preferences and criteria to evaluate a visual communication relative to a non-expert audience. This impacts the success of an image in communicating a given scenario. Drawing from diverse techniques in biomedical illustration and visualization, we conducted an exploratory study of the criteria that audiences use when evaluating a biomedical process visualization targeted for communication. From this study, we identify opportunities for further convergence of biomedical illustration and visualization techniques for more targeted visual communication design. One opportunity that we discuss in greater depth is the development of semantically-consistent guidelines for the coloring of molecular scenes. The intent of such guidelines is to elevate the scientific literacy of non-expert audiences in the context of molecular visualization, which is particularly relevant to public health communication. All application code and empirical findings are open-sourced and available for reuse by the scientific community and public. The methods and findings presented in this thesis contribute to a foundation of cross-disciplinary biomedical illustration and visualization research, opening several opportunities for continued work in visualization for physiology.Doktorgradsavhandlin

Pondering the Concept of Abstraction in (Illustrative) Visualization

International audienceWe explore the concept of abstraction as it is used in visualization, with the ultimate goal of understanding and formally defining it. Researchers so far have used the concept of abstraction largely by intuition without a precise meaning. This lack of specificity left questions on the characteristics of abstraction, its variants, its control, or its ultimate potential for visualization and, in particular, illustrative visualization mostly unanswered. In this paper we thus provide a first formalization of the abstraction concept and discuss how this formalization affects the application of abstraction in a variety of visualization scenarios. Based on this discussion, we derive a number of open questions still waiting to be answered, thus formulating a research agenda for the use of abstraction for the visual representation and exploration of data. This paper, therefore, is intended to provide a contribution to the discussion of the theoretical foundations of our field, rather than attempting to provide a completed and final theory