Interactive Visual Analytics for Large-scale Particle Simulations

Particle based model simulations are widely used in scientific visualization. In cosmology, particles are used to simulate the evolution of dark matter in the universe. Clusters of particles (that have special statistical properties) are called halos. From a visualization point of view, halos are clusters of particles, each having a position, mass and velocity in three dimensional space, and they can be represented as point clouds that contain various structures of geometric interest such as filaments, membranes, satellite of points, clusters, and cluster of clusters. The thesis investigates methods for interacting with large scale data-sets represented as point clouds. The work mostly aims at the interactive visualization of cosmological simulation based on large particle systems. The study consists of three components: a) two human factors experiments into the perceptual factors that make it possible to see features in point clouds; b) the design and implementation of a user interface making it possible to rapidly navigate through and visualize features in the point cloud, c) software development and integration to support visualization

Advanced Visualization and Intuitive User Interface Systems for Biomedical Applications

Modern scientific research produces data at rates that far outpace our ability to comprehend and analyze it. Such sources include medical imaging data and computer simulations, where technological advancements and spatiotemporal resolution generate increasing amounts of data from each scan or simulation. A bottleneck has developed whereby medical professionals and researchers are unable to fully use the advanced information available to them. By integrating computer science, computer graphics, artistic ability and medical expertise, scientific visualization of medical data has become a new field of study. The objective of this thesis is to develop two visualization systems that use advanced visualization, natural user interface technologies and the large amount of biomedical data available to produce results that are of clinical utility and overcome the data bottleneck that has developed. Computational Fluid Dynamics (CFD) is a tool used to study the quantities associated with the movement of blood by computer simulation. We developed methods of processing spatiotemporal CFD data and displaying it in stereoscopic 3D with the ability to spatially navigate through the data. We used this method with two sets of display hardware: a full-scale visualization environment and a small-scale desktop system. The advanced display and data navigation abilities provide the user with the means to better understand the relationship between the vessel\u27s form and function. Low-cost 3D, depth-sensing cameras capture and process user body motion to recognize motions and gestures. Such devices allow users to use hand motions as an intuitive interface to computer applications. We developed algorithms to process and prepare the biomedical and scientific data for use with a custom control application. The application interprets user gestures as commands to a visualization tool and allows the user to control the visualization of multi-dimensional data. The intuitive interface allows the user to control the visualization of data without manual contact with an interaction device. In developing these methods and software tools we have leveraged recent trends in advanced visualization and intuitive interfaces in order to efficiently visualize biomedical data in such a way that provides meaningful information that can be used to further appreciate it

Αλγόριθμοι ανάλυσης και επεξεργασίας αυτοστερεοσκοπικών εικόνων

Οι σημερινές μέθοδοι λήψης και απεικόνισης τρισδιάστατου (3Δ) περιεχομένου απαιτούν τη χρήση συσκευών εντοπισμού ή ειδικών γυαλιών. Υπάρχουν όμως τεχνικές οι οποίες παρέχουν τη δυνατότητα προβολής 3Δ περιεχομένου στο χρήστη χωρίς τη χρήση ειδικών διατάξεων. Αυτές ονομάζονται «αυτοστερεοσκοπικές» και οι αντίστοιχες εικόνες που προκύπτουν χαρακτηρίζονται «αυτοστερεοσκοπικές εικόνες». Ένα ιδιαίτερα υποσχόμενο είδος αυτοστερεοσκοπικής 3Δ απεικόνισης ονομάζεται Ολοκληρωτική Απεικόνιση (ΟΑ). Η ΟΑ δίνει τη δυνατότητα λήψης Ολοκληρωτικών Εικόνων (ΟΕ) οι οποίες περιέχουν ενσωματωμένη την 3Δ πληροφορία και μπορούν μέσω κατάλληλων συσκευών να την μεταφέρουν στο θεατή χωρίς τη χρήση από αυτόν ειδικού εξοπλισμού. Όμως η οποιαδήποτε απώλεια ευθυγράμμισης μεταξύ των μηχανικών τμημάτων της συσκευής λήψης έχει ως αποτέλεσμα γεωμετρικές παραμορφώσεις στη δομή της ληφθείσας ΟΕ. Το αποτέλεσμα είναι η απώλεια του 3Δ περιεχομένου καθώς και η ολοκληρωτική αποτυχία των αλγορίθμων ανάλυσης οι οποίοι βασίζονται στις καθορισμένες γεωμετρικές διαστάσεις της ληφθείσας ΟΕ. Στην διδακτορική αυτή διατριβή αναπτύχθηκαν εύρωστες μέθοδοι επεξεργασίας εικόνας για την επιτυχή αντιμετώπιση των εν λόγω γεωμετρικών παραμορφώσεων. Χρησιμοποιώντας μεθόδους από το χώρο της τεχνητής όρασης μελετήθηκαν και επιλύθηκαν τα προβλήματα γεωμετρικών παραμορφώσεων ΟΕ οι οποίες προκύπτουν από συστοιχίες τετράγωνων, εξαγωνικών, τριγωνικών καθώς και κυκλικών φακών. Το αποτέλεσμα της μελέτης αυτής ήταν η δημιουργία ευέλικτων αλγορίθμων επεξεργασίας και επιδιόρθωσης ΟΕ. Nowadays, acquisition and display of three-dimensional (3D) images requires the use of special tracking devices or glasses. However specialized techniques provide the ability of 3D content delivery to end users without such limitations. These methods are called autostereoscopic and the resulting images are called autostereoscopic images. A promising type of autostereoscopic imaging is called Integral Imaging (InI). InI provides the ability of capturing Integral Images (InIms) that contain embedded 3D information and are additionally able to display it to the end user without the need for specialized equipment. But the existence of even slight misalignments between the optical components in the acquisition device results in geometrical aberrations in the structure of the acquired InIm. These result in total loss of the displayed 3D content as well as failure of all InIm analysis and processing algorithms that depend on pre-determined geometric dimensions of the acquired InIm. In this doctoral dissertation robust image processing frameworks were developed in order to successfully correct these geometrical aberrations. In detail, using computer vision methodologies, the problems of geometrical aberrations in arrays of square, hexagonal and triangular lenses were extensively studied, resulting in the development of robust InIm processing and rectification algorithms

Αλγόριθμοι Ανάλυσης και Επεξεργασίας Αυτοστερεοσκοπικών Εικόνων

Οι σημερινές μέθοδοι λήψης και απεικόνισης τρισδιάστατου (3Δ) περιεχομένου απαιτούν τη χρήση συσκευών εντοπισμού ή ειδικών γυαλιών. Υπάρχουν όμως τεχνικές οι οποίες παρέχουν τη δυνατότητα προβολής 3Δ περιεχομένου στο χρήστη χωρίς τη χρήση ειδικών διατάξεων. Αυτές ονομάζονται «αυτοστερεοσκοπικές» και οι αντίστοιχες εικόνες που προκύπτουν χαρακτηρίζονται «αυτοστερεοσκοπικές εικόνες». Ένα ιδιαίτερα υποσχόμενο είδος αυτοστερεοσκοπικής 3Δ απεικόνισης ονομάζεται Ολοκληρωτική Απεικόνιση (ΟΑ). Η ΟΑ δίνει τη δυνατότητα λήψης Ολοκληρωτικών Εικόνων (ΟΕ) οι οποίες περιέχουν ενσωματωμένη την 3Δ πληροφορία και μπορούν μέσω κατάλληλων συσκευών να την μεταφέρουν στο θεατή χωρίς τη χρήση από αυτόν ειδικού εξοπλισμού. Όμως η οποιαδήποτε απώλεια ευθυγράμμισης μεταξύ των μηχανικών τμημάτων της συσκευής λήψης έχει ως αποτέλεσμα γεωμετρικές παραμορφώσεις στη δομή της ληφθείσας ΟΕ. Το αποτέλεσμα είναι η απώλεια του 3Δ περιεχομένου καθώς και η ολοκληρωτική αποτυχία των αλγορίθμων ανάλυσης οι οποίοι βασίζονται στις καθορισμένες γεωμετρικές διαστάσεις της ληφθείσας ΟΕ. Στην διδακτορική αυτή διατριβή αναπτύχθηκαν εύρωστες μέθοδοι επεξεργασίας εικόνας για την επιτυχή αντιμετώπιση των εν λόγω γεωμετρικών παραμορφώσεων. Χρησιμοποιώντας μεθόδους από το χώρο της τεχνητής όρασης μελετήθηκαν και επιλύθηκαν τα προβλήματα γεωμετρικών παραμορφώσεων ΟΕ οι οποίες προκύπτουν από συστοιχίες τετράγωνων, εξαγωνικών, τριγωνικών καθώς και κυκλικών φακών. Το αποτέλεσμα της μελέτης αυτής ήταν η δημιουργία ευέλικτων αλγορίθμων επεξεργασίας και επιδιόρθωσης ΟΕ.Nowadays, acquisition and display of three-dimensional (3D) images requires the use of special tracking devices or glasses. However specialized techniques provide the ability of 3D content delivery to end users without such limitations. These methods are called autostereoscopic and the resulting images are called autostereoscopic images. A promising type of autostereoscopic imaging is called Integral Imaging (InI). InI provides the ability of capturing Integral Images (InIms) that contain embedded 3D information and are additionally able to display it to the end user without the need for specialized equipment. But the existence of even slight misalignments between the optical components in the acquisition device results in geometrical aberrations in the structure of the acquired InIm. These result in total loss of the displayed 3D content as well as failure of all InIm analysis and processing algorithms that depend on predetermined geometric dimensions of the acquired InIm. In this doctoral dissertation robust image processing frameworks were developed in order to successfully correct these geometrical aberrations. In detail, using computer vision methodologies, the problems of geometrical aberrations in arrays of square, hexagonal, triangular and circular lenses were extensively studied, resulting in the development of robust InIm processing and rectification algorithms

Συμβολή στην ανάλυση και κωδικοποίηση συστοιχίας εικόνων τρισδιάστατης απεικόνισης

Τα τρισδιάστατα (3Δ) συστήματα απεικόνισης αποτελούν σήμερα το κύριο μέσο παρατήρησης για ένα πλήθος από εξειδικευμένες εφαρμογές και με την εξέλιξη των τεχνολογικών τους παραμέτρων και των δικτυακών υποδομών αναμένεται να αποτελέσουν στο άμεσο μέλλον την κύρια μέθοδο απεικόνισης για ένα ακόμη μεγαλύτερο πλήθος από καθημερινές εφαρμογές. Η έρευνα που πραγματοποιήθηκε στα πλαίσια της παρούσας διατριβής αποτελεί μία προχωρημένη μελέτη για ένα συγκεκριμένο είδος μεθόδου 3Δ απεικόνισης που ονομάζεται Ολοκληρωτική Φωτογράφιση (Ιntegral Photography - IP). Στο πρώτο τμήμα της μελέτης εξετάστηκαν οι δυνατότητες της μεθόδου και αναπτύχθηκε ένα πρωτότυπο ψηφιακό σύστημα καταγραφής εικόνων Ολοκληρωτικής Φωτογράφισης (ΟΦ) πραγματικών αντικειμένων του εγγύς πεδίου της συσκευής με χρήση ενός επίπεδου σαρωτή, ικανό να παράγει εικόνες με ιδιαίτερα υψηλή ανάλυση, σε σχέση με τα μέχρι τούδε προταθέντα ψηφιακά συστήματα. Στο δεύτερο τμήμα της παρούσας έρευνας αναπτύχθηκε, για πρώτη φορά, ένα αυτόματο σύστημα ευθυγράμμισης των αισθητήρων που χρησιμοποιούνται με τα οπτικά μέρη του συστήματος, το οποίο δεν προϋποθέτει καμία γνώση για τα χαρακτηριστικά του συστήματος χρησιμοποιώντας ένα πλήθος τεχνικών ανάλυσης εικόνας και αναγνώρισης προτύπων. Η παρούσα έρευνα ολοκληρώνεται με την ανάπτυξη εξειδικευμένων αλγορίθμων κωδικοποίησης των εικόνων ΟΦ, οι οποίες καταφέρνουν να μειώσουν σε εξαιρετικό βαθμό τον εγγενή πλεονασμό που περιέχουν αυτές

Understanding and Mitigating Search Errors in 3D Volumetric Images

In the field of oncology, three-dimensional volumetric medical images provide radiologists with a detailed visual representation of various anatomical structures that facilitate the early detection and characterization of malignant lesions but at the cost of an increased search space. Recent work (Lago et al., 2021) establishes that human observers rely heavily on peripheral visual processing away from the point of fixation when searching for signals in 3D volumetric images. The searcher’s over-reliance on peripheral vision interacts strongly with how much of the volume they explore and with how much they report they have explored. Specifically, observers under-explore—as determined by the percentage of the volume covered by the Useful Field of View (UFOV)—and overestimate the percentage of volume they explored through self-report measures. Consequently, they miss small signals during the search. This thesis aims to elucidate the psychological factors mediating human under-exploration of 3D volumetric image data. The second thrust of this thesis is to investigate three solutions to mitigate the detrimental impact of under-exploration in 3D images. The first method is a 2D synthetic view of the 3D data that observers can utilize as additional information when performing the 3D search. I establish through behavioral measurements and a computational model simulating foveated vision how the 2D-S guides eye movements to suspicious regions in the 3D volume. In turn, this guidance allows observers to find the small signal that would otherwise be missed without the 2D-S adjunct. The second method involves a different type of search aid, a convolutional neural network, which acts as a computer-aided detection system to assist human observers during the 3D search. Like the 2D-S, it guides eye movements to suspicious regions in a 3D volumetric image that observers would have otherwise not looked at. The last method is inspired by the power of group decision-making. It investigates how combining multiple independent judgments from a group of searchers can lead to more exploration of the search space and a higher chance of detecting the small signal. Together, the body of work herein provides empirical results from laboratory studies to further our understanding of how humans interact with 3D imaging modalities with the goal of improving healthcare services relating to early cancer screenings