Enhanced perception in volume visualization

Due to the nature of scientic data sets, the generation of convenient visualizations may be a difficult task, but crucial to correctly convey the relevant information of the data. When working with complex volume models, such as the anatomical ones, it is important to provide accurate representations, since a misinterpretation can lead to serious mistakes while diagnosing a disease or planning surgery. In these cases, enhancing the perception of the features of interest usually helps to properly understand the data. Throughout years, researchers have focused on different methods to improve the visualization of volume data sets. For instance, the definition of good transfer functions is a key issue in Volume Visualization, since transfer functions determine how materials are classified. Other approaches are based on simulating realistic illumination models to enhance the spatial perception, or using illustrative effects to provide the level of abstraction needed to correctly interpret the data. This thesis contributes with new approaches to enhance the visual and spatial perception in Volume Visualization. Thanks to the new computing capabilities of modern graphics hardware, the proposed algorithms are capable of modifying the illumination model and simulating illustrative motifs in real time. In order to enhance local details, which are useful to better perceive the shape and the surfaces of the volume, our first contribution is an algorithm that employs a common sharpening operator to modify the lighting applied. As a result, the overall contrast of the visualization is enhanced by brightening the salient features and darkening the deeper regions of the volume model. The enhancement of depth perception in Direct Volume Rendering is also covered in the thesis. To do this, we propose two algorithms to simulate ambient occlusion: a screen-space technique based on using depth information to estimate the amount of light occluded, and a view-independent method that uses the density values of the data set to estimate the occlusion. Additionally, depth perception is also enhanced by adding halos around the structures of interest. Maximum Intensity Projection images provide a good understanding of the high intensity features of the data, but lack any contextual information. In order to enhance the depth perception in such a case, we present a novel technique based on changing how intensity is accumulated. Furthermore, the perception of the spatial arrangement of the displayed structures is also enhanced by adding certain colour cues. The last contribution is a new manipulation tool designed for adding contextual information when cutting the volume. Based on traditional illustrative effects, this method allows the user to directly extrude structures from the cross-section of the cut. As a result, the clipped structures are displayed at different heights, preserving the information needed to correctly perceive them.Debido a la naturaleza de los datos científicos, visualizarlos correctamente puede ser una tarea complicada, pero crucial para interpretarlos de forma adecuada. Cuando se trabaja con modelos de volumen complejos, como es el caso de los modelos anatómicos, es importante generar imágenes precisas, ya que una mala interpretación de las mismas puede producir errores graves en el diagnóstico de enfermedades o en la planificación de operaciones quirúrgicas. En estos casos, mejorar la percepción de las zonas de interés, facilita la comprensión de la información inherente a los datos. Durante décadas, los investigadores se han centrado en el desarrollo de técnicas para mejorar la visualización de datos volumétricos. Por ejemplo, los métodos que permiten definir buenas funciones de transferencia son clave, ya que éstas determinan cómo se clasifican los materiales. Otros ejemplos son las técnicas que simulan modelos de iluminación realista, que permiten percibir mejor la distribución espacial de los elementos del volumen, o bien los que imitan efectos ilustrativos, que proporcionan el nivel de abstracción necesario para interpretar correctamente los datos. El trabajo presentado en esta tesis se centra en mejorar la percepción de los elementos del volumen, ya sea modificando el modelo de iluminación aplicado en la visualización, o simulando efectos ilustrativos. Aprovechando la capacidad de cálculo de los nuevos procesadores gráficos, se describen un conjunto de algoritmos que permiten obtener los resultados en tiempo real. Para mejorar la percepción de detalles locales, proponemos modificar el modelo de iluminación utilizando una conocida herramienta de procesado de imágenes (unsharp masking). Iluminando aquellos detalles que sobresalen de las superficies y oscureciendo las zonas profundas, se mejora el contraste local de la imagen, con lo que se consigue realzar los detalles de superficie. También se presentan diferentes técnicas para mejorar la percepción de la profundidad en Direct Volume Rendering. Concretamente, se propone modificar la iluminación teniendo en cuenta la oclusión ambiente de dos maneras diferentes: la primera utiliza los valores de profundidad en espacio imagen para calcular el factor de oclusión del entorno de cada pixel, mientras que la segunda utiliza los valores de densidad del volumen para aproximar dicha oclusión en cada vóxel. Además de estas dos técnicas, también se propone mejorar la percepción espacial y de la profundidad de ciertas estructuras mediante la generación de halos. La técnica conocida como Maximum Intensity Projection (MIP) permite visualizar los elementos de mayor intensidad del volumen, pero no aporta ningún tipo de información contextual. Para mejorar la percepción de la profundidad, proponemos una nueva técnica basada en cambiar la forma en la que se acumula la intensidad en MIP. También se describe un esquema de color para mejorar la percepción espacial de los elementos visualizados. La última contribución de la tesis es una herramienta de manipulación directa de los datos, que permite preservar la información contextual cuando se realizan cortes en el modelo de volumen. Basada en técnicas ilustrativas tradicionales, esta técnica permite al usuario estirar las estructuras visibles en las secciones de los cortes. Como resultado, las estructuras de interés se visualizan a diferentes alturas sobre la sección, lo que permite al observador percibirlas correctamente

Rapid development of applications for the interactive visual analysis of multimodal medical data

Multimodale medizinische Volumendaten gewinnen zunehmend an Verbreitung. Wir diskutieren verschiedene interaktive Applikationen welche den Nutzer bei der Analyse dieser Daten unterstützen. Alle Applikationen basieren auf Erweiterungen des Voreen Frameworks, welche ebenfalls in dieser Dissertation diskutiert werden. With multimodal volumetric medical data sets becoming more common due to the increasing availability of scanning hardware, software for the visualization and analysis of such data sets needs to become more efficient as well in order to prevent overloading the user with data. This dissertation presents several interactive techniques for the visual analysis of medical volume data. All applications are based on extensions to the Voreen volume rendering framework, which we will discuss first. Since visual analysis applications are interactive by definition, we propose a general-purpose navigation technique for volume data. Next, we discuss our concepts for the interactive planning of brain tumor resections. Finally, we present two systems designed to work with images of vasculature. First, we discuss an interactive vessel segmentation system enabling an efficient, visually supported workflow. Second, we propose an application for the visual analysis of PET tracer uptake along vessels

Advanced interaction techniques for medical models

Advances in Medical Visualization allows the analysis of anatomical structures with the use of 3D models reconstructed from a stack of intensity-based images acquired through different techniques, being Computerized Tomographic (CT) modality one of the most common. A general medical volume graphics application usually includes an exploration task which is sometimes preceded by an analysis process where the anatomical structures of interest are first identified. The main objective of this thesis is the improvement of the user experience in the analysis and exploration of medical datasets. This improvement involves the development of efficient algorithms designed both under a user-centered perspective and taking the new computing capabilities into account in order to obtain high quality results in real-time. On the analysis stage, we have focused on the identification of the bones at joints, which is particularly challenging because the bones are very close to each other and their boundaries become ambiguous in CT images. We have concentrated our efforts on reaching maximum automation of the overall process. The proposed algorithm uses an example mesh of the same bone that has to be segmented, usually from a different person, to drive the segmentation process. The algorithm is based on an energy minimization scheme to deform the initial example mesh while following the well-defined features of the volume data to be segmented in a local and adaptive way. We also present contributions on three different aspects of the exploration task: a best-view determination system and centering in virtual reality environments, a focus-and-context technique and a point selection method. In medical practice it would often be very useful to have access to a quick pre-visualization of the involved medical dataset. We have proposed a new system which allows users to obtain a set of representative views in a short time and permits the generation of inspection paths at almost no extra cost. The technique relies on the use of a multiscale entropy measure for the generation of good viewpoints and uses a complexity-based metric, the normalized compression distance, for the calculation of the representative views set. In the exploration of medical datasets, it is difficult to simultaneously visualize interior and exterior structures because the structures are commonly quite complex and it is easy to lose the context. We have developed a new interaction tool, the Virtual Magic Lantern, tailored to facilitate volumetric data inspection in a Virtual Reality environment. It behaves like a lantern whose illumination cone determines the region of interest. It addresses the occlusion management problem and facilitates the inspection of inner structures without the total elimination of the exterior structures, offering in this way, a focus+context-based visualization of the overall structures. Finally, the analysis of medical datasets may require the selection of 3D points for measurements involving anatomical structures. Although there are well-established 3D object selection techniques for polygonal models, there is a lack of techniques specifically developed for volume datasets. We present a new selection technique for Virtual Reality setups which allows users to easily select anchor points in non-necessarily segmented volume datasets rendered using Direct Volume Rendering. This new metaphor is based on the use of a ray emanating from the user, whose trajectory is enriched with its points of intersection with the on-the-fly determination of the isosurfaces along the ray path. Additionally, a visual feedback of the ray selection is offered through the use of two helper mirror views, in order to show occluded candidate points that would otherwise be invisible to the user without posterior and ad-hoc manipulation.Els avenços en la investigació en el camp de Medical Visualization permeten l’anàlisi de models volumètrics tridimensionals d’estructures anatòmiques obtinguts a partir d’imatgesmèdiques capturades mitjançant diferents tècniques, essent la Tomografia Computeritzada (TC) una de lesmés habituals. Generalment, les aplicacions informàtiques d’ajuda al diagnòstic, la simulació, etc., permeten l’exploració interactiva d’aquest tipus de models, una tasca que pot anar precedida d’un procés d’identificació (segmentació) de les estructures anatòmiques per tal de possibilitar la seva exploració. L’objectiu d’aquesta tesi és millorar l’eficiència i l’experiència de l’usuari, tant de la tasca de segmentació com de l’exploració. Per tal d’assolir-ho s’han desenvolupat diversos algorismes; dissenyats sota una perspectiva centrada en l’usuari i fent servir els darrers avenços tecnològics de las targes gràfiques, el que ens permet obtenir resultats visuals de màxima qualitat en temps real. Respecte de la tasca de segmentació, ens hem centrat en el problema de la identificació d’ossos ubicats en articulacions, en models capturats mitjançant TC. La identificació d’aquests ossos pot arribar a ser molt feixuga i costosa fent servir les tècniques clàssiques de segmentació. La recerca realitzada en elmarc de la tesi s’ha enfocat en assolir la màxima automatització possible del procés sencer. La tècnica proposada empra una malla triangular d’exemple de l’os que es vol segmentar, que es fará servir per guiar tot el procés de segmentació. L’algorisme deforma de forma local i adaptativa aquesta malla, adaptant-la a la informació present en el model volumètric en les parts en que la seva frontera està definida de forma no ambigua, i respectant la forma original en les zones en les que el model presenta algun tipus d’incertesa en la definició de la frontera, ja sigui be perque l’estructura òssia apareix totalment unida a altres estructures òssies de l’articulació o be degut a que la informació capturada no presenta una frontera ben contrastada. Per altra banda, en la pràctica clínica pot ser de molta utilitat oferir a l’usuari una previsualització ràpida del model volumètric que ha d’inspeccionar. En aquesta tesi elaborem una nova tècnica que permet obtenir en un temps acceptable un conjunt de vistes representatives d’un model volumètric, així comla generació automàtica d’una animació a l’entorn del model que facilita a l’usuari una ràpida comprensió del mateix. La tècnica desenvolupada utilitza una formulació de l’entropia multiescala per la obtenció de bones vistes i la distància de compressió normalitzada, una mètrica del camp de la teoria de la complexitat, per establir el conjunt de vistes representatives. En l’exploració de models mèdics pot ser difícil la visualització simultània d’estructures internes i externes. Per abordar aquest problema s’ha desenvolupat una nova tècnica d’interacció anomenada Virtual Magic Lantern, pensada per a facilitar la inspecció d’aquests models en entorns de realitat virtual. Aquesta metàfora d’interacció es comporta com una llanterna. El seu feix de llum determina una regió d’interès del model, que serà visualitzada emprant una funció de transferència específica permetent la visualització de les estructures internes sense eliminar el context de tot el model. En l’anàlisi de modelsmédics pot ser necessària la selecció de punts concrets per a poder realitzar algun tipus de medició entre estructures anatòmiques. Depenent del algorisme de visualització del model, determinar quin punt exactament vol seleccionar l’usuari pot no tenir un resultat únic. Per solventar aquest problema, s’ha desenvolupat una nova metàfora d’interacció per entorns de realitat virtual, que permet la selecció de punts en un model volumètric no necessàriament segmentat. Aquesta tècnica es basa en l’ús d’un raig originat en la mà de l’usuari, sobre el que es visualitzen els punts d’intersecció amb les estructures anatòmiques que travessa. Donat que la superfície d’aquestes estructures no està explícitament definida, s’ha requerit desenvolupar especialment un càlcul ràpid i precís de les seves interseccions amb el raig. Per tal de facilitar la visió dels punts interiors a superfícies opaques i enriquir la visualització global, s’afegeix sobre dos plans auxiliars la visió del volum tallat garantint la visibilitat total del conjunt de punts.Los avances en la investigación en el área de Medical Visualization permiten el análisis de modelos volumétricos tridimensionales de estructuras anatómicas, los cuales se obtienen a partir de imágenes médicas capturadas mediante diferentes técnicas de captación, siendo la Tomografía Computerizada (TC) una de las más frecuentes. Habitualmente, las aplicaciones informáticas orientadas al análisis de este tipo de modelos, bien sean para el soporte al diagnóstico, simuladores médicos o la planificación de procesos quirúrgicos, permiten la exploración interactiva de los modelos volumétricos. Dependiendo de las estructuras anatómicas que se precise analizar, puede ser necesario realizar un proceso de identificación (segmentación) de las estructuras anatómicas para posibilitar su posterior inspección. El objetivo principal de esta tesis ha consistido en el desarrollo de nuevas técnicas informáticas que mejoren la experiencia del usuario en los procesos tanto de segmentación como de exploración de un modelo volumétrico. Para alcanzar dicho objetivo, ha sido necesario el desarrollo de algoritmos eficientes diseñados teniendo particularmente en cuenta al usuario final y explotando los últimos avances en la tecnología de las tarjetas gráficas para poder obtener resultados visuales de la máxima calidad en tiempo real. En lo relativo al proceso de segmentación, nos hemos centrado en la identificación de las estructuras óseas ubicadas en articulaciones, en modelos capturadosmediante TC. La identificación de este tipo de estructuras usando los métodos tradicionales de segmentación puede llegar a ser muy tediosa, debido a que puede necesitarse mucha intervención por parte del usuario. La investigación llevada a cabo ha tenido como objetivo principal el maximizar el grado de automatización en el proceso de segmentación de este tipo de estructuras. La técnica propuesta parte de un ejemplo de la estructura ósea (malla triangular) que se quiere segmentar, generada a partir de los datos o bien de otra persona o bien de la misma persona en otras circunstancias. A partir de este ejemplo el algoritmo deforma la malla de manera local y adaptativa, adaptandola a la información presente en elmodelo volumétrico en aquellas zonas donde la frontera de la estructura está definida de forma no ambígua, y respetando la forma de la malla original en aquellas otras zonas en las cuales el modelo volumétrico presenta algún tipo de incertidumbre en la definición de la frontera, ya sea porque la estructura ósea aparece totalmente unida a otras estructuras óseas de la articulación o debido a que la información capturada no presenta una frontera bien contrastada. En lo relativo al proceso de exploración, esta tesis presenta resultados en dos vertientes distintas. Por un lado, la generación automática de una previsualización del modelo volumétrico y por el otro lado, el desarrollo de nuevas técnicas de interacción que faciliten la exploración de modelos volumétricos en entornos de realidad virtual. Ofrecer al usuario una previsualización rápida del modelo volumétrico que ha de inspeccionar, puede ser de mucha utilidad en la práctica clínica. En esta tesis elaboramos un nuevo sistema que permite obtener en un tiempo razonable un conjunto de vistas representativas del modelo volumétrico, así como la generación de una animación alrededor del modelo que facilita al usuario una rápida comprensión del mismo. Las técnicas desarrolladas se basan en el uso de la entropía multiescala para el cálculo de vistas informativas del modelo volumétrico. A partir del conjunto de vistas calculadas y mediante el uso de la distancia de compresión normalizada, una métrica de Teoría de la Complejidad, se puede calcular un subconjunto de vistas representativas del modelo volumétrico. Por otro lado, en la exploración de modelos volumétricos puede ser difícil visualizar simultáneamente estructuras anatómicas internas y externas. Esto es debido a que las estructuras son bastantes complejas, y es fácil perder la referencia respecto a otras estructuras anatómicas. En esta tesis se ha desarrollado una nueva técnica de interacción, bautizada como VirtualMagic Lantern, orientada a facilitar la inspección de modelos volumétricos en entornos de realidad virtual. Esta nueva metáfora de interacción se comporta como una linterna de mano guiada por el usuario, cuyo haz de luz define sobre el modelo volumétrico una región de interés. Esta región de interés será visualizada utilizando una función de transferencia diferente a la usada para el resto del modelo, posibilitando de esta manera la inspección de estructuras internas sin eliminar totalmente el resto delmodelo. En el análisis de modelos médicos puede ser necesaria la selección de puntos concretos para poder realizar algún tipo de medición entre estructuras anatómicas. Dependiendo del tipo de visualización del modelo, determinar qué punto exactamente quiere seleccionar el usuario puede no tener un resultado único. Para solucionar este problema, se presenta una nuevametáfora de interacción en entornos de realidad virtual para la selección de puntos anatómicos de un modelo volumétrico no necesariamente segmentado. Esta técnica se basa en el uso de un rayo originado en la mano del usuario, sobre el que son visualizados los puntos de intersección de las estructuras anatómicas que atraviesa. Dado que la superficie de estas estructuras anatómicas no está explícitamente representada en el modelo volumétrico, se ha requerido desarrollar un cálculo preciso y rápido de la intersección del rayo con estas estructuras. Para ofrecer una visualización de los puntos calculados sin ningún tipo de oclusión por parte de las estructuras anatómicas existentes en el modelo, se ha añadido a la visualización global la visualización de dos paneles auxiliares en los cuales se muestra el mismo modelo volumétrico recortado de tal manera que sean completamente visibles el conjunto de los puntos. De esta forma, se facilita al usuario la selección de los puntos calculados sin tener que realizar ningún tipo de manipulación del modelo para poder obtener una visualización en la que los puntos calculados sean visibles

Lattice-Boltzmann simulations of cerebral blood flow

Computational haemodynamics play a central role in the understanding of blood behaviour in the cerebral vasculature, increasing our knowledge in the onset of vascular diseases and their progression, improving diagnosis and ultimately providing better patient prognosis. Computer simulations hold the potential of accurately characterising motion of blood and its interaction with the vessel wall, providing the capability to assess surgical treatments with no danger to the patient. These aspects considerably contribute to better understand of blood circulation processes as well as to augment pre-treatment planning. Existing software environments for treatment planning consist of several stages, each requiring significant user interaction and processing time, significantly limiting their use in clinical scenarios. The aim of this PhD is to provide clinicians and researchers with a tool to aid in the understanding of human cerebral haemodynamics. This tool employs a high performance fluid solver based on the lattice-Boltzmann method (coined HemeLB), high performance distributed computing and grid computing, and various advanced software applications useful to efficiently set up and run patient-specific simulations. A graphical tool is used to segment the vasculature from patient-specific CT or MR data and configure boundary conditions with ease, creating models of the vasculature in real time. Blood flow visualisation is done in real time using in situ rendering techniques implemented within the parallel fluid solver and aided by steering capabilities; these programming strategies allows the clinician to interactively display the simulation results on a local workstation. A separate software application is used to numerically compare simulation results carried out at different spatial resolutions, providing a strategy to approach numerical validation. This developed software and supporting computational infrastructure was used to study various patient-specific intracranial aneurysms with the collaborating interventionalists at the National Hospital for Neurology and Neuroscience (London), using three-dimensional rotational angiography data to define the patient-specific vasculature. Blood flow motion was depicted in detail by the visualisation capabilities, clearly showing vortex fluid ow features and stress distribution at the inner surface of the aneurysms and their surrounding vasculature. These investigations permitted the clinicians to rapidly assess the risk associated with the growth and rupture of each aneurysm. The ultimate goal of this work is to aid clinical practice with an efficient easy-to-use toolkit for real-time decision support

Interactive Segmentation of 3D Medical Images with Implicit Surfaces

To cope with a variety of clinical applications, research in medical image processing has led to a large spectrum of segmentation techniques that extract anatomical structures from volumetric data acquired with 3D imaging modalities. Despite continuing advances in mathematical models for automatic segmentation, many medical practitioners still rely on 2D manual delineation, due to the lack of intuitive semi-automatic tools in 3D. In this thesis, we propose a methodology and associated numerical schemes enabling the development of 3D image segmentation tools that are reliable, fast and interactive. These properties are key factors for clinical acceptance. Our approach derives from the framework of variational methods: segmentation is obtained by solving an optimization problem that translates the expected properties of target objects in mathematical terms. Such variational methods involve three essential components that constitute our main research axes: an objective criterion, a shape representation and an optional set of constraints. As objective criterion, we propose a unified formulation that extends existing homogeneity measures in order to model the spatial variations of statistical properties that are frequently encountered in medical images, without compromising efficiency. Within this formulation, we explore several shape representations based on implicit surfaces with the objective to cover a broad range of typical anatomical structures. Firstly, to model tubular shapes in vascular imaging, we introduce convolution surfaces in the variational context of image segmentation. Secondly, compact shapes such as lesions are described with a new representation that generalizes Radial Basis Functions with non-Euclidean distances, which enables the design of basis functions that naturally align with salient image features. Finally, we estimate geometric non-rigid deformations of prior templates to recover structures that have a predictable shape such as whole organs. Interactivity is ensured by restricting admissible solutions with additional constraints. Translating user input into constraints on the sign of the implicit representation at prescribed points in the image leads us to consider inequality-constrained optimization

Neural Radiance Fields: Past, Present, and Future

The various aspects like modeling and interpreting 3D environments and surroundings have enticed humans to progress their research in 3D Computer Vision, Computer Graphics, and Machine Learning. An attempt made by Mildenhall et al in their paper about NeRFs (Neural Radiance Fields) led to a boom in Computer Graphics, Robotics, Computer Vision, and the possible scope of High-Resolution Low Storage Augmented Reality and Virtual Reality-based 3D models have gained traction from res with more than 1000 preprints related to NeRFs published. This paper serves as a bridge for people starting to study these fields by building on the basics of Mathematics, Geometry, Computer Vision, and Computer Graphics to the difficulties encountered in Implicit Representations at the intersection of all these disciplines. This survey provides the history of rendering, Implicit Learning, and NeRFs, the progression of research on NeRFs, and the potential applications and implications of NeRFs in today's world. In doing so, this survey categorizes all the NeRF-related research in terms of the datasets used, objective functions, applications solved, and evaluation criteria for these applications.Comment: 413 pages, 9 figures, 277 citation

New Trends in 3D Printing

A quarter century period of the 3D printing technology development affords ground for speaking about new realities or the formation of a new technological system of digital manufacture and partnership. The up-to-date 3D printing is at the top of its own overrated expectations. So the development of scalable, high-speed methods of the material 3D printing aimed to increase the productivity and operating volume of the 3D printing machines requires new original decisions. It is necessary to study the 3D printing applicability for manufacturing of the materials with multilevel hierarchical functionality on nano-, micro- and meso-scales that can find applications for medical, aerospace and/or automotive industries. Some of the above-mentioned problems and new trends are considered in this book

Mobile Wound Assessment and 3D Modeling from a Single Image

The prevalence of camera-enabled mobile phones have made mobile wound assessment a viable treatment option for millions of previously difficult to reach patients. We have designed a complete mobile wound assessment platform to ameliorate the many challenges related to chronic wound care. Chronic wounds and infections are the most severe, costly and fatal types of wounds, placing them at the center of mobile wound assessment. Wound physicians assess thousands of single-view wound images from all over the world, and it may be difficult to determine the location of the wound on the body, for example, if the wound is taken at close range. In our solution, end-users capture an image of the wound by taking a picture with their mobile camera. The wound image is segmented and classified using modern convolution neural networks, and is stored securely in the cloud for remote tracking. We use an interactive semi-automated approach to allow users to specify the location of the wound on the body. To accomplish this we have created, to the best our knowledge, the first 3D human surface anatomy labeling system, based off the current NYU and Anatomy Mapper labeling systems. To interactively view wounds in 3D, we have presented an efficient projective texture mapping algorithm for texturing wounds onto a 3D human anatomy model. In so doing, we have demonstrated an approach to 3D wound reconstruction that works even for a single wound image