Expressive cutting, deforming, and painting of three-dimensional digital shapes through asymmetric bimanual haptic manipulation

Practitioners of the geosciences, design, and engineering disciplines communicate complex ideas about shape by manipulating three-dimensional digital objects to match their conceptual model. However, the two-dimensional control interfaces, common in software applications, create a disconnect to three-dimensional manipulations. This research examines cutting, deforming, and painting manipulations for expressive three-dimensional interaction. It presents a cutting algorithm specialized for planning cuts on a triangle mesh, the extension of a deformation algorithm for inhomogeneous meshes, and the definition of inhomogeneous meshes by painting into a deformation property map. This thesis explores two-handed interactions with haptic force-feedback where each hand can fulfill an asymmetric bimanual role. These digital shape manipulations demonstrate a step toward the creation of expressive three-dimensional interactions

Shape deformations based on vector fields

This thesis explores applications of vector field processing to shape deformations. We present a novel method to construct divergence-free vector fields which are used to deform shapes by vector field integration (Chapter 2). The resulting deformation is volume-preserving and no self-intersections occur. We add more controllability to this approach by introducing implicit boundaries (Chapter 3), a shape editing method which resembles the well-known boundary constraint modeling metaphor. While the vector fields are originally defined in space, we also present a surface-based version of this approach which allows for more exact boundary selection and deformation control (Chapter 4). We show that vectorfield- based shape deformations can be used to animate elastic motions without complex physical simulations (Chapter 5). We also introduce an alternative approach to exactly preserve the volume of skinned triangle meshes (Chapter 6). This is accomplished by constructing a displacement field on the mesh surface which restores the original volume after deformation. Finally, we demonstrate that shape deformation by vector field integration can also be used to visualize smoke-like streak surfaces in dynamic flow fields (Chapter 7).In dieser Dissertation werden verschiedene Anwendungen der Vektorfeldverarbeitung im Bereich Objektdeformation untersucht. Wir präsentieren eine neuartige Methode zur Konstruktion von divergenzfreien Vektorfeldern, welche mittels Integration zum Deformieren von Objekten verwendet werden (Kapitel 2). Die so entstehende Deformation ist volumenerhaltend und keine Selbstüberschneidungen treten auf. Inspiriert von etablierten, auf Randbedingungen beruhenden Methoden, erweitern wir diese Idee hinsichtlich Kontrollierbarkeit mittels impliziten Abgrenzungen (Kapitel 3). Während die ursprüngliche Konstruktion im Raum definiert ist, präsentieren wir auch eine oberflächenbasierte Version, welche ein genaueres Festlegen der Abgrenzungen und bessere Kontrolle ermöglicht (Kapitel 4). Wir zeigen, dass vektorfeldbasierte Deformationen auch zur Animation von elastischen Bewegungen benutzt werden können, ohne dass komplexe Simulationen nötig sind (Kapitel 5). Des weiteren zeigen wir eine alternative Möglichkeit, mit der man das Volumen von Dreiecksnetzen erhalten kann, welche mittels Skelett-Animation deformiert werden (Kapitel 6). Dies erreichen wir durch ein Deformationsfeld auf der Oberfläche, das das ursprüngliche Volumen wieder hergestellt. Wir zeigen außerdem, dass Deformierungen mittels Vektorfeld-Integration auch zur Visualisierung von Rauch in dynamischen Flüssen genutzt werden können(Kapitel 7)

Enhanced perception in volume visualization

Due to the nature of scientic data sets, the generation of convenient visualizations may be a difficult task, but crucial to correctly convey the relevant information of the data. When working with complex volume models, such as the anatomical ones, it is important to provide accurate representations, since a misinterpretation can lead to serious mistakes while diagnosing a disease or planning surgery. In these cases, enhancing the perception of the features of interest usually helps to properly understand the data. Throughout years, researchers have focused on different methods to improve the visualization of volume data sets. For instance, the definition of good transfer functions is a key issue in Volume Visualization, since transfer functions determine how materials are classified. Other approaches are based on simulating realistic illumination models to enhance the spatial perception, or using illustrative effects to provide the level of abstraction needed to correctly interpret the data. This thesis contributes with new approaches to enhance the visual and spatial perception in Volume Visualization. Thanks to the new computing capabilities of modern graphics hardware, the proposed algorithms are capable of modifying the illumination model and simulating illustrative motifs in real time. In order to enhance local details, which are useful to better perceive the shape and the surfaces of the volume, our first contribution is an algorithm that employs a common sharpening operator to modify the lighting applied. As a result, the overall contrast of the visualization is enhanced by brightening the salient features and darkening the deeper regions of the volume model. The enhancement of depth perception in Direct Volume Rendering is also covered in the thesis. To do this, we propose two algorithms to simulate ambient occlusion: a screen-space technique based on using depth information to estimate the amount of light occluded, and a view-independent method that uses the density values of the data set to estimate the occlusion. Additionally, depth perception is also enhanced by adding halos around the structures of interest. Maximum Intensity Projection images provide a good understanding of the high intensity features of the data, but lack any contextual information. In order to enhance the depth perception in such a case, we present a novel technique based on changing how intensity is accumulated. Furthermore, the perception of the spatial arrangement of the displayed structures is also enhanced by adding certain colour cues. The last contribution is a new manipulation tool designed for adding contextual information when cutting the volume. Based on traditional illustrative effects, this method allows the user to directly extrude structures from the cross-section of the cut. As a result, the clipped structures are displayed at different heights, preserving the information needed to correctly perceive them.Debido a la naturaleza de los datos científicos, visualizarlos correctamente puede ser una tarea complicada, pero crucial para interpretarlos de forma adecuada. Cuando se trabaja con modelos de volumen complejos, como es el caso de los modelos anatómicos, es importante generar imágenes precisas, ya que una mala interpretación de las mismas puede producir errores graves en el diagnóstico de enfermedades o en la planificación de operaciones quirúrgicas. En estos casos, mejorar la percepción de las zonas de interés, facilita la comprensión de la información inherente a los datos. Durante décadas, los investigadores se han centrado en el desarrollo de técnicas para mejorar la visualización de datos volumétricos. Por ejemplo, los métodos que permiten definir buenas funciones de transferencia son clave, ya que éstas determinan cómo se clasifican los materiales. Otros ejemplos son las técnicas que simulan modelos de iluminación realista, que permiten percibir mejor la distribución espacial de los elementos del volumen, o bien los que imitan efectos ilustrativos, que proporcionan el nivel de abstracción necesario para interpretar correctamente los datos. El trabajo presentado en esta tesis se centra en mejorar la percepción de los elementos del volumen, ya sea modificando el modelo de iluminación aplicado en la visualización, o simulando efectos ilustrativos. Aprovechando la capacidad de cálculo de los nuevos procesadores gráficos, se describen un conjunto de algoritmos que permiten obtener los resultados en tiempo real. Para mejorar la percepción de detalles locales, proponemos modificar el modelo de iluminación utilizando una conocida herramienta de procesado de imágenes (unsharp masking). Iluminando aquellos detalles que sobresalen de las superficies y oscureciendo las zonas profundas, se mejora el contraste local de la imagen, con lo que se consigue realzar los detalles de superficie. También se presentan diferentes técnicas para mejorar la percepción de la profundidad en Direct Volume Rendering. Concretamente, se propone modificar la iluminación teniendo en cuenta la oclusión ambiente de dos maneras diferentes: la primera utiliza los valores de profundidad en espacio imagen para calcular el factor de oclusión del entorno de cada pixel, mientras que la segunda utiliza los valores de densidad del volumen para aproximar dicha oclusión en cada vóxel. Además de estas dos técnicas, también se propone mejorar la percepción espacial y de la profundidad de ciertas estructuras mediante la generación de halos. La técnica conocida como Maximum Intensity Projection (MIP) permite visualizar los elementos de mayor intensidad del volumen, pero no aporta ningún tipo de información contextual. Para mejorar la percepción de la profundidad, proponemos una nueva técnica basada en cambiar la forma en la que se acumula la intensidad en MIP. También se describe un esquema de color para mejorar la percepción espacial de los elementos visualizados. La última contribución de la tesis es una herramienta de manipulación directa de los datos, que permite preservar la información contextual cuando se realizan cortes en el modelo de volumen. Basada en técnicas ilustrativas tradicionales, esta técnica permite al usuario estirar las estructuras visibles en las secciones de los cortes. Como resultado, las estructuras de interés se visualizan a diferentes alturas sobre la sección, lo que permite al observador percibirlas correctamente

Advanced interaction techniques for medical models

Advances in Medical Visualization allows the analysis of anatomical structures with the use of 3D models reconstructed from a stack of intensity-based images acquired through different techniques, being Computerized Tomographic (CT) modality one of the most common. A general medical volume graphics application usually includes an exploration task which is sometimes preceded by an analysis process where the anatomical structures of interest are first identified. The main objective of this thesis is the improvement of the user experience in the analysis and exploration of medical datasets. This improvement involves the development of efficient algorithms designed both under a user-centered perspective and taking the new computing capabilities into account in order to obtain high quality results in real-time. On the analysis stage, we have focused on the identification of the bones at joints, which is particularly challenging because the bones are very close to each other and their boundaries become ambiguous in CT images. We have concentrated our efforts on reaching maximum automation of the overall process. The proposed algorithm uses an example mesh of the same bone that has to be segmented, usually from a different person, to drive the segmentation process. The algorithm is based on an energy minimization scheme to deform the initial example mesh while following the well-defined features of the volume data to be segmented in a local and adaptive way. We also present contributions on three different aspects of the exploration task: a best-view determination system and centering in virtual reality environments, a focus-and-context technique and a point selection method. In medical practice it would often be very useful to have access to a quick pre-visualization of the involved medical dataset. We have proposed a new system which allows users to obtain a set of representative views in a short time and permits the generation of inspection paths at almost no extra cost. The technique relies on the use of a multiscale entropy measure for the generation of good viewpoints and uses a complexity-based metric, the normalized compression distance, for the calculation of the representative views set. In the exploration of medical datasets, it is difficult to simultaneously visualize interior and exterior structures because the structures are commonly quite complex and it is easy to lose the context. We have developed a new interaction tool, the Virtual Magic Lantern, tailored to facilitate volumetric data inspection in a Virtual Reality environment. It behaves like a lantern whose illumination cone determines the region of interest. It addresses the occlusion management problem and facilitates the inspection of inner structures without the total elimination of the exterior structures, offering in this way, a focus+context-based visualization of the overall structures. Finally, the analysis of medical datasets may require the selection of 3D points for measurements involving anatomical structures. Although there are well-established 3D object selection techniques for polygonal models, there is a lack of techniques specifically developed for volume datasets. We present a new selection technique for Virtual Reality setups which allows users to easily select anchor points in non-necessarily segmented volume datasets rendered using Direct Volume Rendering. This new metaphor is based on the use of a ray emanating from the user, whose trajectory is enriched with its points of intersection with the on-the-fly determination of the isosurfaces along the ray path. Additionally, a visual feedback of the ray selection is offered through the use of two helper mirror views, in order to show occluded candidate points that would otherwise be invisible to the user without posterior and ad-hoc manipulation.Els avenços en la investigació en el camp de Medical Visualization permeten l’anàlisi de models volumètrics tridimensionals d’estructures anatòmiques obtinguts a partir d’imatgesmèdiques capturades mitjançant diferents tècniques, essent la Tomografia Computeritzada (TC) una de lesmés habituals. Generalment, les aplicacions informàtiques d’ajuda al diagnòstic, la simulació, etc., permeten l’exploració interactiva d’aquest tipus de models, una tasca que pot anar precedida d’un procés d’identificació (segmentació) de les estructures anatòmiques per tal de possibilitar la seva exploració. L’objectiu d’aquesta tesi és millorar l’eficiència i l’experiència de l’usuari, tant de la tasca de segmentació com de l’exploració. Per tal d’assolir-ho s’han desenvolupat diversos algorismes; dissenyats sota una perspectiva centrada en l’usuari i fent servir els darrers avenços tecnològics de las targes gràfiques, el que ens permet obtenir resultats visuals de màxima qualitat en temps real. Respecte de la tasca de segmentació, ens hem centrat en el problema de la identificació d’ossos ubicats en articulacions, en models capturats mitjançant TC. La identificació d’aquests ossos pot arribar a ser molt feixuga i costosa fent servir les tècniques clàssiques de segmentació. La recerca realitzada en elmarc de la tesi s’ha enfocat en assolir la màxima automatització possible del procés sencer. La tècnica proposada empra una malla triangular d’exemple de l’os que es vol segmentar, que es fará servir per guiar tot el procés de segmentació. L’algorisme deforma de forma local i adaptativa aquesta malla, adaptant-la a la informació present en el model volumètric en les parts en que la seva frontera està definida de forma no ambigua, i respectant la forma original en les zones en les que el model presenta algun tipus d’incertesa en la definició de la frontera, ja sigui be perque l’estructura òssia apareix totalment unida a altres estructures òssies de l’articulació o be degut a que la informació capturada no presenta una frontera ben contrastada. Per altra banda, en la pràctica clínica pot ser de molta utilitat oferir a l’usuari una previsualització ràpida del model volumètric que ha d’inspeccionar. En aquesta tesi elaborem una nova tècnica que permet obtenir en un temps acceptable un conjunt de vistes representatives d’un model volumètric, així comla generació automàtica d’una animació a l’entorn del model que facilita a l’usuari una ràpida comprensió del mateix. La tècnica desenvolupada utilitza una formulació de l’entropia multiescala per la obtenció de bones vistes i la distància de compressió normalitzada, una mètrica del camp de la teoria de la complexitat, per establir el conjunt de vistes representatives. En l’exploració de models mèdics pot ser difícil la visualització simultània d’estructures internes i externes. Per abordar aquest problema s’ha desenvolupat una nova tècnica d’interacció anomenada Virtual Magic Lantern, pensada per a facilitar la inspecció d’aquests models en entorns de realitat virtual. Aquesta metàfora d’interacció es comporta com una llanterna. El seu feix de llum determina una regió d’interès del model, que serà visualitzada emprant una funció de transferència específica permetent la visualització de les estructures internes sense eliminar el context de tot el model. En l’anàlisi de modelsmédics pot ser necessària la selecció de punts concrets per a poder realitzar algun tipus de medició entre estructures anatòmiques. Depenent del algorisme de visualització del model, determinar quin punt exactament vol seleccionar l’usuari pot no tenir un resultat únic. Per solventar aquest problema, s’ha desenvolupat una nova metàfora d’interacció per entorns de realitat virtual, que permet la selecció de punts en un model volumètric no necessàriament segmentat. Aquesta tècnica es basa en l’ús d’un raig originat en la mà de l’usuari, sobre el que es visualitzen els punts d’intersecció amb les estructures anatòmiques que travessa. Donat que la superfície d’aquestes estructures no està explícitament definida, s’ha requerit desenvolupar especialment un càlcul ràpid i precís de les seves interseccions amb el raig. Per tal de facilitar la visió dels punts interiors a superfícies opaques i enriquir la visualització global, s’afegeix sobre dos plans auxiliars la visió del volum tallat garantint la visibilitat total del conjunt de punts.Los avances en la investigación en el área de Medical Visualization permiten el análisis de modelos volumétricos tridimensionales de estructuras anatómicas, los cuales se obtienen a partir de imágenes médicas capturadas mediante diferentes técnicas de captación, siendo la Tomografía Computerizada (TC) una de las más frecuentes. Habitualmente, las aplicaciones informáticas orientadas al análisis de este tipo de modelos, bien sean para el soporte al diagnóstico, simuladores médicos o la planificación de procesos quirúrgicos, permiten la exploración interactiva de los modelos volumétricos. Dependiendo de las estructuras anatómicas que se precise analizar, puede ser necesario realizar un proceso de identificación (segmentación) de las estructuras anatómicas para posibilitar su posterior inspección. El objetivo principal de esta tesis ha consistido en el desarrollo de nuevas técnicas informáticas que mejoren la experiencia del usuario en los procesos tanto de segmentación como de exploración de un modelo volumétrico. Para alcanzar dicho objetivo, ha sido necesario el desarrollo de algoritmos eficientes diseñados teniendo particularmente en cuenta al usuario final y explotando los últimos avances en la tecnología de las tarjetas gráficas para poder obtener resultados visuales de la máxima calidad en tiempo real. En lo relativo al proceso de segmentación, nos hemos centrado en la identificación de las estructuras óseas ubicadas en articulaciones, en modelos capturadosmediante TC. La identificación de este tipo de estructuras usando los métodos tradicionales de segmentación puede llegar a ser muy tediosa, debido a que puede necesitarse mucha intervención por parte del usuario. La investigación llevada a cabo ha tenido como objetivo principal el maximizar el grado de automatización en el proceso de segmentación de este tipo de estructuras. La técnica propuesta parte de un ejemplo de la estructura ósea (malla triangular) que se quiere segmentar, generada a partir de los datos o bien de otra persona o bien de la misma persona en otras circunstancias. A partir de este ejemplo el algoritmo deforma la malla de manera local y adaptativa, adaptandola a la información presente en elmodelo volumétrico en aquellas zonas donde la frontera de la estructura está definida de forma no ambígua, y respetando la forma de la malla original en aquellas otras zonas en las cuales el modelo volumétrico presenta algún tipo de incertidumbre en la definición de la frontera, ya sea porque la estructura ósea aparece totalmente unida a otras estructuras óseas de la articulación o debido a que la información capturada no presenta una frontera bien contrastada. En lo relativo al proceso de exploración, esta tesis presenta resultados en dos vertientes distintas. Por un lado, la generación automática de una previsualización del modelo volumétrico y por el otro lado, el desarrollo de nuevas técnicas de interacción que faciliten la exploración de modelos volumétricos en entornos de realidad virtual. Ofrecer al usuario una previsualización rápida del modelo volumétrico que ha de inspeccionar, puede ser de mucha utilidad en la práctica clínica. En esta tesis elaboramos un nuevo sistema que permite obtener en un tiempo razonable un conjunto de vistas representativas del modelo volumétrico, así como la generación de una animación alrededor del modelo que facilita al usuario una rápida comprensión del mismo. Las técnicas desarrolladas se basan en el uso de la entropía multiescala para el cálculo de vistas informativas del modelo volumétrico. A partir del conjunto de vistas calculadas y mediante el uso de la distancia de compresión normalizada, una métrica de Teoría de la Complejidad, se puede calcular un subconjunto de vistas representativas del modelo volumétrico. Por otro lado, en la exploración de modelos volumétricos puede ser difícil visualizar simultáneamente estructuras anatómicas internas y externas. Esto es debido a que las estructuras son bastantes complejas, y es fácil perder la referencia respecto a otras estructuras anatómicas. En esta tesis se ha desarrollado una nueva técnica de interacción, bautizada como VirtualMagic Lantern, orientada a facilitar la inspección de modelos volumétricos en entornos de realidad virtual. Esta nueva metáfora de interacción se comporta como una linterna de mano guiada por el usuario, cuyo haz de luz define sobre el modelo volumétrico una región de interés. Esta región de interés será visualizada utilizando una función de transferencia diferente a la usada para el resto del modelo, posibilitando de esta manera la inspección de estructuras internas sin eliminar totalmente el resto delmodelo. En el análisis de modelos médicos puede ser necesaria la selección de puntos concretos para poder realizar algún tipo de medición entre estructuras anatómicas. Dependiendo del tipo de visualización del modelo, determinar qué punto exactamente quiere seleccionar el usuario puede no tener un resultado único. Para solucionar este problema, se presenta una nuevametáfora de interacción en entornos de realidad virtual para la selección de puntos anatómicos de un modelo volumétrico no necesariamente segmentado. Esta técnica se basa en el uso de un rayo originado en la mano del usuario, sobre el que son visualizados los puntos de intersección de las estructuras anatómicas que atraviesa. Dado que la superficie de estas estructuras anatómicas no está explícitamente representada en el modelo volumétrico, se ha requerido desarrollar un cálculo preciso y rápido de la intersección del rayo con estas estructuras. Para ofrecer una visualización de los puntos calculados sin ningún tipo de oclusión por parte de las estructuras anatómicas existentes en el modelo, se ha añadido a la visualización global la visualización de dos paneles auxiliares en los cuales se muestra el mismo modelo volumétrico recortado de tal manera que sean completamente visibles el conjunto de los puntos. De esta forma, se facilita al usuario la selección de los puntos calculados sin tener que realizar ningún tipo de manipulación del modelo para poder obtener una visualización en la que los puntos calculados sean visibles

Data-Driven Shape Analysis and Processing

Data-driven methods play an increasingly important role in discovering geometric, structural, and semantic relationships between 3D shapes in collections, and applying this analysis to support intelligent modeling, editing, and visualization of geometric data. In contrast to traditional approaches, a key feature of data-driven approaches is that they aggregate information from a collection of shapes to improve the analysis and processing of individual shapes. In addition, they are able to learn models that reason about properties and relationships of shapes without relying on hard-coded rules or explicitly programmed instructions. We provide an overview of the main concepts and components of these techniques, and discuss their application to shape classification, segmentation, matching, reconstruction, modeling and exploration, as well as scene analysis and synthesis, through reviewing the literature and relating the existing works with both qualitative and numerical comparisons. We conclude our report with ideas that can inspire future research in data-driven shape analysis and processing.Comment: 10 pages, 19 figure

Doctor of Philosophy

dissertationConfocal microscopy has become a popular imaging technique in biology research in recent years. It is often used to study three-dimensional (3D) structures of biological samples. Confocal data are commonly multichannel, with each channel resulting from a different fluorescent staining. This technique also results in finely detailed structures in 3D, such as neuron fibers. Despite the plethora of volume rendering techniques that have been available for many years, there is a demand from biologists for a flexible tool that allows interactive visualization and analysis of multichannel confocal data. Together with biologists, we have designed and developed FluoRender. It incorporates volume rendering techniques such as a two-dimensional (2D) transfer function and multichannel intermixing. Rendering results can be enhanced through tone-mappings and overlays. To facilitate analyses of confocal data, FluoRender provides interactive operations for extracting complex structures. Furthermore, we developed the Synthetic Brainbow technique, which takes advantage of the asynchronous behavior in Graphics Processing Unit (GPU) framebuffer loops and generates random colorizations for different structures in single-channel confocal data. The results from our Synthetic Brainbows, when applied to a sequence of developing cells, can then be used for tracking the movements of these cells. Finally, we present an application of FluoRender in the workflow of constructing anatomical atlases

Embodied Interactions for Spatial Design Ideation: Symbolic, Geometric, and Tangible Approaches

Computer interfaces are evolving from mere aids for number crunching into active partners in creative processes such as art and design. This is, to a great extent, the result of mass availability of new interaction technology such as depth sensing, sensor integration in mobile devices, and increasing computational power. We are now witnessing the emergence of maker culture that can elevate art and design beyond the purview of enterprises and professionals such as trained engineers and artists. Materializing this transformation is not trivial; everyone has ideas but only a select few can bring them to reality. The challenge is the recognition and the subsequent interpretation of human actions into design intent

Doctor of Philosophy

dissertationWith the ever-increasing amount of available computing resources and sensing devices, a wide variety of high-dimensional datasets are being produced in numerous fields. The complexity and increasing popularity of these data have led to new challenges and opportunities in visualization. Since most display devices are limited to communication through two-dimensional (2D) images, many visualization methods rely on 2D projections to express high-dimensional information. Such a reduction of dimension leads to an explosion in the number of 2D representations required to visualize high-dimensional spaces, each giving a glimpse of the high-dimensional information. As a result, one of the most important challenges in visualizing high-dimensional datasets is the automatic filtration and summarization of the large exploration space consisting of all 2D projections. In this dissertation, a new type of algorithm is introduced to reduce the exploration space that identifies a small set of projections that capture the intrinsic structure of high-dimensional data. In addition, a general framework for summarizing the structure of quality measures in the space of all linear 2D projections is presented. However, identifying the representative or informative projections is only part of the challenge. Due to the high-dimensional nature of these datasets, obtaining insights and arriving at conclusions based solely on 2D representations are limited and prone to error. How to interpret the inaccuracies and resolve the ambiguity in the 2D projections is the other half of the puzzle. This dissertation introduces projection distortion error measures and interactive manipulation schemes that allow the understanding of high-dimensional structures via data manipulation in 2D projections

Computational interaction techniques for 3D selection, manipulation and navigation in immersive VR

3D interaction provides a natural interplay for HCI. Many techniques involving diverse sets of hardware and software components have been proposed, which has generated an explosion of Interaction Techniques (ITes), Interactive Tasks (ITas) and input devices, increasing thus the heterogeneity of tools in 3D User Interfaces (3DUIs). Moreover, most of those techniques are based on general formulations that fail in fully exploiting human capabilities for interaction. This is because while 3D interaction enables naturalness, it also produces complexity and limitations when using 3DUIs. In this thesis, we aim to generate approaches that better exploit the high potential human capabilities for interaction by combining human factors, mathematical formalizations and computational methods. Our approach is focussed on the exploration of the close coupling between specific ITes and ITas while addressing common issues of 3D interactions. We specifically focused on the stages of interaction within Basic Interaction Tasks (BITas) i.e., data input, manipulation, navigation and selection. Common limitations of these tasks are: (1) the complexity of mapping generation for input devices, (2) fatigue in mid-air object manipulation, (3) space constraints in VR navigation; and (4) low accuracy in 3D mid-air selection. Along with two chapters of introduction and background, this thesis presents five main works. Chapter 3 focusses on the design of mid-air gesture mappings based on human tacit knowledge. Chapter 4 presents a solution to address user fatigue in mid-air object manipulation. Chapter 5 is focused on addressing space limitations in VR navigation. Chapter 6 describes an analysis and a correction method to address Drift effects involved in scale-adaptive VR navigation; and Chapter 7 presents a hybrid technique 3D/2D that allows for precise selection of virtual objects in highly dense environments (e.g., point clouds). Finally, we conclude discussing how the contributions obtained from this exploration, provide techniques and guidelines to design more natural 3DUIs