1,255 research outputs found

    How can Extended Reality Help Individuals with Depth Misperception?

    Get PDF
    Despite the recent actual uses of Extended Reality (XR) in treatment of patients, some areas are less explored. One gap in research is how XR can improve depth perception for patients. Accordingly, the depth perception process in XR settings and in human vision are explored and trackers, visual sensors, and displays as assistive tools of XR settings are scrutinized to extract their potentials in influencing users’ depth perception experience. Depth perception enhancement is relying not only on depth perception algorithms, but also on visualization algorithms, display new technologies, computation power enhancements, and vision apparatus neural mechanism knowledge advancements. Finally, it is discussed that XR holds assistive features not only for the improvement of vision impairments but also for the diagnosis part. Although, each specific patient requires a specific set of XR setting due to different neural or cognition reactions in different individuals with same the disease

    Through the Looking Glass: The Use of Lenses as an Interface Tool for Augmented Reality

    Get PDF
    Stephen N. Spencer The University of Washington Program Chairs Alan Chalmers Hock Soon Seah Publisher ACM Press New York, NY, US

    Engaging customers before the trip: experimental analysis of the role of virtual and augmented reality in the creation of tourism pre-experiences

    Get PDF
    La llegada de las tecnologías de realidad-virtualidad está cambiando la forma en que los consumidores experimentan los entornos reales y virtuales. Las tecnologías inmersivas están siendo cada vez más usadas por parte de las empresas para dar forma a las experiencias de los consumidores. En concreto, la realidad aumentada (RA) y la realidad virtual (RV) están revolucionando la forma en que los turistas potenciales perciben y experimentan los productos y servicios turísticos. Especialmente, estas tecnologías pueden utilizarse para superar las características inherentes al turismo en la etapa previa a la experiencia (intangibilidad). En esta etapa las tecnologías inmersivas proporcionan a los turistas potenciales una información rica y experiencial que les permite evaluar el producto turístico en mejores condiciones, lo que les sitúa en una posición ventajosa para tomar decisiones más adecuadas.Centrándose en esta etapa, esta tesis doctoral tiene como objetivo principal analizar las dimensiones cognitivas, afectivas y comportamentales de las experiencias de los usuarios con la RA y la RV. En este sentido, los objetivos específicos de esta tesis doctoral son:1. Establecer las barreras conceptuales que definen a las diferentes realidades, tecnologías, y las experiencias de los consumidores con las tecnologías de realidad-virtualidad.2. Analizar los efectos de la integración tecnológica (technological embodiment) en las pre-experiencias turísticas con tecnologías inmersivas.3. Comparar los efectos de la RA y la RV en una pre-experiencia turística.4. Examinar los efectos del enriquecimiento sensorial de las pre-experiencias turísticas con RV.5. Analizar el impacto de las pre-experiencias inmersivas a lo largo de diferentes contextos turísticos.La revisión de la literatura realizada sobre el impacto de la RA/RV en el campo del turismo nos permite detectar diferentes tendencias. Cabe destacar el hecho de que la literatura inicial en esta temática es eminentemente teórica y que la mayor parte de los artículos han sido publicados en los últimos años. En la actualidad, se están realizando estudios tanto con RA como con RV, centrándose en las etapas de pre-experiencia y experiencia, usando mayoritariamente metodologías cuantitativas, e incrementando la variedad de contextos turísticos en los que se han estudiado estas tecnologías.En el marco teórico de la tesis doctoral se pretende superar las inconsistencias que existen en el uso de la terminología referente a las diferentes realidades y, considerando los desarrollos recientes, se procede a la actualización del continuo de realidad-virtualidad. De esta forma, se consideran los entornos reales y virtuales como los extremos del continuo. En esta última categoría se encuentra la RV, definida como entornos inmersivos generados mediante ordenador en los que los usuarios pueden navegar y posiblemente interactuar, produciéndose una estimulación de sus sentidos en tiempo real, lo que hace que se sientan presentes en el entorno mostrado. Entre estos extremos del continuo podemos encontrar otras realidades formadas por diferentes mezclas de realidad-virtualidad: RA, en la que los elementos digitales se superponen en el entorno real; virtualidad aumentada, en la que los elementos reales se superponen en el entorno virtual; y realidad mixta pura, en la que los usuarios se encuentran en el mundo real y el contenido digital está totalmente integrado en su entorno, por lo que los usuarios pueden interactuar con los elementos reales y virtuales, y estos elementos pueden interactuar entre ellos. Además, se analiza teóricamente cómo estas realidades pueden ser integradas durante las diferentes etapas del proceso de decisión de compra del consumidor para ofrecer experiencias memorables de mayor valor añadido. A continuación, se presenta el cubo EPI (Embodiment-Presence-Interactivity) que está constituido por tres dimensiones relacionadas con los elementos principales que forman parte de la interacción humano-tecnología: la integración tecnológica (technological embodiment; factor tecnológico), la percepción de presencia (factor humano) y la interactividad (factor comportamental). En primer lugar, la integración tecnológica es definida como estados en los que la tecnología se convierte en una extensión del cuerpo humano al estar cada vez más integrada con los sentidos humanos. Por su parte, la presencia es la percepción subjetiva de un ser humano de encontrarse en un lugar diferente al que realmente se encuentra. Por su parte, la interactividad comportamental se define como la capacidad del usuario de modificar (forma y contenido), así como recibir retroalimentación de sus acciones en la realidad en la que se encuentra. A lo largo de las diferentes caras y en el interior de cubo, las tecnologías actuales (y futuras) de realidad-virtualidad son colocadas de acuerdo a estas dimensiones. El cubo EPI es la base teórica en la que se fundamentan los análisis empíricos realizados.El primer estudio empírico de la tesis analiza cómo el grado de integración tecnológica afecta a las pre-experiencias de los consumidores con un destino turístico. Basándose en el modelo Estímulo-Organismo-Respuesta, se estudia como el nivel de integración tecnológica (estímulo) afecta a las percepciones de inmersión y la estimulación sensorial de los usuarios (organismo), y su posterior efecto en el engagement y las intenciones comportamentales hacia el destino mostrado (respuesta). Además, se analiza el efecto moderador del tipo de turismo (activo vs. pasivo). Los datos se recogieron de un experimento de laboratorio con 202 participantes, que pudieron ver un vídeo en 360 grados en el que se mostraba un destino turístico con dispositivos que difieren en su grado de integración tecnológica. Los resultados demuestran que los RV HMD (Head-Mounted Display) están más integrados corporalmente que los smartphones, y estos más que los ordenadores de sobremesa. El uso de RV HMD genera experiencias más inmersivas, una mayor estimulación sensorial, engagement, siendo este efecto no significativo en el caso de las intenciones comportamentales. La inmersión y la estimulación sensorial median el efecto del dispositivo en el engagement, mientras que en el caso de las intenciones comportamentales este efecto es mediado por la estimulación sensorial. Finalmente, los efectos de la integración tecnológica en la inmersión, estimulación sensorial y el engagement son mayores cuando se visualizan vídeos de turismo activo (en comparación a turismo pasivo).El segundo estudio se adentra en el análisis del impacto de la RV en la industria hotelera. Se considera el efecto de la integración tecnológica en las reacciones emocionales y en el engagement psicológico y comportamental. En el experimento realizado se pidió a 141 participantes que imaginaran que iban a visitar un destino y que estaban buscando un alojamiento. A continuación, tuvieron una pre-experiencia con una habitación de hotel (vídeo en 360 grados) con dispositivos que diferían en su grado de integración tecnológica. Los resultados vuelven a demostrar empíricamente que los RV HMD están más integrados corporalmente que los smartphones, y estos más que los ordenadores de sobremesa. Dispositivos más integrados corporalmente generan mayores reacciones emocionales, engagement psicológico y comportamental. Las reacciones emocionales median el efecto de la integración tecnológica en el engagement psicológico (no significativo en el caso del engagement comportamental). Finalmente, el engagement psicológico media el impacto de la integración tecnológica en el engagement comportamental. Ambos estudios ponen de manifiesto la importancia de la integración de la tecnología cuando se analizan las experiencias con tecnologías inmersivas, así como la existencia de un proceso afectivo subyacente en el uso de estas tecnologías.Una vez validado empíricamente el concepto de integración tecnológica, el siguiente estudio procede a comparar la eficacia de la RA y la RV en una pre-experiencia turística. Para realizar este análisis se considera el grado de presencia que genera el contenido visualizado, junto con el grado de integración tecnológica provocado por el dispositivo empleado, y que dan forma a las diferentes experiencias con RA y RV. Se llevó a cabo un experimento de laboratorio en el que 206 participantes tuvieron que imaginar que iban a visitar un destino y debían elegir alojamiento. Los participantes fueron asignados aleatoriamente a una de las condiciones experimentales en las que pudieron ver la habitación del hotel con diferentes combinaciones de contenidos (realista vs. digital) y dispositivos (HMD vs. smartphone). Los resultados vuelven a validar la clasificación de la integración tecnológica, estando los HMD más integrados que los smartphones. Por su parte, los contenidos realistas generan mayor presencia que los digitales. Los contenidos que se parecen al mundo real generan mayores percepciones de atractivo visual, facilitan la imaginación y fomentan las intenciones de reserva. El atractivo visual y la facilidad para imaginar median el impacto del contenido en las intenciones de reserva. Todos estos efectos son mayores cuando se usan HMD (en comparación a smartphones). Estos resultados ponen de manifiesto que la combinación de RV HMD con contenidos realistas es la más adecuada para mostrar un producto turístico.El último estudio empírico trata de adentrarse en el proceso de sensorialización de las experiencias digitales con las tecnologías inmersivas. Se analiza cómo la influencia combinada de los estímulos olfativos y los dispositivos de RV pueden mejorar la estimulación sensorial en el contexto de un destino turístico, y cómo esta estimulación sensorial afecta directamente (e indirectamente a través de la facilidad para imaginar) a las imágenes afectiva y comportamental del destino mostrado. Asimismo, se estudia cómo la congruencia de los olores con el contenido mostrado modera la influencia de la experiencia digital multisensorial en las respuestas afectivas y comportamentales. Se llevó a cabo un experimento en el que 263 participantes vieron un destino turístico usando una determinada tecnología (RV HMD vs. ordenador de sobremesa) en una habitación con diferentes tipos de olores (no olor vs. olor agradable y no congruente vs. olor agradable y congruente). Los resultados confirman que los dispositivos de RV integrados, junto con la incorporación de olores agradables y congruentes, mejoran la estimulación sensorial de la experiencia digital, que directamente (e indirectamente a través de la facilidad para imaginar) influye en las reacciones afectivas y comportamentales. Estas experiencias multisensoriales enriquecidas refuerzan el vínculo entre la imagen afectiva y comportamental del destino. Como conclusiones generales de la tesis doctoral, se clarifican las características que definen a las diferentes realidades, explorando cómo las tecnologías vinculadas a las mismas pueden ayudar en el desarrollo de experiencias del consumidor mejoradas. Asimismo, se establece un marco de referencia (cubo EPI) que permite clasificar a todas estas tecnologías. Los resultados de los estudios empíricos ponen de manifiesto la importancia de considerar la integración del dispositivo en las experiencias con tecnologías inmersivas. Cabe resaltar que estos estudios señalan la existencia de mecanismos subyacentes de carácter cognitivo y afectivo que tienen lugar durante las experiencias inmersivas y que afectan a las respuestas de los turistas potenciales. Además, los resultados de esta tesis enfatizan la importancia de proporcionar contenidos realistas a los turistas potenciales que, junto al uso de dispositivos integrados con los sentidos (HMD), son capaces de generar las pre-experiencias más efectivas. Finalmente, se resalta que la incorporación de olores agradables y congruentes con el destino mostrado es capaz de mejorar la estimulación sensorial durante la pre-experiencia digital, lo que fomenta las reacciones afectivas y comportamentales hacia el destino. A nivel teórico, la revisión de la literatura realizada permite obtener una visión general sobre los temas tratados en relación al impacto de la RA y la RV en la industria turística. Además, la versión actualizada del continuo realidad-virtualidad que se ha propuesto permite delimitar de forma conceptual las características inherentes a estas realidades. El cubo EPI supone la siguiente contribución teórica de la presente tesis doctoral, permitiendo clasificar a las tecnologías actuales (y potenciales) de realidad-virtualidad. Los resultados de los estudios empíricos señalan la importancia de incorporar la variable de integración tecnológica en los estudios con tecnologías inmersivas. Además, se debe considerar la ruta cognitiva y afectiva que tiene lugar con estas tecnologías. De igual forma, se contribuye a la literatura previa realizando el primer estudio que compara empíricamente a la RA y la RV, distinguiendo entre el tipo de contenido y dispositivo que dan forma a las experiencias con estas realidades. Finalmente, se ha contribuido a la literatura emergente sobre experiencias digitales multisensoriales al analizar cómo la incorporación de olores (y sus características específicas) puede mejorar las pre-experiencias turísticas con RV. A nivel práctico, la versión actualizada del continuo realidad-virtualidad permite a los profesionales de la industria de las TIC usar correctamente los términos y, de esta forma, aplicarlos correctamente en la denominación de las tecnologías derivadas de estas realidades y en las experiencias que pueden ofrecer con ellas. Por otra parte, el cubo EPI es una herramienta que permite a los gerentes elegir la tecnología más adecuada según su estrategia de marketing. Los resultados de los estudios empíricos realizados recomiendan a los gerentes turísticos tener en cuenta el grado de integración del dispositivo utilizado con los sentidos humanos (integración tecnológica). Específicamente, el uso de RV con dispositivos más integrados como HMD impulsa el engagement de los turistas potenciales en sus pre-experiencias. Igualmente, las agencias de viaje y los sitios web de reservas pueden utilizar esta tecnología para promocionar mejor los productos turísticos que ofrecen. En los eventos especiales (p. ej. ferias turísticas) el uso de RV HMD supondrá proporcionar experiencias inmersivas más valiosas entre los asistentes. El uso de contenidos realistas (p. ej. vídeos en 360 grados) junto a estas tecnologías supone la combinación más efectiva para la promoción de los productos turísticos. Además, la incorporación de estímulos sensoriales adicionales que complementen los que tradicionalmente proporciona la tecnología (audiovisuales), particularmente en el caso de la RV, supone un avance en la generación de experiencias digitales más similares a la realidad. Finalmente, se muestran las limitaciones generales de la tesis doctoral que ofrecen oportunidades para futuras líneas de investigación. Se propone la realización de experimentos de campo (p. ej. en agencias de viajes) incluyendo muestras más diversas, así como la inclusión de medidas de comportamiento real. Asimismo, futuras investigaciones podrían incluir estímulos sensoriales adicionales a los analizados (p. ej. táctiles y gustativos) para obtener una visión completa de las experiencias digitales multisensoriales con RV. Finalmente, se proporciona una agenda de investigación futura en la que se formulan preguntas en relación a cuatro vertientes: las realidades, la experiencia de los consumidores con las tecnologías inmersivas, el impacto de la RA y RV en el turismo, y la generación de experiencias digitales multisensoriales con las tecnologías inmersivas. La tesis doctoral finaliza reflexionando sobre cómo estas tecnologías pueden ayudar a la recuperación de la industria turística durante y tras la actual pandemia de COVID-19.<br /

    Visualization Based on Geographic Information in Augmented Reality

    Get PDF

    Vision-Based Three Dimensional Hand Interaction In Markerless Augmented Reality Environment

    Get PDF
    Kemunculan realiti tambahan membolehkan objek maya untuk wujud bersama dengan dunia sebenar dan ini memberi kaedah baru untuk berinteraksi dengan objek maya. Sistem realiti tambahan memerlukan penunjuk tertentu, seperti penanda untuk menentukan bagaimana objek maya wujud dalam dunia sebenar. Penunjuk tertentu mesti diperolehi untuk menggunakan sistem realiti tambahan, tetapi susah untuk seseorang mempunyai penunjuk tersebut pada bila-bila masa. Tangan manusia, yang merupakan sebahagian dari badan manusia dapat menyelesaikan masalah ini. Selain itu, tangan boleh digunakan untuk berinteraksi dengan objek maya dalam dunia realiti tambahan. Tesis ini membentangkan sebuah sistem realiti tambahan yang menggunakan tangan terbuka untuk pendaftaran objek maya dalam persekitaran sebenar dan membolehkan pengguna untuk menggunakan tangan yang satu lagi untuk berinteraksi dengan objek maya yang ditambahkan dalam tiga-matra. Untuk menggunakan tangan untuk pendaftaran dan interaksi dalam realiti tambahan, postur dan isyarat tangan pengguna perlu dikesan. The advent of augmented reality (AR) enables virtual objects to be superimposed on the real world and provides a new way to interact with the virtual objects. AR system requires an indicator to determine for how the virtual objects aligned in the real world. The indicator must first be obtained to access to a particular AR system. It may be inconvenient to have the indicator in reach at all time. Human hand, which is part of the human body may be a solution for this. Besides, hand is also a promising tool for interaction with virtual objects in AR environment. This thesis presents a markerless Augmented Reality system which utilizes outstretched hand for registration of virtual objects in the real environment and enables the users to have three dimensional (3D) interaction with the augmented virtual objects. To employ the hand for registration and interaction in AR, hand postures and gestures that the user perform has to be recognized

    Enhancing interaction in mixed reality

    Get PDF
    With continuous technological innovation, we observe mixed reality emerging from research labs into the mainstream. The arrival of capable mixed reality devices transforms how we are entertained, consume information, and interact with computing systems, with the most recent being able to present synthesized stimuli to any of the human senses and substantially blur the boundaries between the real and virtual worlds. In order to build expressive and practical mixed reality experiences, designers, developers, and stakeholders need to understand and meet its upcoming challenges. This research contributes a novel taxonomy for categorizing mixed reality experiences and guidelines for designing mixed reality experiences. We present the results of seven studies examining the challenges and opportunities of mixed reality experiences, the impact of modalities and interaction techniques on the user experience, and how to enhance the experiences. We begin with a study determining user attitudes towards mixed reality in domestic and educational environments, followed by six research probes that each investigate an aspect of reality or virtuality. In the first, a levitating steerable projector enables us to investigate how the real world can be enhanced without instrumenting the user. We show that the presentation of in-situ instructions for navigational tasks leads to a significantly higher ability to observe and recall real-world landmarks. With the second probe, we enhance the perception of reality by superimposing information usually not visible to the human eye. In amplifying the human vision, we enable users to perceive thermal radiation visually. Further, we examine the effect of substituting physical components with non-functional tangible proxies or entirely virtual representations. With the third research probe, we explore how to enhance virtuality to enable a user to input text on a physical keyboard while being immersed in the virtual world. Our prototype tracked the user’s hands and keyboard to enable generic text input. Our analysis of text entry performance showed the importance and effect of different hand representations. We then investigate how to touch virtuality by simulating generic haptic feedback for virtual reality and show how tactile feedback through quadcopters can significantly increase the sense of presence. Our final research probe investigates the usability and input space of smartphones within mixed reality environments, pairing the user’s smartphone as an input device with a secondary physical screen. Based on our learnings from these individual research probes, we developed a novel taxonomy for categorizing mixed reality experiences and guidelines for designing mixed reality experiences. The taxonomy is based on the human sensory system and human capabilities of articulation. We showcased its versatility and set our research probes into perspective by organizing them inside the taxonomic space. The design guidelines are divided into user-centered and technology-centered. It is our hope that these will contribute to the bright future of mixed reality systems while emphasizing the new underlining interaction paradigm.Mixed Reality (vermischte Realitäten) gehen aufgrund kontinuierlicher technologischer Innovationen langsam von der reinen Forschung in den Massenmarkt über. Mit der Einführung von leistungsfähigen Mixed-Reality-Geräten verändert sich die Art und Weise, wie wir Unterhaltungsmedien und Informationen konsumieren und wie wir mit Computersystemen interagieren. Verschiedene existierende Geräte sind in der Lage, jeden der menschlichen Sinne mit synthetischen Reizen zu stimulieren. Hierdurch verschwimmt zunehmend die Grenze zwischen der realen und der virtuellen Welt. Um eindrucksstarke und praktische Mixed-Reality-Erfahrungen zu kreieren, müssen Designer und Entwicklerinnen die künftigen Herausforderungen und neuen Möglichkeiten verstehen. In dieser Dissertation präsentieren wir eine neue Taxonomie zur Kategorisierung von Mixed-Reality-Erfahrungen sowie Richtlinien für die Gestaltung von solchen. Wir stellen die Ergebnisse von sieben Studien vor, in denen die Herausforderungen und Chancen von Mixed-Reality-Erfahrungen, die Auswirkungen von Modalitäten und Interaktionstechniken auf die Benutzererfahrung und die Möglichkeiten zur Verbesserung dieser Erfahrungen untersucht werden. Wir beginnen mit einer Studie, in der die Haltung der nutzenden Person gegenüber Mixed Reality in häuslichen und Bildungsumgebungen analysiert wird. In sechs weiteren Fallstudien wird jeweils ein Aspekt der Realität oder Virtualität untersucht. In der ersten Fallstudie wird mithilfe eines schwebenden und steuerbaren Projektors untersucht, wie die Wahrnehmung der realen Welt erweitert werden kann, ohne dabei die Person mit Technologie auszustatten. Wir zeigen, dass die Darstellung von in-situ-Anweisungen für Navigationsaufgaben zu einer deutlich höheren Fähigkeit führt, Sehenswürdigkeiten der realen Welt zu beobachten und wiederzufinden. In der zweiten Fallstudie erweitern wir die Wahrnehmung der Realität durch Überlagerung von Echtzeitinformationen, die für das menschliche Auge normalerweise unsichtbar sind. Durch die Erweiterung des menschlichen Sehvermögens ermöglichen wir den Anwender:innen, Wärmestrahlung visuell wahrzunehmen. Darüber hinaus untersuchen wir, wie sich das Ersetzen von physischen Komponenten durch nicht funktionale, aber greifbare Replikate oder durch die vollständig virtuelle Darstellung auswirkt. In der dritten Fallstudie untersuchen wir, wie virtuelle Realitäten verbessert werden können, damit eine Person, die in der virtuellen Welt verweilt, Text auf einer physischen Tastatur eingeben kann. Unser Versuchsdemonstrator detektiert die Hände und die Tastatur, zeigt diese in der vermischen Realität an und ermöglicht somit die verbesserte Texteingaben. Unsere Analyse der Texteingabequalität zeigte die Wichtigkeit und Wirkung verschiedener Handdarstellungen. Anschließend untersuchen wir, wie man Virtualität berühren kann, indem wir generisches haptisches Feedback für virtuelle Realitäten simulieren. Wir zeigen, wie Quadrokopter taktiles Feedback ermöglichen und dadurch das Präsenzgefühl deutlich steigern können. Unsere letzte Fallstudie untersucht die Benutzerfreundlichkeit und den Eingaberaum von Smartphones in Mixed-Reality-Umgebungen. Hierbei wird das Smartphone der Person als Eingabegerät mit einem sekundären physischen Bildschirm verbunden, um die Ein- und Ausgabemodalitäten zu erweitern. Basierend auf unseren Erkenntnissen aus den einzelnen Fallstudien haben wir eine neuartige Taxonomie zur Kategorisierung von Mixed-Reality-Erfahrungen sowie Richtlinien für die Gestaltung von solchen entwickelt. Die Taxonomie basiert auf dem menschlichen Sinnessystem und den Artikulationsfähigkeiten. Wir stellen die vielseitige Verwendbarkeit vor und setzen unsere Fallstudien in Kontext, indem wir sie innerhalb des taxonomischen Raums einordnen. Die Gestaltungsrichtlinien sind in nutzerzentrierte und technologiezentrierte Richtlinien unterteilt. Es ist unsere Anliegen, dass diese Gestaltungsrichtlinien zu einer erfolgreichen Zukunft von Mixed-Reality-Systemen beitragen und gleichzeitig die neuen Interaktionsparadigmen hervorheben
    corecore