Could people with stereo-deficiencies have a rich 3D experience using HMDs?

People with stereo-deficiencies usually have problems for the perception of depth using stereo devices. This paper presents a study that involves participants who did not have stereopsis and participants who had stereopsis. The two groups of participants were exposed to a maze navigation task in a 3D environment in two conditions, using a HMD and a large stereo screen. Fifty-nine adults participated in our study. From the results, there were no statistically significant differences for the performance on the task between the participants with stereopsis and those without stereopsis. We found statistically significant differences between the two conditions in favor of the HMD for the two groups of participants. The participants who did not have stereopsis and could not perceive 3D when looking at the Lang 1 Stereotest did have the illusion of depth perception using the HMD. The study suggests that for the people who did not have stereopsis, the head tracking largely influences the 3D experience

VR systems for memory assessment and depth perception

La evolución de la tecnología de Realidad Virtual (RV) ha contribuido en todos los campos, incluyendo la psicología. Esta evolución implica mejoras tanto en hardware como en software, que permiten experiencias más inmersivas. En un entorno de RV los usuarios pueden percibir la sensación de "presencia" y sentirse "inmersos". Estas sensaciones son posibles utilizando HMDs. Hoy en día, el desarrollo de los HMDs se ha centrado en mejorar sus características técnicas para ofrecer inmersión total. En psicología, los entornos de RV son una herramienta de investigación. Hay algunas aplicaciones para evaluar la memoria espacial que utilizan métodos básicos de interacción. Sin embargo, sistemas de RV que incorporen estereoscopía y movimiento físico todavía no se han explotado en psicología. En esta tesis, se ha desarrollado un nuevo sistema de RV que combina características inmersivas, interactivas y de movimiento. El sistema de RV (tarea en un laberinto virtual) se ha utilizado para evaluar la memoria espacial y la percepción de profundidad. Se han integrado dos tipos diferentes de interacción: una basada en locomoción que consistió en pedalear en una bicicleta fija (condición1) y otra estacionaria usando un gamepad (condición2). El sistema integró dos tipos de visualización: 1) Oculus Rift (OR); 2) Una gran pantalla estéreo. Se diseñaron dos estudios. El primer estudio (N=89) evaluó la memoria espacial a corto plazo usando el OR y los dos tipos de interacción. Los resultados indican que existían diferencias significativas entre ambas condiciones. Los participantes que utilizaron la condición2 obtuvieron mejor rendimiento que los que utilizaron la tarea en la condición1. Sin embargo, no se encontraron diferencias significativas en las puntuaciones de satisfacción e interacción entre ambas condiciones. El desempeño en la tarea correlacionó con el desempeño en las pruebas neuropsicológicas clásicas, revelando la verosimilitud entre ellas. El segundo estudio (N=59) incluyó participantes con y sin estereopsis. Este estudio evaluó la percepción de profundidad comparando los dos sistemas de visualización. Los participantes realizaron la tarea usando la condición2. Los resultados mostraron que las diferentes características del sistema de visualización no influyeron en el rendimiento en la tarea entre los participantes con y sin estereopsis. Se encontraron diferencias significativas a favor del HMD entre las dos condiciones y entre los dos grupos de participantes respecto a la percepción de profundidad. Los participantes que no tenían estereopsis y no podían percibir la profundidad cuando utilizaban otros sistemas de visualización, tuvieron la ilusión de percepción de profundidad cuando utilizaron el OR. El estudio sugiere que para las personas que no tienen estereopsis, el seguimiento de la cabeza influye en gran medida en la experiencia 3D. Los resultados estadísticos de ambos estudios han demostrado que el sistema de RV desarrollado es una herramienta apropiada para evaluar la memoria espacial a corto plazo y la percepción de profundidad. Por lo tanto, los sistemas de RV que combinan inmersión total, interacción y movimiento pueden ser una herramienta útil para la evaluación de procesos cognitivos humanos como la memoria. De estos estudios se han extraído las siguientes conclusiones generales: 1) La tecnología de RV y la inmersión proporcionada por los actuales HMDs son herramientas adecuadas para aplicaciones psicológicas, en particular, la evaluación de la memoria espacial a corto plazo; 2) Un sistema de RV como el presentado podría ser utilizado como herramienta para evaluar o entrenar adultos en habilidades relacionadas con la memoria espacial a corto plazo; 3) Los dos tipos de interacción utilizados para la navegación en el laberinto virtual podrían ser útiles para su uso con diferentes colectivos; 4) El OR permite que los usuarios sin estereopsis puedan percibir lThe evolution of Virtual Reality (VR) technology has contributed in all fields, including psychology. This evolution involves improvements in hardware and software allowing more immersive experiences. In a VR environment users can perceive the sensation of "presence" and feel "immersed". These sensations are possible using VR devices as HMDs. Nowadays, the development of the HMDs has focused on improving their technical features to offer full immersion. In psychology, VR environments are research tools because they allow the use of new paradigms that are not possible to employ in a real environment. There are some applications for assessing spatial memory that use basic methods of HCI. However, VR systems that incorporate stereoscopy and physical movement have not yet been exploited in psychology. In this thesis, a novel VR system combining immersive, interactive and motion features was developed. This system was used for the assessment of the spatial memory and the evaluation of depth perception. For this system, a virtual maze task was designed and implemented. In this system, two different types of interaction were integrated: a locomotion-based interaction pedaling a fixed bicycle (condition1), and a stationary interaction using a gamepad (condition2). This system integrated two types of display systems: 1) The Oculus Rift; 2) A large stereo screen. Two studies were designed to determine the efficacy of the VR system using physical movement and immersion. The first study (N=89) assessed the spatial short term memory using the Oculus Rift and the two types of interaction The results showed that there were statistically significant differences between both conditions. The participants who performed the condition2 got better performance than participants who performed the condition1. However, there were no statistically significant differences in satisfaction and interaction scores between both conditions. The performance on the task correlated with the performance on other classical neuropsychological tests, revealing a verisimilitude between them. The second study (N=59) involved participants who had and who had not stereopsis. This study assessed the depth perception by comparing the two display systems. The participants performed the task using the condition2. The results showed that the different features of the display system did not influence the performance on the task between the participants with and without stereopsis. Statistically significant differences were found in favor of the HMD between the two conditions and between the two groups of participants regard to depth perception. The participants who did not have stereopsis and could not perceive the depth when they used other display systems (e.g. CAVE); however, they had the illusion of depth perception when they used the Oculus Rift. The study suggests that for the people who did not have stereopsis, the head tracking largely influences the 3D experience. The statistical results of both studies have proven that the VR system developed for this research is an appropriate tool to assess the spatial short-term memory and the depth perception. Therefore, the VR systems that combine full immersion, interaction and movement can be a helpful tool for the assessment of human cognitive processes as the memory. General conclusions from these studies are: 1) The VR technology and immersion provided by current HMDs are appropriate tools for psychological applications, in particular, the assessment of spatial short-term memory; 2) A VR system like the one presented in this thesis could be used as a tool to assess or train adults in skills related to spatial short-term memory; 3) The two types of interaction (condition1 and condition2) used for navigation within the virtual maze could be helpful to use with different collectives; 4) The Oculus Rift allows that the users without stereopsis can perceive the depth perception of 3D objects and have rich 3D experiences.L'evolució de la tecnologia de Realitat Virtual (RV) ha contribuït en tots els camps, incloent la psicologia. Aquesta evolució implica millores en el maquinari i el programari que permeten experiències més immersives. En un entorn de RV, els usuaris poden percebre la sensació de "presència" i sentir-se "immersos". Aquestes sensacions són possibles utilitzant HMDs. Avui dia, el desenvolupament dels HMDs s'ha centrat a millorar les seves característiques tècniques per oferir immersió plena. En la psicologia, els entorns de RV són eines de recerca. Hi ha algunes aplicacions per avaluar la memòria espacial que utilitzen mètodes bàsics d'interacció. Tanmateix, sistemes de RV que incorporen estereoscòpia i moviment físic no s'han explotat en psicologia. En aquesta tesi, s'ha desenvolupat un sistema de RV novell que combina immersió, interacció i moviment. El sistema (tasca en un laberint virtual) s'ha utilitzat per a l'avaluació de la memòria espacial i la percepció de profunditat. S'han integrat dos tipus d'interacció: una interacció basada en locomoció pedalejant una bicicleta fixa (condició1), i l'altra una interacció estacionària usant un gamepad (condició2). S'han integrat dos tipus de sistemes de pantalla: 1) L'Oculus Rift; 2) Una gran pantalla estereoscòpica. Dos estudis van ser dissenyats. El primer estudi (N=89) va avaluar la memòria a curt termini i espacial utilitzant l'Oculus Rift i els dos tipus d'interacció. Els resultats indiquen que hi havia diferències significatives entre les dues condicions. Els participants que van utilitzar la condició2 van obtenir millor rendiment que els participants que van utilitzar la condició1. Tanmateix, no hi havia diferències significatives dins satisfacció i puntuacions d'interacció entre les dues condicions. El rendiment de la tasca va correlacionar amb el rendiment en les proves neuropsicològiques clàssiques, revelant versemblança entre elles. El segon estudi (N=59) va implicar participants que van tenir i que van haver-hi no estereopsis. Aquest estudi va avaluar la percepció de profunditat comparant els dos sistemes de pantalla. Els participants realitzen la tasca utilitzant la condició2. Els resultats van mostrar que les diferents característiques del sistema de pantalla no va influir en el rendiment en la tasca entre els participants qui tenien i els qui no tenien estereopsis. Diferències significatives van ser trobades a favor del HMD entre les dues condicions i entre els dos grups de participants. Els participants que no van tenir estereopsis i no podien percebre la profunditat quan van utilitzar altres sistemes de pantalla (per exemple, CAVE), van tenir la il.lusió de percepció de profunditat quan van utilitzar l'Oculus Rift. L'estudi suggereix que per les persones que no van tenir estereopsis, el seguiment del cap influeix en gran mesura en l'experiència 3D. Els resultats estadístics dels dos estudis han provat que el sistema de RV desenvolupat per aquesta recerca és una eina apropiada per avaluar la memòria espacial a curt termini i la percepció de profunditat. Per això, els sistemes de RV que combinen immersió plena, interacció i moviment poden ser una eina útil per la avaluació de processos cognitius humans com la memòria Les conclusions generals que s'han extret d'aquests estudis, són les següents: 1) La tecnologia de RV i la immersió proporcionada pels HMDs són eines apropiades per aplicacions psicològiques, en particular, la avaluació de memòria espacial a curt termini; 2) Un sistema de RV com el presentat podria ser utilitzat com a eina per avaluar o entrenar adults en habilitats relacionades amb la memòria espacial a curt termini; 3) Els dos tipus d'interacció utilitzats per navegació dins del laberint virtual podrien ser útils per al seu ús amb diferent col.lectius; 3) L'Oculus Rift permet que els usuaris que no tenen estereopsis puguen percebre la percepció de profunditat dels objectes 3D i tenirCárdenas Delgado, SE. (2017). VR systems for memory assessment and depth perception [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/94629TESI

An immersive virtual reality task with physical movement for the assessment of spatial memory

Tesis por compendioLa Realidad Virtual (RV) aún no se ha explotado en la evaluación de la memoria espacial. Los sistemas actuales de RV para la evaluación de la memoria espacial incluyen interacción mediante el uso de dispositivos tradicionales (por ejemplo, pantallas y teclados). Este tipo de interacción clásica con el sistema es ineficaz porque la sensación de presencia del usuario es muy pobre. Si el usuario no tiene la sensación de "estar ahí" en el entorno virtual, es posible que la memoria espacial no se evalúe correctamente. Por tanto, desarrollar un sistema que permita a los participantes estar activos en el entorno virtual, podría evaluar la memoria espacial de la misma forma que se puede evaluar en un entorno real. El objetivo principal de esta tesis fue diseñar, desarrollar y validar un sistema inmersivo de RV en el que el usuario pueda interactuar mediante movimiento físico. El entorno virtual se diseñó a partir de una ciudad con forma cuadrada. La tarea cognitiva, basada en dicho entorno, constaba de seis niveles. El objetivo de los niveles para la tarea principal era evaluar la memoria a corto plazo de los niños para la localización de objetos en el entorno virtual. El sistema de RV incorporó dos tipos de interacción. 1) Una condición física activa (caminar físicamente sobre una Wii Balance Board y cambiar la dirección girando un volante inalámbrico). 2) Una condición inactiva (estando de pie y usando un gamepad). Para la visualización de la tarea, se utilizó una pantalla grande y estéreo. Para la validación, se realizaron dos estudios (N=212). El rendimiento de nuestra tarea se comparó con métodos tradicionales. Se encontraron correlaciones entre nuestra tarea y los métodos tradicionales, lo que indica que nuestra tarea ha demostrado ser una herramienta válida para evaluar la memoria espacial a corto plazo en niños. Con respecto al tipo de interacción, los resultados mostraron que no hubo diferencias estadísticamente significativas con respecto a la puntuación obtenida en nuestra tarea y en función de la interacción utilizada. Éste es un buen resultado porque significa que la tarea es adecuada para la evaluación de la memoria espacial y que los dos tipos de interacción se pueden utilizar para este fin. Con respecto a las diferencias de género en la puntuación de la tarea y Corsi Block Tapping Test, los resultados indicaron que no hubo diferencias estadísticamente significativas para el género. Con respecto a facilidad de uso y satisfacción, se demostró que el uso de la condición inactiva no difirió significativamente de la condición física activa para las preguntas de usabilidad y satisfacción. Previamente al desarrollo del sistema de RV mencionado, desarrollamos un sistema de RV, con interfaces de usuario naturales (NUI) y una pantalla autoestereoscópica, para aprendizaje dental. El sistema incluye dos modos: fondo neutro y mundo real. Este sistema fue validado con 33 estudiantes. Con este primer desarrollo, se adquirió el conocimiento necesario para poder afrontar el segundo desarrollo, núcleo de la tesis. Las siguientes conclusiones generales se extrajeron de los 2 desarrollos y los 3 estudios: Aprendizaje - Los sistemas de RV con autoestereoscopía, con diferentes fondos y NUI, han demostrado ser herramientas eficaces para aprender la morfología dental - Con este tipo de sistemas, los niños pueden aprender y, al mismo tiempo, pueden divertirse - La estereoscopía y NUI son apropiadas para el desarrollo de juegos educativos y pueden ser explotadas en su desarrollo Memoria espacial - Los sistemas de RV, con estereoscopía y dos interfaces de usuario diferentes, han demostrado ser herramientas fiables y efectivas para evaluar la memoria espacial en niños - Con este tipo de sistemas, los niños pueden ser evaluados mientras se divierten - Nuestra tarea y tareas similares podrían usarse para evaluación y entrenamiento de la memoria en niños y adultosLa Realitat Virtual (RV) encara no s'ha explotat en l'avaluació de la memòria espacial. Els sistemes actuals de RV per a l'avaluació de la memòria espacial inclouen interacció mitjançant l'ús de dispositius tradicionals (per exemple, pantalles, ratolins o teclats). Aquest tipus d'interacció clàssica amb el sistema és ineficaç perquè la sensació de presència de l'usuari és molt pobre. Si l'usuari no té la sensació de "ser-hi" en l'entorn virtual, és possible que la memòria espacial no siga avaluada correctament. Per tant, desenvolupar un sistema que permeta als participants estar actius en l'entorn virtual, podria avaluar la memòria espacial de la mateixa manera que es pot avaluar en un entorn real. L'objectiu principal d'aquesta tesi va ser dissenyar, desenvolupar i validar un sistema immersiu de RV en el qual l'usuari puga interactuar mitjançant moviment físic. L'entorn virtual es va dissenyar a partir d'una ciutat amb forma quadrada. La tasca cognitiva constava de sis nivells. L'objectiu dels nivells per a la tasca principal era avaluar la memòria a curt termini dels xiquets per a la localització d'objectes en l'entorn virtual. El sistema de RV va incorporar dos tipus d'interacció. 1) Una condició física activa (caminar físicament sobre una Wii Balance Board i canviar la direcció girant un volant inalàmbric). 2) Una condició inactiva (estar dret i fent servir un gamepad). Per a la visualització de la tasca, es va utilitzar una pantalla gran i estèreo. Per a la validació, es van realitzar dos estudis (N=212). El rendiment de la nostra tasca es va comparar amb mètodes tradicionals. Es van trobar correlacions entre la nostra tasca i els mètodes tradicionals, el que indica que la nostra tasca ha demostrat ser una eina vàlida per avaluar la memòria espacial a curt termini en xiquets. Pel que fa al tipus d'interacció, els resultats van mostrar que no hi va haver diferències estadísticament significatives respecte a la puntuació obtinguda en la nostra tasca i en funció de la interacció utilitzada. Aquest és un bon resultat perquè significa que la tasca és adequada per a l'avaluació de la memòria espacial i que els dos tipus d'interacció es poden utilitzar per a aquest fi. Pel que fa a les diferències de gènere en la puntuació de la tasca i Corsi Block Tapping Test, els resultats van indicar que no hi va haver diferències estadísticament significatives per al gènere. Pel que fa a facilitat d'ús i satisfacció, els nostres estudis han demostrat que l'ús de la condició inactiva no va diferir significativament de la condició física activa per a les preguntes d'usabilitat i satisfacció. Prèviament al desenvolupament del sistema de RV esmentat, vam desenvolupar un sistema de RV, amb interfícies d'usuari naturals (NUI) i una pantalla autoestereoscòpica, per aprenentatge dental. El sistema inclou dos tipus de fons: fons neutre i món real. Aquest sistema va ser validat amb 33 estudiants. Amb aquest primer desenvolupament, es va adquirir el coneixement necessari per poder afrontar el segon desenvolupament, nucli de la tesi. Les següents conclusions generals es van extraure dels dos desenvolupaments i els tres estudis: Aprenentatge - Els sistemes de RV amb autoestereoscòpia, amb diferents fons i NUI, han demostrat ser eines eficaces per a aprendre la morfologia dental - Amb aquest tipus de sistemes, els xiquets poden aprendre i, al mateix temps, poden divertir-se - La estereoscòpia i NUI són apropiades per al desenvolupament de jocs educatius i poden ser explotades en el seu desenvolupament Memòria espacial - Els sistemes de RV, amb estereoscòpia i dues interfícies d'usuari diferents, han demostrat ser eines fiables i efectives per avaluar la memòria espacial en xiquets - Amb aquest tipus de sistemes, els xiquets poden ser avaluats mentre es diverteixen - La nostra tasca i tasques similars podrien usar-se per avaluació i entrenament de la memòria en xiquet i adultsVirtual Reality (VR) has not yet been exploited in the assessment of spatial memory. Current VR systems for the assessment of spatial memory include interaction by using traditional devices (e.g., computer screens, mouses or keyboards). This classical type of interaction with the system is ineffective because the user's sense of presence is very poor. If the user does not have the feeling of "being there" in the virtual environment, the spatial memory may not be assessed correctly. The user's physical movement can contribute to a high level of presence. Therefore, by developing a system that allows the participants to become active in a virtual environment, spatial memory can be assessed as the same way it could be evaluated in a real environment. The main objective of this thesis was to design, develop and validate an immersive VR system in which the user could interact by physical movements. The virtual environment was designed based on a city square. The cognitive task, based on this environment, comprised six levels. The goal of the levels for the main task was to assess children short-term memory for object location in the virtual environment. The VR system incorporated two types of interaction. 1) A physical active condition (physically walking on a Wii Balance Board and changing the direction by turning a wireless steering wheel). 2) An inactive condition (stand up and use a gamepad). For the visualization of the task, a large stereo screen was used. For the validation, two studies were carried out. The performance of our task was compared with traditional methods (the Corsi Block Tapping Test). We carried out two studies involving 212 children. Correlations were found between our task and traditional methods, indicating that our task has proven to be a valid tool for assessing spatial short-term memory in children. With regard to the interaction type, the results showed that there were no statistically significant differences regarding the score obtained in our task based on the interaction used (inactive condition vs. physical active condition). Although unexpected, this is a good result because it means that the task is well suited for the assessment of spatial memory and that the two interaction types can be used for this purpose. With regard to gender differences in the task score and the Corsi Block Tapping Test, the results indicated that there were no statistically significant differences for gender. With regard to usability and satisfaction, our studies have shown that the use of the inactive condition did not differ significantly from the physical active condition for the usability and satisfaction questions. Previously to the development of the mentioned VR system, we developed a VR system, with Natural User Interfaces (NUI) and an autostereoscopic screen, for dental learning. The system included two modes: neutral and real world background. This system was validated with 33 dentistry students. With this first development, the required knowledge for facing the second development, core of the thesis, was acquired. The following general conclusions were extracted from the two developments and the three studies: Learning - Autostereoscopic VR systems, with different background modes and NUI, have proven to be effective tools for learning teeth morphology - With this type of systems, children can learn and at the same time, they can have a good time - Stereoscopy and NUI are appropriated for developing educational games and they can be exploited in their development Spatial memory - VR systems, with stereoscopy and two different user interfaces (inactive and physical active conditions), have proven to be reliable and effective tools to assess spatial memory in children - With this type of systems, the children can be assessed meanwhile are having a good time - Our task and similar tasks could be used for assessment and training of spatial memory in children and adultsRodríguez Andrés, D. (2018). An immersive virtual reality task with physical movement for the assessment of spatial memory [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/114823TESISCompendi