Herramienta multimedial para el estudio de la anatomía del oído a través de modelos virtuales

This paper brings up a defined and applied methodology for developing a multimedia web-based and 3D image tool. This to supplement the human ear anatomy learning process by using virtual objects in order to enhance the immersion and interaction in relation to real ones. Traditional learning aids are based on photographs, illustrations, sketches and direct tissue observation through microscopes, but although they supplement each other, some limitations rise due to the microscopic nature of some parts, bones and tissues. In order to overcome physical restrictions, a development of a computational tool offering 3D animated and interactive models of the human ear apparatus along with its related information is proposed according to the specifications given by professionals in the area. The 3D models were developed using medical images, such as computerized tomography, photographs and real models, so realistic virtual objects may be created. The editing process of the anatomic models kept in mind the hardware features of standard computers, so a wide range of users may access and use the tool without losing realism. The validation of this work was done by specialists to guarantee the information and navigation requirements fulfillment of the future testing as an alternative educational tool.Este trabajo presenta la metodología planteada y aplicada para desarrollar una herramienta de tipo multimedia, basada en estándares de internet e imágenes tridimensionales con el objetivo de complementar el proceso de aprendizaje relacionado al estudio de la anatomía del oído humano a través del uso de objetos 3D que incrementen el grado de inmersión e interacción respecto a los modelos reales. Las ayudas visuales tradicionales están basadas en fotografías, ilustraciones, bosquejos y observación directa de los tejidos a través de microscopio, y todas ellas, aun cuando complementarias, presentan algunas limitantes debido a la naturaleza microscópica de algunas partes del oído. Para solucionar las deficiencias presentadas en las técnicas actuales, se propone el desarrollo de una herramienta computacional complementaria que incluya modelos 3D animados e información sobre cada órgano siguiendo los requerimientos de especialistas en el área. Los modelos 3D fueron desarrollados a partir tomografías computarizadas, fotografías y modelos reales, con el fin de obtener un gran realismo y similitud con su contraparte real. La edición de los modelos anatómicos tuvo en cuenta aspectos técnicos de los equipos de cómputo estándar con el fin de garantizar que los usuarios tengan no solo acceso a la herramienta, sino que puedan utilizarla sin una reducción poligonal que afecte el realismo de los modelos y la navegación fluida en el ambiente virtual. La validación de este trabajo fue realizada por especialistas en el área, con el objetivo de garantizar que se cumpla con los requerimientos de información y navegación, para poder ser probada en grupos de estudiantes como herramienta complementaria de estudio

Virtual environment object manipulation, using and anthropomorphical gripper with an industrial robot

Orientador: João Mauricio RosarioDissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia MecanicaResumo: Nesta dissertação de mestrado, são utilizados conceitos de Realidade Virtual para desenvolver um aplicativo de baixo custo e modular, que permita planejar e executar a preensão de objetos num ambiente virtual através do uso de um dispositivo mecatrônico de tipo mão antropomórfica que é a ferramenta de um dispositivo robótico industrial, constituindo assim uma célula robótica cooperativo para o planejamento e realização de tarefas de pick-and-place. A metodologia proposta para o desenvolvimento desta dissertação é fundamentada nos componentes de um sistema de realidade virtual, enfatizando na interface de usuário e na informação de entrada e saída. A realimentação para o usuário está composta por objetos em três dimensões que representam o dispositivo antropomórfico virtual e a execução da forma de preensão selecionada pelo usuário, e por um arquivo contendo essas informações permitindo assim sua interpretação pelo dispositivo real que realizará a tarefa de preensão desejada através da interação com o robô industrial em uma trajetória planejada para agarrar e liberar objetos baseados nas características antropométricas do dispositivo virtualizadoAbstract: Virtual Reality concepts are used in this Master's dissertation in order to develop a lowcost and modular application, for planning and executing a desired grasp over some defined objects through a virtual environment with a hand based anthropomorphic mechatronic device attached to an industrial robot as a tool, the integration of the previous components conforms a robotics workcell for picking and placing tasks. The proposed methodology for developing this dissertation is based upon the components of a virtual reality system, such as the graphics user interface, input and output parameters. The feedback obtained from the developed application is divided in its 3D environmental feed with a virtual device representing the real one performing the chosen grasp, and a file containing that particular information formatted to be executed within a planned trajectory for grabbing and releasing some objects based on the anthropometric characteristics virtualized mechanical handMestradoMecanica dos Sólidos e Projeto MecanicoMestre em Engenharia Mecânic

Herramienta multimedial para el estudio de la anatomía del oído a través de modelos virtuales

This paper brings up a defined and applied methodology for developing a multimedia web-based and 3D image tool. This to supplement the human ear anatomy learning process by using virtual objects in order to enhance the immersion and interaction in relation to real ones. Traditional learning aids are based on photographs, illustrations, sketches and direct tissue observation through microscopes, but although they supplement each other, some limitations rise due to the microscopic nature of some parts, bones and tissues. In order to overcome physical restrictions, a development of a computational tool offering 3D animated and interactive models of the human ear apparatus along with its related information is proposed according to the specifications given by professionals in the area. The 3D models were developed using medical images, such as computerized tomography, photographs and real models, so realistic virtual objects may be created. The editing process of the anatomic models kept in mind the hardware features of standard computers, so a wide range of users may access and use the tool without losing realism. The validation of this work was done by specialists to guarantee the information and navigation requirements fulfillment of the future testing as an alternative educational tool.Este trabajo presenta la metodología planteada y aplicada para desarrollar una herramienta de tipo multimedia, basada en estándares de internet e imágenes tridimensionales con el objetivo de complementar el proceso de aprendizaje relacionado al estudio de la anatomía del oído humano a través del uso de objetos 3D que incrementen el grado de inmersión e interacción respecto a los modelos reales. Las ayudas visuales tradicionales están basadas en fotografías, ilustraciones, bosquejos y observación directa de los tejidos a través de microscopio, y todas ellas, aun cuando complementarias, presentan algunas limitantes debido a la naturaleza microscópica de algunas partes del oído. Para solucionar las deficiencias presentadas en las técnicas actuales, se propone el desarrollo de una herramienta computacional complementaria que incluya modelos 3D animados e información sobre cada órgano siguiendo los requerimientos de especialistas en el área. Los modelos 3D fueron desarrollados a partir tomografías computarizadas, fotografías y modelos reales, con el fin de obtener un gran realismo y similitud con su contraparte real. La edición de los modelos anatómicos tuvo en cuenta aspectos técnicos de los equipos de cómputo estándar con el fin de garantizar que los usuarios tengan no solo acceso a la herramienta, sino que puedan utilizarla sin una reducción poligonal que afecte el realismo de los modelos y la navegación fluida en el ambiente virtual. La validación de este trabajo fue realizada por especialistas en el área, con el objetivo de garantizar que se cumpla con los requerimientos de información y navegación, para poder ser probada en grupos de estudiantes como herramienta complementaria de estudio

Herramienta multimedial para el estudio de la anatomía del oído a través de modelos virtuales

This paper brings up a defined and applied methodology for developing a multimedia web-based and 3D image tool. This to supplement the human ear anatomy learning process by using virtual objects in order to enhance the immersion and interaction in relation to real ones. Traditional learning aids are based on photographs, illustrations, sketches and direct tissue observation through microscopes, but although they supple- ment each other, some limitations rise due to the microscopic nature of some parts, bones and tissues. In order to overcome physical restrictions, a development of a com- putational tool offering 3D animated and interactive models of the human ear apparatus along with its related information is proposed according to the specifications given by professionals in the area. The 3D models were developed using medical images, such as computerized tomography, photographs and real models, so realistic virtual objects may be created. The editing process of the anatomic models kept in mind the hardware features of standard computers, so a wide range of users may access and use the tool without losing realism. The validation of this work was done by specialists to guarantee the information and navigation requirements fulfillment of the future testing as an alter- native educational tool.Este trabajo presenta la metodología planteada y aplicada para desarrollar una herra- mienta de tipo multimedia, basada en estándares de internet e imágenes tridimensio- nales con el objetivo de complementar el proceso de aprendizaje relacionado al estudio de la anatomía del oído humano a través del uso de objetos 3D que incrementen el grado de inmersión e interacción respecto a los modelos reales. Las ayudas visuales tradicionales están basadas en fotografías, ilustraciones, bosquejos y observación di- recta de los tejidos a través de microscopio, y todas ellas, aun cuando complementa- rias, presentan algunas limitantes debido a la naturaleza microscópica de algunas par- tes del oído. Para solucionar las deficiencias presentadas en las técnicas actuales, se propone el desarrollo de una herramienta computacional complementaria que incluya modelos 3D animados e información sobre cada órgano siguiendo los requerimientos de especialistas en el área. Los modelos 3D fueron desarrollados a partir tomografías computarizadas, fotografías y modelos reales, con el fin de obtener un gran realismo y similitud con su contraparte real. La edición de los modelos anatómicos tuvo en cuenta aspectos técnicos de los equipos de cómputo estándar con el fin de garantizar que los usuarios tengan no solo acceso a la herramienta, sino que puedan utilizarla sin una reducción poligonal que afecte el realismo de los modelos y la navegación fluida en el ambiente virtual. La validación de este trabajo fue realizada por especialistas en el área, con el objetivo de garantizar que se cumpla con los requerimientos de informa- ción y navegación, para poder ser probada en grupos de estudiantes como herramienta complementaria de estudio

Audio effects on haptics perception during drilling simulation

Virtual reality has provided immersion and interactions through computer generated environments attempting to reproduce real life experiences through sensorial stimuli. Realism can be achieved through multimodal interactions which can enhance the user’s presence within the computer generated world. The most notorious advances in virtual reality can be seen in computer graphics visuals, where photorealism is the norm thriving to overcome the uncanny valley. Other advances have followed related to sound, haptics, and in a lesser manner smell and taste feedback. Currently, virtual reality systems (multimodal immersion and interactions through visual-haptic-sound) are being massively used in entertainment (e.g., cinema, video games, art), and in non-entertainment scenarios (e.g., social inclusion, educational, training, therapy, and tourism). Moreover, the cost reduction of virtual reality technologies has resulted in the availability at a consumer-level of various haptic, headsets, and motion tracking devices. Current consumer-level devices offer low-fidelity experiences due to the properties of the sensors, displays, and other electro-mechanical devices, that may not be suitable for high-precision or realistic experiences requiring dexterity. However, research has been conducted on how toovercome or compensate the lack of high fidelity to provide an engaging user experience using storytelling, multimodal interactions and gaming elements. Our work focuses on analyzing the possible effects of auditory perception on haptic feedback within a drilling scenario. Drilling involves multimodal interactions and it is a task with multiple applications in medicine, crafting, and construction. We compare two drilling scenarios were two groups of participants had to drill through wood while listening to contextual and non-contextual audios. We gathered their perception using a survey after the task completion. From the results, we believe that sound does influence the haptic perception, but further experiments are required to better comprehend the implications and possible medical applications.La realidad virtual ha proporcionado inmersión e interacción a través de entornos generados por computador que intentan reproducir experiencias de la vida real a través de estímulos sensoriales. El realismo puede lograrse a través de interacciones multimodales que pueden mejorar la inmersión y las interacciones si se diseñan adecuadamente. Los avances más notorios están relacionados con la computación gráfica, donde el foto-realismo es la tendencia actual. Asimismo, se tienen otros avances relacionados con el sonido, la háptica y en menor medida, el olfato y el gusto. En la actualidad, las características de los sistemas de realidad virtual (sonido visual-háptico) se están utilizando masivamente en entretenimiento (por ejemplo, cine, videojuegos, arte) y en otros escenarios (por ejemplo, inclusión social, educación, capacitación, terapia y turismo). Por otra parte, la reducción de costos de las tecnologías de realidad virtual ha dado lugar a la disponibilidad a nivel de consumo, de varios tipos de dispositivos hápticos. Dichos dispositivos ofrecen experiencias de baja fidelidad debido a las propiedades de los sensores, pantallas y otros dispositivos electromecánicos, que pueden no ser adecuados para experiencias de alta precisión o en situaciones reales que requieran destreza. Sin embargo, se han realizado investigaciones sobre cómo superar o compensar la falta de fidelidad para proporcionar una experiencia de usuario atractiva utilizando historias, interacciones multimodales y elementos de juego.Nuestro trabajo se centra en analizar los posibles efectos de la percepción auditiva sobre la retroalimentación háptica dentro de un escenario de perforación con taladro, que implica interacciones multimodales. Esta tarea tiene múltiples aplicaciones en medicina, elaboración y construcción. Comparamos dos escenarios en los que dos grupos de participantes tuvieron que perforar madera mientras escuchaban sonidos contextuales y no contextuales. Además, recopilamos su percepción utilizando una encuesta después de completar la tarea. A partir de los resultados, establecemos que el sonido influye en la percepción háptica, pero se requieren más experimentos para comprender mejor las implicaciones y posibles aplicaciones médicas