Pose estimation system based on monocular cameras

Our world is full of wonders. It is filled with mysteries and challenges, which through the ages inspired and called for the human civilization to grow itself, either philosophically or sociologically. In time, humans reached their own physical limitations; nevertheless, we created technology to help us overcome it. Like the ancient uncovered land, we are pulled into the discovery and innovation of our time. All of this is possible due to a very human characteristic - our imagination. The world that surrounds us is mostly already discovered, but with the power of computer vision (CV) and augmented reality (AR), we are able to live in multiple hidden universes alongside our own. With the increasing performance and capabilities of the current mobile devices, AR is what we dream it can be. There are still many obstacles, but this future is already our reality, and with the evolving technologies closing the gap between the real and the virtual world, soon it will be possible for us to surround ourselves into other dimensions, or fuse them with our own. This thesis focuses on the development of a system to predict the camera’s pose estimation in the real-world regarding to the virtual world axis. The work was developed as a sub-module integrated on the M5SAR project: Mobile Five Senses Augmented Reality System for Museums, aiming to a more immerse experience with the total or partial replacement of the environments’ surroundings. It is based mainly on man-made buildings indoors and their typical rectangular cuboid shape. With the possibility of knowing the user’s camera direction, we can then superimpose dynamic AR content, inviting the user to explore the hidden worlds. The M5SAR project introduced a new way to explore the existent historical museums by exploring the human’s five senses: hearing, smell, taste, touch, vision. With this innovative technology, the user is able to enhance their visitation and immerse themselves into a virtual world blended with our reality. A mobile device application was built containing an innovating framework: MIRAR - Mobile Image Recognition based Augmented Reality - containing object recognition, navigation, and additional AR information projection in order to enrich the users’ visit, providing an intuitive and compelling information regarding the available artworks, exploring the hearing and vision senses. A device specially designed was built to explore the additional three senses: smell, taste and touch which, when attached to a mobile device, either smartphone or tablet, would pair with it and automatically react in with the offered narrative related to the artwork, immersing the user with a sensorial experience. As mentioned above, the work presented on this thesis is relative to a sub-module of the MIRAR regarding environment detection and the superimposition of AR content. With the main goal being the full replacement of the walls’ contents, and with the possibility of keeping the artwork visible or not, it presented an additional challenge with the limitation of using only monocular cameras. Without the depth information, any 2D image of an environment, to a computer doesn’t represent the tridimensional layout of the real-world dimensions. Nevertheless, man-based building tends to follow a rectangular approach to divisions’ constructions, which allows for a prediction to where the vanishing point on any environment image may point, allowing the reconstruction of an environment’s layout from a 2D image. Furthermore, combining this information with an initial localization through an improved image recognition to retrieve the camera’s spatial position regarding to the real-world coordinates and the virtual-world, alas, pose estimation, allowed for the possibility of superimposing specific localized AR content over the user’s mobile device frame, in order to immerse, i.e., a museum’s visitor into another era correlated to the present artworks’ historical period. Through the work developed for this thesis, it was also presented a better planar surface in space rectification and retrieval, a hybrid and scalable multiple images matching system, a more stabilized outlier filtration applied to the camera’s axis, and a continuous tracking system that works with uncalibrated cameras and is able to achieve particularly obtuse angles and still maintain the surface superimposition. Furthermore, a novelty method using deep learning models for semantic segmentation was introduced for indoor layout estimation based on monocular images. Contrary to the previous developed methods, there is no need to perform geometric calculations to achieve a near state of the art performance with a fraction of the parameters required by similar methods. Contrary to the previous work presented on this thesis, this method performs well even in unseen and cluttered rooms if they follow the Manhattan assumption. An additional lightweight application to retrieve the camera pose estimation is presented using the proposed method.O nosso mundo está repleto de maravilhas. Está cheio de mistérios e desafios, os quais, ao longo das eras, inspiraram e impulsionaram a civilização humana a evoluir, seja filosófica ou sociologicamente. Eventualmente, os humanos foram confrontados com os seus limites físicos; desta forma, criaram tecnologias que permitiram superá-los. Assim como as terras antigas por descobrir, somos impulsionados à descoberta e inovação da nossa era, e tudo isso é possível graças a uma característica marcadamente humana: a nossa imaginação. O mundo que nos rodeia está praticamente todo descoberto, mas com o poder da visão computacional (VC) e da realidade aumentada (RA), podemos viver em múltiplos universos ocultos dentro do nosso. Com o aumento da performance e das capacidades dos dispositivos móveis da atualidade, a RA pode ser exatamente aquilo que sonhamos. Continuam a existir muitos obstáculos, mas este futuro já é o nosso presente, e com a evolução das tecnologias a fechar o fosso entre o mundo real e o mundo virtual, em breve será possível cercarmo-nos de outras dimensões, ou fundi-las dentro da nossa. Esta tese foca-se no desenvolvimento de um sistema de predição para a estimação da pose da câmara no mundo real em relação ao eixo virtual do mundo. Este trabalho foi desenvolvido como um sub-módulo integrado no projeto M5SAR: Mobile Five Senses Augmented Reality System for Museums, com o objetivo de alcançar uma experiência mais imersiva com a substituição total ou parcial dos limites do ambiente. Dedica-se ao interior de edifícios de arquitetura humana e a sua típica forma de retângulo cuboide. Com a possibilidade de saber a direção da câmara do dispositivo, podemos então sobrepor conteúdo dinâmico de RA, num convite ao utilizador para explorar os mundos ocultos. O projeto M5SAR introduziu uma nova forma de explorar os museus históricos existentes através da exploração dos cinco sentidos humanos: a audição, o cheiro, o paladar, o toque e a visão. Com essa tecnologia inovadora, o utilizador pode engrandecer a sua visita e mergulhar num mundo virtual mesclado com a nossa realidade. Uma aplicação para dispositivo móvel foi criada, contendo uma estrutura inovadora: MIRAR - Mobile Image Recognition based Augmented Reality - a possuir o reconhecimento de objetos, navegação e projeção de informação de RA adicional, de forma a enriquecer a visita do utilizador, a fornecer informação intuitiva e interessante em relação às obras de arte disponíveis, a explorar os sentidos da audição e da visão. Foi também desenhado um dispositivo para exploração em particular dos três outros sentidos adicionais: o cheiro, o toque e o sabor. Este dispositivo, quando afixado a um dispositivo móvel, como um smartphone ou tablet, emparelha e reage com este automaticamente com a narrativa relacionada à obra de arte, a imergir o utilizador numa experiência sensorial. Como já referido, o trabalho apresentado nesta tese é relativo a um sub-módulo do MIRAR, relativamente à deteção do ambiente e a sobreposição de conteúdo de RA. Sendo o objetivo principal a substituição completa dos conteúdos das paredes, e com a possibilidade de manter as obras de arte visíveis ou não, foi apresentado um desafio adicional com a limitação do uso de apenas câmaras monoculares. Sem a informação relativa à profundidade, qualquer imagem bidimensional de um ambiente, para um computador isso não se traduz na dimensão tridimensional das dimensões do mundo real. No entanto, as construções de origem humana tendem a seguir uma abordagem retangular às divisões dos edifícios, o que permite uma predição de onde poderá apontar o ponto de fuga de qualquer ambiente, a permitir a reconstrução da disposição de uma divisão através de uma imagem bidimensional. Adicionalmente, ao combinar esta informação com uma localização inicial através de um reconhecimento por imagem refinado, para obter a posição espacial da câmara em relação às coordenadas do mundo real e do mundo virtual, ou seja, uma estimativa da pose, foi possível alcançar a possibilidade de sobrepor conteúdo de RA especificamente localizado sobre a moldura do dispositivo móvel, de maneira a imergir, ou seja, colocar o visitante do museu dentro de outra era, relativa ao período histórico da obra de arte em questão. Ao longo do trabalho desenvolvido para esta tese, também foi apresentada uma melhor superfície planar na recolha e retificação espacial, um sistema de comparação de múltiplas imagens híbrido e escalável, um filtro de outliers mais estabilizado, aplicado ao eixo da câmara, e um sistema de tracking contínuo que funciona com câmaras não calibradas e que consegue obter ângulos particularmente obtusos, continuando a manter a sobreposição da superfície. Adicionalmente, um algoritmo inovador baseado num modelo de deep learning para a segmentação semântica foi introduzido na estimativa do traçado com base em imagens monoculares. Ao contrário de métodos previamente desenvolvidos, não é necessário realizar cálculos geométricos para obter um desempenho próximo ao state of the art e ao mesmo tempo usar uma fração dos parâmetros requeridos para métodos semelhantes. Inversamente ao trabalho previamente apresentado nesta tese, este método apresenta um bom desempenho mesmo em divisões sem vista ou obstruídas, caso sigam a mesma premissa Manhattan. Uma leve aplicação adicional para obter a posição da câmara é apresentada usando o método proposto

Mobile five senses augmented reality system: technology acceptance study

The application of the most recent technologies is fundamental to add value to tourism experiences, as well as in other economic sectors. Mobile Five Senses Augmented Reality (M5SAR) system is a mobile guide instrument for cultural, historical, and museum events. In order to realize the proclaimed five senses, the system has two main modules: a (i) mobile application which deals mainly with the senses of sight and hearing, using for that the mobile device camera to recognize and track on-the-fly (museum's) objects and give related information about them; and a (ii) portable device capable of enhancing the augmented reality (AR) experience to the full five senses through the stimulus of touch, taste, and smell, by associating itself to the users' smartphone or tablet. This paper briefly presents the system's architecture but, the main focus is on the analysis of the users' acceptance for this technology, namely the AR (software) application, and its integration with the (hardware) device to achieve the five senses AR. Results show that social influence, effort expectancy, and facilitating conditions are the key constructs that drive the users to accept and M5SAR's technology.Funding Agency Portuguese Foundation for Science and Technology (FCT), Project: Laboratory of Robotics and Engineering Systems, LARSyS UID/EEA/50009/2019 Portuguese Foundation for Science and Technology (FCT), Project: Arts and Communication Research Center, CIAC UID/Multi/04019/2019 Portuguese Foundation for Science and Technology (FCT), Project: Research Centre for Tourism, Sustainability and Well-Being, CinTurs UID/SOC/04020/2019 Portuguese Foundation for Science and Technology (FCT), Project: Center for Advanced Studies in Management and Economics, CEFAGE UID/ECO/04007/2019 Project M5SAR I&DT - CRESC ALGARVE2020 3322 PORTUGAL2020 European Union (EU) Instituto de Salud Carlos IIIinfo:eu-repo/semantics/publishedVersio

Smart augmented reality application for enhanced museum experience

Dissertação de mestrado, Engenharia Eléctrica e Electrónica, Instituto Superior de Engenharia, Universidade do Algarve, 2017Museums’ collections can be almost endless, with countless objects, making it challenging to choose which ones to visit and appreciate. When a user enters a museum he usually encounters a guide or a predefined route to aid him, which more often than not is not suitable for his necessities and preferences. This dissertation focus on developing a mobile augmented reality framework and intelligent multiplatform application, that can be used as a museum guide and navigation helper. The work was divided into 3 main modules: (a) an intelligent routing system, (b) an adaptive user interface, and (c) an image recognition and augmented reality framework. Also presented is the integration of the above modules in an application. The first module, (a) intelligent routing system module, poses a solution for a "typical" museum problem. Museums routes do not take into account the physical, moral or psychological limitations of a user and/or their preferences. It resembles the traveling salesman problem where a route is calculated, only visiting once each point of interest, diminishing as much as possible the "walking" time, and extending the time spent admiring the museum’s objects. An Ant Colony Optimization algorithm was used to handle the calculations and compute an optimal walk, rendering the user’s preferences and limitations. This problem was formulated as a multi-criteria optimization problem. Also focusing on adapting the application for the user, (b) an adaptive user interface was developed, which adapts the application’s user interface on-thefly, according to the user’s preferences and conditions. This module is built upon a modular card system which is divided into structure and contents. It relies on a modular system in the sense that a complex interface can be divided into simpler and more manageable sub-modules, which can be used in other parts of the application or even in a completely different one. On an ideal application, each user would have a distinct interface/structure and contents. Nonetheless, different users could share the same interface structure only modifying the contents. The adaptive user interface is capable of (as the name implies) adapting itself to the user, either by changing both its structure and contents or only the contents displayed to the user. Regarding the augmented reality module (c), a mobile image recognition and tracking framework (MIRAR) was developed. The purpose of this framework is to recognize and track the innumerous objects of the museum in a mobile device. This framework is a marker-based augmented reality framework and even though the recognition happens on the client (mobile device) a server is required to keep the packaged markers accessible for the clients. These markers are preprocessed in the server and grouped by section. As the user navigates through the museum, an indoor beacon location system calculates his current position that is transmitted to the server which, in turn, sends the correct markers for that section to the mobile device. Finally, the integration of the above modules is presented in an alpha version of a mobile application, as well as tests and results for each module.Os espólios dos museus contêm inúmeros objetos, tornando-se difícil escolher quais as obras a visitar e apreciar. Quando um utilizador entra num museu, geralmente depara-se com um guia e/ou rotas predefinidas, que frequentemente não são adequadas às suas necessidades e preferências. Esta dissertação foca o desenvolvimento de uma framework de realidade aumentada e de uma aplicação inteligente para multiplataforma, que pode ser usada como guia de museu e auxiliar de navegação. O trabalho foi dividido em 3 módulos principais: (a) um sistema de cálculo de rotas inteligentes, (b) uma interface adaptativa de utilizador e (c) uma framework de reconhecimento de imagens com realidade aumentada. Também é apresentada a integração dos módulos acima mencionados numa aplicação. O primeiro módulo, o (a) módulo do sistema de cálculo de rotas inteligentes, representa uma solução para um problema "comum" dos museus: as rotas existentes nos museus não tomam em consideração as limitações físicas, morais ou psicológicas do utilizador e/ou suas preferências. O problema em causa consiste em calcular uma rota, visitando uma e só uma vez cada ponto de interesse existente (mas não necessariamente todos os disponíveis no museu), percorrendo o menor caminho possível, e estendendo ao máximo o tempo de visita aos objetos do museu. Neste caso, foi usada uma adaptação de um algoritmo de Ant Colony Optimization para calcular o melhor caminho, considerando as preferências e limitações do utilizador. Este problema foi formulado como um problema de otimização multi-critério. Ainda nesta temática, (b) foi desenvolvida uma interface adaptativa de utilizador, que se ajusta de acordo com as preferências e condições deste. Este módulo é constituído por um sistema modular de cartões os quais são dividido em estrutura e conteúdos. Foi escolhido este sistema pois permite que uma interface complexa possa ser dividida em sub-módulos mais simples, que podem ser usados noutras partes da aplicação ou mesmo noutra aplicação completamente distinta. Idealmente, cada utilizador teria uma interface com estrutura e conteúdos distintos. No entanto, diferentes utilizadores podem partilhar a mesma estrutura/layout apenas modificando o conteúdo apresentado. Assim, este modulo permite criar facilmente diferentes interfaces para os diferentes utilizadores, quer modificando apenas os conteúdos apresentados ou também toda a sua estrutura. Relativamente ao módulo de realidade aumentada (c), foi desenvolvido uma framework de reconhecimento de imagens com realidade aumentada (MIRAR - Mobile Image Recognition and Augmented Reality) para dispositivos móveis. O objetivo deste módulo é reconhecer e fazer o restreamento dos objetos do museu recorrendo ao dispositivo móvel do utilizador. A framework desenvolvida é baseada no reconhecimento de marcadores e apesar deste acontecer no cliente (dispositivo móvel) é necessário um servidor para guardar os marcadores préprocessados. Estes são, posteriormente, acedidos pelos dispositivos móveis à medida que os utilizadores navegam pelo museu. A localização do utilizador dentro do é calculada através de um sistema de beacons bluetooth a qual é transmitida para o servidor, que, por sua vez, envia os marcadores correspondentes a essa localização para o dispositivo do utilizador. Finalmente, a integração dos módulos supra-mencionados é apresentada numa versão alfa da aplicação móvel, bem como testes e resultados para cada módulo

Real-time human body detection and tracking for augmented reality mobile applications

Hoje em dia, cada vez mais experiências culturais são melhoradas tendo por base aplicações móveis, incluindo aqueles que usam Realidade Aumentada (RA). Estas aplicações têm crescido em número de utilizadores, em muito suportadas no aumento do poder de cálculo dos processadores mais recentes, na popularidade dos dispositivos móveis (com câmaras de alta definição e sistemas de posicionamento global – GPS), e na massificação da disponibilidade de conexões de internet. Tendo este contexto em mente, o projeto Mobile Five Senses Augmented Reality System for Museums (M5SAR) visa desenvolver um sistema de RA para ser um guia em eventos culturais, históricos e em museus, complementando ou substituindo a orientação tradicional dada pelos guias ou mapas. O trabalho descrito na presente tese faz parte do projeto M5SAR. O sistema completo consiste numa aplicação para dispositivos móveis e num dispositivo físico, a acoplar ao dispositivo móvel, que em conjunto visam explorar os 5 sentidos humanos: visão, audição, tato, olfacto e paladar. O projeto M5SAR tem como objetivos principais (a) detectar peças do museu (por exemplo, pinturas e estátuas (Pereira et al., 2017)), (b) detectar paredes / ambientes do museu (Veiga et al., 2017) e (c) detectar formas humanas para sobrepor o conteúdo de Realidade Aumentada (?). Esta tese apresenta uma abordagem relativamente ao último objectivo, combinando informações de articulações do corpo humano com métodos de sobreposição de roupas. Os atuais sistemas relacionados com a sobreposição de roupas, que permitem ao utilizador mover-se livremente, são baseados em sensores tridimensionais (3D), e.g., Sensor Kinect (Erra et al., 2018), sendo estes não portáteis. A contribuição desta tese é apresentar uma solução portátil baseado na câmara (RGB) do telemóvel que permite ao utilizador movimentar-se livremente, fazendo ao mesmo tempo a sobreposição de roupa (para o corpo completo). Nos últimos anos, a capacidade de Redes Neurais Convolucionais (CNN) foi comprovado numa grande variedade de tarefas de visão computacional, tais como classificação e detecção de objetos e no reconhecimento de faces e texto (Amos et al., 2016; Ren et al., 2015a). Uma das áreas de uso das CNN é a estimativa de posição (pose) humana em ambientes reais (Insafutdinov et al., 2017; Pishchulin et al., 2016). Recentemente, duas populares CNN frameworks para detecção e segmentação de formas humanas apresentam destaque, o OpenPose (Cao et al., 2017;Wei et al., 2016) e o Mask R-CNN (He et al., 2017). No entanto, testes experimentais mostraram que as implementações originais não são adequadas para dispositivos móveis. Apesar disso, estas frameworks são a base para as implementações mais recentes, que possibilitam o uso em dispositivos móveis. Uma abordagem que alcança a estimativa e a segmentação de pose de corpo inteiro é o Mask R-CNN2Go (Jindal, 2018), baseado na estrutura original do Mask R-CNN. A principal razão para o tempo de processamento ser reduzido foi a otimização do número de camadas de convolução e a largura de cada camada. Outra abordagem para obter a estimativa de pose humana em dispositivos móveis foi a modificação da arquitetura original do OpenPose para mobile (Kim, 2018; Solano, 2018) e sua combinação com MobileNets (Howard et al., 2017). MobileNets, como o nome sugere, é projetado para aplicativos móveis, fazendo uso de camadas de convoluções separáveis em profundidade. Essa modificação reduz o tempo de processamento, mas também reduz a precisão na estimativa da pose, quando comparado à arquitetura original. É importante ressaltar que apesar de a detecção de pessoas com a sobreposição de roupas ser um tema atual, já existem aplicações disponíveis no mercado, como o Pozus (GENTLEMINDS, 2018). O Pozus é disponibilizado numa versão beta que é executado no sistema operativo iOS, usa a câmera do telemóvel como entrada para a estimação da pose humana aplicando segmentos de texturas sobre o corpo humano. No entanto, Pozus não faz ajuste de texturas (roupas) à forma da pessoa. Na presente tese, o modelo OpenPose foi usado para determinar as articulações do corpo e diferentes abordagens foram usadas para sobreposição de roupas, enquanto uma pessoa se move em ambientes reais. A primeira abordagem utiliza o algoritmo GrabCut (Rother et al., 2004) para segmentação de pessoas, permitindo o ajuste de segmentos de roupas. Uma segunda abordagem usa uma ferramenta bidimensional (2D) de Animação do Esqueleto para permitir deformações em texturas 2D de acordo com as poses estimadas. A terceira abordagem é semelhante à anterior, mas usa modelos 3D, volumes, para obter uma simulação mais realista do processo de sobreposição de roupas. Os resultados e a prova de conceito são mostrados. Os resultados são coerentes com uma prova de conceito. Os testes revelaram que como trabalho futuro as otimizações para melhorar a precisão do modelo de estimação da pose e o tempo de execução ainda são necessárias para dispositivos móveis. O método final utilizado para sobrepor roupas no corpo demonstrou resultados positivos, pois possibilitaram uma simulação mais realística do processo de sobreposição de roupas.When it comes to visitors at museums and heritage places, objects speak for themselves. Nevertheless, it is important to give visitors the best experience possible, this will lead to an increase in the visits number and enhance the perception and value of the organization. With the aim of enhancing a traditional museum visit, a mobile Augmented Reality (AR) framework is being developed as part of the Mobile Five Senses Augmented Reality (M5SAR) project. This thesis presents an initial approach to human shape detection and AR content superimposition in a mobile environment, achieved by combining information of human body joints with clothes overlapping methods. The present existing systems related to clothes overlapping, that allow the user to move freely, are based mainly in three-dimensional (3D) sensors (e.g., Kinect sensor (Erra et al., 2018)), making them far from being portable. The contribution of this thesis is to present a portable system that allows the user to move freely and does full body clothes overlapping. The OpenPose model (Kim, 2018; Solano, 2018) was used to compute the body joints and different approaches were used for clothes overlapping, while a person is moving in real environments. The first approach uses GrabCut algorithm (Rother et al., 2004) for person segmentation, allowing to fit clothes segments. A second approach uses a bi-dimensional (2D) skeletal animation tool to allow deformations on 2D textures according to the estimated poses. The third approach is similar to the previous, but uses 3D clothes models (volumes) to achieve a more realistic simulation of the process of clothes superimposition. Results and proof-of-concept are shown

Cultural heritage visits supported on visitors' preferences and mobile devices

Monuments, museums and cities are great places to feel and experience neat and interesting things. But cultural heritage is experienced differently by different visitors. The more erudite may know beforehand what they intend to explore, while the least literate usually know and are capable of expressing some of their preferences but do not exactly realize what to see and explore. This paper proposes the use of a mobile application to set an itinerary where you can move at your own pace and, at the same time, have all the complementary information you need about each of the points of interest. The application is designed in face of an adaptive user interface where the routing and augmented reality are connected to acknowledge the needs of different user categories, such as elders, kids, experts or general usersPortuguese Foundation for Science and Technology (FCT)Portuguese Foundation for Science and Technology [UID/EEA/50009/2013, UID/SOC/04020/2013]CRESC ALGARVE 2020, PORTUGAL 2020 [3322]FEDER European Commissioninfo:eu-repo/semantics/publishedVersio

Pedagogic approaches to using technology for learning: literature review

This literature review is intended to address and support teaching qualifications and CPD through identifying new and emerging pedagogies; "determining what constitutes effective use of technology in teaching and learning; looking at new developments in teacher training qualifications to ensure that they are at the cutting edge of learning theory and classroom practice and making suggestions as to how teachers can continually update their skills." - Page 4

Redefinition of ICTs in the museum: from invasive to inclusive discourse

Las TIC son inseparables de la museografía in situ e imprescindibles en la museografía en red fija y móvil. En demasiados casos se han instalado prótesis tecnológicas para barnizar de modernidad el espacio cultural, olvidando que la tecnología debe estar al servicio de los contenidos de manera que resulte invisible y perfectamente imbricada con la museografía tradicional. Las interfaces móviles pueden fusionar museo in situ y en red y acompañar a las personas más allá del espacio físico. Esa fusión debe partir de una base de datos narrativa y abierta a obras materiales e inmateriales de otros museos de manera que no se trasladen las limitaciones del museo físico al virtual. En el museo in situ tienen sentido las instalaciones hipermedia inmersivas que faciliten experiencias culturales innovadoras. La interactividad (relaciones virtuales) debe convivir con la interacción (relaciones físicas y personales) y estar al servicio de todas las personas, partiendo de que todas, todos tenemos limitaciones. Trabajar interdisciplinarmente ayuda a comprender mejor el museo para ponerlo al servicio de las personas.ICTs are inseparable from on-site museology and are essential in mixed and mobile network museography. In too many cases, the cultural space has been varnished of modernity by installing technological prostheses, apparently, forgetting that technology must be at the service of the content so that it is invisible and perfectly blended with traditional museography. Mobile interfaces can merge on-site and network museum and accompany people beyond the physical space. That merger should start from a narrative database open to tangible and intangible works from other museums in a way the limitations of the physical museum are not taken to the virtual one. In the on-site museum, hypermedia immersive facilities make sense by aiding innovative cultural experiences. Interactivity (virtual relationships) must live together with the interaction (physical and personal relationships) and be at the service of all people, considering that we all have limitations. Working interdisciplinary helps us to better understand the museum in order to put it at the service of the people

XR Academia:Research and Experiences in Virtual Reality, Augmented Reality, Mixed Reality, and Artificial Intelligence in Latin America and Europe

The book XR Academia: Research and Experiences in Virtual Reality, Augmented Reality, Mixed Reality, and Artificial Intelligence in Latin America and Europe, has at its core the objective of making immersive technology accessible and visible worldwide, with the simultaneous breaking-down of linguistic barriers. Both European and Latin American authors can read each other’s work(s), allowing knowledge and experience in extended reality to be shared. Another important aspect of XR Academia is its attempt to introduce an open science contribution to the issues of immersive technologies, in order to inspire new generations that do not have access to increasingly expensive publications. This volume includes fourteen selected chapters from presenters from the 2020 and 2021 events. These chapters describe research and experiences on a wide range of XR applications, which include entertainment, health, narration, education, psychotherapy, guidance, language, culture and arts. Considering that great inventions and innovations are developed in Latin America but fail to be published internationally, our aim was to open a door to allow the permanent exchange between two languages: Spanish and English

El hipermedia móvil como nuevo medio y su protagonismo en la creación transmedia

Mobile First no es solo un concepto fruto de la mercadotecnia, pues hasta la UNESCO invita a que se exploren las posibilidades educativas del móvil o celular dentro y fuera del aula. Internet móvil, Internet de las cosas, geolocalización y sensores de dispositivos móviles configuran una nueva convergencia de medios marcada por la movilidad de persona y aparato. Esta movilidad, además de interactividades (relaciones con intermediación tecnológica), característica de los sistemas estáticos, genera ricas relaciones analógicas debido a las interacciones (relaciones físicas y personales) con el propio usuario, con otras personas y con el binomio espacio-tiempo. Esta movilidad es protagonista en los procesos de diseño y creación transmedia. Diseñadores, creadores y desarrolladores de contenidos y de software tienen que pensar primeramente en este dispositivo (Mobile Firts) y en que sus creaciones se adapten al resto de pantallas (Responsive Web Design). La hipótesis es que el hipermedia móvil se está configurando como un nuevo medio que suele ser el protagonista principal en la creación transmedia. Se plantea así una aproximación taxonómica, narrativa, creativa y ludo-educomunicativa que intenta demostrarlo. Se analizan las posibilidades hipermedia de la comunicación móvil y sus roles en la comunicación transmedia. Se recurre a la prospectiva para señalar las carencias del momento y apuntar posibilidades futuras que nacen de necesidades no cubiertas. El marketing se encarga de potenciar el deslumbramiento tecnológico. Desde la Academia es necesaria una mirada rigurosa centrada en el diseño, en los contenidos y en la accesibilidad de manera que ayude a pasar de una tecnología que deslumbra a una tecnología que alumbre el conocimiento

Realidad Aumentada en los museos: Una revisión sistemática de la literatura

Con el avance de la tecnología, los museos buscan una manera de innovación durante la visita y uno de estos avances que se presenta es la realidad aumentada, la cual es una manera de visualizar formas, objetos, archivos multimedia dimensionales o tridimensionales en el mundo real. En esta investigación se busca identificar los métodos, las herramientas tecnológicas, los frameworks y librerías utilizados para desarrollar aplicaciones de AR en museos, por otro lado, también se busca cuáles son las características necesarias para desarrollar contenido en aplicaciones de AR. De los 344 artículos encontrados, se hallaron 34 artículos que hacen referencia a la AR en museos. Se pudo identificar que para desarrollar aplicaciones de AR los motores más famosos son Unity3D y Unreal Engine, que los frameworks o librerías más usados son Vuforia y ARToolkit, también se encontró algunas aplicaciones con AR para museos como son Street Museum, MobiAR y PRIMSA los cuales proporcionan información sobre patrimonios culturales en los cuales están los museos. Y que las principales características para el desarrollo son: contenido multimedia y GPS.LIMAEscuela Profesional de Ingeniería de SistemasIngeniería de software - Metodos de desarroll