Portable device for augmented reality: five-sense experiences

Dissertação de mestrado, Engenharia Eléctrica e Electrónica, Instituto Superior de Engenharia, Universidade do Algarve, 2017O objectivo deste trabalho é apresentar um dispositivo portátil capaz de proporcionar sensações de tacto, paladar e olfacto a uma experiência de realidade aumentada. Hoje em dia, muitas experiências culturais e pessoais são construídas com base em aplicações móveis, incluindo aqueles que usam Realidade Aumentada (AR). Estas aplicações têm crescido em utilização, devido à enorme popularidade dos dispositivos móveis, com câmaras existentes, com sistemas de posicionamento global (GPS) e também com uma enorme disponibilidade de conexões de internet. Por outro lado, a maior parte das interfaces de utilizador (UI – User Interface) actuais seguiu tradicionalmente um modelo de tamanho único, geralmente ignorando as necessidades, habilidades e preferências dos utilizadores individuais. No entanto, estudos recentes indicam que o desempenho da visualização dos dispositivos poderia ser melhorado se fossem adaptados aspectos de visualização especificamente para cada utilizador individual. Tendo este contexto em mente, o projeto Mobile Five Senses Augmented Reality System for Museums (M5SAR) visa desenvolver um sistema de AR para ser um guia em eventos culturais, históricos e em museus, complementando ou substituindo a orientação tradicional dada pelos guias, sinais direcionais ou mapas. O trabalho descrito na presente tese faz parte deste projeto M5SAR. O sistema completo consiste numa aplicação para smartphone (fora do âmbito desta tese) e num dispositivo físico (o presente trabalho), às vezes referido como "gadget", “dispositivo portátil”, ”AMtop” (Aplicação Móvel + tacto olfacto e paladar) ou “PDTTSS” (Portable Device for Touch Taste and Smell Sensations), para ser integrado no smartphone de forma a explorar os 5 sentidos humanos: visão, audição, tacto, olfacto e paladar. Os sistemas tradicionais de AR dão feedback sensorial a apenas dois dos nossos sentidos, a visão e a audição. Ao contrário desses, a multimédia multissensorial concentra-se em fornecer comunicações imersivas e melhorar a qualidade de experiência dos utilizadores. Com isto em mente, é um dos objetivos do projeto M5SAR, a implementação de um dispositivo de hardware para se integrar ao smartphone, que permita ao utilizador sentir toque, cheiro e sabor, expandindo a experiência digital típica para todos os cinco sentidos. Portanto, é o objetivo deste trabalho, construir e desenvolver esse mesmo dispositivo de realidade aumentada. As soluções actuais relacionadas com o aumento de experiências sensoriais consistem em grandes sistemas de hardware e estão longe de ser portáteis. Nesta tese, é apresentado um novo dispositivo pequeno e portátil, para integrar com o smartphone do utilizador, para reproduzir uma experiência completa com todos os cinco sentidos. O dispositivo implementado embora pequeno e, adiciona ao sistema de realidade aumentada as experiências do toque, cheiro e sabor. Além disso, o dispositivo é suficientemente flexível para se adaptar aos diferentes tamanhos dos tablets e smartphones dos utilizadores. É alimentado por uma bateria recarregável, o que dá ao módulo a capacidade de manter o sistema a funcionar durante toda a visita ao museu. O núcleo principal é um microcontrolador que recebe as instruções da aplicação móvel a correr no smartphone e reage de acordo com essas instruções, activando o restante hardware necessário para disponibilizar a experiência multissensorial ao utilizador. A comunicação entre a aplicação e o dispositivo é feita sem fios, através de um interface Bluetooth. A comunicação com o resto do módulo, denotados aqui como interfaces físicos, é cablada. Estas interfaces serão responsáveis por criar os estímulos que reproduzem os três sentidos: tacto, paladar e olfacto. O restantes sentidos, a visão e a audição, já são reproduzidos pelo próprio smartphone ou tablet do utilizador. Neste relatório, depois de explicados os objectivos e o enquadramento do trabalho, são explicados alguns conceitos necessários para compreender o conteúdo e alcance desta tese, que inclui a compreensão dos sentidos humanos e a forma como são estimulados. São analisadas algumas das tecnologias existentes para reproduzir o estímulo sensorial para os três sentidos humanos menos explorados, toque, sabor e cheiro, quer sejam projetos acadêmicos, ideias em desenvolvimento ou produtos de consumo comercialmente disponíveis, independentemente do tamanho, eficiência ou praticidade. Pela análise dos objetivos e dos requisitos do projeto, e considerando a aplicação final, é apresentado o estudo do modo de desenvolver o dispositivo portátil, desde o seu aspecto físico, até os sistemas sensoriais mais intrincados. São apresentadas diferentes possibilidades de recriar o estímulo para cada sensação e que tecnologias existem e como podem ser aplicadas. Pela sua comparação e análise, são determinadas quais são as melhores e mais apropriados para usar neste projecto, tendo em consideração o tamanho, a portabilidade e as limitações de energia existentes num dispositivo portátil, também não esquecendo a comodidade e segurança para o usuário. São apresentados ainda neste relatório todos os detalhes importantes para a construção do protótipo do dispositivo portátil. Foi desenvolvido um protótipo que serve para fazer a “prova de conceito”, e neste relatório são detalhados os componentes usados, como eles foram ligados e explicadas as mudanças necessárias efectuadas em relação ao conceito projetado anteriormente. São ainda apresentadas as especificações técnicas de cada componente e do próprio PDTTSS, assim como a estrutura da caixa que suporta o dispositivo, mostrando a evolução que a estrutura teve ao longo do projecto, com os seus modelos 3D e a estrutura real impressa em 3D para a construção do protótipo. Desde a posição para cada componente na estrutura, a sua montagem, passando pela electrónica necessária, com a especificação da placa do microcontrolador, o firmware e a interface de comunicação, tudo é apresentado e detalhado neste relatório. Sob o protótipo do dispositivo desenvolvido, foram executados diversos testes. Devido à natureza de algumas interfaces usadas, alguns testes não foram possíveis de quantificar, por isso esses testes foram conduzidos com pessoas para obter seus comentários sobre sua experiência real como usuário da unidade portátil. Os resultados são apresentados e resumidos por interface sensorial. Além do estímulo sensorial, alguns resultados sobre a compatibilidade do uso, em relação ao tamanho e ao peso, também são representados aqui, assim como Uma discussão sobre os múltiplos resultados, analisando-os em termos de relevância e interesse para este aplicativo, bem como possíveis problemas e sua causa provável. Em termos gerais, os resultados são coerentes com uma primeira versão de um protótipo realizado com o objectivo de ser uma prova de conceito. Assim, os resultados mostram que há interfaces que necessitam de ser melhorados, para serem mais perceptíveis pelo utilizador final, nomeadamente a sensação de frio. Outros interfaces são ainda passíveis de melhorias, embora o resultado já obtido seja satisfatório, nomeadamente a sensação de vento. Outros interfaces apresentam já resultados aceitáveis para uma solução final, como a sensação de quente. Em suma, para um protótipo desenvolvido como prova de conceito, este cumpriu exemplarmente as suas funções, pois permitiu validar a ideia, permitindo ainda ter uma noção real da utilização e implementação dos interfaces pelos utilizadores finais. Neste âmbito, a análise dos problemas encontrados nos resultados dos testes permitiu encontrar soluções possíveis para corrigir esses problemas, e soluções de como melhorar o dispositivo portátil para o desenvolvimento de um novo protótipo

Ergonomic Evaluation Regarding Property of Kinesthetic Illusion by Vibration Stimuli on Human Tendon

早大学位記番号:新7427早稲田大

Optimizing transmission protocols for enhancement of quality of service in telemedical realtime applications

In der Dissertation mit dem Titel „Optimierung von Übertragungsprotokollen zur Verbesserung der Dienstgüte in telemedizinischen Echtzeitanwendungen“ geht es um die Entwicklung einer Protokollmodifikation für Multipath-TCP zur besseren Unterstützung von telemedizinischen Echtzeitanwendungen über das Internet in einem Szenario zwischen global verteilten Standorten. Das Ziel von redundantem Multipath-TCP (rMPTCP) ist es, mehrere Verbindungen gleichzeitig zu nutzen, um mithilfe von Redundanz Verzögerungsspitzen und Datenverluste auszugleichen und somit die Dienstgüte der Übertragung zu verbessern. Hierbei passt sich das Protokoll den aktuellen Gegebenheiten der Datenverbindung adaptiv an, indem es Redundanz, Leitungsqualität, benötigte Datenübertragungsrate sowie den durch das Netzwerk angebotenen Datendurchsatz in Relation setzt. Anwendungen in der Telemedizin unterscheiden sich in ihren kommunikativen und interaktiven Ausprägungen und damit in ihren Dienstgüteanforderungen. Zu diesem Zweck werden grundlegende Anwendungen in der Telemedizin sowie Spezifizierungen der Dienstgüteanforderungen der anfallenden Datenströme behandelt und klassifiziert. Dies geschieht in Hinblick auf ein zwischen der Universität Duisburg-Essen (UDE) und der Universiti Kebangsaan Malaysia (UKM) laufendes Forschungsszenario. Darauf folgt eine Darlegung von Dienstgüte-Mechanismen im Internet. Darin werden die elementaren Funktionsweisen sowie Möglichkeiten diese zu verbessern beschrieben. Die Übertragungsstrecke zwischen den beiden Universitäten wird entsprechend des Basisszenarios in Hinblick auf verschiedene Dienstgüteparameter mit entsprechenden Messwerkzeugen soweit ausgewertet, dass Gegebenheiten und Probleme identifiziert werden können. Eine Evaluierung der verschiedenen verfügbaren Verbindungen zwischen UDE und UKM dient der Ermittlung einer kombinierten Nutzungsweise und den Möglichkeiten bei einer Mehrfachverbindung. Die Modellierung und Entwicklung der Protokollmodifikation wird unter den vorher hergeleiteten Anforderungen durchgeführt. Es werden die grundsätzlichen mathematischen Zusammenhänge diskutiert und eine Einführung in die Funktionalitäten des Protokolls gegeben. Die Eigenschaften und Funktionen des neuen Protokolls werden modelliert und zusätzliche Hilfsmittel, die für die Anwendung innerhalb des Szenarios benötigt werden entwickelt. Die Funktionalitäten werden in praktischen Versuchen ausgewertet und eine abschließende Beurteilung diskutiert. Das Ergebnis dieser Dissertation ist die Entwicklung einer internetkompatiblen redundanten Protokollerweiterung für Multipath-TCP, die in der Lage ist, sich mithilfe verschiedener Algorithmen auf Situationen im Netzwerk anzupassen und verschiedene Maßnahmen bei Störungen zu ergreifen. Die Protokollerweiterung ist in der Lage, eine Dienstgüteverbesserung in Hinblick auf Verzögerungen sowie Verzögerungsvarianzen für Anwendungen mit „Nahe-Echtzeit“-Anforderungen zu erreichen.In the dissertation entitled "Optimization of Transmission Protocols to Improve Quality of Service in Telemedicine Real-Time Applications", the aim is to develop a protocol modification for Multipath-TCP to improve the support for telemedical real-time applications over the Internet in a scenario between globally distributed locations. The goal of redundant Multipath TCP (rMPTCP) is to use multiple connections at the same time to compensate for delay and data losses by means of redundancy and thus to improve the quality of service of the transmission. The protocol adapts to the current circumstances of the data connection by correlating redundancy, connection quality, required data transmission rate as well as the data throughput offered by the network. Applications in telemedicine differ in their communicative and interactive manifestations and thus in their quality of service requirements. For this purpose, basic applications in telemedicine as well as specifications of the quality requirements of the resulting data streams are treated and classified. This is done with regard to a research scenario running between the University of Duisburg-Essen (UDE) and the Universiti Kebangsaan Malaysia (UKM). It is followed by a presentation of quality of service mechanisms on the Internet. The basic functions as well as ways to improve them are described. The transmission distance between the two universities is evaluated according to the basic scenario with regard to different quality of service parameters with appropriate measuring tools in a way that conditions and problems can be identified. An evaluation of the various available connections between UDE and UKM is used to determine a combined usage and the possibilities for a multiple connection. The modeling and development of the protocol modification is performed under the previously-derived requirements. The basic mathematical connections are discussed and an introduction to the functionalities of the protocol is given. The properties and functions of the new protocol are modeled and additional tools developed for utilization within the scenario are designed. The functionalities are evaluated in practical tests and a final assessment is discussed. The result of this dissertation is the development of an Internet-compatible redundant protocol extension for multipath TCP, which is able to adapt to situations in the network by means of different algorithms and to take various measures in case of disturbances. The protocol extension is capable of achieving an improvement in service quality with regard to delays as well as delay variances for applications with "near real-time" requirements