Electromagnetic Position Sensing and Force Feedback for a Magnetic Stylus with an Interactive Display

This letter describes the design, implementation, validation, and demonstration of an electromagnetic system that can be incorporated into a graphical display to provide computer-controlled planar feedback forces on the tip of a stylus or fingertip-mounted magnet held near the display surface, according to the magnet position and virtual fixtures implemented in software. An array of magnetometer sensors is used to detect the position of the magnet, while a pair of box-shaped coils behind the display produces feedback forces on the stylus parallel to the plane of the display. Electromagnetic analysis for the system design is presented and system implementation is described. Validation results are given for force generation within a 100 mm × 100 mm area and force interaction with a virtual obstacle is demonstrated

A Universal Volumetric Haptic Actuation Platform

In this paper, we report a method of implementing a universal volumetric haptic actuation platform which can be adapted to fit a wide variety of visual displays with flat surfaces. This platform aims to enable the simulation of the 3D features of input interfaces. This goal is achieved using four readily available stepper motors in a diagonal cross configuration with which we can quickly change the position of a surface in a manner that can render these volumetric features. In our research, we use a Microsoft Surface Go tablet placed on the haptic enhancement actuation platform to replicate the exploratory features of virtual keyboard keycaps displayed on the touchscreen. We ask seven participants to explore the surface of a virtual keypad comprised of 12 keycaps. As a second task, random key positions are announced one at a time, which the participant is expected to locate. These experiments are used to understand how and with what fidelity the volumetric feedback could improve performance (detection time, track length, and error rate) of detecting the specific keycaps location with haptic feedback and in the absence of visual feedback. Participants complete the tasks with great success (p < 0.05). In addition, their ability to feel convex keycaps is confirmed within the subjective comments.Peer reviewe

DeformIO:Dynamic Stiffness Control on a Deformable Force-sensing Display

Introducing DeformIO, a novel deformable display with co-located force input and variable stiffness output. Unlike prior work, our approach does not require pin arrays or re-configurable panels. Instead, we leveraged pneumatics and resistive sensing to enable force detection and stiffness control on a soft continuous surface. This allows users to perceive rich tactile feedback on a soft surface and replicates the benefits of fluid finger movement from traditional glass-based screens. Using a robotic arm, we conducted a series of evaluations with 3,267 trials to quantify the performance of touch and force input, as well as stiffness output. Additionally, our study confirmed users’ ability to apply multiple force inputs simultaneously and distinguish stiffness levels. We illustrate how DeformIO enhances interaction through a vision for everyday interaction and include two implemented self-contained demonstrations.<br/

DeformIO:Dynamic Stiffness Control on a Deformable Force-sensing Display

Introducing DeformIO, a novel deformable display with co-located force input and variable stiffness output. Unlike prior work, our approach does not require pin arrays or re-configurable panels. Instead, we leveraged pneumatics and resistive sensing to enable force detection and stiffness control on a soft continuous surface. This allows users to perceive rich tactile feedback on a soft surface and replicates the benefits of fluid finger movement from traditional glass-based screens. Using a robotic arm, we conducted a series of evaluations with 3,267 trials to quantify the performance of touch and force input, as well as stiffness output. Additionally, our study confirmed users’ ability to apply multiple force inputs simultaneously and distinguish stiffness levels. We illustrate how DeformIO enhances interaction through a vision for everyday interaction and include two implemented self-contained demonstrations.<br/

Electromagnetic Position Sensing and Force Feedback for a Magnetic Stylus with an Interactive Display

This letter describes the design, implementation, validation, and demonstration of an electromagnetic system that can be incorporated into a graphical display to provide computer-controlled planar feedback forces on the tip of a stylus or fingertip-mounted magnet held near the display surface, according to the magnet position and virtual fixtures implemented in software. An array of magnetometer sensors is used to detect the position of the magnet, while a pair of box-shaped coils behind the display produces feedback forces on the stylus parallel to the plane of the display. Electromagnetic analysis for the system design is presented and system implementation is described. Validation results are given for force generation within a 100 mm × 100 mm area and force interaction with a virtual obstacle is demonstrated

物理/バーチャル空間の接続と分離を媒介する可動壁に関する研究

Tohoku University博士（情報科学）thesi

AirConstellations: In-Air Device Formations for Cross-Device Interaction via Multiple Spatially-Aware Armatures

AirConstellations supports a unique semi-fixed style of cross-device interactions via multiple self-spatially-aware armatures to which users can easily attach (or detach) tablets and other devices. In particular, AirConstellations affords highly flexible and dynamic device formations where the users can bring multiple devices together in-air - with 2-5 armatures poseable in 7DoF within the same workspace - to suit the demands of their current task, social situation, app scenario, or mobility needs. This affords an interaction metaphor where relative orientation, proximity, attaching (or detaching) devices, and continuous movement into and out of ad-hoc ensembles can drive context-sensitive interactions. Yet all devices remain self-stable in useful configurations even when released in mid-air. We explore flexible physical arrangement, feedforward of transition options, and layering of devices in-air across a variety of multi-device app scenarios. These include video conferencing with flexible arrangement of the person-space of multiple remote participants around a shared task-space, layered and tiled device formations with overview+detail and shared-to-personal transitions, and flexible composition of UI panels and tool palettes across devices for productivity applications. A preliminary interview study highlights user reactions to AirConstellations, such as for minimally disruptive device formations, easier physical transitions, and balancing "seeing and being seen"in remote work

Portable device for augmented reality: five-sense experiences

Dissertação de mestrado, Engenharia Eléctrica e Electrónica, Instituto Superior de Engenharia, Universidade do Algarve, 2017O objectivo deste trabalho é apresentar um dispositivo portátil capaz de proporcionar sensações de tacto, paladar e olfacto a uma experiência de realidade aumentada. Hoje em dia, muitas experiências culturais e pessoais são construídas com base em aplicações móveis, incluindo aqueles que usam Realidade Aumentada (AR). Estas aplicações têm crescido em utilização, devido à enorme popularidade dos dispositivos móveis, com câmaras existentes, com sistemas de posicionamento global (GPS) e também com uma enorme disponibilidade de conexões de internet. Por outro lado, a maior parte das interfaces de utilizador (UI – User Interface) actuais seguiu tradicionalmente um modelo de tamanho único, geralmente ignorando as necessidades, habilidades e preferências dos utilizadores individuais. No entanto, estudos recentes indicam que o desempenho da visualização dos dispositivos poderia ser melhorado se fossem adaptados aspectos de visualização especificamente para cada utilizador individual. Tendo este contexto em mente, o projeto Mobile Five Senses Augmented Reality System for Museums (M5SAR) visa desenvolver um sistema de AR para ser um guia em eventos culturais, históricos e em museus, complementando ou substituindo a orientação tradicional dada pelos guias, sinais direcionais ou mapas. O trabalho descrito na presente tese faz parte deste projeto M5SAR. O sistema completo consiste numa aplicação para smartphone (fora do âmbito desta tese) e num dispositivo físico (o presente trabalho), às vezes referido como "gadget", “dispositivo portátil”, ”AMtop” (Aplicação Móvel + tacto olfacto e paladar) ou “PDTTSS” (Portable Device for Touch Taste and Smell Sensations), para ser integrado no smartphone de forma a explorar os 5 sentidos humanos: visão, audição, tacto, olfacto e paladar. Os sistemas tradicionais de AR dão feedback sensorial a apenas dois dos nossos sentidos, a visão e a audição. Ao contrário desses, a multimédia multissensorial concentra-se em fornecer comunicações imersivas e melhorar a qualidade de experiência dos utilizadores. Com isto em mente, é um dos objetivos do projeto M5SAR, a implementação de um dispositivo de hardware para se integrar ao smartphone, que permita ao utilizador sentir toque, cheiro e sabor, expandindo a experiência digital típica para todos os cinco sentidos. Portanto, é o objetivo deste trabalho, construir e desenvolver esse mesmo dispositivo de realidade aumentada. As soluções actuais relacionadas com o aumento de experiências sensoriais consistem em grandes sistemas de hardware e estão longe de ser portáteis. Nesta tese, é apresentado um novo dispositivo pequeno e portátil, para integrar com o smartphone do utilizador, para reproduzir uma experiência completa com todos os cinco sentidos. O dispositivo implementado embora pequeno e, adiciona ao sistema de realidade aumentada as experiências do toque, cheiro e sabor. Além disso, o dispositivo é suficientemente flexível para se adaptar aos diferentes tamanhos dos tablets e smartphones dos utilizadores. É alimentado por uma bateria recarregável, o que dá ao módulo a capacidade de manter o sistema a funcionar durante toda a visita ao museu. O núcleo principal é um microcontrolador que recebe as instruções da aplicação móvel a correr no smartphone e reage de acordo com essas instruções, activando o restante hardware necessário para disponibilizar a experiência multissensorial ao utilizador. A comunicação entre a aplicação e o dispositivo é feita sem fios, através de um interface Bluetooth. A comunicação com o resto do módulo, denotados aqui como interfaces físicos, é cablada. Estas interfaces serão responsáveis por criar os estímulos que reproduzem os três sentidos: tacto, paladar e olfacto. O restantes sentidos, a visão e a audição, já são reproduzidos pelo próprio smartphone ou tablet do utilizador. Neste relatório, depois de explicados os objectivos e o enquadramento do trabalho, são explicados alguns conceitos necessários para compreender o conteúdo e alcance desta tese, que inclui a compreensão dos sentidos humanos e a forma como são estimulados. São analisadas algumas das tecnologias existentes para reproduzir o estímulo sensorial para os três sentidos humanos menos explorados, toque, sabor e cheiro, quer sejam projetos acadêmicos, ideias em desenvolvimento ou produtos de consumo comercialmente disponíveis, independentemente do tamanho, eficiência ou praticidade. Pela análise dos objetivos e dos requisitos do projeto, e considerando a aplicação final, é apresentado o estudo do modo de desenvolver o dispositivo portátil, desde o seu aspecto físico, até os sistemas sensoriais mais intrincados. São apresentadas diferentes possibilidades de recriar o estímulo para cada sensação e que tecnologias existem e como podem ser aplicadas. Pela sua comparação e análise, são determinadas quais são as melhores e mais apropriados para usar neste projecto, tendo em consideração o tamanho, a portabilidade e as limitações de energia existentes num dispositivo portátil, também não esquecendo a comodidade e segurança para o usuário. São apresentados ainda neste relatório todos os detalhes importantes para a construção do protótipo do dispositivo portátil. Foi desenvolvido um protótipo que serve para fazer a “prova de conceito”, e neste relatório são detalhados os componentes usados, como eles foram ligados e explicadas as mudanças necessárias efectuadas em relação ao conceito projetado anteriormente. São ainda apresentadas as especificações técnicas de cada componente e do próprio PDTTSS, assim como a estrutura da caixa que suporta o dispositivo, mostrando a evolução que a estrutura teve ao longo do projecto, com os seus modelos 3D e a estrutura real impressa em 3D para a construção do protótipo. Desde a posição para cada componente na estrutura, a sua montagem, passando pela electrónica necessária, com a especificação da placa do microcontrolador, o firmware e a interface de comunicação, tudo é apresentado e detalhado neste relatório. Sob o protótipo do dispositivo desenvolvido, foram executados diversos testes. Devido à natureza de algumas interfaces usadas, alguns testes não foram possíveis de quantificar, por isso esses testes foram conduzidos com pessoas para obter seus comentários sobre sua experiência real como usuário da unidade portátil. Os resultados são apresentados e resumidos por interface sensorial. Além do estímulo sensorial, alguns resultados sobre a compatibilidade do uso, em relação ao tamanho e ao peso, também são representados aqui, assim como Uma discussão sobre os múltiplos resultados, analisando-os em termos de relevância e interesse para este aplicativo, bem como possíveis problemas e sua causa provável. Em termos gerais, os resultados são coerentes com uma primeira versão de um protótipo realizado com o objectivo de ser uma prova de conceito. Assim, os resultados mostram que há interfaces que necessitam de ser melhorados, para serem mais perceptíveis pelo utilizador final, nomeadamente a sensação de frio. Outros interfaces são ainda passíveis de melhorias, embora o resultado já obtido seja satisfatório, nomeadamente a sensação de vento. Outros interfaces apresentam já resultados aceitáveis para uma solução final, como a sensação de quente. Em suma, para um protótipo desenvolvido como prova de conceito, este cumpriu exemplarmente as suas funções, pois permitiu validar a ideia, permitindo ainda ter uma noção real da utilização e implementação dos interfaces pelos utilizadores finais. Neste âmbito, a análise dos problemas encontrados nos resultados dos testes permitiu encontrar soluções possíveis para corrigir esses problemas, e soluções de como melhorar o dispositivo portátil para o desenvolvimento de um novo protótipo

The cockpit for the 21st century

Interactive surfaces are a growing trend in many domains. As one possible manifestation of Mark Weiser’s vision of ubiquitous and disappearing computers in everywhere objects, we see touchsensitive screens in many kinds of devices, such as smartphones, tablet computers and interactive tabletops. More advanced concepts of these have been an active research topic for many years. This has also influenced automotive cockpit development: concept cars and recent market releases show integrated touchscreens, growing in size. To meet the increasing information and interaction needs, interactive surfaces offer context-dependent functionality in combination with a direct input paradigm. However, interfaces in the car need to be operable while driving. Distraction, especially visual distraction from the driving task, can lead to critical situations if the sum of attentional demand emerging from both primary and secondary task overextends the available resources. So far, a touchscreen requires a lot of visual attention since its flat surface does not provide any haptic feedback. There have been approaches to make direct touch interaction accessible while driving for simple tasks. Outside the automotive domain, for example in office environments, concepts for sophisticated handling of large displays have already been introduced. Moreover, technological advances lead to new characteristics for interactive surfaces by enabling arbitrary surface shapes. In cars, two main characteristics for upcoming interactive surfaces are largeness and shape. On the one hand, spatial extension is not only increasing through larger displays, but also by taking objects in the surrounding into account for interaction. On the other hand, the flatness inherent in current screens can be overcome by upcoming technologies, and interactive surfaces can therefore provide haptically distinguishable surfaces. This thesis describes the systematic exploration of large and shaped interactive surfaces and analyzes their potential for interaction while driving. Therefore, different prototypes for each characteristic have been developed and evaluated in test settings suitable for their maturity level. Those prototypes were used to obtain subjective user feedback and objective data, to investigate effects on driving and glance behavior as well as usability and user experience. As a contribution, this thesis provides an analysis of the development of interactive surfaces in the car. Two characteristics, largeness and shape, are identified that can improve the interaction compared to conventional touchscreens. The presented studies show that large interactive surfaces can provide new and improved ways of interaction both in driver-only and driver-passenger situations. Furthermore, studies indicate a positive effect on visual distraction when additional static haptic feedback is provided by shaped interactive surfaces. Overall, various, non-exclusively applicable, interaction concepts prove the potential of interactive surfaces for the use in automotive cockpits, which is expected to be beneficial also in further environments where visual attention needs to be focused on additional tasks.Der Einsatz von interaktiven Oberflächen weitet sich mehr und mehr auf die unterschiedlichsten Lebensbereiche aus. Damit sind sie eine mögliche Ausprägung von Mark Weisers Vision der allgegenwärtigen Computer, die aus unserer direkten Wahrnehmung verschwinden. Bei einer Vielzahl von technischen Geräten des täglichen Lebens, wie Smartphones, Tablets oder interaktiven Tischen, sind berührungsempfindliche Oberflächen bereits heute in Benutzung. Schon seit vielen Jahren arbeiten Forscher an einer Weiterentwicklung der Technik, um ihre Vorteile auch in anderen Bereichen, wie beispielsweise der Interaktion zwischen Mensch und Automobil, nutzbar zu machen. Und das mit Erfolg: Interaktive Benutzeroberflächen werden mittlerweile serienmäßig in vielen Fahrzeugen eingesetzt. Der Einbau von immer größeren, in das Cockpit integrierten Touchscreens in Konzeptfahrzeuge zeigt, dass sich diese Entwicklung weiter in vollem Gange befindet. Interaktive Oberflächen ermöglichen das flexible Anzeigen von kontextsensitiven Inhalten und machen eine direkte Interaktion mit den Bildschirminhalten möglich. Auf diese Weise erfüllen sie die sich wandelnden Informations- und Interaktionsbedürfnisse in besonderem Maße. Beim Einsatz von Bedienschnittstellen im Fahrzeug ist die gefahrlose Benutzbarkeit während der Fahrt von besonderer Bedeutung. Insbesondere visuelle Ablenkung von der Fahraufgabe kann zu kritischen Situationen führen, wenn Primär- und Sekundäraufgaben mehr als die insgesamt verfügbare Aufmerksamkeit des Fahrers beanspruchen. Herkömmliche Touchscreens stellen dem Fahrer bisher lediglich eine flache Oberfläche bereit, die keinerlei haptische Rückmeldung bietet, weshalb deren Bedienung besonders viel visuelle Aufmerksamkeit erfordert. Verschiedene Ansätze ermöglichen dem Fahrer, direkte Touchinteraktion für einfache Aufgaben während der Fahrt zu nutzen. Außerhalb der Automobilindustrie, zum Beispiel für Büroarbeitsplätze, wurden bereits verschiedene Konzepte für eine komplexere Bedienung großer Bildschirme vorgestellt. Darüber hinaus führt der technologische Fortschritt zu neuen möglichen Ausprägungen interaktiver Oberflächen und erlaubt, diese beliebig zu formen. Für die nächste Generation von interaktiven Oberflächen im Fahrzeug wird vor allem an der Modifikation der Kategorien Größe und Form gearbeitet. Die Bedienschnittstelle wird nicht nur durch größere Bildschirme erweitert, sondern auch dadurch, dass Objekte wie Dekorleisten in die Interaktion einbezogen werden können. Andererseits heben aktuelle Technologieentwicklungen die Restriktion auf flache Oberflächen auf, so dass Touchscreens künftig ertastbare Strukturen aufweisen können. Diese Dissertation beschreibt die systematische Untersuchung großer und nicht-flacher interaktiver Oberflächen und analysiert ihr Potential für die Interaktion während der Fahrt. Dazu wurden für jede Charakteristik verschiedene Prototypen entwickelt und in Testumgebungen entsprechend ihres Reifegrads evaluiert. Auf diese Weise konnten subjektives Nutzerfeedback und objektive Daten erhoben, und die Effekte auf Fahr- und Blickverhalten sowie Nutzbarkeit untersucht werden. Diese Dissertation leistet den Beitrag einer Analyse der Entwicklung von interaktiven Oberflächen im Automobilbereich. Weiterhin werden die Aspekte Größe und Form untersucht, um mit ihrer Hilfe die Interaktion im Vergleich zu herkömmlichen Touchscreens zu verbessern. Die durchgeführten Studien belegen, dass große Flächen neue und verbesserte Bedienmöglichkeiten bieten können. Außerdem zeigt sich ein positiver Effekt auf die visuelle Ablenkung, wenn zusätzliches statisches, haptisches Feedback durch nicht-flache Oberflächen bereitgestellt wird. Zusammenfassend zeigen verschiedene, untereinander kombinierbare Interaktionskonzepte das Potential interaktiver Oberflächen für den automotiven Einsatz. Zudem können die Ergebnisse auch in anderen Bereichen Anwendung finden, in denen visuelle Aufmerksamkeit für andere Aufgaben benötigt wird