ISAR: Ein Autorensystem für Interaktive Tische

Developing augmented reality systems involves several challenges, that prevent end users and experts from non-technical domains, such as education, to experiment with this technology. In this research we introduce ISAR, an authoring system for augmented reality tabletops targeting users from non-technical domains. ISAR allows non-technical users to create their own interactive tabletop applications and experiment with the use of this technology in domains such as educations, industrial training, and medical rehabilitation.Die Entwicklung von Augmented-Reality-Systemen ist mit mehreren Herausforderungen verbunden, die Endbenutzer und Experten aus nicht-technischen Bereichen, wie z.B. dem Bildungswesen, daran hindern, mit dieser Technologie zu experimentieren. In dieser Forschung stellen wir ISAR vor, ein Autorensystem für Augmented-Reality-Tabletops, das sich an Benutzer aus nicht-technischen Bereichen richtet. ISAR ermöglicht es nicht-technischen Anwendern, ihre eigenen interaktiven Tabletop-Anwendungen zu erstellen und mit dem Einsatz dieser Technologie in Bereichen wie Bildung, industrieller Ausbildung und medizinischer Rehabilitation zu experimentieren

GIFT: Gesture-Based Interaction by Fingers Tracking, an Interaction Technique for Virtual Environment

Three Dimensional (3D) interaction is the plausible human interaction inside a Virtual Environment (VE). The rise of the Virtual Reality (VR) applications in various domains demands for a feasible 3D interface. Ensuring immersivity in a virtual space, this paper presents an interaction technique where manipulation is performed by the perceptive gestures of the two dominant fingers; thumb and index. The two fingertip-thimbles made of paper are used to trace states and positions of the fingers by an ordinary camera. Based on the positions of the fingers, the basic interaction tasks; selection, scaling, rotation, translation and navigation are performed by intuitive gestures of the fingers. Without keeping a gestural database, the features-free detection of the fingers guarantees speedier interactions. Moreover, the system is user-independent and depends neither on the size nor on the color of the users’ hand. With a case-study project; Interactions by the Gestures of Fingers (IGF) the technique is implemented for evaluation. The IGF application traces gestures of the fingers using the libraries of OpenCV at the back-end. At the front-end, the objects of the VE are rendered accordingly using the Open Graphics Library; OpenGL. The system is assessed in a moderate lighting condition by a group of 15 users. Furthermore, usability of the technique is investigated in games. Outcomes of the evaluations revealed that the approach is suitable for VR applications both in terms of cost and accuracy

Tangible user interfaces : past, present and future directions

In the last two decades, Tangible User Interfaces (TUIs) have emerged as a new interface type that interlinks the digital and physical worlds. Drawing upon users' knowledge and skills of interaction with the real non-digital world, TUIs show a potential to enhance the way in which people interact with and leverage digital information. However, TUI research is still in its infancy and extensive research is required in or- der to fully understand the implications of tangible user interfaces, to develop technologies that further bridge the digital and the physical, and to guide TUI design with empirical knowledge. This paper examines the existing body of work on Tangible User In- terfaces. We start by sketching the history of tangible user interfaces, examining the intellectual origins of this field. We then present TUIs in a broader context, survey application domains, and review frame- works and taxonomies. We also discuss conceptual foundations of TUIs including perspectives from cognitive sciences, phycology, and philoso- phy. Methods and technologies for designing, building, and evaluating TUIs are also addressed. Finally, we discuss the strengths and limita- tions of TUIs and chart directions for future research

Setting the stage – embodied and spatial dimensions in emerging programming practices.

In the design of interactive systems, developers sometimes need to engage in various ways of physical performance in order to communicate ideas and to test out properties of the system to be realised. External resources such as sketches, as well as bodily action, often play important parts in such processes, and several methods and tools that explicitly address such aspects of interaction design have recently been developed. This combined with the growing range of pervasive, ubiquitous, and tangible technologies add up to a complex web of physicality within the practice of designing interactive systems. We illustrate this dimension of systems development through three cases which in different ways address the design of systems where embodied performance is important. The first case shows how building a physical sport simulator emphasises a shift in activity between programming and debugging. The second case shows a build-once run-once scenario, where the fine-tuning and control of the run-time activity gets turned into an act of in situ performance by the programmers. The third example illustrates the explorative and experiential nature of programming and debugging systems for specialised and autonomous interaction devices. This multitude in approaches in existing programming settings reveals an expanded perspective of what practices of interaction design consist of, emphasising the interlinking between design, programming, and performance with the system that is being developed

Ubicorder: A mobile device for situated interactions with sensor networks

The Ubicorder is a mobile, location and orientation aware device for browsing and interacting with real-time sensor network data. In addition to browsing data, the Ubicorder also provides a graphical user interface (GUI) that users can use to define inference rules. These inference rules detect sensor data patterns, and translate them to higher-order events. Rules can also be recursively combined to form an expressive and robust vocabulary for detecting real-world phenomena, thus enabling users to script higher level and relevant responses to distributed sensor stimuli. The Ubicorder’s mobile, handheld form-factor enables users to easily bring the device to the phenomena of interest, hence simultaneously observe or cause real-world stimuli and manipulate in-situ the event detection rules easily using its graphical interface. In a first-use user study, participants without any prior sensor network experience rated the Ubicorder highly for its usefulness and usability when interacting with a sensor network.Things That Think Consortiu

Embodied Interactions for Spatial Design Ideation: Symbolic, Geometric, and Tangible Approaches

Computer interfaces are evolving from mere aids for number crunching into active partners in creative processes such as art and design. This is, to a great extent, the result of mass availability of new interaction technology such as depth sensing, sensor integration in mobile devices, and increasing computational power. We are now witnessing the emergence of maker culture that can elevate art and design beyond the purview of enterprises and professionals such as trained engineers and artists. Materializing this transformation is not trivial; everyone has ideas but only a select few can bring them to reality. The challenge is the recognition and the subsequent interpretation of human actions into design intent

Smart Technologies for Precision Assembly

This open access book constitutes the refereed post-conference proceedings of the 9th IFIP WG 5.5 International Precision Assembly Seminar, IPAS 2020, held virtually in December 2020. The 16 revised full papers and 10 revised short papers presented together with 1 keynote paper were carefully reviewed and selected from numerous submissions. The papers address topics such as assembly design and planning; assembly operations; assembly cells and systems; human centred assembly; and assistance methods in assembly

An Inertial Device-based User Interaction with Occlusion-free Object Handling in a Handheld Augmented Reality

Augmented Reality (AR) is a technology used to merge virtual objects with real environments in real-time. In AR, the interaction which occurs between the end-user and the AR system has always been the frequently discussed topic. In addition, handheld AR is a new approach in which it delivers enriched 3D virtual objects when a user looks through the device’s video camera. One of the most accepted handheld devices nowadays is the smartphones which are equipped with powerful processors and cameras for capturing still images and video with a range of sensors capable of tracking location, orientation and motion of the user. These modern smartphones offer a sophisticated platform for implementing handheld AR applications. However, handheld display provides interface with the interaction metaphors which are developed with head-mounted display attached along and it might restrict with hardware which is inappropriate for handheld. Therefore, this paper will discuss a proposed real-time inertial device-based interaction technique for 3D object manipulation. It also explains the methods used such for selection, holding, translation and rotation. It aims to improve the limitation in 3D object manipulation when a user can hold the device with both hands without requiring the need to stretch out one hand to manipulate the 3D object. This paper will also recap of previous works in the field of AR and handheld AR. Finally, the paper provides the experimental results to offer new metaphors to manipulate the 3D objects using handheld devices

PHASED: physiologic advanced sensing deployed

Tese de mestrado, Engenharia Informática (Engenharia de Software), Universidade de Lisboa, Faculdade de Ciências, 2014Atualmente os dispositivos móveis têm uma enorme importância em vários aspetos das nossas vidas, pois a sua evolução ao longo dos últimos anos fez com que estes dispositivos agregassem inúmeras funcionalidades que anteriormente apenas existiam em equipamentos mais especializados. Os smartphones de última geração destacam-se pelo facto de possuírem um grande leque de tecnologias e sensores, tais como o Wi-Fi, GPS, acelerómetro, entre outros. Apesar de grande parte destes mecanismos terem sido integrados nos smartphones para melhorar as funcionalidades do mesmo, hoje em dia tornaram-se fundamentais para, entre outras coisas, obter informações sobre o contexto do utilizador e do ambiente que o rodeia.Com a evolução das capacidades dos dispositivos e com a facilidade de difusão de aplicações nos principais sistemas operativos móveis, têm surgido imensas aplicações móveis sensíveis ao contexto. Estas aplicações utilizam as informações recolhidas por sensores para adaptar os seus serviços face a um determinado contexto ou atividade do utilizador. Com a possibilidade de integração de sensores nas aplicações móveis, têm surgido também diferentes cenários em diferentes domínios onde esta integração se revela uma mais-valia. Por exemplo, no domínio da saúde surgiram aplicações para monitorização remota de pacientes através de sensores fisiológicos, permitindo uma abordagem proactiva em caso de emergência. Outro cenário comum é o desenvolvimento de jogos com recurso a sensores e atuadores, proporcionando uma experiencia de jogo mais imersiva. No entanto, um problema pertinente é o facto de que para criar este tipo de aplicações é muitas das vezes necessário trabalhar com vários sensores de diferentes fabricantes e com diferentes especificações, tornando o processo mais difícil e moroso. Outro problema é o facto destas aplicações serem criadas com um propósito específico, invalidando a hipótese de serem adaptadas para funcionarem em distintos cenários. Existem domínios em que a necessidade de criar e adaptar as aplicações é uma atividade recorrente. Muitas das vezes, os requisitos impostos pelo domínio variam rapidamente o que torna inviável o desenvolvimento de novas soluções num curto espaço de tempo. Por exemplo no domínio da saúde, é necessário que as aplicações sejam facilmente adaptáveis para acompanhar a evolução dos pacientes. Uma potencial solução para ultrapassar estes obstáculos é a criação de ferramentas de autoria que juntam programa dores e não programadores, em que os primeiros fornecem os mecanismos necessários para que os últimos possam rapidamente criar soluções que satisfaçam as suas reais necessidades. Apesar de algumas ferramentas deste tipo se terem revelado bem-sucedidas, atualmente nenhuma permite a criação de aplicações Android com recurso a sensores, de uma forma prática e acessível a utilizadores sem experiência em programação. O principal objetivo deste trabalho é aproveitar o potencial dos smartphones e das informações de contexto recolhidas através de sensores para tornar as aplicações móveis reativas e proativas. Estas informações podem ser utilizadas para, entre outras coisas, iniciar interações adicionais com o utilizador. As principais contribuições desta dissertação são: 1. Um ambiente de execução¸ ao de aplicações móveis que permite que as aplicações criadas através de uma ferramenta de autoria possam ser executadas nos dispositivos móveis. Para além disso, este ambiente de execução contém ainda os mecanismos necessários para recolher informações dos sensores existentes nos smartphones ou sensores externos. Esta informação é depois processada e utilizada para despoletar eventos que são utilizados para iniciar interações entre os utilizadores e as aplicações. Esta abordagem permite que as aplicações se tornem reativas (reagindo com uma determinada ação face a um contexto específico) e/ou proativas (as aplicações podem, por exemplo, iniciar-se automaticamente). 2. A integração de um conjunto de componentes e melhorias numa ferramenta de autoria já existente, com vista a permitir que utilizadores sem experiência na área da programação possam rapidamente criar aplicações móveis que utilizam sensores para despoletar ações nas aplicações em função de um determinado contexto. O trabalho desenvolvido nesta dissertação assentou sobre uma plataforma de autoria já existente denominada DETACH (DEsign Tool for smartphone Application Composition - Ferramenta de Desenho para a Composição de Aplicações para Smartphones). Embora esta plataforma já possibilitasse a criação de aplicações móveis, estas não suportavam o uso de sensores e, portanto, numa primeira fase foi necessário identificar as limitações deste sistema face à integração de sensores. Uma vez que o sistema DETACH é composto por um ambiente de autoria e um ambiente de execução de aplicações móveis, foi necessário avaliar até que ponto estes ambientes suportavam os mecanismos necessários para a inclusão de sensores nas aplicações. As limitações encontradas permitiram perceber as alterações necessárias e identificar um conjunto de requisitos que serviram de base para o desenvolvimento deste trabalho. O maior foco deste trabalho foi o desenvolvimento do ambiente de execução das aplicações móveis. Este ambiente foi desenvolvido em Android e é responsável tanto pela execução das aplicações como pela recolha de dados através de sensores. Para suportar aplicações reativas e proativas, foi necessário identificar uma abordagem que permitisse recolher informações de contexto, avaliá-la e posteriormente despoletar determinadas ações nas aplicações. Como tal, foi necessário escolher uma arquitetura baseada em eventos, por forma a dar o comportamento reativo e proativo às aplicações. Foram também tidos em conta outros aspetos como a modularidade, uma vez que a capacidade de adicionar novos componentes à ferramenta de autoria é um requisito fundamental para o sucesso da mesma. Após o desenvolvimento do ambiente de execução das aplicações móveis, foi necessário melhorar o ambiente de autoria. Neste ambiente, foram introduzidos os mecanismos que permitem a criação de aplicações que utilizam sensores. Os utilizadores podem, através de programação visual, utilizar um conjunto de eventos oferecidos pelos sensores para definir o comportamento das suas aplicações com base nesses eventos. Com base em feedback obtido em avaliações do DETACH (prévias a este trabalho), foram ainda feitas algumas alterações na interface da ferramenta por forma a melhorar a usabilidade da mesma. Na última fase deste trabalho, e com o objetivo de validar o mesmo, pedimos a um conjunto de programadores que realizassem uma avaliação em que tinham de adicionar um novo sensor ao sistema. Este processo envolveu os dois ambientes do ecossistema e permitiu-nos perceber se no futuro os programadores conseguem garantir a implementação de novos sensores. Posteriormente, os mesmos utilizadores tiveram de executar todo o processo de criação de uma nova aplicação para testar se o sensor implementado estava a funcionar corretamente. Este processo consistiu na criação de uma aplicação através da ferramenta de autoria, sincronização da aplicação para o smartphone e execução da mesma. Embora este grupo de utilizadores Não fosse o principal público alvo desta ferramenta de autoria, esta tarefa permitiu-nos observar e tirar algumas conclusões sobre os novos mecanismos introduzidos e que suportam a criação de aplicações com sensores. Todos os participantes conseguiram terminar com sucesso as tarefas propostas, validando a nossa abordagem com vista a garantir a modularidade e capacidade de adicionar novos sensores à plataforma de autoria.The latest technological innovations contributed to the evolution of smartphones and the availability of embedded sensors, such as the accelerometer, digital compass, gyroscope, GPS, microphone, and camera are creating new application scenarios. Nowadays, mobile devices also come with a large set of resources that offer third-party programmers the tools to develop sensing applications. Even though several domains capitalized this information to improve their applications capabilities, there are others where applications’ requirements change quickly and it becomes important to have an easy and flexible development environment in such a way that the applications deployed can be rapidly tailored to each situation. Authoring tools proved to be a successful approach to overcome those problems; however, currently there is a lack of tools that support the creation of mobile sensing applications. We also believe that we can go one step further and combine the potential of smartphones and sensors’ context-data to create reactive and proactive mobile applications. This work aims at addressing the previous problems with the introduction of an ecosystem that comprises: a) an Android runtime environment that runs the applications created and uses a set of sensors to collect informations about the context of the user; b) a web authoring-tool that enables non-expert users to create mobile applications that rely on sensors. Supported sensors encompass the chronometer, GPS and a set of third-party physiological sensors (electromyography and electrocardiography). To validate our work we conducted an evaluation encompassing developers in order to assess the complexity of adding new sensors to the platform. All participants were able to complete the proposed tasks, validating our approach and thus ensuring that in future developers are capable of expanding the authoring environment with additional sensors