Handoff and Deposit: Designing Temporal Coordination in Cross-Device Transfer Techniques for Mixed-Focus Collaboration

When working together, people frequently share information with each other to enable division of labour, assistance, and delegation of responsibility. The literature has explored both synchronous and asynchronous transfer techniques, known as Handoff and Deposit, respectively. However, current cross-device environments tend to only provide a single mechanism. Moreover, we have little understanding of the impact of different techniques on collaborative process. To understand how Handoff and Deposit may be designed to support complex sensemaking tasks, we followed a Research through Design process to iteratively design Handoff and Deposit techniques using paper and digital sketches and high-fidelity prototypes. We consulted the HCI literature to corroborate our findings with studies and descriptions of existing cross-device transfer designs and to understand the potential impact of those designs on mixed-focus collaboration. We learned that as we move away from a restricted physical workspace and leverage the flexibility of digital personal devices, there is a large design space for realizing cross-device transfer. To inform these designs, we provide five design considerations for cross-device transfer techniques: Transfer Acceptance, Action Dependencies, Immediate Usability, Interruption Potential, and Connection Actions

TANTO - tangible and touch interaction combined on a surface and above

Tese de mestrado, Engenharia Informática (Engenharia de Software), Universidade de Lisboa, Faculdade de Ciências, 2014As interações multi-toque estão tipicamente limitadas a uma superfície mesmo quando combinadas com tangíveis. Os cenários tradicionais, onde os utilizadores interagem com objectos físicos numa mesa e por cima dela, não foram ainda replicados com sucesso utilizando tecnologias existentes como, por exemplo, mesas multi-toque. Estas não suportam as interações naturais do utilizador ao combinar a superfície da mesa com a área acima dela num espaço contínuo de interação, limitando assim a sua aplicabilidade. Este trabalho aponta para a construção e exploração de uma mesa que permita aos utilizadores beneficiar de um espaço contínuo de interação na mesa e acima dela com interações multi-toque e tangíveis. Para atingir este objectivo, melhorámos uma mesa multi-toque existente, de forma a suportar interações com tangíveis na superfície e por cima. Para alcançar este resultado é necessário recorrer a várias tecnologias. Para enquadrar esse desenvolvimento, apresentamos uma revisão do estado da arte das tecnologias de interação atuais que incluem interações com toque, tangíveis e gestos. Estas tecnologias são implementadas na nossa mesa para oferecer estas formas diferentes de interação. Suportar todas estas tecnologias de interação traz o problema acrescido de combinar diferentes fontes de informação. Como tal, sentimos a necessidade de desenvolver uma ferramenta que nos permitisse não só juntar todas as componentes, mas também distribuir a sua informação para aplicações clientes de uma forma fácil de compreender e utilizar. Apresentamos a TACTIC, uma API que é capaz de combinar superfícies de toque, tangíveis e interações por cima da mesa de uma forma que permite aos programadores utilizar as suas funcionalidades e distribuir interfaces através de múltiplos aparelhos,se necessário. A TACTIC é desenvolvida em JavaScript, sendo responsável por conectar aplicações executadas em navegadores Web a várias fontes de dados, enviando-lhes informação de toque, tangíveis e gestos de uma forma fácil e rápida. A TACTIC foi desenvolvida para funcionar com mesas multi-toque existentes, permitindo-lhes tirar proveito do espaço por cima da mesa através de deteção de gestos. Graças ao facto de correr nativamente em navegadoresWeb, a TACTIC tem o benefício acrescido de ser facilmente disponibilizada numa mesa de toque ou smartphone, suportando abstrações de eventos de toque, permitindo assim que o mesmo código seja reutilizado quer em mesas físicas ou dispositivos móveis. Adicionalmente, permite a disponibilização fácil de objetos digitais com comportamentos interativos e torna informação de gestos disponível de forma a que um evento de toque ou tangível traga consigo a informação da mão e dedos utilizados por associação. A TACTIC tem uma arquitetura altamente modular graças ao RabbitMQ, um middleware de mensagens que liga as diferentes componentes e linguagens permitindo comunicação simples e direta entre elas. Desta forma, é possível adicionar novas componentes com facilidade sem se fazer alteracões a configurações anteriores. Esta arquitetura inclui um módulo Node.js para comunicação entre aplicações Web em cenários com vários dispositivos, permitindo assim o fácil desenvolvimento de interfaces distribuídas. Para investigar a facilidade de aprendizagem e uso da nossa API foi conduzido um estudo com programadores. Os participantes deste estudo foram incumbidos com a tarefa de desenvolver aplicações que requerem conhecimentos de diferentes aspectos da TACTIC, assim como também algumas bases de JavaScript e CSS. O objectivo foi compreender o nível de facilidade e rapidez com que os programadores são capazes de desenvolver aplicações complexas utilizando a TACTIC. Para atingir este objectivo, foi pedido aos participantes o desenvolvimento de uma aplicação de pintura, cuja complexidade iria aumentando gradualmente tarefa a tarefa, juntamente com as funcionalidades da API a utilizar. Ao chegar ao fim das tarefas, os participantes conseguiram construir aplicações que usavam toque, tangíveis e interações acima da mesa em cenários com mais que um dispositivo em pouco tempo. Este estudo comprovou a facilidade de compreensão e uso da TACTIC, graças à sua promoção de reutilização de código e abstrações que permitiram uma rápida implementação das suas várias funcionalidades em aplicações Web. Apresentamos, adicionalmente, um conjunto de aplicações que demonstram as funcionalidades chave da TACTIC. Estas aplicações distribuem-se em múltiplas formas de interação e interfaces. Este trabalho descreve como estas aplicações utilizam os vários eventos e propriedades da nossa API, variando entre interações de toque e tangíveis na mesa a interações acima da mesa e cenários com vários dispositivos. Para este trabalho, comprometemo-nos a resolver problemas existentes com mesas semelhantes à nossa. Em cenários de colaboração, por exemplo, as interações à volta da mesa podem causar interferência entre utilizadores. Queremos explorar novas soluções para estes problemas e integrá-las na nossa mesa, explorando diferentes cenários, tanto individuais como colaborativos, para atingir uma interação natural em toda a área do espaço de interação. Desta forma, decidimos expandir as capacidades da nossa mesa para permitir interações em cenários de colaboração. Como tal, apresentamos o processo necessário para tornar esta funcionalidade uma realidade seguido de uma aplicação que demonstra o seu uso. Sentimos que existe uma falta de estudos sobre a forma como o espaço contínuo de interação causa impacto nas interações de utilizadores. Adicionalmente, não existem comparações de desempenho em gestos semelhantes na mesa e por cima dela. Como tal, tiramos vantagem da nossa API para contribuir com um estudo sobre o desempenho dos utilizadores quando executam ações na mesa e por cima dela, apontando para resultados que serão úteis para informar o desenho futuro de aplicações que explorem este espaço contínuo de interação. De acordo com o que conseguimos apurar, este é o primeiro estudo que compara ações tanto na mesa como por cima dela. Para tal, escolhemos ações de “Zoom” e Rotação, dado que os gestos de “Pinch” e Rotac¸ ao são bastante comuns em interações com smartphones e tablets. Na superfície estes gestos são realizados colocando dois dedos na mesa e fazendo um gesto de “pinch” ou rotação, como é normal. Dado que por cima da mesa não há uma superfície sobre a qual se possa repousar os dedos, os gestos utilizados foram ligeiramente alterados. Para se fazer “zoom”, os utilizadores devem fechar os dedos num gesto de pinch para selecionar e de seguida controlar o nível de “zoom” ao mover a mão mais perto (zoom in) ou mais longe (zoom out) da mesa. Para fazer uma rotação os utilizadores colocam a sua mão aberta por cima do elemento e rodam-na num plano paralelo ao da superfície da mesa. Este estudo confirmou que o desempenho na superfície ´e melhor que por cima dela, enquanto que outros resultados permitiram investigar o impacto que a área onde o gesto é feito tem no seu resultado desejado; a relação entre as mecânicas das tarefas e a ergonomia humana; e os benefícios que podem vir de permitir a superfícies de toque o reconhecimento de gestos por cima delas. Contribuímos, também, para um estudo com utilizadores cegos, que nos forneceu a oportunidade de testar as aplicações da TACTIC e a nossa mesa no campo da acessibilidade. Este estudo captura dados de desempenho de utilizadores ao explorar elementos numa superfície com uma ou duas mãos, revelando que a exploração da superfície com duas mãos consegue melhorar as suas habilidades para este efeito. A TACTIC foi responsável por detectar as mãos e dedos utilizados a todo o momento. Tirámos proveito da modularidade da sua arquitetura para incorporar com facilidade uma componente áudio e de auditoria existentes com a aplicação desenvolvida. Esta forma de interação com duas mãos, demonstrou ser benéfica para algumas tarefas, particularmente a relação entre alvos e promover uma melhor estruturação na tarefa de exploração.Multitouch interaction is usually limited to one surface, even when combined with tangibles. Traditional scenarios where people interact with physical objects on and above the table or other surfaces have failed to be fully translated into existing technologies, such as multitouch setups, which don’t support natural user interactions by combining the surface and the area above it into one continuous interaction space. We built on top of an existing multitouch setup to support tangible interactions on and above the surface. Various technologies are necessary to achieve this result, which brings the added problem of combining the different sources of information. We present TACTIC, an API that is capable of combining touch surfaces, tangibles, and the interaction space above the surface, in a way that allows developers to easily combine all these features, and distribute interfaces across multiple devices if required. Additionally, we present the results of a developer study showing how TACTIC is easy to learn and use. We take advantage of TACTIC’s capabilities to conduct a study on user performance when performing actions on and above the table, aiming for results that will be useful towards informing the design of applications that explore a continuous interaction space. We showcase TACTIC’s capabilites through a set of applications that draw from its many features, demonstrating its flexibility and ease of use

Improving digital object handoff using the space above the table

Object handoff – that is, passing an object or tool to another person – is an extremely common activity in collaborative tabletop work. On digital tables, object handoff is typically accomplished by sliding the object on the table surface – but surface-only interactions can be slow and error-prone, particularly when there are multiple people carrying out multiple handoffs. An alternative approach is to use the space above the table for object handoff; this provides more room to move, but requires above-surface tracking. I developed two above-the-surface handoff techniques that use simple and inexpensive tracking: a force-field technique that uses a depth camera to determine hand proximity, and an electromagnetic-field technique called ElectroTouch that provides positive indication when people touch hands over the table. These new techniques were compared to three kinds of existing surface-only handoff (sliding, flicking, and surface-only Force-Fields). The study showed that the above-surface techniques significantly improved both speed and accuracy, and that ElectroTouch was the best technique overall. Also, as object interactions are moved above-the-surface of the table the representation of off-table objects becomes crucial. To address the issue of off-table digital object representation several object designs were created an evaluated. The result of the present research provides designers with practical new techniques for substantially increasing performance and interaction richness on digital tables

Interaction Design for Mixed-Focus Collaboration in Cross-Device Environments

The proliferation of interactive technologies has resulted in a multitude of form factors for computer devices, such as tablets and phones, and large tabletop and wall displays. Investigating how these devices may be used together as Cross-Device Environments (XDEs) to facilitate collaboration is an active area of research in Human Computer Interaction (HCI) and Computer-Supported Cooperative Work (CSCW). The research community has explored the role of personal and shared devices in supporting group work and has introduced a number of cross-device interaction techniques to enable interaction among devices in an XDE. However, there is little understanding of how the interface design of those techniques may change the way people conduct collaboration, which, in turn, could influence the outcome of the activity. This thesis studies the impact of cross-device interaction techniques on collaborative processes. In particular, I investigated how interface design of cross-device interaction techniques may impact communication and coordination during group work. First, I studied the impact of two specific cross-device interaction techniques on collaboration in an XDE comprised of tablets and a tabletop. The findings confirmed that the choice of interaction techniques mattered when it came to facilitating both independent and joint work periods during group work. The study contributes knowledge towards problematizing the impact of cross-device interaction techniques on collaboration in HCI research. This early work gave rise to deeper questions regarding coordination in cross-device transfer and leveraging that to support the flexibility of work periods in collaborative activities. Consequently, I explored a range of interface design choices that varied the degree of synchronicity in coordinating data transfer across two devices. Additionally, I studied the impact of those interface designs on collaborative processes. My findings resulted in design considerations as well as adapting a synchronicity framework to articulate the impact of cross-device transfer techniques on collaboration. While performing the two research projects, I identified a need for a tool to articulate the impact of specific user interface elements on collaboration. Through a series of case studies, I developed a visual framework that researchers can use as a formative and summative method to understand if a given interaction technique hinders or supports collaboration in the specific task context. I discuss the contributions of my work to the field of HCI, design implications beyond the environments studied, and future research directions to build on and extend my findings

Digital tabletops and collaborative learning

People collaborate around tables at home, school and work. Digital tabletop technology presents an opportunity to bring computer support to these traditional face-to-face collaborative settings. This thesis principally addresses the challenge of designing digital tabletop applications for small group learning in the classroom and makes contributions in two distinct, but closely related areas: (i) interaction techniques for digital tabletops; and (ii) the design and evaluation of a digital tabletop-based system for supporting collaborative learning. A review of previous literature combined with a preliminary observational study on collaboration around traditional tables indentifies a number of requirements for tabletop interaction. These include the need for fluid interaction techniques that allow control of interface object attributes when these objects are moved between tabletop territories. Attribute gates are proposed as a solution to this problem through utilizing a novel, crossing-based, interaction technique. A recognition of the territorial focus in existing interaction techniques, and their limiting assumption that users work at relatively fixed locations around the table, led to the identification of another challenge, supporting the mobility of users around the shared workspace of the table. TANGISOFT is presented as a hybrid tangible-soft keyboard designed specifically for applications that require mobile users with moderate text entry requirements. The investigation of the potential of tabletop technology to support collaborative learning was carried out through the design, development, and evaluation of Digital Mysteries. From an interaction design perspective, the design aimed to utilize the unique affordances of tabletops in terms of combining the benefits of traditional tables and digital technology. From a learning perspective, the design aimed to support higher-level thinking skills, feedback, reflection, and metacognition by focusing on activities that promote these skills and supporting effective collaboration. The evaluation of Digital Mysteries demonstrated that the design was successful in encouraging the targeted learning activities. The design process and validation of Digital Mysteries embody a significant contribution to the development of our understanding of digital tabletop technology at the application level, and collaborative learning applications in particular. This understanding is summarized in the form of general guidelines for designing collaborative learning applications for digital tabletop technology.EThOS - Electronic Theses Online ServiceDiwan Software LtdGBUnited Kingdo