SketchyDynamics: A Library for the Development of Physics Simulation Applications with Sketch-Based Interfaces

Sketch-based interfaces provide a powerful, natural and intuitive way for users to interact with an application. By combining a sketch-based interface with a physically simulated environment, an application offers the means for users to rapidly sketch a set of objects, like if they are doing it on piece of paper, and see how these objects behave in a simulation. In this paper we present SketchyDynamics, a library that intends to facilitate the creation of applications by rapidly providing them a sketch-based interface and physics simulation capabilities. SketchyDynamics was designed to be versatile and customizable but also simple. In fact, a simple application where the user draws objects and they are immediately simulated, colliding with each other and reacting to the specified physical forces, can be created with only 3 lines of code. In order to validate SketchyDynamics design choices, we also present some details of the usability evaluation that was conducted with a proof-of-concept prototype

SketchyDynamics apoio à produção de sistemas baseados em interfaces caligráficas para a simulação da dinâmica de corpos rígidos

Mestrado em Engenharia Informática - Área de Especialização em Sistemas Gráficos e MultimédiaO paradigma de interação proporcionado pelas interfaces caligráficas constitui uma forma natural de interação humano-computador. Esta naturalidade deve-se, sobretudo, à semelhança que este estilo de interação possui com a utilização de um lápis sobre papel, tarefa comum e intuitiva. Apesar disso é ainda pouco frequente o emprego de tais interfaces em aplicações informáticas, sendo o estilo de interação WIMP (Windows, Icons, Menus and Pointers) mais utilizado e favorecido. No entanto, antecipa-se um futuro no qual as interfaces caligráficas estarão cada vez mais presentes, pois é notório o surgimento de um número crescente não só de aplicações que adotam este estilo de interação, mas também de equipamentos que incentivam à sua utilização. Com base nesta premissa, é seguro afirmar a necessidade de investir nesta área, de modo a agilizar e acelerar a adoção do estilo de interação caligráfico e, assim, tornar a interação humano-computador num processo cada vez mais natural. O trabalho descrito neste documento visa um estudo à utilização das interfaces caligráficas orientada para a criação e controlo de um ambiente simulado. Mais concretamente, é apresentado o sistema SketchyDynamics, que integra um módulo de simulação da dinâmica de corpos rígidos em simbiose com uma interface caligráfica munida das ações necessárias para a manipulação da simulação. Recorrendo a este sistema, é facilitada a produção de aplicações que tirem partido destas funcionalidades, sem a necessidade de as reimplementar. É ainda descrita uma avaliação de técnicas de reconhecimento caligráfico realizada com o objetivo de determinar aquela que melhor se integraria no sistema desenvolvido. No âmbito desta avaliação são ainda apresentados alguns pormenores sobre a implementação dessas técnicas, bem como procedimentos que permitem uma maximização da sua eficácia. São também discutidos os resultados de uma avaliação de usabilidade conduzida com o propósito de validar o sistema SketchyDynamics do ponto de vista do utilizador. Os resultados desta avaliação mostram que este sistema foi bem-sucedido e que se encontra preparado para o utilizador final, não obstante a existência de margem para futuras melhorias.The interaction paradigm provided by sketch-based interfaces represents a natural method of human-computer interaction. This naturalness is largely due to the similarity that this interaction style has with the use of a pencil on a paper, an intuitive and common task. Despite that, the implementation of these interfaces on computer applications is still unusual, in favor of the WIMP (Windows, Icons, Menus and Points) interaction style. Nevertheless, we can predict a future where sketch-based interfaces will be increasingly more widespread, based on the recent emergence of not only applications that adopt this interaction style, but also equipment that encourage their use. With this premise in mind, it is safe to assert the need for investment in this area, in order to streamline and accelerate the adoption of the sketch-based interaction style and thus make the human-computer interaction a progressively more natural process. The work described in this document aims the study of the use of sketch-based interfaces in the creation and control of simulated environments. More specifically, we present the SketchyDynamics system, which incorporates a rigid body simulation module in symbiosis with a sketch-based interface provided with the necessary actions for the manipulation of the simulation. Using this system, we hope to ease the production of applications that take advantage of these features, without the need to implement them from scratch. An evaluation of various sketch recognition techniques, performed in order to find the one that best fits in the developed system, is also described. As part of this evaluation, we also present some details on the implementation of these techniques, as well as procedures that allow us to maximize their efficiency. Furthermore, we discuss the results of a usability evaluation that was conducted with the purpose of validating the SketchyDynamics system from the user’s point of view. The results of this evaluation suggest that, despite the existence of room for further improvements, the system was successful and is ready for final users