SensorMov, biblioteca nativa para interacciones tangibles con dispositivos Android

The study presented in this paper aimed to contribute to the Spanish-speaking mobile developer community with a set of free programming tools, documentation, and examples to create tangible user interfaces with smartphones. These interfaces allow diversifying interactions with mobiles, prioritizing alternative uses of their sensors. The development of this set of tools occurred within the framework of a research project that sought to promote the dialogue of knowledge between engineering and traditional textile knowledge. The project used a participatory design methodology that involved diverse actors in different stages: self-recognition and mutual recognition, ideation, prototyping, and experimentation. As a result, we present a review of references on mobile devices and tangible interfaces, highlighting those mobile interactions that use physical objects and gestural actions; a technical description of SensorMov: its architecture and the specific design and, finally, its preliminary evaluation through a case study and an academic project. The library understands the tangible as the mobile itself or passive physical objects that do not require electrical power, such as magnets. In this sense, the documented version of SensorMov allowed working with raw data from the sensors, identifying objects and positions according to the static magnetic field of physical objects, and identifying and positioning physical objects on the mobile screen. The main challenge for the future is to enable appropriation spaces that facilitate and extend the library's use and functionalities, creating a community around it.El estudio presentado en este artículo tuvo como objetivo contribuir a la comunidad de desarrolladores móviles hispanohablantes con un conjunto de herramientas libres de programación, documentación y ejemplos en español para crear interfaces tangibles de usuario con dispositivos móviles inteligentes. Este tipo de interfaces permiten diversificar las interacciones con los celulares, priorizando usos alternativos de sus sensores. El desarrollo de este conjunto de herramientas ocurrió en el marco de un proyecto de investigación que buscó promover el diálogo de saberes entre la ingeniería y los saberes textiles tradicionales. En el proyecto se usó una metodología de diseño participativa que involucró actores diversos en las diferentes etapas: reconocimiento propio y mutuo, ideación, prototipado y experimentación. Como resultados se presentan una revisión de referentes sobre dispositivos móviles e interfaces tangibles, destacando aquellas interacciones móviles que usan objetos físicos y acciones gestuales; una descripción técnica de SensorMov: su arquitectura y diseño específico y, finalmente, su evaluación preliminar a través de un estudio de caso y de un proyecto académico. La biblioteca entiende lo tangible como el propio móvil u objetos físicos pasivos, que no requieran alimentación mediante energía eléctrica, como imanes. En este sentido, la versión de SensorMov documentada permitió trabajar con datos crudos de los sensores, identificar objetos y posiciones según el campo magnético estático de objetos físicos e identificar y posicionar objetos físicos sobre la pantalla del móvil. El principal reto a futuro es posibilitar espacios de apropiación que faciliten y extiendan su uso y funcionalidades, creando comunidad en torno a ella

Design and recognition of microgestures for always-available input

Gestural user interfaces for computing devices most commonly require the user to have at least one hand free to interact with the device, for example, moving a mouse, touching a screen, or performing mid-air gestures. Consequently, users find it difficult to operate computing devices while holding or manipulating everyday objects. This limits the users from interacting with the digital world during a significant portion of their everyday activities, such as, using tools in the kitchen or workshop, carrying items, or workout with sports equipment. This thesis pushes the boundaries towards the bigger goal of enabling always-available input. Microgestures have been recognized for their potential to facilitate direct and subtle interactions. However, it remains an open question how to interact using gestures with computing devices when both of the user’s hands are occupied holding everyday objects. We take a holistic approach and focus on three core contributions: i) To understand end-users preferences, we present an empirical analysis of users’ choice of microgestures when holding objects of diverse geometries. Instead of designing a gesture set for a specific object or geometry and to identify gestures that generalize, this thesis leverages the taxonomy of grasp types established from prior research. ii) We tackle the critical problem of avoiding false activation by introducing a novel gestural input concept that leverages a single-finger movement, which stands out from everyday finger motions during holding and manipulating objects. Through a data-driven approach, we also systematically validate the concept’s robustness with different everyday actions. iii) While full sensor coverage on the user’s hand would allow detailed hand-object interaction, minimal instrumentation is desirable for real-world use. This thesis addresses the problem of identifying sparse sensor layouts. We present the first rapid computational method, along with a GUI-based design tool that enables iterative design based on the designer’s high-level requirements. Furthermore, we demonstrate that minimal form-factor devices, like smart rings, can be used to effectively detect microgestures in hands-free and busy scenarios. Overall, the presented findings will serve as both conceptual and technical foundations for enabling interaction with computing devices wherever and whenever users need them.Benutzerschnittstellen für Computergeräte auf Basis von Gesten erfordern für eine Interaktion meist mindestens eine freie Hand, z.B. um eine Maus zu bewegen, einen Bildschirm zu berühren oder Gesten in der Luft auszuführen. Daher ist es für Nutzer schwierig, Geräte zu bedienen, während sie Gegenstände halten oder manipulieren. Dies schränkt die Interaktion mit der digitalen Welt während eines Großteils ihrer alltäglichen Aktivitäten ein, etwa wenn sie Küchengeräte oder Werkzeug verwenden, Gegenstände tragen oder mit Sportgeräten trainieren. Diese Arbeit erforscht neue Wege in Richtung des größeren Ziels, immer verfügbare Eingaben zu ermöglichen. Das Potential von Mikrogesten für die Erleichterung von direkten und feinen Interaktionen wurde bereits erkannt. Die Frage, wie der Nutzer mit Geräten interagiert, wenn beide Hände mit dem Halten von Gegenständen belegt sind, bleibt jedoch offen. Wir verfolgen einen ganzheitlichen Ansatz und konzentrieren uns auf drei Kernbeiträge: i) Um die Präferenzen der Endnutzer zu verstehen, präsentieren wir eine empirische Analyse der Wahl von Mikrogesten beim Halten von Objekte mit diversen Geometrien. Anstatt einen Satz an Gesten für ein bestimmtes Objekt oder eine bestimmte Geometrie zu entwerfen, nutzt diese Arbeit die aus früheren Forschungen stammenden Taxonomien an Griff-Typen. ii) Wir adressieren das Problem falscher Aktivierungen durch ein neuartiges Eingabekonzept, das die sich von alltäglichen Fingerbewegungen abhebende Bewegung eines einzelnen Fingers nutzt. Durch einen datengesteuerten Ansatz validieren wir zudem systematisch die Robustheit des Konzepts bei diversen alltäglichen Aktionen. iii) Auch wenn eine vollständige Sensorabdeckung an der Hand des Nutzers eine detaillierte Hand-Objekt-Interaktion ermöglichen würde, ist eine minimale Ausstattung für den Einsatz in der realen Welt wünschenswert. Diese Arbeit befasst sich mit der Identifizierung reduzierter Sensoranordnungen. Wir präsentieren die erste, schnelle Berechnungsmethode in einem GUI-basierten Designtool, das iteratives Design basierend auf den Anforderungen des Designers ermöglicht. Wir zeigen zudem, dass Geräte mit minimalem Formfaktor wie smarte Ringe für die Erkennung von Mikrogesten verwendet werden können. Insgesamt dienen die vorgestellten Ergebnisse sowohl als konzeptionelle als auch als technische Grundlage für die Realisierung von Interaktion mit Computergeräten wo und wann immer Nutzer sie benötigen.Bosch Researc