Prototyping tools for hybrid interactions

In using the term 'hybrid interactions', we refer to interaction forms that comprise both tangible and intangible interactions as well as a close coupling of the physical or embodied representation with digital output. Until now, there has been no description of a formal design process for this emerging research domain, no description that can be followed during the creation of these types of interactions. As a result, designers face limitations in prototyping these systems. In this thesis, we share our systematic approach to envisioning, prototyping, and iteratively developing these interaction forms by following an extended interaction design process. We share our experiences with process extensions in the form of toolkits, which we built for this research and utilized to aid designers in the development of hybrid interactive systems. The proposed tools incorporate different characteristics and are intended to be used at different points in the design process. In Sketching with Objects, we describe a low-fdelity toolkit that is intended to be used in the very early phases of the process, such as ideation and user research. By introducing Paperbox, we present an implementation to be used in the mid-process phases for fnding the appropriate mapping between physical representation and digital content during the creation of tangible user interfaces (TUI) atop interactive surfaces. In a follow-up project, we extended this toolkit to also be used in conjunction with capacitive sensing devices. To do this, we implemented Sketch-a-TUI. This approach allows designers to create TUIs on capacitive sensing devices rapidly and at low cost. To lower the barriers for designers using the toolkit, we created the Sketch-a-TUIApp, an application that allows even novice users (users without previous coding experience) to create early instantiations of TUIs. In order to prototype intangible interactions, we used open soft- and hardware components and proposed an approach of investigating interactivity in correlation with intangible interaction forms on a higher fdelity. With our fnal design process extension, Lightbox, we assisted a design team in systematically developing a remote interaction system connected to a media façade covering a building. All of the above-mentioned toolkits were explored both in real-life contexts and in projects with industrial partners. The evaluation was therefore mainly performed in the wild, which led to the adaptation of metrics suitable to the individual cases and contexts.Unter dem Sammelbegriff Hybrid Interactions verstehen wir Interaktionen, die physikalische oder immaterielle Bedienelemente einbeziehen. Diese Bezeichnung beinhaltet ausserdem eine enge Verbindung zwischen physikalischer oder verkörperter Interaktion und digitaler Darstellung der Nutzerschnittstelle. Es existiert jedoch kein allgemeingültiger Entwicklungsprozess den die mit der Gestaltung solcher Systeme betrauten Designer und Entwickler anwenden können. Eine Tatsache welche die systematische Entwicklung dieser neuartigen Interaktionsformen erschwert. In dieser Doktorarbeit präsentieren wir unseren Ansatz zur Erstellung hybrider Interaktionen mit der Hilfe von Designprozess-Werkzeugen. Unsere vorschlagen Werkzeuge können an verschiedenen Stellen im Design- Prozess eingesetzt zu werden: Mit Sketching with Objects präsentieren wir ein Werkzeug auf einer niedrigen Genauigkeitsstufe, das in sehr frühen Prozessphasen wie Ideenfndung und Nutzerforschung verwendet werden soll. Eine weitere Implementierung, Paperbox, bietet eine Methode für mittlere Designprozess-Phasen bei der Gestaltung von begreifbaren Interaktionen auf interaktiven Oberflächen. Im Verlauf unserer Forschungstätigkeit haben wir dieses Werkzeug erweitert, um auch in Verbindung mit graphischen, kapazitiven Oberflächen (z.B. iPad) verwendet werden zu können. Das für diesen Zweck erarbeitete Werkzeug Sketch-a-TUI ermöglicht Designern ein schnelles und kostengünstiges Entwerfen von interaktiven, physikalischen Objekten auf interaktiven Oberflächen. Für Nutzer ohne Programmierkenntnisse bietet die Sketch-a-TUIApp die Möglichkeit frühe Instanzen von begreifbaren Interaktionen selbständig zu erzeugen. Um hybride immaterielle Interaktionen systematisch zu gestalten, untersuchten wir die Verwendung von frei verfügbaren Soft- und Hardwarekomponenten. Durch diese Vorgehensweise stellen wir einen Ansatz zur prozessorientierten Erstellung von Prototypen in Verbindung mit immaterieller Interaktion vor. Ein weiteres Werkzeug für die Gestaltung von räumlich getrennten Interaktionen, Lightbox, unterstützte ein Designteam bei der Entwicklung einer räumlich getrennten (Nutzer-) Schnittstelle in Verbindung mit einer Medienfassade. Alle in dieser Doktorarbeit vorgestellten Werkzeuge wurden in Feldstudien durch Projekte mit Partnern aus der Industrie erforscht. Die Evaluation wurde daher hauptsächlich ausserhalb des Labors absolviert und resultierte in einer Anpassung der verwendeten Methoden im jeweiligen Kontext

Enabling designers to generate concepts of interactive product behaviours: a mixed reality design approach

To design interactive behaviours for their products designers/makers have to use high fidelity tools like ‘electronic prototyping kits’, involving sensors and programming to incorporate interactions in their products and are dependent on availability of hardware. Not every designer is comfortable using such tools to ideate and test their concept ideas, eventually slowing them down in the process. Thus, there is a need for a design tool that reduces dependence on complex components of such tools while exploring new concepts for product design at an early stage. In this work, we propose a Mixed Reality system that we developed to simulate interactive behaviours of products using designed visual interaction blocks. The system is implemented in three stages: idea generation, creating interactions and revision of interactive behaviours. The implemented virtual scenario showed to elicit high motivation and appeal among users resulting in inventive and creative design experience at the same time. As a result, designers will be able to create and revise their interaction-behavioural design concepts virtually with relative ease, resulting in higher concept generation and their validation

Interaktion mit Medienfassaden : Design und Implementierung interaktiver Systeme für große urbane Displays

Media facades are a prominent example of the digital augmentation of urban spaces. They denote the concept of turning the surface of a building into a large-scale urban screen. Due to their enormous size, they require interaction at a distance and they have a high level of visibility. Additionally, they are situated in a highly dynamic urban environment with rapidly changing conditions, which results in settings that are neither comparable, nor reproducible. Altogether, this makes the development of interactive media facade installations a challenging task. This thesis investigates the design of interactive installations for media facades holistically. A theoretical analysis of the design space for interactive installations for media facades is conducted to derive taxonomies to put media facade installations into context. Along with this, a set of observations and guidelines is provided to derive properties of the interaction from the technical characteristics of an interactive media facade installation. This thesis further provides three novel interaction techniques addressing the form factor and resolution of the facade, without the need for additionally instrumenting the space around the facades. The thesis contributes to the design of interactive media facade installations by providing a generalized media facade toolkit for rapid prototyping and simulating interactive media facade installations, independent of the media facade’s size, form factor, technology and underlying hardware.Die wachsende Zahl an Medienfassenden ist ein eindrucksvolles Beispiel für die digitale Erweiterung des öffentlichen Raums. Medienfassaden beschreiben die Möglichkeit, die Oberfläche eines Gebäudes in ein digitales Display zu wandeln. Ihre Größe erfordert Interaktion aus einer gewissen Distanz und führt zu einer großen Sichtbarkeit der dargestellten Inhalte. Medienfassaden-Installationen sind bedingt durch ihre dynamische Umgebung nur schwerlich vergleich- und reproduzierbar. All dies macht die Entwicklung von Installationen für Medienfassaden zu einer großen Herausforderung. Diese Arbeit beschäftigt sich mit der Entwicklung interaktiver Installationen für Medienfassaden. Es wird eine theoretische Analyse des Design-Spaces interaktiver Medienfassaden-Installationen durchgeführt und es werden Taxonomien entwickelt, die Medienfassaden-Installationen in Bezug zueinander setzen. In diesem Zusammenhang werden ausgehend von den technischen Charakteristika Eigenschaften der Interaktion erarbeitet. Zur Interaktion mit Medienfassaden werden drei neue Interaktionstechniken vorgestellt, die Form und Auflösung der Fassade berücksichtigen, ohne notwendigerweise die Umgebung der Fassade zu instrumentieren. Die Ergebnisse dieser Arbeit verbessern darüber hinaus die Entwicklung von Installationen für Medienfassaden, indem ein einheitliches Medienfassaden-Toolkit zum Rapid-Prototyping und zur Simulation interaktiver Installationen vorgestellt wird, das unabhängig von Größe und Form der Medienfassade sowie unabhängig von der verwendeten Technologie und der zugrunde liegenden Hardware ist

Building experiences - a reflective design process for media architecture

Media Architecture design, although visually prominent and involving interdisciplinary collaboration, rarely succeeds in creating urban situations of contextual relevance beyond temporary effects. This research understands Media Architecture as a communication medium and proposes the need to engage with its multi-stakeholder audience from early on in the conceptual design stage. This practice-led design research presents a broad critical investigation into the emerging field of Media Architecture (Jaschko & Sauter 2006; Foth 2008; Haeusler 2009) spanning conceptions of media space, experience, participation and design as discourse (Scollon & Scollon 2003; Fatah gen. Schieck 2006). Its findings contribute a new perspective on Media Architecture as experiential visual design process, based on an analysis of design methods, principles of participatory design and reflection, as well as an overview and classification of Media Architecture practice. Following a related literature review, the thesis identified experiential learning and the notion of troublesome knowledge (Meyer & Land 2003; Perkins 1999) as a distinguishable new perspective on design for Media Architecture. By connecting exploratory and generative design research tools (i.e., interviews, collaborative expert workshops, visual prototyping) with theoretical constructs of learning theory (Schön 1983; Kolb 1983), experience (McCarthy & Wright 2004) and ownership in urban design (McDonnell 2009; Townsend 2013; Lange & Waal 2013), this thesis developed an experimental design methodology for stakeholder involvement in Media Architecture. An iterative review and reflection process led to methods evolving from initial research tools for analysis to self-reflective design process outcomes. The findings of this study were used to create the Media Architecture Archive (MAA), a digital participatory database using a comprehensive classification system of Media Architecture practice. It is complemented by an experiential method framework based on visual design for contextual research, envisioning and prototyping in Media Architecture. Thus, the research contributes a novel approach to visual communication in Media Architecture, by applying visual design to encourage stakeholder involvement, discourse and reflection at early stages in the design process. The self-reflective structure of the study contributes to our knowledge of how practice-led learning processes applied through visual communication can serve as an extension of the Media Architecture experience as both process and outcome