Supporting user appropriation of public displays

Despite their prevalence, public engagement with pervasive public displays is typically very low. One method for increasing the relevance of displayed content (and therefore hopefully improving engagement) is to allow the viewer themselves to affect the content shown on displays they encounter – for example, personalising an existing news feed or invoking a specific application on a display of their choosing. We describe this process as viewer appropriation of public displays. This thesis aims to provide the foundations for appropriation support in future ‘open’ pervasive display networks. Our architecture combines three components: Yarely, a scheduler and media player; Tacita, a system for allowing users to make privacy-preserving appropriation requests, and Mercury, an application store for distributing content. Interface points between components support integration with thirdparty systems; a prime example is the provision of Content Descriptor Sets (CDSs) to describe the media items and constraints that determine what is played at each display. Our evaluation of the architecture is both quantitive and qualitative and includes a mixture of user studies, surveys, focus groups, performance measurements and reflections. Overall we show that it is feasible to construct a robust open pervasive display network that supports viewer appropriation. In particular, we show that Yarely’s thick-client approach enables the development of a signage system that provides continuous operation even in periods of network disconnection yet is able to respond to viewer appropriation requests. Furthermore, we show that CDSs can be used as an effective means of information exchange in an open architecture. Performance measures indicate that demanding personalisation scenarios can be satisfied, and our qualitative work indicates that both display owners and viewers are positive about the introduction of appropriation into future pervasive display systems

The cockpit for the 21st century

Interactive surfaces are a growing trend in many domains. As one possible manifestation of Mark Weiser’s vision of ubiquitous and disappearing computers in everywhere objects, we see touchsensitive screens in many kinds of devices, such as smartphones, tablet computers and interactive tabletops. More advanced concepts of these have been an active research topic for many years. This has also influenced automotive cockpit development: concept cars and recent market releases show integrated touchscreens, growing in size. To meet the increasing information and interaction needs, interactive surfaces offer context-dependent functionality in combination with a direct input paradigm. However, interfaces in the car need to be operable while driving. Distraction, especially visual distraction from the driving task, can lead to critical situations if the sum of attentional demand emerging from both primary and secondary task overextends the available resources. So far, a touchscreen requires a lot of visual attention since its flat surface does not provide any haptic feedback. There have been approaches to make direct touch interaction accessible while driving for simple tasks. Outside the automotive domain, for example in office environments, concepts for sophisticated handling of large displays have already been introduced. Moreover, technological advances lead to new characteristics for interactive surfaces by enabling arbitrary surface shapes. In cars, two main characteristics for upcoming interactive surfaces are largeness and shape. On the one hand, spatial extension is not only increasing through larger displays, but also by taking objects in the surrounding into account for interaction. On the other hand, the flatness inherent in current screens can be overcome by upcoming technologies, and interactive surfaces can therefore provide haptically distinguishable surfaces. This thesis describes the systematic exploration of large and shaped interactive surfaces and analyzes their potential for interaction while driving. Therefore, different prototypes for each characteristic have been developed and evaluated in test settings suitable for their maturity level. Those prototypes were used to obtain subjective user feedback and objective data, to investigate effects on driving and glance behavior as well as usability and user experience. As a contribution, this thesis provides an analysis of the development of interactive surfaces in the car. Two characteristics, largeness and shape, are identified that can improve the interaction compared to conventional touchscreens. The presented studies show that large interactive surfaces can provide new and improved ways of interaction both in driver-only and driver-passenger situations. Furthermore, studies indicate a positive effect on visual distraction when additional static haptic feedback is provided by shaped interactive surfaces. Overall, various, non-exclusively applicable, interaction concepts prove the potential of interactive surfaces for the use in automotive cockpits, which is expected to be beneficial also in further environments where visual attention needs to be focused on additional tasks.Der Einsatz von interaktiven Oberflächen weitet sich mehr und mehr auf die unterschiedlichsten Lebensbereiche aus. Damit sind sie eine mögliche Ausprägung von Mark Weisers Vision der allgegenwärtigen Computer, die aus unserer direkten Wahrnehmung verschwinden. Bei einer Vielzahl von technischen Geräten des täglichen Lebens, wie Smartphones, Tablets oder interaktiven Tischen, sind berührungsempfindliche Oberflächen bereits heute in Benutzung. Schon seit vielen Jahren arbeiten Forscher an einer Weiterentwicklung der Technik, um ihre Vorteile auch in anderen Bereichen, wie beispielsweise der Interaktion zwischen Mensch und Automobil, nutzbar zu machen. Und das mit Erfolg: Interaktive Benutzeroberflächen werden mittlerweile serienmäßig in vielen Fahrzeugen eingesetzt. Der Einbau von immer größeren, in das Cockpit integrierten Touchscreens in Konzeptfahrzeuge zeigt, dass sich diese Entwicklung weiter in vollem Gange befindet. Interaktive Oberflächen ermöglichen das flexible Anzeigen von kontextsensitiven Inhalten und machen eine direkte Interaktion mit den Bildschirminhalten möglich. Auf diese Weise erfüllen sie die sich wandelnden Informations- und Interaktionsbedürfnisse in besonderem Maße. Beim Einsatz von Bedienschnittstellen im Fahrzeug ist die gefahrlose Benutzbarkeit während der Fahrt von besonderer Bedeutung. Insbesondere visuelle Ablenkung von der Fahraufgabe kann zu kritischen Situationen führen, wenn Primär- und Sekundäraufgaben mehr als die insgesamt verfügbare Aufmerksamkeit des Fahrers beanspruchen. Herkömmliche Touchscreens stellen dem Fahrer bisher lediglich eine flache Oberfläche bereit, die keinerlei haptische Rückmeldung bietet, weshalb deren Bedienung besonders viel visuelle Aufmerksamkeit erfordert. Verschiedene Ansätze ermöglichen dem Fahrer, direkte Touchinteraktion für einfache Aufgaben während der Fahrt zu nutzen. Außerhalb der Automobilindustrie, zum Beispiel für Büroarbeitsplätze, wurden bereits verschiedene Konzepte für eine komplexere Bedienung großer Bildschirme vorgestellt. Darüber hinaus führt der technologische Fortschritt zu neuen möglichen Ausprägungen interaktiver Oberflächen und erlaubt, diese beliebig zu formen. Für die nächste Generation von interaktiven Oberflächen im Fahrzeug wird vor allem an der Modifikation der Kategorien Größe und Form gearbeitet. Die Bedienschnittstelle wird nicht nur durch größere Bildschirme erweitert, sondern auch dadurch, dass Objekte wie Dekorleisten in die Interaktion einbezogen werden können. Andererseits heben aktuelle Technologieentwicklungen die Restriktion auf flache Oberflächen auf, so dass Touchscreens künftig ertastbare Strukturen aufweisen können. Diese Dissertation beschreibt die systematische Untersuchung großer und nicht-flacher interaktiver Oberflächen und analysiert ihr Potential für die Interaktion während der Fahrt. Dazu wurden für jede Charakteristik verschiedene Prototypen entwickelt und in Testumgebungen entsprechend ihres Reifegrads evaluiert. Auf diese Weise konnten subjektives Nutzerfeedback und objektive Daten erhoben, und die Effekte auf Fahr- und Blickverhalten sowie Nutzbarkeit untersucht werden. Diese Dissertation leistet den Beitrag einer Analyse der Entwicklung von interaktiven Oberflächen im Automobilbereich. Weiterhin werden die Aspekte Größe und Form untersucht, um mit ihrer Hilfe die Interaktion im Vergleich zu herkömmlichen Touchscreens zu verbessern. Die durchgeführten Studien belegen, dass große Flächen neue und verbesserte Bedienmöglichkeiten bieten können. Außerdem zeigt sich ein positiver Effekt auf die visuelle Ablenkung, wenn zusätzliches statisches, haptisches Feedback durch nicht-flache Oberflächen bereitgestellt wird. Zusammenfassend zeigen verschiedene, untereinander kombinierbare Interaktionskonzepte das Potential interaktiver Oberflächen für den automotiven Einsatz. Zudem können die Ergebnisse auch in anderen Bereichen Anwendung finden, in denen visuelle Aufmerksamkeit für andere Aufgaben benötigt wird

The cockpit for the 21st century

Interactive surfaces are a growing trend in many domains. As one possible manifestation of Mark Weiser’s vision of ubiquitous and disappearing computers in everywhere objects, we see touchsensitive screens in many kinds of devices, such as smartphones, tablet computers and interactive tabletops. More advanced concepts of these have been an active research topic for many years. This has also influenced automotive cockpit development: concept cars and recent market releases show integrated touchscreens, growing in size. To meet the increasing information and interaction needs, interactive surfaces offer context-dependent functionality in combination with a direct input paradigm. However, interfaces in the car need to be operable while driving. Distraction, especially visual distraction from the driving task, can lead to critical situations if the sum of attentional demand emerging from both primary and secondary task overextends the available resources. So far, a touchscreen requires a lot of visual attention since its flat surface does not provide any haptic feedback. There have been approaches to make direct touch interaction accessible while driving for simple tasks. Outside the automotive domain, for example in office environments, concepts for sophisticated handling of large displays have already been introduced. Moreover, technological advances lead to new characteristics for interactive surfaces by enabling arbitrary surface shapes. In cars, two main characteristics for upcoming interactive surfaces are largeness and shape. On the one hand, spatial extension is not only increasing through larger displays, but also by taking objects in the surrounding into account for interaction. On the other hand, the flatness inherent in current screens can be overcome by upcoming technologies, and interactive surfaces can therefore provide haptically distinguishable surfaces. This thesis describes the systematic exploration of large and shaped interactive surfaces and analyzes their potential for interaction while driving. Therefore, different prototypes for each characteristic have been developed and evaluated in test settings suitable for their maturity level. Those prototypes were used to obtain subjective user feedback and objective data, to investigate effects on driving and glance behavior as well as usability and user experience. As a contribution, this thesis provides an analysis of the development of interactive surfaces in the car. Two characteristics, largeness and shape, are identified that can improve the interaction compared to conventional touchscreens. The presented studies show that large interactive surfaces can provide new and improved ways of interaction both in driver-only and driver-passenger situations. Furthermore, studies indicate a positive effect on visual distraction when additional static haptic feedback is provided by shaped interactive surfaces. Overall, various, non-exclusively applicable, interaction concepts prove the potential of interactive surfaces for the use in automotive cockpits, which is expected to be beneficial also in further environments where visual attention needs to be focused on additional tasks.Der Einsatz von interaktiven Oberflächen weitet sich mehr und mehr auf die unterschiedlichsten Lebensbereiche aus. Damit sind sie eine mögliche Ausprägung von Mark Weisers Vision der allgegenwärtigen Computer, die aus unserer direkten Wahrnehmung verschwinden. Bei einer Vielzahl von technischen Geräten des täglichen Lebens, wie Smartphones, Tablets oder interaktiven Tischen, sind berührungsempfindliche Oberflächen bereits heute in Benutzung. Schon seit vielen Jahren arbeiten Forscher an einer Weiterentwicklung der Technik, um ihre Vorteile auch in anderen Bereichen, wie beispielsweise der Interaktion zwischen Mensch und Automobil, nutzbar zu machen. Und das mit Erfolg: Interaktive Benutzeroberflächen werden mittlerweile serienmäßig in vielen Fahrzeugen eingesetzt. Der Einbau von immer größeren, in das Cockpit integrierten Touchscreens in Konzeptfahrzeuge zeigt, dass sich diese Entwicklung weiter in vollem Gange befindet. Interaktive Oberflächen ermöglichen das flexible Anzeigen von kontextsensitiven Inhalten und machen eine direkte Interaktion mit den Bildschirminhalten möglich. Auf diese Weise erfüllen sie die sich wandelnden Informations- und Interaktionsbedürfnisse in besonderem Maße. Beim Einsatz von Bedienschnittstellen im Fahrzeug ist die gefahrlose Benutzbarkeit während der Fahrt von besonderer Bedeutung. Insbesondere visuelle Ablenkung von der Fahraufgabe kann zu kritischen Situationen führen, wenn Primär- und Sekundäraufgaben mehr als die insgesamt verfügbare Aufmerksamkeit des Fahrers beanspruchen. Herkömmliche Touchscreens stellen dem Fahrer bisher lediglich eine flache Oberfläche bereit, die keinerlei haptische Rückmeldung bietet, weshalb deren Bedienung besonders viel visuelle Aufmerksamkeit erfordert. Verschiedene Ansätze ermöglichen dem Fahrer, direkte Touchinteraktion für einfache Aufgaben während der Fahrt zu nutzen. Außerhalb der Automobilindustrie, zum Beispiel für Büroarbeitsplätze, wurden bereits verschiedene Konzepte für eine komplexere Bedienung großer Bildschirme vorgestellt. Darüber hinaus führt der technologische Fortschritt zu neuen möglichen Ausprägungen interaktiver Oberflächen und erlaubt, diese beliebig zu formen. Für die nächste Generation von interaktiven Oberflächen im Fahrzeug wird vor allem an der Modifikation der Kategorien Größe und Form gearbeitet. Die Bedienschnittstelle wird nicht nur durch größere Bildschirme erweitert, sondern auch dadurch, dass Objekte wie Dekorleisten in die Interaktion einbezogen werden können. Andererseits heben aktuelle Technologieentwicklungen die Restriktion auf flache Oberflächen auf, so dass Touchscreens künftig ertastbare Strukturen aufweisen können. Diese Dissertation beschreibt die systematische Untersuchung großer und nicht-flacher interaktiver Oberflächen und analysiert ihr Potential für die Interaktion während der Fahrt. Dazu wurden für jede Charakteristik verschiedene Prototypen entwickelt und in Testumgebungen entsprechend ihres Reifegrads evaluiert. Auf diese Weise konnten subjektives Nutzerfeedback und objektive Daten erhoben, und die Effekte auf Fahr- und Blickverhalten sowie Nutzbarkeit untersucht werden. Diese Dissertation leistet den Beitrag einer Analyse der Entwicklung von interaktiven Oberflächen im Automobilbereich. Weiterhin werden die Aspekte Größe und Form untersucht, um mit ihrer Hilfe die Interaktion im Vergleich zu herkömmlichen Touchscreens zu verbessern. Die durchgeführten Studien belegen, dass große Flächen neue und verbesserte Bedienmöglichkeiten bieten können. Außerdem zeigt sich ein positiver Effekt auf die visuelle Ablenkung, wenn zusätzliches statisches, haptisches Feedback durch nicht-flache Oberflächen bereitgestellt wird. Zusammenfassend zeigen verschiedene, untereinander kombinierbare Interaktionskonzepte das Potential interaktiver Oberflächen für den automotiven Einsatz. Zudem können die Ergebnisse auch in anderen Bereichen Anwendung finden, in denen visuelle Aufmerksamkeit für andere Aufgaben benötigt wird

A relação entre as TICs e a cibermuseologia : o estudo de caso da Exposição Leonardo Da Vinci - 500 anos de um gênio

Trabalho de Conclusão de Curso (graduação) — Universidade de Brasília, Faculdade de Ciência da Informação, 2021.O desenvolvimento científico e tecnológico, das últimas décadas, marcou um período de transformações nas instituições museológicas e suas práticas. Novas possibilidades de acesso à informação são apresentadas à sociedade, através de processo de virtualização dos museus e dos acervos. O uso de instrumentos e suas possibilidades de ação modificaram a relação do sujeito/objeto, com a promoção de experiências interativas e ambientes imersivos. E atualmente, as Tecnologias da Informação e Comunicação - TICs e a Cibermuseologia, sendo essa última voltada ao campo da Museologia, têm apontado para reflexões contemporâneas sobre essas transformações que requerem estudos teóricos e práticos sobre os processos e as atividades museológicas. A partir dessas ponderações, a presente pesquisa objetivou analisar a relação entre as Tecnologias da Informação e Comunicação (TICs) e a Cibermuseologia, a partir do estudo de caso da Exposição Leonardo Da Vinci - 500 anos de um Gênio. A investigação analisou a aplicação das TICs no espaço museal, como foram construídas as experiências interativas e imersivas; e o impacto sobre os interatores. Buscou-se, então, identificar quais as práticas e teorias que foram aplicadas na exposição escolhida como estudo de caso. A proposta metodológica é definida como descritiva, e teve como fundamento o levantamento bibliográfico e conceitual. A pesquisa de campo se baseou no método quantitativo e qualitativo, a partir do estudo de caso. Em que, foram coletadas informações que permitiram relacionar conceitos como TICs ao processo de aplicação das mesmas na Exposição imersiva Leonardo Da Vinci - 500 anos de um Gênio. Nesse estudo foram aplicados questionários, entrevistas, além da leitura de documentos expográficos, com a finalidade de contextualizar a presença das TICs nos museus contemporâneos. Concluiu-se que o MIS Experience é um exemplo das novas tendências que surgiram nas últimas décadas nos ambientes museológicos brasileiros, que permitiram a inserção de profissionais multimídias, modificando a relação do público com os objetos da exposição. Identificamos os elementos expográficos da mostra e os recursos aplicados que estimularam outros sentidos, além do visual tornando o interator um coautor. Observamos que a mostra em seus núcelos fez uso tanto do formato convencional expositivo, quanto de dispositivos tecnológicos como a Câmera Multiespectral e o sistema SENSORY4™. E foram essas características que o trabalho buscou compreender, através do estudo de aspectos da musealização, virtualidade e comunicação museológica desta subárea da Museologia que denominamos de Cibermuseologia.The scientific and technological development in recent decades has marked a period of transformation in museum institutions and their practices. New possibilities for accessing information are presented to society through the virtualization process of museums and collections. The use of instruments and their possibilities for action changed the subject/object relationship, promoting interactive experiences and immersive environments. And currently, Information and Communication Technologies - ICTs and Cybermuseology, the latter being focused on the field of Museology, have pointed to contemporary reflections on these transformations that require theoretical and practical studies on museological processes and activities. Based on these considerations, this research aimed to analyze the relationship between Information and Communication Technologies (ICTs) and Cybermuseology, based on the case study of the Leonardo Da Vinci Exhibition - 500 Years of a Genius. The investigation analyzed the application of ICTs in the museum space, how interactive and immersive experiences were constructed; and the impact on interactors. We sought, then, to identify which practices and theories were applied in the exhibition chosen as a case study. The methodological proposal is defined as descriptive, and was based on a bibliographic and conceptual survey. The field research was based on the quantitative and qualitative method, based on the case study. In which, information was collected that allowed relating concepts such as ICTs to the process of applying them in the immersive exhibition Leonardo Da Vinci - 500 Years of a Genius. In this study, questionnaires, interviews were applied, in addition to the reading of expographic documents, in order to contextualize the presence of ICTs in contemporary museums. It was concluded that MIS Experience is an example of the new trends that have emerged in recent decades in Brazilian museum environments, which allowed the insertion of multimedia professionals, modifying the relationship between the public and the objects in the exhibition. We identified the exhibition's expographic elements and the applied resources that stimulated other senses, in addition to the visual, making the interactor a co-author. We observed that the exhibition in its cores made use of both the conventional expository format, as well as technological devices such as the Multispectral Camera and the SENSORY4™ system. And it was these characteristics that the work sought to understand, through the study of aspects of musealization, virtuality and museological communication in this sub-area of museology that we call Cybermuseology