Kunst mit allen Sinnen: Multimodalität in zeitgenössischer Medienkunst

Die in diesem Buch vorgenommene Auseinandersetzung mit den Sinnen in der Kunst entfaltet sich an der Schnittstelle von Medien- und Kunstwissenschaft. Entgegen der Auffassung, dass in virtuellen Räumen Körperlichkeit und die Vielfalt sinnlicher Wahrnehmung an Bedeutung verlieren, deuten aktuelle Beispiele der Medienkunst in eine andere Richtung. Kunst löst sich hierbei vom Objekt und wandert auf die interagierenden Körper der Rezipient:innen. Wenn deren ephemere sensomotorische Erfahrung zum eigentlichen künstlerischen Gegenstand wird, kommen neue Praktiken des Dokumentarischen ins Spiel. Cecilia Preiß geht der Konjunktur der Multimodalität in zeitgenössischer digitaler Medienkunst auf den Grund

Generierung und Evaluation multisensorischer Stimuli in virtuellen Welten

Fröhlich J. Generierung und Evaluation multisensorischer Stimuli in virtuellen Welten. Bielefeld: Universitätsbibliothek Bielefeld; 2014

Semantische Modellierung virtueller Umgebungen auf Basis einer modularen Simulationsarchitektur

Fröhlich C. Semantische Modellierung virtueller Umgebungen auf Basis einer modularen Simulationsarchitektur. Bielefeld: Universitätsbibliothek Bielefeld; 2014

Augmented Reality (AR)

Die vorliegende Diplomarbeit beschäftigt sich mit dem Thema Augmented Reality (AR) — der erweiterten Realität, und Smartphones. AR ist eine Variation der Virtual Reality (VR). Sie erlaubt es, die reale Umgebung mit virtuellen Informationen und Objekten zu überlagern und damit die Wahrnehmung des Users zu bereichern bzw. zu erweitern. Der Definition her, kann AR auf alle menschlichen Sinne angewendet werden. Diese Arbeit beschränkt sich auf Wahrnehmungen, die mit Hilfe von Sichtgeräten und Displays visualisiert werden. Die Arbeit gliedert sich in zwei Teile. Im ersten Teil wird der Fokus auf die AR gerichtet: nämlich auf die einzelnen Komponenten, wie z. B. die Darstellungsmöglichkeiten, das Tracking und die Registrierung sowie die Interaktion, die für ein AR-System benötigt werden. Zuletzt erfolgt noch ein Blick auf Einsatzbereiche von AR sowie eine Klassifizierung von AR-Systemen in Indoor- und Outdoor-Systeme. Der zweite Teil der Diplomarbeit geht der Frage nach, wie AR für ein breites Publikum zugänglich gemacht werden kann. Der Schwerpunkt liegt hier bei mobilen Geräten — sogenannten Handheld Devices. Durch die Entwicklung und Einführung der Smartphones und auf Grund ihrer weiten Verbreitung, bieten sich diese "Alleskönner" als eine hervorragende Plattform zur Verwirklichung von AR-Anwendungen im kommerziellen Sinne, an. Die mittlerweile standardmäßig eingebauten Sensoren in einem Smartphone, wie z. B. ein GPS-Empfänger, ein digitaler Kompass, Beschleunigungssensoren usw., sind die technischen Grundvoraussetzungen dafür. Darüber hinaus wird auf das Zusammenspiel der einzelnen Sensoren eingegangen. Ein Abschnitt dieser Arbeit geht konkret auf kommerzielle AR-Applikationen auf Smartphones ein. Das Augenmerk wird hier auf die sogenannten AR-Browser gelenkt, und es werden die drei wichtigsten Vertreter vorgestellt und beschrieben. Darüber hinaus werden die Stärken und Schwächen von AR-Browsern diskutiert. Zuletzt erfolgt noch ein kurzer Ausblick in die Zukunft von AR-Applikationen auf Smartphones.The topic of this diploma thesis is augmented reality (AR) and smartphones. AR is a variation of virtual reality (VR), enabling us to overlay the real environment with virtual information and objects, and therefore enrich or extend the user’s perception. By definition, AR can be applied to all human senses. In this paper the main focus is exclusively directed towards visual perception, which can be visualized by means of displays. The thesis is divided into two parts. The first one deals with the several components of AR such as displays, tracking techniques and registration, as well as interaction techniques that are needed for an AR system. Finally, the different fields of application of AR are examined and a classification of AR systems into indoor and outdoor systems is carried out. The second part of the diploma thesis analyzes the question, how AR can be made accessible to a broader public. Here the emphasis is on mobile devices, so called handheld devices. Due to the rapid development and the massive distribution of smartphones, these "all-rounders" offer a perfect platform for the commercial implementation of AR applications. Different sensors such as a gps-receiver, a digital compass, accelerometers etc., which are standard features for each and every smartphone nowadays, are the required technical preconditions. Furthermore, the interaction of individual sensors is examined. Beside that, also concrete commercial AR applications on smartphones are described in a further chapter of the thesis. Hereby the research focuses on the so called AR browsers and the respective three main browsers are presented. Additionally, the strengths and weaknesses of AR browsers are discussed, and finally, we reveal a brief foreshadowing of the future perspectives of AR applications on smartphones

Virtuelle Realität zur Bereitstellung integrierter Suchumgebungen

Summann F, Pfeiffer T, Hellriegel J, Wolf S, Pietsch C. Virtuelle Realität zur Bereitstellung integrierter Suchumgebungen. Presented at the 106. Deutscher Bibliothekartag in Frankfurt am Main 2017, Frankfurt.Im Exzellenzcluster Kognitive Interaktionstechnologie (CITEC) an der Universität Bielefeld beschäftigt Thies Pfeiffer sich seit 2013 mit der virtuellen Realität (VR). Ausgehend von konkreten Projektkooperationen (Publikations- und Forschungsdatenmanagement) mit der Universitäts-bibliothek ist die Idee entstanden, die im Labor entwickelten Interaktionstechniken, die sich auf in 2016 neu angebotene Konsumer-VR-Hardware stützen, auf geeignete Szenarien anzuwenden. Als interessantes Anwendungsgebiet kristallisierte sich im gemeinsamen Diskurs die Suche heraus: in einer konkreten Suchumgebung (via API angebunden) sollen komfortabel und schnell Dokumente gesucht, Ergebnisse abgelegt und weiterbearbeitet werden können. Konzeptioneller Ansatz ist es, dem Nutzer intuitiv assoziierte Metaphern anzubieten (etwa Bücherregale oder auch Bücherwagen zur Ablage, Gegenstände zur Anfragekennzeichnung), um Vorgänge in vertrauter Weise zu visualisieren. Dabei bewegt sich der Nutzer frei durch den virtuellen Raum und kann die gefundenen Informationen im Gegensatz zum Desktop oder mobilen Endgerät auch räumlich strukturieren. Als Suchsystem wurde die Bielefelder BASE-Datenbank (d.i. Bielefeld Academic Search Engine mit inzwischen mehr als 100 Mill. indexierte Dokumente) ausgewählt, zunächst, weil die von zahlreichen externen Institutionen genutzte Schnittstelle (Anfragesprache CQL-orientiert und XML- oder JSON-konforme Ergebnisübermittlung) sich als universell und robust erwiesen hat und dabei umfangreiche Funktionen bereitstellt. Geplant wird eine virtuelle Suchumgebung, die ein Retrieval in einem Suchraum von Online-Dokumenten realisiert und dabei die Ergebnisse intuitiv verwalten lässt, durch Ergebnisanzeige, Sortierung, Optimierung des Suchergebnisses durch Suchverfeinerung (Drilldown-basiert) oder Anfrageerweiterung, Suchhistorie und Wiederverwendung von abgelegten Ergebnissen. Gleichzeitig wird der Zugriff- und Lizenzstatus visualisiert und, wenn möglich, die Anzeige des Objektes integriert

Bildungspotenziale digitaler Spiele und Spielkulturen

Der Beitrag konzentriert sich auf den Bereich des informellen und selbstgesteuerten Lernens im Kontext von Computerspielen und Computerspielkulturen und verfolgt das Ziel, ausgehend von einer Untersuchung ausgewählter Bildungspotenziale Grundlagen für die Einschätzung und Bewertung von Computerspielen sowie ihren Einsatz in pädagogischen Kontexten anzubieten. Es wird dazu zunächst begrifflich zwischen Lernen und Bildung unterschieden, um einer engen instrumentellen Perspektive zu entkommen. Anschliessend werden unterschiedliche Arten von digitalen Bildungsräumen thematisiert, bevor spezifische Bildungspotenziale von Singleplayer-Spielen und von community-basierten Multiplayer-Spielen genauer erläutert und diskutiert werden. Abschliessend plädiert der Beitrag dafür, die Kluft zwischen formalen und informellen Lernumgebungen zu überbrücken

Seamless Smart Labs

Das Internet der Dinge wird in den kommenden Jahren Teil der Lebenswirklichkeit. Für realitätsnahe Bildungsanwendungen eröffnen „Smart Objects & Services“ grundlegend neue Möglichkeiten von Interaktion wie zum kontextbasierten Wissenserwerb. In die Realwelt integrierte digitale Lernangebote vermitteln bzw. trainieren anwendbares Wissen und Können dort, wo es benötigt wird. Mit unserem Vorhaben "Seamless Smart Labs (S2L)" zielen wir auf Experimentierumgebungen wie Laborpraktika, die zum festen Bestandteil jeder praxisnahen Hochschulausbildung und ingenieurtechnischen Berufspraxis gehören. Durch sie werden Hypothesen und Verfahren in der Praxis überprüf- und erfahrbar. Sie trainieren grundlegende praktische Fertigkeiten, die in allen naturwissenschaftlichen, technischen oder medizinischen Fachdisziplinen essentiell sind. Das hohe Innovationstempo erfordert insbesondere in technologieorientierten und wissensintensiven Bereichen effiziente Formen lebenslanger Weiterbildung. Das steht im Widerspruch zu den erheblichen, mit der Anschaffung praxisorientierter Lehrmittel und Trainingssysteme verbundenen Aufwänden. Gesucht werden Lösungen, die i) effizient und flexibel auf neue Weiterbildungskontexte übertragbar sind, ii) das reale Experimentieren tutoriell unterstützen und iii) die aufwändige (und daher seltene) praktische Erfahrung durch praxisnahe interaktive Angebote im Digitalen möglichst nahtlos ergänzen. Dieses Verbundvorhaben von Forschung und Wirtschaft ist im Rahmen des Förderprogramms ”Erfahrbares Lernen” beim Bundesministerium für Bildung und Forschung (BMBF) beantrag

Editorial: Lehren und Lernen zwischen Virtualität und Realität

In der Diskussion zur Digitalisierung der Berufs- und Arbeitswelt wird davon ausgegangen, dass virtuelle Lehr- und Lernwelten zunehmend mit realen Lehr- und Lernwelten verschmelzen und neue innovative technologiebasierte Lehr- und Lernarrangements prägen. Im Kontext dessen, beschäftigt sich der vorliegende Beitrag mit technologiebasierten Erfahrungswelten und wirft dabei einen Blick auf die Herausforderungen, die mit der Nutzung von virtuellen Lehr- und Lernumgebungen in der beruflichen Bildung verbunden sind.Schlüsselwörter: Virtuelle Realität, Professionalisierung, Lehrerbildung Digitalisierung In der Diskussion zur Digitalisierung der Berufs- und Arbeitswelt wird davon ausgegangen, dass virtuelle Lehr- und Lernwelten zunehmend mit realen Lehr- und Lernwelten verschmelzen und neue innovative technologiebasierte Lehr- und Lernarrangements prägen. Im Kontext dessen, beschäftigt sich der vorliegende Beitrag mit technologiebasierten Erfahrungswelten und wirft dabei einen Blick auf die Herausforderungen, die mit der Nutzung von virtuellen Lehr- und Lernumgebungen in der beruflichen Bildung verbunden sind

Wahrnehmung und Lernen in virtueller Realität: Psychologische Korrelate und exemplarisches Forschungsdesign

Das Projekt „Wahrnehmung und Orientierung in virtueller und erweiterter Realität“ ist Teil des interdisziplinären Forschungsvorhabens „Virtuelle und erweiterte Realität für höchste Sicherheit und Zuverlässigkeit in eingebetteten Systemen“ (ViERforES) im Rahmen des BMBF‐Programms „Spitzenforschung und Innovation in den Neuen Ländern“. Hier arbeiten Wissenschaftler der Otto‐von‐Guericke Universität gemeinsam mit dem Fraunhofer‐Institut für Fabrikbetrieb und ‐automatisierung IFF in Magdeburg und Kollegen aus Kaiserslautern an Konzepten, die Hersteller künftig bei der Optimierung ihrer Produkte durch virtuelle Realitäten unterstützen sollen

Semiotik der digitalen Medienkunst

Kunstformen, die sich digitaler Technologien bedienen bzw. diese kritisch reflektieren, gewinnen zunehmend an Popularität und haben sich bedingt durch die rasche technologische Entwicklung in den letzten Jahren stark verändert. Innovative künstlerische Konzepte gehen in Richtung multimodaler Gestaltung und einer Öffnung des Kunstwerks gegenüber dem Publikum und seiner Umgebung. Für die Beschäftigung mit diesen komplex gestalteten digitalen Kunstformen wird in der vorliegenden Arbeit ein Modell zur Kunstbetrachtung entwickelt, das sich auf soziologische Aspekte der Werkinterpretation konzentriert und damit ein alternatives Konzept zu einer rein formal-ästhetischen Kunstbetrachtung anbietet. Sein Beitrag soll eine Betrachtung von Kunst und Kultur als Kommunikation sein, die einerseits den Austausch zwischen KünstlerIn, Kunstwerk, Publikum und Umgebung in ihren Fokus legt und andererseits diesen Austausch anhand der Beschreibung konkreter semiotischer Ressourcen, die in digitalen Kunstwerken zur Kommunikation verwendet werden, nachvollziehbar macht. Die Basis für dieses Modell bildet die Semiotik und eine funktionale Sichtweise, die in einer multimodalen Theorie miteinander verbunden wird. Diese Multimodale Theorie, die sich aus der Systemisch Funktionalen Linguistik entwickelt hat, wendet ihr soziologisches Konzept und ihre funktionalen Kategorien auf die Beschreibung einzelner und den Zusammenhang verschiedener Zeichensysteme (Sprache, Bild, Sound, Gestik, Mimik, dreidimensionale Räume, etc.) in unterschiedlichen Genres, wie z.B. Alltagstexten, Wissenschaftsdiskursen und Kunst an. Die meisten multimodalen Analysen beschäftigen sich bisher mit der Kombination von nur zwei verschiedenen Zeichensystemen (Modi) in einem Werk. In der vorliegenden Arbeit wird durch die Anwendung auf den Bereich der digitalen Medienkunst das multimodale Modell hinsichtlich einer Kombination mehrerer Modi erweitert. Diese Arbeit liefert somit einerseits einen Beitrag zur Erweiterung der multimodalen Theorie im Bereich der Linguistik und Semiotik und andererseits einen Beitrag zur Kunst- und Medientheorie. Mit dem hier entworfenen Modell werden in dieser Arbeit ausgewählte Gestaltungsprinzipien der digitalen Medienkunst eingehend betrachtet, die in den letzten Jahren zunehmend an Bedeutung gewinnen. Dies sind Themenbereich wie Transformation, Modifikation und Übertragung, die Auflösung physischer Grenzen durch virtuelle Räume, die „Sichtbarmachung des Unsichtbaren“ und die Telepräsenz, kohärente oder wenig kohärente Strukturen der Gestaltung sowie neue Publikumsperspektiven, die sich durch die Einbeziehung digitaler Technologien ergeben.Art-forms, which use digital technologies for production and design and which reflect these technologies critically, are becoming increasingly popular. Caused by technological development, art production and design has changed considerably during the last years. Nowadays digital artworks are generated multimodally and integrate the visitor and the environment as represented and interactive participants into their work. In order to explore the meaning making potential of these artworks, I develop a systemic functional framework of analysis. This framework combines a sociological and a formal approach and offers an alternative perspective to enrich our knowledge and perception when engaging with art. It enables researchers to relate art and culture with communicative events and to analyse the interaction and exchange going on between artist, artwork, visitor and environment by describing semiotic resources that are used to generate digital artworks. The developed framework is a multimodal approach, based on semiotics and functional theory, which applies a sociological concept and functional categories to the analysis of multimodal texts. This multimodal approach enables researchers to explain how different semiotic systems or modes (language, image, sound, body language, facial expression and three-dimensional spaces, etc.) are related to each other in different genres such as every day language, scientific texts and art to realise meanings. Hitherto multimodal analysis has basically focused on the combination and relation of only two modes in a text (i.e. language and image). By analysing artworks that are generated of verbal, visual and acoustic modes of communication as well as physical objects in three-dimensional space the multimodal approach is extended in this thesis. Thus this work will contribute to multimodal research and art and media theory. With this framework of analysis major principles of design in digital art, that have become significant within the last years, can be explained. Principles that are addressed in this thesis are: transformation, modification and translation from one mode into another, virtual environments and telepresence, creating new visitor perspectives and interactive concepts as well as cohesion in digital art