Co-Design with Myself: A Brain-Computer Interface Design Tool that Predicts Live Emotion to Enhance Metacognitive Monitoring of Designers

Intuition, metacognition, and subjective uncertainty interact in complex ways to shape the creative design process. Design intuition, a designer's innate ability to generate creative ideas and solutions based on implicit knowledge and experience, is often evaluated and refined through metacognitive monitoring. This self-awareness and management of cognitive processes can be triggered by subjective uncertainty, reflecting the designer's self-assessed confidence in their decisions. Despite their significance, few creativity support tools have targeted the enhancement of these intertwined components using biofeedback, particularly the affect associated with these processes. In this study, we introduce "Multi-Self," a BCI-VR design tool designed to amplify metacognitive monitoring in architectural design. Multi-Self evaluates designers' affect (valence and arousal) to their work, providing real-time, visual biofeedback. A proof-of-concept pilot study with 24 participants assessed its feasibility. While feedback accuracy responses were mixed, most participants found the tool useful, reporting that it sparked metacognitive monitoring, encouraged exploration of the design space, and helped modulate subjective uncertainty

Scalable Human-Centered Decision Making Processes in Virtual Environments

Collaboration aims to increase the efficiency of problem solving and decision making by bringing diverse areas of expertise together, i.e., teams of experts from various disciplines, all necessary to come up with acceptable concepts. This dissertation is concerned with the design of highly efficient computer-supported collaborative work involving active participation of user groups with diverse expertise. Three main contributions can be highlighted: (1) the definition and design of a framework facilitating collaborative decision making; (2) the deployment and evaluation of more natural and intuitive interaction and visualization techniques in order to support multiple decision makers in virtual reality environments; and (3) the integration of novel techniques into a single proof-of-concept system. Decision making processes are time-consuming, typically involving several iterations of different options before a generally acceptable solution is obtained. Although, collaboration is an often-applied method, the execution of collaborative sessions is often inefficient, does not involve all participants, and decisions are often finalized with- out the agreement of all participants. An increasing number of computer-supported cooperative work systems (CSCW) facilitate collaborative work by providing shared viewpoints and tools to solve joint tasks. However, most of these software systems are designed from a feature-oriented perspective, rather than a human-centered perspective and without the consideration of user groups with diverse experience and joint goals instead of joint tasks. The aim of this dissertation is to bring insights to the following research question: How can computer-supported cooperative work be designed to be more efficient? This question opens up more specific questions like: How can collaborative work be designed to be more efficient? How can all participants be involved in the collaboration process? And how can interaction interfaces that support collaborative work be designed to be more efficient? As such, this dissertation makes contributions in: 1. Definition and design of a framework facilitating decision making and collaborative work. Based on examinations of collaborative work and decision making processes requirements of a collaboration framework are assorted and formulated. Following, an approach to define and rate software/frameworks is introduced. This approach is used to translate the assorted requirements into a software’s architecture design. Next, an approach to evaluate alternatives based on Multi Criteria Decision Making (MCDM) and Multi Attribute Utility Theory (MAUT) is presented. Two case studies demonstrate the usability of this approach for (1) benchmarking between systems and evaluates the value of the desired collaboration framework, and (2) ranking a set of alternatives resulting from a decision-making process incorporating the points of view of multiple stake- holders. 2. Deployment and evaluation of natural and intuitive interaction and visualization techniques in order to support multiple diverse decision makers. A user taxonomy of industrial corporations serves to create a petri network of users in order to identify dependencies and information flows between each other. An explicit characterization and design of task models was developed to define interfaces and further components of the collaboration framework. In order to involve and support user groups with diverse experiences, smart de- vices and virtual reality are used within the presented collaboration framework. Natural and intuitive interaction techniques as well as advanced visualizations of user centered views of the collaboratively processed data are developed in order to support and increase the efficiency of decision making processes. The smartwatch as one of the latest technologies of smart devices, offers new possibilities of interaction techniques. A multi-modal interaction interface is provided, realized with smartwatch and smartphone in full immersive environments, including touch-input, in-air gestures, and speech. 3. Integration of novel techniques into a single proof-of-concept system. Finally, all findings and designed components are combined into the new collaboration framework called IN2CO, for distributed or co-located participants to efficiently collaborate using diverse mobile devices. In a prototypical implementation, all described components are integrated and evaluated. Examples where next-generation network-enabled collaborative environments, connected by visual and mobile interaction devices, can have significant impact are: design and simulation of automobiles and aircrafts; urban planning and simulation of urban infrastructure; or the design of complex and large buildings, including efficiency- and cost-optimized manufacturing buildings as task in factory planning. To demonstrate the functionality and usability of the framework, case studies referring to factory planning are demonstrated. Considering that factory planning is a process that involves the interaction of multiple aspects as well as the participation of experts from different domains (i.e., mechanical engineering, electrical engineering, computer engineering, ergonomics, material science, and even more), this application is suitable to demonstrate the utilization and usability of the collaboration framework. The various software modules and the integrated system resulting from the research will all be subjected to evaluations. Thus, collaborative decision making for co-located and distributed participants is enhanced by the use of natural and intuitive multi-modal interaction interfaces and techniques.Eine effiziente Lösung von Problemen setzt heutzutage nicht nur die Expertise eines Einzelnen voraus, sondern die Kollaboration von Experten über mehrere Disziplinen hinweg. Zur Erreichung eines Konsenses in solch heterogenen Teams wird dem Prozess der Entscheidungsfindung eine zentrale Rolle zuteil. Diese Dissertation befasst sich daher mit dem Design effizienter rechnergestützter Kollaborationstechniken, die eine aktive Teilnahme von Benutzern verschiedenster Disziplinen ermöglicht. Dabei sind drei Beiträge besonders hervorzuheben: (1) die Definition und das Design einer Umgebung, die kooperative Entscheidungen erst ermöglicht; (2) die Anwendung und Evaluation von immersiven und intuitiven Interaktions- und Vi- sualisierungstechniken zur Entscheidungsunterstützung in virtuellen Umgebungen; und (3) die Integration der neuen Techniken in ein übergreifendes Proof-of-Concept System. Entscheidungsprozesse sind typischerweise sehr zeitintensiv und erfordern mehrere Iterationen mit unterschiedlichen Annahmen, bevor sich auf eine Lösung geeinigt werden kann. Kollaborationstechniken sollen diese Probleme lösen und werden daher bereits frequentiert angewandt. Allerdings ist die Durchführung nur allzu oft ineffizient, Teilnehmer werden nicht ausreichend integriert und Entscheidungen werden ohne vollständige Übereinstimmung aller Teilnehmer getroffen. Eine Vielzahl rechnergestützter kooperativer Arbeitssysteme (CSCW) ermöglichen den Teilnehmern bereits ihre Perspektive zu teilen und stellen Werkzeuge zur gemeinsamen Lösung von Aufgaben bereit. Die heterogene Zusammenstellung der Teilnehmer legt einen benutzerorientierten Entwurf der Systeme nahe. Allerdings standen bei der Entwicklung solcher Systeme bisher häufiger die Probleme und deren gemeinsame Lösung und nicht der Mensch und sein Kommunikationsbedarf im Fokus, wodurch sich die zentrale Forschungsfrage dieser Dissertation ergibt: Wie kann man effizienterer CSCW entwickeln? Antworten auf diese Frage liefern die folgenden Forschungsbeiträge dieser Dissertation: 1. Definition und Gestaltung eines Frameworks zur Unterstützung von Team- basierter Entscheidungsfindung. Basierend auf Untersuchungen von Kollaborationen und Team-basierten Entscheidungsprozessen werden Anforderungen eines Frameworks zur Unterstützung dieser beiden Arbeitsmethoden systematisiert und formuliert. Anschließend wird eine Methode basierend auf der Erweiterung des House-of-Quality Ansatzes vorgestellt, die zweierlei Problemstellungen löst. Zum einen, wird einen Ansatz zur Definition und Bewertung von Software Komponenten vor- gestellt. Dieses erweiterte House-of-Quality Verfahren ermöglicht die verschiedenen Anforderungen an ein solches System in dessen Architekturdesign zu überführen. Ein weiteres Verfahren innerhalb der Erweiterung des House-of-Quality Ansatzes wird zur Bewertung von Lösungs-Alternativen basierend auf multikriterielle Entscheidungsanalyse und multiattributrieller Nutzentheorie eingesetzt. Zwei Fallstudien demonstrieren die Anwendbarkeit und Einsatzmöglichkeiten dieses Ansatzes für (1) das Benchmarking von Systemen unter Einbeziehung des entstehenden Nutzens und (2) die Aufstellung einer Rangfolge von Systemalternativen, unter der Berücksichtigung verschiedener Interessensgruppen. 2. Bereitstellung und Evaluierung von natürlich und intuitiv gestalteten Interaktions- und Visualisierungstechniken zur Unterstützung diverser Kollaborateure in virtuellen Umgebungen. Eine Taxonomie von Personengruppen dient dazu, ein Personen-Netzwerk zu erstellen. Abhängigkeiten und Informationsflüsse untereinander werden dadurch identifizierbar. Basierend auf diesen Erkenntnissen dienen explizite Definition und Ausgestaltung von Aufgabenmodellen (task models) dazu, Schnittstellen und Systemeigenschaften des Kollaborations-Frameworks zu er- stellen. Durch den Einsatz von Smart Devices und virtueller Realität wird die aktive Mitarbeit von Benutzergruppen unterschiedlichster Erfahrungen und Fachbereiche unterstützt und gefördert. Immersive und intuitive Interaktionstechniken sowie innovative Visualisierungen wurden in der der Dissertation entwickelt, um die Effizienz von Entscheidungsprozessen zu erhöhen. Die Smartwatch als eine der neuesten Klasse von Smart Devices bietet innovative Möglichkeiten zur Interaktion. Ein multimodales Interaktions- Interface wird vorgestellt, welches die Interaktion mit Hilfe von Smartwatches und Smartphones in immersiven Umgebung erlaubt. Verschiedenste Eingabemöglichkeiten, einschließlich Touch-Eingaben, Armgesten und Sprachsteue- rung, werden unterstützt. 3. Integration der neuen Techniken in ein übergreifendes Proof-of-Concept- System. Alle Erkenntnisse und Ergebnisse aus den zuvor beschriebenen Untersuchungen werden in das neue Kollaborationsframework mit dem Namen IN2CO integriert. Dieses wird für die Realisierung effizienter Kollaborationen von räumlich verteilten als auch räumlich konzentrierten Kollaborateuren eingesetzt. In einer prototypischen Implementierung werden alle beschriebenen Komponenten integriert und evaluiert. Beispiele, bei denen innovative netzwerkfähige kollaborative Umgebungen erhebliche Auswirkungen haben können, sind unter anderem: Entwurf und Simulation von Automobilen und Flugzeugen, Stadtplanung und Simulation der städtischen Infrastruktur sowie das Design von komplexen und großen Gebäuden, einschließlich effizienz- und kosten optimierten Fertigungsgebäuden als Gestaltungsziel in der Fabrikplanung. Um den Nutzen und die Benutzerfreundlichkeit des Frameworks zu demonstrieren, werden Fallstudien zur Fabrikplanung demonstriert. Fabrikplanung zeichnet sich durch das Zusammenspiel vielfältiger Disziplinen und Teilnehmern aus, die häufig auch räumlich getrennt sind. Folglich, eignet sich dieses Szenario um den Nutzen und die Vorteile des Kollaborations-Frameworks zu evaluieren. Die aus dieser Forschung entstandenen Softwaremodule sowie das integrierte Gesamtsystem wurden Nutzerstudien unterzogen. Es zeigte sich, dass durch die Verwendung von immersiven und intuitiven multimodalen Interaktionsschnittstellen und -techniken sowie individuell angepassten Visualisierungen die Effizienz von kollaborativen Entscheidungsfindungen für räumlich konzentrierte sowie verteilte Kollaborateure gesteigert werden kann

Scalable Human-Centered Decision Making Processes in Virtual Environments

Collaboration aims to increase the efficiency of problem solving and decision making by bringing diverse areas of expertise together, i.e., teams of experts from various disciplines, all necessary to come up with acceptable concepts. This dissertation is concerned with the design of highly efficient computer-supported collaborative work involving active participation of user groups with diverse expertise. Three main contributions can be highlighted: (1) the definition and design of a framework facilitating collaborative decision making; (2) the deployment and evaluation of more natural and intuitive interaction and visualization techniques in order to support multiple decision makers in virtual reality environments; and (3) the integration of novel techniques into a single proof-of-concept system. Decision making processes are time-consuming, typically involving several iterations of different options before a generally acceptable solution is obtained. Although, collaboration is an often-applied method, the execution of collaborative sessions is often inefficient, does not involve all participants, and decisions are often finalized with- out the agreement of all participants. An increasing number of computer-supported cooperative work systems (CSCW) facilitate collaborative work by providing shared viewpoints and tools to solve joint tasks. However, most of these software systems are designed from a feature-oriented perspective, rather than a human-centered perspective and without the consideration of user groups with diverse experience and joint goals instead of joint tasks. The aim of this dissertation is to bring insights to the following research question: How can computer-supported cooperative work be designed to be more efficient? This question opens up more specific questions like: How can collaborative work be designed to be more efficient? How can all participants be involved in the collaboration process? And how can interaction interfaces that support collaborative work be designed to be more efficient? As such, this dissertation makes contributions in: 1. Definition and design of a framework facilitating decision making and collaborative work. Based on examinations of collaborative work and decision making processes requirements of a collaboration framework are assorted and formulated. Following, an approach to define and rate software/frameworks is introduced. This approach is used to translate the assorted requirements into a software’s architecture design. Next, an approach to evaluate alternatives based on Multi Criteria Decision Making (MCDM) and Multi Attribute Utility Theory (MAUT) is presented. Two case studies demonstrate the usability of this approach for (1) benchmarking between systems and evaluates the value of the desired collaboration framework, and (2) ranking a set of alternatives resulting from a decision-making process incorporating the points of view of multiple stake- holders. 2. Deployment and evaluation of natural and intuitive interaction and visualization techniques in order to support multiple diverse decision makers. A user taxonomy of industrial corporations serves to create a petri network of users in order to identify dependencies and information flows between each other. An explicit characterization and design of task models was developed to define interfaces and further components of the collaboration framework. In order to involve and support user groups with diverse experiences, smart de- vices and virtual reality are used within the presented collaboration framework. Natural and intuitive interaction techniques as well as advanced visualizations of user centered views of the collaboratively processed data are developed in order to support and increase the efficiency of decision making processes. The smartwatch as one of the latest technologies of smart devices, offers new possibilities of interaction techniques. A multi-modal interaction interface is provided, realized with smartwatch and smartphone in full immersive environments, including touch-input, in-air gestures, and speech. 3. Integration of novel techniques into a single proof-of-concept system. Finally, all findings and designed components are combined into the new collaboration framework called IN2CO, for distributed or co-located participants to efficiently collaborate using diverse mobile devices. In a prototypical implementation, all described components are integrated and evaluated. Examples where next-generation network-enabled collaborative environments, connected by visual and mobile interaction devices, can have significant impact are: design and simulation of automobiles and aircrafts; urban planning and simulation of urban infrastructure; or the design of complex and large buildings, including efficiency- and cost-optimized manufacturing buildings as task in factory planning. To demonstrate the functionality and usability of the framework, case studies referring to factory planning are demonstrated. Considering that factory planning is a process that involves the interaction of multiple aspects as well as the participation of experts from different domains (i.e., mechanical engineering, electrical engineering, computer engineering, ergonomics, material science, and even more), this application is suitable to demonstrate the utilization and usability of the collaboration framework. The various software modules and the integrated system resulting from the research will all be subjected to evaluations. Thus, collaborative decision making for co-located and distributed participants is enhanced by the use of natural and intuitive multi-modal interaction interfaces and techniques.Eine effiziente Lösung von Problemen setzt heutzutage nicht nur die Expertise eines Einzelnen voraus, sondern die Kollaboration von Experten über mehrere Disziplinen hinweg. Zur Erreichung eines Konsenses in solch heterogenen Teams wird dem Prozess der Entscheidungsfindung eine zentrale Rolle zuteil. Diese Dissertation befasst sich daher mit dem Design effizienter rechnergestützter Kollaborationstechniken, die eine aktive Teilnahme von Benutzern verschiedenster Disziplinen ermöglicht. Dabei sind drei Beiträge besonders hervorzuheben: (1) die Definition und das Design einer Umgebung, die kooperative Entscheidungen erst ermöglicht; (2) die Anwendung und Evaluation von immersiven und intuitiven Interaktions- und Vi- sualisierungstechniken zur Entscheidungsunterstützung in virtuellen Umgebungen; und (3) die Integration der neuen Techniken in ein übergreifendes Proof-of-Concept System. Entscheidungsprozesse sind typischerweise sehr zeitintensiv und erfordern mehrere Iterationen mit unterschiedlichen Annahmen, bevor sich auf eine Lösung geeinigt werden kann. Kollaborationstechniken sollen diese Probleme lösen und werden daher bereits frequentiert angewandt. Allerdings ist die Durchführung nur allzu oft ineffizient, Teilnehmer werden nicht ausreichend integriert und Entscheidungen werden ohne vollständige Übereinstimmung aller Teilnehmer getroffen. Eine Vielzahl rechnergestützter kooperativer Arbeitssysteme (CSCW) ermöglichen den Teilnehmern bereits ihre Perspektive zu teilen und stellen Werkzeuge zur gemeinsamen Lösung von Aufgaben bereit. Die heterogene Zusammenstellung der Teilnehmer legt einen benutzerorientierten Entwurf der Systeme nahe. Allerdings standen bei der Entwicklung solcher Systeme bisher häufiger die Probleme und deren gemeinsame Lösung und nicht der Mensch und sein Kommunikationsbedarf im Fokus, wodurch sich die zentrale Forschungsfrage dieser Dissertation ergibt: Wie kann man effizienterer CSCW entwickeln? Antworten auf diese Frage liefern die folgenden Forschungsbeiträge dieser Dissertation: 1. Definition und Gestaltung eines Frameworks zur Unterstützung von Team- basierter Entscheidungsfindung. Basierend auf Untersuchungen von Kollaborationen und Team-basierten Entscheidungsprozessen werden Anforderungen eines Frameworks zur Unterstützung dieser beiden Arbeitsmethoden systematisiert und formuliert. Anschließend wird eine Methode basierend auf der Erweiterung des House-of-Quality Ansatzes vorgestellt, die zweierlei Problemstellungen löst. Zum einen, wird einen Ansatz zur Definition und Bewertung von Software Komponenten vor- gestellt. Dieses erweiterte House-of-Quality Verfahren ermöglicht die verschiedenen Anforderungen an ein solches System in dessen Architekturdesign zu überführen. Ein weiteres Verfahren innerhalb der Erweiterung des House-of-Quality Ansatzes wird zur Bewertung von Lösungs-Alternativen basierend auf multikriterielle Entscheidungsanalyse und multiattributrieller Nutzentheorie eingesetzt. Zwei Fallstudien demonstrieren die Anwendbarkeit und Einsatzmöglichkeiten dieses Ansatzes für (1) das Benchmarking von Systemen unter Einbeziehung des entstehenden Nutzens und (2) die Aufstellung einer Rangfolge von Systemalternativen, unter der Berücksichtigung verschiedener Interessensgruppen. 2. Bereitstellung und Evaluierung von natürlich und intuitiv gestalteten Interaktions- und Visualisierungstechniken zur Unterstützung diverser Kollaborateure in virtuellen Umgebungen. Eine Taxonomie von Personengruppen dient dazu, ein Personen-Netzwerk zu erstellen. Abhängigkeiten und Informationsflüsse untereinander werden dadurch identifizierbar. Basierend auf diesen Erkenntnissen dienen explizite Definition und Ausgestaltung von Aufgabenmodellen (task models) dazu, Schnittstellen und Systemeigenschaften des Kollaborations-Frameworks zu er- stellen. Durch den Einsatz von Smart Devices und virtueller Realität wird die aktive Mitarbeit von Benutzergruppen unterschiedlichster Erfahrungen und Fachbereiche unterstützt und gefördert. Immersive und intuitive Interaktionstechniken sowie innovative Visualisierungen wurden in der der Dissertation entwickelt, um die Effizienz von Entscheidungsprozessen zu erhöhen. Die Smartwatch als eine der neuesten Klasse von Smart Devices bietet innovative Möglichkeiten zur Interaktion. Ein multimodales Interaktions- Interface wird vorgestellt, welches die Interaktion mit Hilfe von Smartwatches und Smartphones in immersiven Umgebung erlaubt. Verschiedenste Eingabemöglichkeiten, einschließlich Touch-Eingaben, Armgesten und Sprachsteue- rung, werden unterstützt. 3. Integration der neuen Techniken in ein übergreifendes Proof-of-Concept- System. Alle Erkenntnisse und Ergebnisse aus den zuvor beschriebenen Untersuchungen werden in das neue Kollaborationsframework mit dem Namen IN2CO integriert. Dieses wird für die Realisierung effizienter Kollaborationen von räumlich verteilten als auch räumlich konzentrierten Kollaborateuren eingesetzt. In einer prototypischen Implementierung werden alle beschriebenen Komponenten integriert und evaluiert. Beispiele, bei denen innovative netzwerkfähige kollaborative Umgebungen erhebliche Auswirkungen haben können, sind unter anderem: Entwurf und Simulation von Automobilen und Flugzeugen, Stadtplanung und Simulation der städtischen Infrastruktur sowie das Design von komplexen und großen Gebäuden, einschließlich effizienz- und kosten optimierten Fertigungsgebäuden als Gestaltungsziel in der Fabrikplanung. Um den Nutzen und die Benutzerfreundlichkeit des Frameworks zu demonstrieren, werden Fallstudien zur Fabrikplanung demonstriert. Fabrikplanung zeichnet sich durch das Zusammenspiel vielfältiger Disziplinen und Teilnehmern aus, die häufig auch räumlich getrennt sind. Folglich, eignet sich dieses Szenario um den Nutzen und die Vorteile des Kollaborations-Frameworks zu evaluieren. Die aus dieser Forschung entstandenen Softwaremodule sowie das integrierte Gesamtsystem wurden Nutzerstudien unterzogen. Es zeigte sich, dass durch die Verwendung von immersiven und intuitiven multimodalen Interaktionsschnittstellen und -techniken sowie individuell angepassten Visualisierungen die Effizienz von kollaborativen Entscheidungsfindungen für räumlich konzentrierte sowie verteilte Kollaborateure gesteigert werden kann