Computational Modeling and Experimental Research on Touchscreen Gestures, Audio/Speech Interaction, and Driving

As humans are exposed to rapidly evolving complex systems, there are growing needs for humans and systems to use multiple communication modalities such as auditory, vocal (or speech), gesture, or visual channels; thus, it is important to evaluate multimodal human-machine interactions in multitasking conditions so as to improve human performance and safety. However, traditional methods of evaluating human performance and safety rely on experimental settings using human subjects which require costly and time-consuming efforts to conduct. To minimize the limitations from the use of traditional usability tests, digital human models are often developed and used, and they also help us better understand underlying human mental processes to effectively improve safety and avoid mental overload. In this regard, I have combined computational cognitive modeling and experimental methods to study mental processes and identify differences in human performance/workload in various conditions, through this dissertation research. The computational cognitive models were implemented by extending the Queuing Network-Model Human Processor (QN-MHP) Architecture that enables simulation of human multi-task behaviors and multimodal interactions in human-machine systems. Three experiments were conducted to investigate human behaviors in multimodal and multitasking scenarios, combining the following three specific research aims that are to understand: (1) how humans use their finger movements to input information on touchscreen devices (i.e., touchscreen gestures), (2) how humans use auditory/vocal signals to interact with the machines (i.e., audio/speech interaction), and (3) how humans drive vehicles (i.e., driving controls). Future research applications of computational modeling and experimental research are also discussed. Scientifically, the results of this dissertation research make significant contributions to our better understanding of the nature of touchscreen gestures, audio/speech interaction, and driving controls in human-machine systems and whether they benefit or jeopardize human performance and safety in the multimodal and concurrent task environments. Moreover, in contrast to the previous models for multitasking scenarios mainly focusing on the visual processes, this study develops quantitative models of the combined effects of auditory, tactile, and visual factors on multitasking performance. From the practical impact perspective, the modeling work conducted in this research may help multimodal interface designers minimize the limitations of traditional usability tests and make quick design comparisons, less constrained by other time-consuming factors, such as developing prototypes and running human subjects. Furthermore, the research conducted in this dissertation may help identify which elements in the multimodal and multitasking scenarios increase workload and completion time, which can be used to reduce the number of accidents and injuries caused by distraction.PHDIndustrial & Operations EngineeringUniversity of Michigan, Horace H. Rackham School of Graduate Studieshttps://deepblue.lib.umich.edu/bitstream/2027.42/143903/1/heejinj_1.pd

Vorausschauende Regelung von Fahrzeugsystemen durch stochastische Vorhersage der Fahrzeugdynamik

Die Verbreitung von Fahrerassistenzsystemen und die zunehmende Digitalisierung im Fahrzeugumfeld führen zu einer neuen Anzahl von verfügbaren Informationen im Fahrzeug. Die vorausschauende Steuerung und Regelung von Fahrzeugsystemen ist ein mögliches Anwendungsfeld für diese Informationen, um eine effizientere und intelligentere Steuerung von Fahrzeugsystemen zu realisieren. Die für die Regelung solcher Systeme benötigten Größen können dabei meist nur mittelbar aus den vorhandenen Informationen erzeugt werden. In vielen Fällen sind Vorhersagemodelle nötig, um die relevanten Größen abzuleiten. Dies ist zum Beispiel der Fall, wenn für die Steuerung des Systems zukünftige Fahrzeugdynamikgrößen wie die Geschwindigkeit des Fahrzeugs oder die Leistungsanforderung benötigt werden. Um die mit den Vorhersagen verbundene Unsicherheit zu berücksichtigen, wird in dieser Arbeit ein ganzheitlich stochastischer Ansatz zur Generierung von Vorhersagen, basierend auf den vorhandenen Umfeldinformationen, abgeleitet. Darauf aufbauend wird die vorausschauende Regelung von Fahrzeugsystemen mit stochastisch optimalen Regelungsverfahren untersucht. Die Gesamtmethode wird an zwei Systembeispielen implementiert und evaluiert. Um die Vorhersagegüte und die resultierende Regelgüte ins Verhältnis zu setzen, werden unterschiedliche Vorhersagemodelle als Referenz eingesetzt. Die Untersuchungen zeigen, dass die stochastische Vorhersage mit Umfeldinformationen bessere Resultate liefert, als eine Vorhersage ohne diese Informationen oder ohne Berücksichtigung der Unsicherheiten. Weiterhin zeigt sich die Gesamtmethode als geeignet, um neue Funktionalitäten oder effizientere Regelungsverfahren für unterschiedliche Fahrzeugsysteme umzusetzen. Die in dieser Arbeit vorgestellten Methoden sind Bausteine für die intelligente Regelung von Fahrzeugsystemen unter Einbezug von Fahrerverhalten und Umfeldinformationen. Die Anwendung und Weiterentwicklung dieser Bausteine ist ein vielversprechendes Forschungsfeld um Fahrzeugsysteme intelligenter und effizienter einzusetzen und zu steuern

Mathematical modeling of driver speed control with individual differences

The quantitative prediction and understanding of a driver&#39;s speed control is an essential component in preventing speeding and designing of vehicle systems. Driver speed control is a complex behavior of longitudinal vehicle control consisting of speed perception, decision making, motor control, vehicle dynamics modeling, and individual driver differences. However, there are few existing models that can integrate all of these aspects in a cohesive manner. To address this problem, this paper introduces a mathematical model for a driver&#39;s speed control with analytical solutions based on human cognitive mechanisms in driving. This model includes an integrated queuing network-model human processor structure and the rule-based decision field theory. This new model consequently can predict several aspects of driver speed control behavior at the same time, such as driving speed, throttle/brake pedal angle, acceleration, and the frequency of speedometer inspection. A laboratory session involving a driving simulator is conducted to validate the current model. The model accounted for over 99% of the experimental speed of the average driver, and over 95% of the experimental speed for the majority of individual drivers.</p