Exploring safer visual feedback in human-machine handover in highly autonomous vehicles

Driving is becoming increasingly automated and the automated driving system is gradually replacing the driver, which will inevitably have a significant impact on the driving experience. This study investigates the design of a dashboard for the highly automated vehicle that would provide the driver with relevant information during the human-machine handover. After reviewing previous studies, analyzing the state-of-the-art and generating user scenarios, we developed design guidelines, prototypes and user experience videos. This video served as a "research instrument" to test with users and explore and learn about consequences and interpretations. The test results suggest that the mental workload paid by the user for the task shows a trend of reduction from level 3 to level 4. The reduced workload can ensure more effective alerts and alarms, which can potentially make driving safer. Regarding the implementation of the design, conclusions are mainly drawn on three aspects: the necessity to combine several modalities at automation level 4, the need to redefine the color of the assisting AR bars we designed due to the indistinguishability of the red and orange ones, and the disagreement on whether and how to display speed information at handover. The practice and application of our prototype in scenarios supports previous studies and provides a reliable, creative solution for other researchers and designers

Machine learning-based cognitive load prediction model for AR-HUD to improve OSH of professional drivers

MotivationAugmented reality head-up display (AR-HUD) interface design takes on critical significance in enhancing driving safety and user experience among professional drivers. However, optimizing the above-mentioned interfaces poses challenges, innovative methods are urgently required to enhance performance and reduce cognitive load.DescriptionA novel method was proposed, combining the IVPM method with a GA to optimize AR-HUD interfaces. Leveraging machine learning, the IVPM-GA method was adopted to predict cognitive load and iteratively optimize the interface design.ResultsExperimental results confirmed the superiority of IVPM-GA over the conventional BP-GA method. Optimized AR-HUD interfaces using IVPM-GA significantly enhanced the driving performance, and user experience was enhanced since 80% of participants rated the IVPM-GA interface as visually comfortable and less distracting.ConclusionIn this study, an innovative method was presented to optimize AR-HUD interfaces by integrating IVPM with a GA. IVPM-GA effectively reduced cognitive load, enhanced driving performance, and improved user experience for professional drivers. The above-described findings stress the significance of using machine learning and optimization techniques in AR-HUD interface design, with the aim of enhancing driver safety and occupational health. The study confirmed the practical implications of machine learning optimization algorithms for designing AR-HUD interfaces with reduced cognitive load and improved occupational safety and health (OSH) for professional drivers

Wahrnehmung von Augmented Reality Head-up Displays

Das Head-up Display (HUD) nimmt in Fahrzeugen eine steigend wichtige Rolle ein, da es als passives Fahrsicherheitssystem Fahrer:innen durch die Bereitstellung relevanter Informationen bei der primären Fahraufgabe eines PKW unterstützt. Dessen grundsätzlicher Mehrwert konnte bereits in einer Vielzahl von Studien nachgewiesen werden (siehe Abschnitt 3.1). Aus diesem Grund ist es essentiell Fahrer:innen das virtuelle Bild eines HUD leicht zugänglich zu machen. Kriterien hierfür sind eine gute Bildqualität ohne störende Abbildungsfehler sowie die generelle Sichtbarkeit in möglichst allen Fahrsituationen. Die vorliegende Dissertation untersucht zum einen die in einem Augmented Reality Head-up Display (AR HUD) entstehenden Abbildungsfehler in dessen virtuellem Bild sowie die subjektive Wahrnehmung dieser Abbildungsfehler durch Fahrer:innen. In einer zweiten Schwerpunktuntersuchung erfolgt die ausführliche Konzeptprüfung eines p-polarisierten HUD, um eine Verbesserung der Sichtbarkeit des virtuellen Bildes beim Tragen einer polarisierenden Sonnenbrille zu erreichen. Das AR HUD zeichnet sich durch eine große Abdeckung des direkten Sichtbereichs der Fahrer:in aus (FOV 10° × 5°), wobei virtuelle Bildinhalte kontaktanalog in der Umwelt positioniert werden. Um Fahrer:innen einen Mehrwert zu bieten, dürfen die Abbildungsfehler des virtuellen Bildes, welche auf Abweichungen in den Geometrien der Windschutzscheibe (WSS) und des HUD Projektors zurückzuführen sind, gewisse Toleranzgrenzwerte nicht übersteigen. Dabei ist die subjektive Wahrnehmung der virtuellen Bildqualität eines HUD sehr individuell und nicht trivial anhand weniger Kriterien festzustellen. Daher ist es wichtig messbare Abbildungsfehler zu entwickeln, welche die subjektive Wahrnehmung des virtuellen Bildes wiedergeben (siehe Abschnitt 2.4). Eine Probandenstudie (N=54) untersucht unter Verwendung seriennaher Komponenten den Einfluss der WSS auf die Entstehung von Abbildungsfehlern sowie deren subjektive Wahrnehmung durch die Proband:innen. Die Studie zeigt, dass Fahrer:innen vor allem ggü. stereoskopischen Abbildungsfehlern (Divergenzen) in vertikaler Richtung sensibel sind und diese als störend empfinden. Aufgrund der Bildgröße eines AR HUD ist es zudem nicht ausreichend ausschließlich gemittelte Divergenzen zu berücksichtigen. Aus diesem Grund ist für das AR HUD zukünftig auf die Kontrolle und Einschränkung lokaler Divergenzen zu achten. Während den untersuchten WSS im Rahmen einer Expertenbewertung eindeutige Unterschiede bzgl. deren virtuellen Bildqualität zuzuordnen sind (siehe Abschnitt 4.2.2), ist dies für die Probandenstudie nicht der Fall (siehe Abschnitt 4.3.3). In der Probandenstudie lassen sich keine signifikanten Unterschiede hinsichtlich der virtuellen Bildqualität für die verschiedenen WSS feststellen. Grund hierfür sind die unterschiedlichen Studiendesigns für die Expertenbewertung (Within-Subjects) und die Probandenstudie (Between-Subjects). Des Weiteren zeigt die Probandenstudie, dass signifikante Unterschiede für die Wahrnehmung der virtuellen Bildqualität bei statischer und dynamischer Betrachtung vorliegen. Außerdem stellen die Proband:innen Qualitätsunterschiede innerhalb des virtuellen Bildes einer WSS fest (siehe Abschnitt 4.3.3). Daraus lässt sich schlussfolgern, dass die Homogenität des virtuellen Bildes eines HUD ein Qualitätsmerkmal für Fahrer:innen darstellt, vor allem wenn analog der Realität kein Referenzbild zum Vergleich vorliegt. Schlussendlich zeigt die Probandenstudie, dass die Kombination verschiedener Abbildungsfehler die subjektive Wahrnehmung des virtuellen Bildes am besten wiedergibt (siehe Abschnitt 4.3.4). Die Untersuchungen in Kapitel 5 zur Konzeptprüfung eines p-polarisierten HUD zeigen im Gegensatz zu den bisher in der Literatur beschrieben Annahmen, dass mit Sicherheit vom Auftreten eines Doppelbildfehlers im virtuellen Bild auszugehen ist (siehe Abschnitt 5.2). Neben der Entwicklung möglicher Maßnahmen zur Reduktion dieses Doppelbildfehlers (siehe Abschnitt 5.2.3), findet im Rahmen einer weiteren Probandenstudie die Ermittlung der Wahrnehmungs- und Störschwelle für den Doppelbildfehler im p-polarisierten HUD System statt (siehe Abschnitt 5.3). Hierfür erfolgt die Einführung des minimal zulässigen Leuchtdichteverhältnisses L_P/L_S zwischen primärem und sekundären Bild eines p-polarisierten HUD Systems. Letztendlich liegt der Wert für das minimal zulässige Leuchtdichteverhältnis L_P/L_S bei 90 (siehe Abschnitt 5.3.4). Zudem zeigt die Studie, dass sich Wahrnehmungs- und Störschwelle statistisch signifikant voneinander unterscheiden und auch die Umgebungshelligkeit einen signifikanten Einfluss auf die Wahrnehmungs- und Störschwelle nimmt (siehe Abschnitt 5.3.3.3)