Using Augmented Reality to Reduce Workload in Offshore Environments

Helicopters are routinely used to transport crew to and from maritime wind farms. Inclement weather situations and demanding tasks put a high workload on pilots during these missions. This paper describes two test campaigns assessing the utility of a low cost Head-mounted display (HMD) to reduce workload for commercial maritime operations. This system was implemented within the Air Vehicle Simulator (AVES) at the German Aerospace Center (DLR). Three tasks were flown with experienced offshore pilots, performed in a realistic scenario. Independent subjective assessments of both workload and situational awareness were obtained. Results from the studies show that the overall workload for all missions decreased when using the HMD. Opinions regarding overall benefit and advantages of the system were found to vary between pilots and missions

Evaluation of a Head-Mounted Display and Advanced Flight Control Laws for Helicopter Ship Deck Landing

Within the maritime environment, helicopters can be used for a wide variety of missions including rescue missions, transport of personnel and material as well as for surveillance and reconnaissance. To perform such tasks on open sea and to expand the onshore refueling range, ship deck landings are necessary. Adverse weather conditions, such as high winds, fog and precipitation lead to strong ship movements and create a turbulent environment on the ship's landing deck. Combined with few visual cues, ship deck operations put a high workload on pilots which can compromise flight safety. To support pilots during ship deck operations a symbology concept was integrated into the previously developed head-mounted display (HMD) based on a Microsoft HoloLens 2. Three advanced flight control modes were developed for the approach phase. Results from a simulator campaign with pilots in a realistic scenario indicate that the handling qualities can degrade with the HMD and only the relative translational rate command (RTRC) is suited as advanced control mode for ship deck operation

Using Augmented Reality to Reduce Workload in Offshore Environments

In the offshore environment helicopters are widely used to transport crew and material from and to maritime wind farms. Due to unforeseeable and often inclement weather situations and challenging tasks these missions put a high workload on the helicopter pilots. In this paper two test campaigns are described which assess the utility of an affordable commercial-off-the-shelf (COTS) head-mounted display (HMD) to reduce workload for commercial maritime operations. The HMD system was implemented within the air vehicle simulator (AVES) at the German Aerospace Center (DLR). Three missions were flown with experienced offshore pilots, performed in a realistic scenario. Independent subjective assessments of both workload and situational awareness were obtained. Results from the studies show that the overall workload for all missions decreased and situational awareness increased when using the HMD. Opinions regarding overall benefit and advantages of the system were found to vary between pilots and missions

LuFo V-3 CORINNE - Schlussbericht Comfort Of Ride Improved eNgiNEering -Komfortverbesserung im niederfrequenten Bereich für Hubschrauber

Hubschrauberpiloten sind auch in aktuellen Hubschraubermustern einem hohen Vibrationsniveau ausgesetzt. Diese Vibrationen können negative Auswirkungen auf die Gesundheit und die Leistungsfähigkeit der Hubschrauberbesatzung und der Passagiere haben. Insbesondere Schwingungen im niederfrequenten Bereich standen dabei im Fokus des Verbundprojekts CORINNE. Diese Vibrationen werden u.a. durch Turbulenz angeregt und wirken verstärkt durch Flugregelungssysteme und Autopiloten auf die flugmechanischen Moden des Hubschraubers. Im DLR-Beitrag von CORINNE wurde hauptsächlich an drei Teilaspekten zur Reduzierung der niederfrequenten Vibrationen geforscht. Erstens wurde ein Turbulenzmodell für den Forschungshubschrauber ACT/FHS auf Basis von Flugversuchsdaten erstellt und validiert. Dieses sog. CETI-Modell wurde auch auf andere Hubschraubermuster skaliert. Zusätzlich ist es im ACT/FHS und AVES Simulator verfügbar, um Turbulenz zu simulieren. Zweitens wurde das Simulationsverfahren UPM in das Hubschraubersimulationsmodell von Airbus Helicopters integriert und validiert. Mit diesem Simulationsverfahren können flugmechanische Stabilitätseigenschaften wie die der Phygoide und des Dutch Rolls genauer vorhersagt und die Simulationsgüte im Manöverflug gesteigert werden. Drittens wurde ein Beobachter für die longitudinalen und lateralen Rotormastmomente des ACT/FHS auf Basis von Flugversuchsdaten entwickelt. Der Beobachter benötigt dabei lediglich Messgrößen aus dem stehenden Hubschraubersystem, welche auch auf Serienhubschraubern verfügbar sind. Durch die Integration des Beobachters in die Flugregelung soll der Komfort in turbulenter Luft gesteigert werden

Sensitivitätsanalyse des Wirbelschleppenwarn- und -ausweichsystems WEAA

In dieser Masterarbeit geht es um die Analyse der Sensitivitäten des Wirbelschleppenvorhersage und -ausweichsystem WEAA auf dessen Eingangsparameter. Zur Umsetzung der Sensitivitätsanalyse wurde das WEAA-Programm so manipuliert, dass die Eingangsdaten beliebig verändert werden können und die Ausgangsparameter der berechnete Wirbelprognose ausgelesen werden können. Weiterhin wurde eine Schnittstelle zur Simulation eines Fluges in einer idealen Umgebung implementiert. Zur Ausführung von Simulationen des WEAA-Programms mit diversen Variationen der Eingangsparameter und Auswertung der berechneten Wirbelprognose wurde ein MATLAB-Skript entwickelt, welches den Aufruf des WEAA-Clienten steuert und die Ergebnisdaten einliest und auswertet. Bei der Sensitivitätsanalyse wurden die Auswirkungen von Genauigkeits- und Auflösungsfehlern sowie dem Einfluss von der Verfügbarkeit und der Übertragungsfrequenz aller übertragenen Parameter des ADS-B-Standards auf die Berechnungsergebnisse im WEAAModell geprüft. Die Analyse wurde zunächst mit Daten eines simulierten Fluges in einer idealen Umgebung und später mit Daten aus einem Flugversuch durchgeführt. Aus den Ergebnissen der Sensitivitätsanalyse wurden Forderungen für einen operationellen Einsatz des WEAA-Programms formuliert. Als sensitive Parameter für den Einsatz des WEAA-Systems haben sich sowohl meteorologische Informationen wie Wind, Temperatur und Dissipationsrate als auch flugtechnische Parameter wie die Position, Flughöhe und Flugzeugmasse herausgestellt. Mit der Nutzung von ADS-B als Telemetriesystem für WEAA ist demnach ein neuer Standard mit erweiterter Verfügbarkeit, Genauigkeit und Auflösung diverser Parameter notwendig

Beschreibung EC135ReplayTool

Das EC135ReplayTool ist eine Applikation zum Abspielen von aufgezeichneten Daten aus Hubschrauberflügen in der AVES (Air Vehicle Simulator) Simulationsumgebung. Mithilfe der bereitsgestellten Werkzeuge und Skripts können sowohl Daten aus dem Experimentalsystem des DLR Forschungshubschrauber ACT/FHS (Active Control Technology / Flying Helicopter Simulator) als auch die Daten von beliebigen anderen Datenaufzeichnungsgeräten genutzt werden. Die Applikation wurde im Rahmen des LuFo-Projektes CORINNE (Comfort of Ride Improved Engineering) entwickelt, um die Anforderungen aus der AVES-Simulationsumgebung für Daten aus der Flugtestinstrumentierung eines Testhubschraubers von Airbus Helicopters Deutschland (AHD) zu erarbeiten

Hubschrauberpilotenassistenz für maritime Szenarien

Das Fliegen in maritimen Umgebungen stellt besondere Herausforderungen sowohl an Pilotinnen und Piloten als auch an die Flugeigenschaften der eingesetzten Hubschrauber. Schlechte Wetterbedingungen mit Niederschlag, Nebel und hohen Windgeschwindigkeiten sorgen für erschwerte Sichtbedingungen und verlangen Pilotinnen und Piloten höchste Konzentration und Leistung ab. Turbulente Strömungsnachläufe hinter Schiffsaufbauten und Windkraftanlagen sowie kleine Landeplattformen führen zusätzlich zu einem reduzierten Situationsbewusstsein und einer hohen Arbeitsbelastung der Pilotinnen und Piloten. Diese Faktoren erschweren die Mission und können die Flugsicherheit beeinträchtigen. Es wird eine Übersicht die Forschungsarbeiten des DLR im Bereich der Pilotenassistenz für maritime Szenarien gegeben. Schwerpunktmäßig geht es um Schiffsdecklandungen von bemannten und unbemannten Hubschraubern, der Unterstützung anspruchsvoller Flugmanöver durch Augmented Reality, der Untersuchung realistischer Einsatzszenarien im Forschungssimulator und um die Nutzung der Blickrichtungsverfolgung zur Bewertung der Eignung eines Anzeigesystems und der verwendeten Symbolik

Flying a helicopter with the HoloLens as head-mounted display

This paper describes the flight testing and the integration process of the Microsoft HoloLens 2 as head-mounted display with DLR's research helicopter ACT/FHS. In previous work, the HoloLens was integrated into a helicopter simulator. Now, while migrating the HoloLens into a real helicopter, the main challenge was the head tracking of the HoloLens, because it is not designed to operate on moving vehicles. Therefore, the internal head tracking is operated in a limited rotation-only mode and resulting drift errors are compensated with an external tracker, various of which have been tested in advance. The fusion is done with a Kalman filter, which contains a nonlinear weighting. Internal tracking errors of the HoloLens caused by vehicle accelerations are mitigated with a system identification approach. For calibration, the virtual world is manually aligned using the helicopter's noseboom. The external head tracker is largely automatically calibrated using an optimization approach, and therefore works for all trackers and regardless of its mounting positions on vehicle and head. Most of the pre-tests were carried out in a car, which indicates the flexibility in terms of vehicle type. The flight tests have shown that the overall quality of this head-mounted display solution is very good. The conformal holograms are jitter-free, there is no latency and errors of lower frequencies are small enough, which greatly improves immersion. Profiting from almost all features of the HoloLens 2 is a major advantage, especially for rapid research and development

Flying a helicopter with the HoloLens as head-mounted display

We describe the flight testing and the integration process of the Microsoft HoloLens 2 as head-mounted display (HMD) with DLR’s research helicopter. In the previous work, the HoloLens was integrated into a helicopter simulator. Now, while migrating the HoloLens into a real helicopter, the main challenge was the head tracking of the HoloLens, because it is not designed to operate on moving vehicles. Therefore, the internal head tracking is operated in a limited rotation-only mode, and resulting drift errors are compensated for with an external tracker, several of which have been tested in advance. The fusion is done with a Kalman filter, which contains a non-linear weighting. Internal tracking errors of the HoloLens caused by vehicle accelerations are mitigated with a system identification approach. For calibration, the virtual world is manually aligned using the helicopter’s noseboom. The external head tracker (EHT) is largely automatically calibrated using an optimization approach and therefore, works for all trackers and regardless of its mounting positions on vehicle and head. Most of the pretests were carried out in a car, which indicates the flexibility in terms of vehicle type. The flight tests have shown that the overall quality of this HMD solution is very good. The conformal holograms are almost jitter-free, there is no latency, and errors of lower frequencies are identical with the performance that the EHT can provide, which in combination greatly improves immersion. Profiting from almost all features of the HoloLens 2 is a major advantage, especially for rapid research and development

An Overall Evaluation Toolchain for Assessing Helicopter Ship Deck Landings

An overall evaluation toolchain is implemented for assessing the helicopter ship deck landings. The toolchain evaluates various touchdown conditions like position, velocity and attitude errors between the ship deck and the helicopter. It also displays additional evaluation parameters for the entire approach. A preliminary pilot study was performed in a simulator within a complete maritime scenario design. The maritime simulation environment includes a nonlinear helicopter flight model with a model-based flight control system, a ship dynamic model with the simulated turbulent air wake and realistic wave and water effects. For a subjective assessment of the ship deck landings, qualitative pilot ratings using different rating scales were recorded during the pilot study. Simulation results show that the toolchain is well suited for assessing helicopter ship deck landing performance in a simulation environment