Mind the Gap: On the Domain Shift Between Synthetic and Real-World 3D Data for Indoor Object Detection

Abstract

3D-Objekterkennung ist in verschiedenen Bereichen, darunter Robotik und autonome Fahrzeuge, von entscheidender Bedeutung. Während synthetische Daten, die mit Spiele-Engines erzeugt wurden, bereits zur Überwindung von Datenbeschränkungen getestet wurden, wurde der Domänenunterschied zwischen synthetischen und realen LiDAR-Daten in Innenräumen bisher nicht untersucht. Deshalb analysiert diese Arbeit den Einfluss synthetischer Daten auf die Leistung von 3D-Objekterkennungs-algorithmen in Innenraumumgebungen.Zu diesem Zweck wurde synthetische LiDAR-Daten mithilfe der Unreal Engine in verschiedenen vorgefertigten Apartment- und Hausumgebungen generiert. Anschließend wurden mehrere 3D-Objekterkennungsmodelle unter verschiedenen Bedingungen trainiert: ausschließlich mit realen Daten, ausschließlich mit synthetischen Daten und mit einer Kombination aus beiden.Zwei Modelle zur 3D-Objekterkennung, VoteNet und KPConv, wurden jeweils mit realen Daten, synthetischen Daten und einer Kombination aus beiden trainiert. VoteNet hatte dabei erhebliche Schwierigkeiten, die Daten zu lernen, und konnte in dieser Arbeit nicht zur Abschätzung des Domänenunterschieds verwendet werden. KPConv hingegen konnte erfolgreich trainiert werden. Die experimentellen Ergebnisse mit KPConv zeigen, dass das Training ausschließlich mit synthetischen Daten und die anschließende Evaluierung mit realen Daten („sim-to-real“) zu einer leichten Leistungssteigerung im Vergleich zum reinen Training und Testen mit realen Daten führte. Auch das Training mit einem kombinierten Datensatz aus realen und synthetischen Daten zeigte eine leichte Leistungssteigerung gegenüber dem ausschließlichen Einsatz realer Daten.Diese Ergebnisse verdeutlichen sowohl das Potenzial als auch die Einschränkungen synthetischer LiDAR-Daten für die 3D-Objekterkennung in Innenräumen. Die Generierung synthetischer LiDAR-Daten könnte eine vielversprechende Methode sein, um Datensätze gezielt zu erweitern und die Modellleistung für verschiedene Anwendungen zu verbessern. Allerdings sind weitere Untersuchungen erforderlich, um den Realismus der synthetischen Daten weiter zu verbessern.3D object detection is critical in various domains, including robotics and autonomous vehicles. While synthetic data generated using game engines has been tested to overcome data limitations, the domain shift between synthetic and real-world indoor environment data has not been investigated yet. Therefore, this thesis investigates the impact of synthetic data on the performance of 3D object detection algorithms in indoor environments.Synthetic LiDAR data was generated using the Unreal Engine in several readily available apartment and house environments. Different 3D object detection models were then trained under different conditions: using only real-world data, only synthetic data, and a combination of both.Two 3D object detection models, VoteNet and KPConv, were trained using only real data, synthetic data, and a combination of both. VoteNet faced significant challenges in learning the data and could not be used to estimate the domain shift in this study. However, KPConv was trained successfully. Experimental results with KPConv indicate that training exclusively on synthetic data and evaluating on real-world data ("sim-to-real") resulted in a slight performance increase when evaluated on real-world data compared to training and evaluating solely on real data. Furthermore, training with a combined real and synthetic dataset also led to a slight performance increase when evaluated on real data compared to using only real data.These findings highlight both the promise and limitations of synthetic data for 3D object detection in indoor environments. Generating synthetic LiDAR data could be a viable way to enhance datasets with more nuanced data, improving model performance for various applications. However, further research is needed to improve the realism of the synthetic data.Bachelorarbeit FH JOANNEUM 202