Sensor fusion in simulation environment for advanced driver assistance systems

Orientador: Prof. Dr. Eduardo Parente RibeiroCoorientador: Prof. Dr.-Ing. Werner HuberDissertação (mestrado) - Universidade Federal do Paraná, Setor de Tecnologia, Programa de Pós-Graduação em Engenharia Elétrica. Defesa : Curitiba, 29/08/2022Inclui referênciasResumo: Sistemas avançados de assistência ao condutor (do inglês, Advanced Driving Assistance Systems – ADAS) são sistemas que percebem o cenário em que o veículo está imerso, e auxiliam o condutor de duas formas: fornecendo informações mais detalhadas sobre o cenário ou atuando de forma direta na condução do veículo. Nesse contexto, a percepção do ambiente se dá pelos dados obtidos por diferentes sensores, dentre eles: câmeras, radares e lidares. A fim de aumentar a acurácia da percepção, estes dados podem ser combinados com diferentes métodos de fusão. Nesse âmbito existe a fusão de dados obtidos por sensores com diferentes princípios de medição, gerando uma representação do cenário em forma de modelo, o qual pode ser descrito matematicamente, que define a cena onde se encontra o veículo. Uma vez que testar algoritmos de ADAS em ambientes reais controlados é dispendioso, pode-se utilizar simulações. Contudo é necessário saber até que ponto a simulação é válida se comparada com a realidade. Este trabalho propõe estimar a distância entre simulação e realidade que pode ocorrer em testes de algoritmos de fusão de dados para algoritmos de direção automatizada. A fusão pode ser feita em vários métodos e níveis. Para isso dois métodos de fusão são implementados: um alto nível e outro de baixo nível. Testes foram realizados em uma pista de testes do CARISSMA e em laboratório com a ajuda da simulação e estimulação de sensores. Foi observado que a fusão baixo nível obteve melhores escores quando comparada com a fusão alto nível. Além disso, observou-se que a distância entre simulação e realidade foi menor na fusão baixo nível do que na de alto nível. Em baixo nível observou-se uma distância entre simulação e realidade de -5.26%(negativo nota que o simulado teve resultados melhores que o real) em cenários de dia e 20.59% em cenários com chuva. Enquanto no alto nível mostrou-se nos cenários de dia uma distância de 23.99% e na chuva uma distância de 34.67%. Isto mostra que o cenários simulados ainda requerem algum trabalho para serem mais próximos da realidade. Portanto, outros cenários próximos ao cenário de dia, utilizando a mesma metodologia e utilizando algoritmo de baixo nível podem ter resultado parecidos com aqueles dos reais. Este trabalho conclui que os cenários simulados devem ser melhorados ainda mais, para diminuir a distância entre cenários simulados e reais.Abstract: Advanced Driver Assistance Systems (ADAS) are systems that perceive the scenario in which the vehicle is immersed, and assist the driver in two ways: by providing more detailed information about the scenario or by acting directly in driving the vehicle. In this context, the perception of the environment is given by the data obtained by different sensors, among them: cameras, RADARs, and LiDARs. In order to increase the accuracy of perception, this data can be combined with different fusion methods. In this scope there is the fusion of data obtained by sensors with different measurement principles, generating a representation of the scene in the form of a model, which can be described mathematically, that defines the scene where the vehicle is. As testing ADAS algorithms in real controlled environments is expensive, simulations can be used. Nonetheless, it is necessary to know how valid the simulation is when compared to reality. This study proposes to estimate the gap between simulation and realities that can occur in testing data fusion algorithms for automated driving algorithms. Fusion can be accomplished in various methods and levels. For this purpose, two fusion methods are implemented: a low level fusion and a high level fusion. Tests were performed on a CARISSMA test track and in the laboratory with assistance of simulation and sensor stimulation. It was observed that the lower level fusion obtained better scores when compared to the high level fusion. Also, it was observed that the distance between simulation and reality was smaller in the lower level fusion than that based on the higher level fusion. It was noted that mainly the uncertainties added to the extra input layers in the higher level fusion greatly influenced the result of this fusion.At low level we observed a distance between simulation and reality of -5.26%(negative note that the simulated had better results than the real one) in day scenarios and 20.59% in rain scenarios. While the high level showed a distance of 23.99% in day scenarios and 34.67% in rain scenarios. This shows that the simulated scenarios still require some work to be closer to reality. Therefore, other scenarios close to the day scenario, using the same methodology and using low-level fusion algorithm can have similar result to real ones. This paper concludes that the simulated scenarios should be further improved to decrease simulation-to-reality gap

TWICE Dataset: Digital Twin of Test Scenarios in a Controlled Environment

Ensuring the safe and reliable operation of autonomous vehicles under adverse weather remains a significant challenge. To address this, we have developed a comprehensive dataset composed of sensor data acquired in a real test track and reproduced in the laboratory for the same test scenarios. The provided dataset includes camera, radar, LiDAR, inertial measurement unit (IMU), and GPS data recorded under adverse weather conditions (rainy, night-time, and snowy conditions). We recorded test scenarios using objects of interest such as car, cyclist, truck and pedestrian -- some of which are inspired by EURONCAP (European New Car Assessment Programme). The sensor data generated in the laboratory is acquired by the execution of simulation-based tests in hardware-in-the-loop environment with the digital twin of each real test scenario. The dataset contains more than 2 hours of recording, which totals more than 280GB of data. Therefore, it is a valuable resource for researchers in the field of autonomous vehicles to test and improve their algorithms in adverse weather conditions, as well as explore the simulation-to-reality gap. The dataset is available for download at: https://twicedataset.github.io/site/Comment: 8 pages, 13 figures, submitted to IEEE Sensors Journa

Sensor fusion in simulation environment for advanced driver assistance systems

Orientador: Prof. Dr. Eduardo Parente RibeiroCoorientador: Prof. Dr.-Ing. Werner HuberDissertação (mestrado) - Universidade Federal do Paraná, Setor de Tecnologia, Programa de Pós-Graduação em Engenharia Elétrica. Defesa : Curitiba, 29/08/2022Inclui referênciasResumo: Sistemas avançados de assistência ao condutor (do inglês, Advanced Driving Assistance Systems – ADAS) são sistemas que percebem o cenário em que o veículo está imerso, e auxiliam o condutor de duas formas: fornecendo informações mais detalhadas sobre o cenário ou atuando de forma direta na condução do veículo. Nesse contexto, a percepção do ambiente se dá pelos dados obtidos por diferentes sensores, dentre eles: câmeras, radares e lidares. A fim de aumentar a acurácia da percepção, estes dados podem ser combinados com diferentes métodos de fusão. Nesse âmbito existe a fusão de dados obtidos por sensores com diferentes princípios de medição, gerando uma representação do cenário em forma de modelo, o qual pode ser descrito matematicamente, que define a cena onde se encontra o veículo. Uma vez que testar algoritmos de ADAS em ambientes reais controlados é dispendioso, pode-se utilizar simulações. Contudo é necessário saber até que ponto a simulação é válida se comparada com a realidade. Este trabalho propõe estimar a distância entre simulação e realidade que pode ocorrer em testes de algoritmos de fusão de dados para algoritmos de direção automatizada. A fusão pode ser feita em vários métodos e níveis. Para isso dois métodos de fusão são implementados: um alto nível e outro de baixo nível. Testes foram realizados em uma pista de testes do CARISSMA e em laboratório com a ajuda da simulação e estimulação de sensores. Foi observado que a fusão baixo nível obteve melhores escores quando comparada com a fusão alto nível. Além disso, observou-se que a distância entre simulação e realidade foi menor na fusão baixo nível do que na de alto nível. Em baixo nível observou-se uma distância entre simulação e realidade de -5.26%(negativo nota que o simulado teve resultados melhores que o real) em cenários de dia e 20.59% em cenários com chuva. Enquanto no alto nível mostrou-se nos cenários de dia uma distância de 23.99% e na chuva uma distância de 34.67%. Isto mostra que o cenários simulados ainda requerem algum trabalho para serem mais próximos da realidade. Portanto, outros cenários próximos ao cenário de dia, utilizando a mesma metodologia e utilizando algoritmo de baixo nível podem ter resultado parecidos com aqueles dos reais. Este trabalho conclui que os cenários simulados devem ser melhorados ainda mais, para diminuir a distância entre cenários simulados e reais.Abstract: Advanced Driver Assistance Systems (ADAS) are systems that perceive the scenario in which the vehicle is immersed, and assist the driver in two ways: by providing more detailed information about the scenario or by acting directly in driving the vehicle. In this context, the perception of the environment is given by the data obtained by different sensors, among them: cameras, RADARs, and LiDARs. In order to increase the accuracy of perception, this data can be combined with different fusion methods. In this scope there is the fusion of data obtained by sensors with different measurement principles, generating a representation of the scene in the form of a model, which can be described mathematically, that defines the scene where the vehicle is. As testing ADAS algorithms in real controlled environments is expensive, simulations can be used. Nonetheless, it is necessary to know how valid the simulation is when compared to reality. This study proposes to estimate the gap between simulation and realities that can occur in testing data fusion algorithms for automated driving algorithms. Fusion can be accomplished in various methods and levels. For this purpose, two fusion methods are implemented: a low level fusion and a high level fusion. Tests were performed on a CARISSMA test track and in the laboratory with assistance of simulation and sensor stimulation. It was observed that the lower level fusion obtained better scores when compared to the high level fusion. Also, it was observed that the distance between simulation and reality was smaller in the lower level fusion than that based on the higher level fusion. It was noted that mainly the uncertainties added to the extra input layers in the higher level fusion greatly influenced the result of this fusion.At low level we observed a distance between simulation and reality of -5.26%(negative note that the simulated had better results than the real one) in day scenarios and 20.59% in rain scenarios. While the high level showed a distance of 23.99% in day scenarios and 34.67% in rain scenarios. This shows that the simulated scenarios still require some work to be closer to reality. Therefore, other scenarios close to the day scenario, using the same methodology and using low-level fusion algorithm can have similar result to real ones. This paper concludes that the simulated scenarios should be further improved to decrease simulation-to-reality gap