Improvement of advanced driving assistant systems performance with the application of high quality synthetic data

Abstract

Niniejsza praca doktorska poświęcona została badaniom użyteczności oraz możliwości zastosowania danych syntetycznych w zaawansowanych systemach wspomagania kierowcy. Najnowsze osiągnięcia technologii renderowania 3D, takie jak UE czy Unity, umożliwiają generowanie realistycznych danych syntetycznych. W pierwszych rozdziałach pracy nakreślono zakres przeprowadzonych prac badawczych, sformułowano tezę główną i tezy pomocnicze, a także przedstawiono krytyczny przegląd aktualnego stanu wiedzy. W rozdziale czwartym przedstawiono eksperymenty z użyciem generowanych obrazów ze scenariuszy drogowych, które zostały użyte do walidacji pracy algorytmów detekcji znaków drogowych oraz utrzymania pasa ruchu. We wszystkich opisanych eksperymentach zastosowane zostało oprogramowania o nazwie CARLA. W rozdziale piątym przedstawiono eksperymenty dotyczące użyteczność syntetycznie generowanych danych czujników LiDARowych w aspekcie algorytmów wspomagania kierowcy. W eksperymencie przedstawiono przykład wykorzystujący syntetycznie wygenerowaną chmurę punktów jako dane wejściowe do algorytmu wykrywania przestrzeni wolnej przed pojazdem. W rozdziale szóstym przedstawiono badania wykorzystujące syntetyczne dane do wspomagania uczenia maszynowego, w szczególności głębokich sieci konwolucyjnych. Przedstawione eksperymenty porównują precyzję oraz dokładność działania detektora uczonego z wykorzystanie syntetycznych, mieszanych oraz rzeczywistych danych. W procesie generacji syntetycznych danych wykorzystano autorską metodę precyzyjnego oznaczania pieszych na danych z czujnika LiDAR. Opisane w pracy wyniki potwierdziły, że syntetyczne wygenerowane dane nie tylko mogą być wykorzystane do uczenia maszynowego, ale również poprawiają ogólną wydajność algorytmu detekcji pieszych. This doctoral thesis concerns investigation into synthetic data applications and usability in the advanced driving assistant systems. The newest rendering engines, such as UE or Unity, allow to generate realistic synthetic data. The first chapters of this thesis include description of conducted experiments. Furthermore, there is the main and auxiliary thesis formulated, together with the critical overview of the actual state of the knowledge in the field. Research, where synthetically generated data was used for validation of sign and line detection algorithms, is described in the 4th chapter of this thesis. In the course of the conducted experiments the CARLA software was used. In the 5th chapter of this thesis, the usability of synthetic point cloud data of LiDAR sensor is experimentally verified. Experiment described in the chapter 5 shows the example usage of synthetic point cloud as an input data for the free space detection algorithm Chapter 6 of this work presents research where synthetic data was used to support the machine learning, specifically training of convolutional neural networks. The presented experiments compare the performance of the detector operation using synthetic, mixed, and real data to train the model An proprietary method for precisely labeling pedestrians in LiDAR sensor data using segmentation data from simulation was used to generate automatically labeled training data. The results described in the work show that such synthetic data can not only be used for machine learning, but it can also improve the overall performance of the pedestrian detection algorithm.