Depth completion for FMCW radars

Abstract

Model otoczenia, który obejmuje odległość do najbliższej przeszkody, jest niezbędny dla systemu jazdy autonomicznej. Dlatego też można uznać, że każdy system nawigujący autonomicznie musi być w stanie oszacować głębokość (czyli odległość do najbliższego obiektu). Istnieje jednak konflikt pomiędzy rozmiarem, złożonością i kosztem czujnika głębokości, z jednej strony, a gęstością i dokładnością pomiarów, z drugiej strony. Celem tej rozprawy jest zbadanie wykonalności zagęszczania map głębi (czyli tworzenia gęstej mapy głębokości na podstawie rzadkich pomiarów głębokości) dla wyjątkowo rzadkich pomiarów głębokości. Większość tej pracy dotyczy uzupełniania głębokości w radarach samochodowych typu Frequency Modulated Continuous Wave (FMCW). Prezentuję pierwsze rozwiązanie generujące gęstą mapę głębokości na podstawie Radar Data Cube (RDC) z motoryzacyjnego radaru FMCW. Przygotowałem również wersję sieci zdolną do fuzji danych RDC z radaru z obrazem z kamery RGB. Dodatkowo przedstawiam nowy sposób zagęszczania map głębi na chmurze punktów lidaru, który opracowałem w celu stworzenia zestawu danych szkoleniowych do zadania uzupełniania głębokości radarowej, algorytm dodający szum do wag sieci neuronowej podczas treningu i prostą symulację pokazującą, że sieć neuronowa jest w stanie estymować kąt do celu w obecności dwóch celów. A model of the environment which includes distance to the nearest obstacle is necessary for a system tasked with autonomous movement. Therefore, it is reasonable to say that every autonomously-navigating system must be able to estimate depth (i.e. the distance to the nearest object). The goal of this dissertation is to examine the feasibility of depth completion (i.e. producing a dense depth-map from a sparse depth input) for extremely sparse depth measurements. The bulk of this work deals with depth completion on automotive Frequency Modulated Continuous Wave (FMCW) radars. I present the first solution producing a dense depth map on the basis of automotive FMCW Radar Data Cube (RDC). I have also created a neural network architecture capable of fusing the RDC-derived data from the radar and the data derived from RGB camera images Additionally, I present a novel way to perform depth completion on lidar point cloud, which I developed for the purpose of creating the training dataset for the radar depth completion task, an algorithm utilizing zero-centered, additive weight perturbations during neural network training and simple simulations showing the capability of a neural network to perform angle finding in the presence of 2 targets.