Aerial SLAM algorithm with global alignment using satellite imagery

Abstract

Simultaneous localization and mapping (SLAM) algorithms can be used in aerial vehicles with a down-facing camera for navigation and terrain mapping. However, they suffer from an incremental position error. Each neighbouring image pair match introduces an alignment error which accumulates to a global position error proportional to the map size. By using a reference satellite image map this error can be reduced to a constant factor. This work proposes a novel image alignment algorithm called Embed Match which can be applied to any SLAM algorithm. Embed Match uses a neural network to represent a map region as a field of embedding vectors which are a semantic representation of the area. By comparing the embedding fields of a satellite image and the camera image, an alignment function is defined. Maximising this function leads to image alignment. The proposed algorithm shows a radically different approach from keypoint-based alignment methods which usually struggle with matching drastically different images, such as satellite and real camera images. Algorytmy symultanicznej lokalizacji i mapowania (SLAM) mogą być stosowane w pojazdach powietrznych z kamerą skierowaną w dół do nawigacji i mapowania terenu. Jednakże występuje błąd inkrementacyjny pozycji. Każde dopasowanie sąsiedniej pary obrazów wprowadza błąd wyrównania, który wpływa na błąd globalnej pozycji proporcjonalnie do rozmiaru mapy. Korzystając z referencyjnej mapy obrazów satelitarnych, ten błąd można zredukować do stałego współczynnika. W tej pracy proponowany jest nowatorski algorytm wyrównywania obrazów o nazwie Embed Match, który może być stosowany do dowolnego algorytmu SLAM. Embed Match wykorzystuje sieć neuronową do reprezentowania regionu mapy jako pola wektorów osadzania, które są semantyczną reprezentacją obszaru. Porównując pola osadzania obrazu satelitarnego i obrazu kamery, definiuje się funkcję wyrównywania. Maksymalizacja tej funkcji prowadzi do wyrównywania obrazu. Proponowany algorytm stanowi radykalnie inne podejście niż metody wyrównywania oparte na punktach charakterystycznych, które zazwyczaj mają trudności z dopasowywaniem się do drastycznie różnych obrazów, takich jak obrazy satelitarne i rzeczywiste obrazy z kamery.