Zespoły klasyfikatorów oparte na cechach DTW i głębokich reprezentacjach akcji ludzi na mapach głębi

Abstract

Rozpoznawanie akcji jest ważnym zagadnieniem w dziedzinie widzenia komputerowego, które polega na identyfikacji i zrozumieniu działań oraz aktywności człowieka na podstawie sekwencji obrazów lub map głębi. Jest to zadanie złożone i wymagające, ze względu na liczne praktyczne trudności, takie jak zakłócenia tła, zmiany skali, przysłonięcia, a także zmiany punktu widzenia, oświetlenia i wyglądu osoby. Tematyka rozprawy koncentruje się na rozpoznawaniu akcji w przypadku małych zbiorów sekwencji map głębi. W tym kontekście została zaproponowana nowa metoda uczenia zespołowego oparta na sieciach neuronowych, nazwana NECSCF. Przebadano trzy wersje algorytmu NECSCF - jedną dla danych tabelarycznych i dwie dla rozpoznawania akcji. W pracach badawczych przeprowadzonych na danych tabelarycznych pokazano eksperymentalnie, że NECSCF osiąga dobre wyniki na zbiorach o ograniczonej liczbie przykładów. Algorytm NECSCF wymaga opracowania odpowiednich cech wspólnych. W celu zastosowania nowego algorytmu w problemie rozpoznawania akcji, proponuje się nowy zestaw cech opartych na odległości DTW dla szeregów czasowych. Przebadano eksperymentalnie dwie wersje algorytmu NECSCF do rozpoznawania akcji. Pierwsza wersja wykorzystuje cechy oparte na DTW (obliczone na podstawie cech tworzonych ręcznie) jako cechy wspólne, natomiast cechy specyficzne dla każdej klasy są wyznaczane w dwóch etapach. W pierwszym etapie cechy są wyodrębniane poprzez sieci konwolucyjne na mapach głębi, a następnie w drugim etapie cechy są wyznaczane na szeregach czasowych za pomocą jednej z trzech metod: sieci konwolucyjnej ID, sieci Siamese ID lub cech statystycznych. Druga wersja algorytmu NECSCF została uproszczona i nie korzysta z cech tworzonych ręcznie. Cechy specyficzne dla każdej klasy są wyznaczane przez sieci TD-LSTM trenowane w jednym etapie (end-to-end). W tej wersji wykorzystuje się dwa rodzaje cech wspólnych: oparte na uczeniu nienadzorowanym (konwolucyjny autoenkoder) oraz cechy oparte na DTW. Cechy DTW nie są wyznaczane na cechach stworzonych ręcznie, lecz na cechach wyznaczonych przez sieć Siamese. Zaproponowana metoda NECSCF osiągnęła konkurencyjne wyniki zarówno na danych tabelarycznych, jak i w rozpoznawaniu akcji. Proponowane algorytmy umożliwiają połączenie zalet różnych architektur uczenia głębokiego oraz pozwala na skuteczne wykorzystanie algorytmu DTW wraz z sieciami neuronowymi. Action recognition is a field within computer vision that involves identifying and understanding human actions and activities based on sequences of images or depth maps. It is a complex and challenging task due to various practical difficulties such as background noise, changes in scale, occlusions, as well as variations in viewpoint, lighting, and appearance of individuals. This thesis focuses on action recognition with small sets of depth map sequence. In this context, a new ensemble learning method based on neural networks, named NECSCF, has been proposed. Three versions of the NECSCF algorithm were examined - one for tabular data and two for action recognition. In the research conducted on tabular data, it was experimentally demonstrated that NECSCF achieves good results on datasets with a limited number of examples. However, the NECSCF algorithm requires the development of appropriate common features. To apply the new algorithm to the problem of action recognition, a new set of features based on Dynamic Time Warping distances for time series is proposed. Two versions of the NECSCF algorithm were investigated for action recognition. The first version utilizes features based on Dynamic Time Warping calculated from handcreated features as common features, while specific features for each class are determined in two stages. In the first stage, features are extracted through convolutional networks on depth maps, and then in the second stage, features are determined on time series using one of three methods: ID convolutional network, Siamese ID network, or statistical features. The second version of the NECSCF algorithm has been simplified and does not utilize handcrafted features. Specific features for each class are determined by TD- LSTM networks trained in a single stage (end-to-end). In this version, two types of common features are utilized: those based on unsupervised learning (convolutional autoencoder) and features based on DTW. DTW features are not calculated on handcreated features but on features determined by the Siamese network. The proposed NECSCF method has achieved competitive results both in the case of tabular data and action recognition. This family of algorithms enables the combination of advantages from various deep learning architectures and facilitates effective utilization of the DTW algorithm in conjunction with neural networks.