Automatyczne rozpoznawanie elementów mimiki w obrazie twarzy i analiza ich przydatności do sterowania

Abstract

Multimodal human-computer interaction systems have developed rapidly during the past decade. They have diversified to include new modalities including facial gestures. This thesis deals with problem of human-computer interaction towards building human-computer interface designated mainly for people with severe physical disabilities. The work presented here focuses on: automatic facial action recognition using image processing, analysis algorithms and application of facial gestures to machine control. The first part of the thesis summarizes current knowledge of facial gestures and their taxonomies. Facial gestures with their features has been selected based on human-machine interaction. The second part of the thesis considers automatic recognition of facial gestures. The problem of interface adaptation has also been presented. W ostatniej dekadzie nastąpił dynamiczny rozwój multimodalnych interfejsów człowiek-komputer. Zróżnicowanie sposobów interakcji człowieka z komputerem obejmuje m.in. wykorzystanie mimiki twarzy do sterowania. Niniejsza rozprawa doktorska obejmuje problematykę komunikacji człowieka z komputerem, ze szczególnym uwzględnieniem zagadnień budowy interfejsu człowiek-komputer przeznaczonego głownie dla osób niepełnosprawnych o dużym stopniu niepełnosprawności ruchowej. Przedstawione badania dotyczą automatycznego rozpoznawania elementów mimiki, przy użyciu algorytmów przetwarzania i analizy obrazów, oraz przydatności gestów mimicznych do sterowania. W pierwszej części rozprawy usystematyzowana została wiedza dotycząca gestów mimicznych i sposobów ich opisu oraz określono ich cechy. Wyboru elementów mimiki dokonano z uwzględnieniem zagadnień komunikacji człowiek-komputer. Część druga poświęcona została zagadnieniom automatycznego rozpoznawania elementów mimiki. Przedstawiono również zagadnienia adaptacji interfejsu.