Akustyczna detekcja schorzeń krtani i zaburzeń neurorozwojowych z zastosowaniem x-wektorów

Abstract

W niniejszej rozprawie przedstawiono oryginalną metodę automatycznej diagnostyki wybranych schorzeń otolaryngologicznych oraz zaburzeń neurorozwojowych na podstawie sygnału mowy z zastosowaniem x- wektorów - biometrycznych wektorów wykorzystywanych do identyfikacji mówcy. Zaproponowano modyfikacje architektury sieci neuronowej służącej do ekstrakcji x-wektorów oraz procesu jej uczenia, które miały na celu zwiększenie zdolności generalizacyjnych oraz dokładności klasyfikacji zastosowanych modeli klasyfikacyjnych dokonujących detekcji wspomnianych schorzeń i zaburzeń. Wartości metryk sukcesu wyznaczone podczas ewaluacji proponowanych klasyfikatorów uczonych na poszczególnych wariantach x-wektorów poddano analizie statystycznej mającej na celu zbadanie istotności statystycznej różnic pomiędzy wartościami uzyskanymi przez poszczególne modele oraz wyłonienie rozwiązania zapewniającego najlepsze rezultaty. Przedstawione w pracy analizy wykazały, że proponowane rozwiązanie umożliwia detekcję wybranych schorzeń krtani oraz zaburzeń neurorozwojowych z dokładnością przewyższającą wyniki prezentowane w literaturze. Co ważne, zaproponowana metoda jest metodą uniwersalną, prowadzącą do uzyskania satysfakcjonujących rezultatów bez względu na wypowiadaną treść, płeć i wiek mówcy, a także język, którym się on posługuje.

In the following thesis a method of automatic detection of selected otolaryngeal diseases and neurodevelopmental disorders based on speaker embeddings extracted from speech signal, called x- vectors, is presented. Modifications of the architecture of a neural network used for x-vectors extraction and its training process are proposed. These modifications were performed in order to increase generalization abilities and accuracy of classification models used for the detection of the aforementioned medical conditions. Statistical analysis of evaluation metrics obtained by models trained on proposed x-vectors variants was performed in order to examine statistical significance of differences in values obtained by these models and to select the solution leading to the best results. Presented analysis proved that the proposed approach allows for the detection of selected otolaryngeal diseases and neurodevelopmental disorders with higher accuracy than methods described in literature. Importantly, the proposed method is text-independent and universal, i.e. leads to satisfactory results irrespective of speaker's age, sex and language they speak.