Towards lifelong anomaly detection in challenging scenarios and its application in cybersecurity

Abstract

W tej dysertacji opisujemy badania w zakresie połączenia wykrywania anomalii oraz lifelong learningu, tworząc algorytmy działające w trudnych scenariuszach, ze szczególnym uwzględnieniem zastosowań w cyberbezpieczeństwie. Formułujemy podstawowe pojęcia w zakresie scenariuszy, strategii i metryk. Prezentujemy także korzyści płynące z jednoczesnej adaptacji i zachowania wiedzy, które zapewnia lifelong learning. Ponadto prezentujemy oryginalną metodę VLAD, będącą odpowiedzią na problem trudnych scenariuszy, w których algorytm musi rozpoznać zmianę w danych, wskazującą na potrzebę adaptacji. Jako narzędzie wspomagające ten problem proponujemy algorytm LIFEWATCH, który jest zdolny do wykrywania zmian i rozpoznawania, czy napotkane dane są zupełnie nową sytuacją, czy też ponownym wystąpieniem już wcześniej napotkanej. Adresujemy również problem zanieczyszczonych danych uczących, tworząc metodę redukcji problemu zanieczyszczenia poprzez uczenie aktywne. Na koniec prezentujemy propozycję algorytmu wykorzystującego współdzielenie wiedzy oraz lifelong learning w zadaniu wykrywania włamań w środowisku rozproszonym. In this dissertation, we explore, motivate, and discuss lifelong anomaly detection, creating methods working in challenging scenarios with a particular focus on cybersecurity applications. More specifically, we provide foundations with regard to scenarios, strategies, and metrics. We also showcase the benefits of simultaneous adaptation and knowledge retention provided by lifelong learning. Moreover, we design VLAD - a method that answers the problem of challenging scenarios in which the model has to recognize a change in data that indicates a need for a model to adapt. As a support tool for this problem, we create a LIFEWATCH algorithm capable of detecting changes and recognizing whether new data is something new or a reoccurrence of an already encountered situation. We also address the problem of contaminated training data by devising an active lifelong anomaly detection framework that leverages the external oracle to mitigate the contamination. Finally, we present our framework for distributed lifelong intrusion detection, which showcases how collaborative lifelong learning can improve the detection abilities of distributed intrusion detection systems.