Machine learning with applications in cyber security

Abstract

In the last few years, Machine Learning has had a revolutionary impact in the cyber security domain. This integration was particularly enhanced by the emergence of highly sophisticated cyber threats, whose detection and mitigation are getting harder to achieve using traditional approaches alone, and Machine Learning’s ability to provide tools for intelligent threat detection, such as big data analysis, anomalous behaviour detection, and real-time prediction. At the same time, recent years have witnessed an increasing number of cyber-attacks that are specifically designed for disrupting critical infrastructure; such as telecommunications, healthcare, energy, and public services, whose continuous provision of high-availability services is of paramount importance. Additionally, one primary problem for many Intrusion Detection Systems when dealing with emerging threats is their heavy reliance on known signatures, an approach that has been proven to exhibit poor results for detecting zero-day attacks. By adopting an application-centric approach, this thesis addresses these deficiencies and proposes a series of defensive tools that integrate the effectiveness of Machine Learning inference as their core element. In doing so, it also deals with the inherent computational challenges that characterise Machine Learning-based processes and includes as many challenges as possible for each security problem to explore each detection application in its most realistic scenario. Emphasis is also given on the protection of critical infrastructure, an environment that is particularly vulnerable to attack operations. Additionally, it incorporates fuzzy logic principles into the proposed solutions, acknowledging their vast contribution to the field of machine intelligence. The contributions of this work include a) the use of DNS data to mitigate overload states of the DNS servers, b) the investigation of an underestimated attack that targets temperature-sensitive infrastructures such as data centres, and c) an extended analysis of malicious activity detection (which was conducted in two parts) that is based on image conversion, intelligent colour assignment, space-filling curves, Deep Learning, and economical image representation. While the first two applications of this work contribute immediately to intrusions targeting critical systems, the application based on binary visualisation and its extension can be applied to critical infrastructure too. Finally, all applications can be seen as vital parts of a modular Intrusion Detection System that promotes intelligent malicious activity detection based on historical data.

Τα τελευταία χρόνια, η Μηχανική Μάθηση είχε επαναστατική επίδραση στον τομέα της κυβερνοασφάλειας. Αυτή της η ενσωμάτωση ενισχύθηκε ιδιαίτερα από την εμφάνιση εξαιρετικά εξελιγμένων κυβερνοαπειλών, των οποίων η ανίχνευση και ο περιορισμός γίνονται όλο και πιο δύσκολο να επιτευχθούν μέσω παραδοσιακών προσεγγίσεων, αλλά και την ικανότητα της Μηχανικής Μάθησης να παρέχει εργαλεία για την έξυπνη ανίχνευση απειλών, όπως η ανάλυση μεγάλου όγκου δεδομένων, η ανίχνευση ανώμαλων μοτίβων και η πρόβλεψη σε πραγματικό χρόνο. Ταυτόχρονα, τα τελευταία χρόνια παρατηρείται ένας αυξανόμενος αριθμός κυβερνοεπιθέσεων που έχουν ως στόχο κρίσιμες υποδομές, όπως τηλεπικοινωνίες, υγειονομική περίθαλψη, ενέργεια και δημόσιες υπηρεσίες, δομές των οποίων η αδιάκοπη παροχή υπηρεσιών υψηλής διαθεσιμότητας είναι πρωταρχικής σημασίας. Επιπλέον, ένα σοβαρό πρόβλημα πολλών Συστημάτων Ανίχνευσης Εισβολών είναι ότι για την ανίχνευση πρωτότυπων επιθέσεων βασίζονται στις υπογραφές γνώριμων απειλών, μια προσέγγιση που αποδεδειγμένα παρουσιάζει μέτρια αποτελέσματα για την αντιμετώπιση επιθέσεων zero-day. Ακολουθώντας μια εφαρμογοκεντρική προσέγγιση, η παρούσα διατριβή αντιμετωπίζει αυτές τις ελλείψεις προτείνοντας μια σειρά αμυντικών εργαλείων που εντάσσουν την αποτελεσματικότητα της Μηχανικής Μάθησης ως το κεντρικό τους στοιχείο. Παράλληλα, αντιμετωπίζει τις εγγενείς υπολογιστικές προκλήσεις που χαρακτηρίζουν τις διαδικασίες που βασίζονται στην εκπαίδευση Μηχανής, ενώ συμπεριλαμβάνει όσο το δυνατόν περισσότερες προκλήσεις για κάθε πρόβλημα ασφάλειας, ώστε να εξετάσει την κάθε εφαρμογή στο πιο ρεαλιστικό της σενάριο. Ιδιαίτερη έμφαση δίνεται επίσης στην προστασία των κρίσιμων υποδομών, ενός περιβάλλοντος που είναι ιδιαίτερα ευάλωτο σε επιχειρησιακές επιθέσεις. Ακόμη, ενσωματώνει στις προτεινόμενες λύσεις αρχές της ασαφούς λογικής, αναγνωρίζοντας τη σημαντική συμβολή της στον τομέα της μηχανικής ευφυΐας. Η συνεισφορά αυτού του έργου περιλαμβάνει α) τη χρήση δεδομένων DNS για την αντιμετώπιση καταστάσεων υπερφόρτωσης των διακομιστών DNS, β) τη μελέτη ενός υποτιμημένου είδους επίθεσης που στοχεύει υποδομές ευάλωτες στη θερμοκρασία, όπως τα κέντρα δεδομένων και γ) μια εκτεταμένη ανάλυση ανίχνευσης κακόβουλης δραστηριότητας (που διεξήχθη σε δύο μέρη), η οποία βασίζεται στην μετατροπή αρχείου σε εικόνα, την έξυπνη ανάθεση χρώματος, τις καμπύλες χωροπλήρωσης, τη Βαθιά Μάθηση και μια οικονομικότερη αναπαράσταση των εικόνων. Ενώ οι δύο πρώτες εφαρμογές αυτού του έργου συμβάλλουν άμεσα στις εισβολές που στοχεύουν κρίσιμα συστήματα, η εφαρμογή που βασίζεται στην οπτικοποίηση αρχείου (binary visualisation) και η επέκτασή της μπορούν επίσης να εφαρμοστούν σε κρίσιμες υποδομές. Τέλος, όλες αυτές οι εφαρμογές μπορούν να θεωρηθούν ως τα ζωτικά μέρη ενός Συστήματος Ανίχνευσης Εισβολών με λειτουργικές μονάδες που προωθούν την έξυπνη ανίχνευση κακόβουλης δραστηριότητας κάνοντας χρήση ιστορικών δεδομένων.