Machine learning based detection and evasion techniques for advanced web bots

Abstract

Web bots are programs that can be used to browse the web and perform different types of automated actions, both benign and malicious. Such web bots vary in sophistication based on their purpose, ranging from simple automated scripts to advanced web bots that have a browser fingerprint and exhibit a humanlike behaviour. Advanced web bots are especially appealing to malicious web bot creators, due to their browserlike fingerprint and humanlike behaviour which reduce their detectability. Several effective behaviour-based web bot detection techniques have been proposed in literature. However, the performance of these detection techniques when targeting malicious web bots that try to evade detection has not been examined in depth. Such evasive web bot behaviour is achieved by different techniques, including simple heuristics and statistical distributions, or more advanced machine learning based techniques. Motivated by the above, in this thesis we research novel web bot detection techniques and how effective these are against evasive web bots that try to evade detection using, among others, recent advances in machine learning. To this end, we initially evaluate state-of-the-art web bot detection techniques against web bots of different sophistication levels and show that, while the existing approaches achieve very high performance in general, such approaches are not very effective when faced with only advanced web bots that try to remain undetected. Thus, we propose a novel web bot detection framework that can be used to detect effectively bots of varying levels of sophistication, including advanced web bots. This framework comprises and combines two detection modules: (i) a detection module that extracts several features from web logs and uses them as input to several well-known machine learning algorithms, and (ii) a detection module that uses mouse trajectories as input to Convolutional Neural Networks (CNNs). Moreover, we examine the case where advanced web bots utilise themselves the recent advances in machine learning to evade detection. Specifically, we propose two novel evasive advanced web bot types: (i) the web bots that use Reinforcement Learning (RL) to update their browsing behaviour based on whether they have been detected or not, and (ii) the web bots that have in their possession several data from human behaviours and use them as input to Generative Adversarial Networks (GANs) to generate images of humanlike mouse trajectories. We show that both approaches increase the evasiveness of the web bots by reducing the performance of the detection framework utilised in each case. We conclude that malicious web bots can exhibit high sophistication levels and combine different techniques that increase their evasiveness. Even though web bot detection frameworks can combine different methods to effectively detect such bots, web bots can update their behaviours using, among other, recent advances in machine learning to increase their evasiveness. Thus, the detection techniques should be continuously updated to keep up with new techniques introduced by malicious web bots to evade detection.

Τα web bots είναι προγράμματα που μπορούν να χρησιμοποιηθούν για την περιήγηση στον Ιστό και την εκτέλεση διαφορετικών τύπων αυτοματοποιημένων ενεργειών, καλοήθων και κακόβουλων. Τέτοια web bot ποικίλλουν σε πολυπλοκότητα ανάλογα με το σκοπό τους, και κυμαίνονται από απλά αυτοματοποιημένα web bots αποτελούμενα από απλής πολυπλοκότητας κώδικα μικρού μεγέθους έως προηγμένα web bot που έχουν χαρακτηριστικά προγράμματος περιήγησης και παρουσιάζουν ανθρώπινη συμπεριφορά. Τα προηγμένα web bot είναι ιδιαίτερα ελκυστικά για τους δημιουργούς κακόβουλων web bots, λόγω των χαρακτηριστικών τους που μοιάζουν με πρόγραμμα περιήγησης και της ανθρώπινης συμπεριφοράς που μειώνουν την ανιχνευσιμότητα τους. Στη βιβλιογραφία έχουν προταθεί αρκετές αποτελεσματικές τεχνικές ανίχνευσης web bot με βάση τη συμπεριφορά. Ωστόσο, η απόδοση αυτών των τεχνικών ανίχνευσης κακόβουλων web bots που προσπαθούν να αποφύγουν εντοπισμό δεν έχει εξεταστεί σε βάθος. Αυτή η συμπεριφορά αποφυγής εντοπισμού επιτυγχάνεται με διαφορετικές τεχνικές, συμπεριλαμβανομένων απλών ευρετικών τεχνικών και χρήσης στατιστικών κατανομών, αλλά και πιο προηγμένων τεχνικών που βασίζονται στη μηχανική μάθηση. Με κίνητρο τα παραπάνω, σε αυτή τη διατριβή ερευνούμε καινοτόμες τεχνικές ανίχνευσης web bot και πόσο αποτελεσματικές είναι αυτές ενάντια σε web bots που προσπαθούν να αποφύγουν τον εντοπισμό χρησιμοποιώντας, μεταξύ άλλων, καινοτόμες τεχνικές μηχανικής μάθησης. Για το σκοπό αυτό, αρχικά αξιολογούμε τις σύγχρονες τεχνικές ανίχνευσης web bot έναντι web bot διαφορετικών επιπέδων ευφυΐας και δείχνουμε ότι, ενώ οι υπάρχουσες προσεγγίσεις επιτυγχάνουν γενικά πολύ υψηλή απόδοση, τέτοιες προσεγγίσεις δεν είναι πολύ αποτελεσματικές όταν αντιμετωπίζουν αποκλειστικά προηγμένα web bot που προσπαθούν να αποφύγουν τον εντοπισμό. Έτσι, προτείνουμε ένα νέο πρόγραμμα ανίχνευσης web bot που μπορεί να χρησιμοποιηθεί για τον αποτελεσματικό εντοπισμό web bot διαφορετικών επιπέδων ευφυΐας, συμπεριλαμβανομένων των προηγμένων web bot. Αυτό το πρόγραμμα περιλαμβάνει και συνδυάζει δύο μονάδες ανίχνευσης: (i) μια μονάδα ανίχνευσης που εξάγει χαρακτηριστικά από αρχεία καταγραφής web και τα χρησιμοποιεί ως είσοδο σε γνωστούς αλγόριθμους μηχανικής μάθησης και (ii) μια μονάδα ανίχνευσης που χρησιμοποιεί τροχιές ποντικιού ως είσοδο σε Συνελικτικά νευρωνικά δίκτυα (Convolutional Neural Networks, CNN). Επιπλέον, εξετάζουμε την περίπτωση όπου τα προηγμένα web bot χρησιμοποιούν τις πρόσφατες εξελίξεις στη μηχανική μάθηση για να αποφύγουν τον εντοπισμό. Συγκεκριμένα, προτείνουμε δύο νέους τύπους προηγμένων web bot που επιχειρούν αποφυγή εντοπισμού: (i) τα web bot που χρησιμοποιούν Ενισχυτική μάθηση (Reinforcement Learning, RL) για να αλλάξουν τη συμπεριφορά περιήγησής τους με βάση το αν έχουν εντοπιστεί ή όχι και (ii) τα web bots που έχουν στην κατοχή τους πολλά δεδομένα από ανθρώπινες συμπεριφορές και τα χρησιμοποιούν ως είσοδο σε Γεννητικά Ανταγωνιστικά Δίκτυα (Generative Adversarial Networks, GANs). Δείχνουμε ότι και οι δύο προσεγγίσεις αυξάνουν τη αποφυγή εντοπισμού των web bots μειώνοντας την απόδοση του προγράμματος ανίχνευσης που χρησιμοποιείται σε κάθε περίπτωση. Συμπεραίνουμε ότι τα κακόβουλα web bots μπορούν να επιδείξουν υψηλά επίπεδα ευφυΐας και να συνδυάσουν διαφορετικές τεχνικές που αυξάνουν την αποφυγή εντοπισμού τους. Παρόλο που τα προγράμματα ανίχνευσης web bot μπορούν να συνδυάσουν διαφορετικές μεθόδους για την αποτελεσματική ανίχνευση τέτοιων bots, τα web bot μπορούν να αλλάξουν τη συμπεριφορά τους χρησιμοποιώντας, μεταξύ άλλων, πρόσφατες εξελίξεις στη μηχανική μάθηση για να αυξήσουν την αποφυγή εντοπισμού τους. Συμπερασματικά, οι τεχνικές ανίχνευσης θα πρέπει να ενημερώνονται συνεχώς για να συμβαδίζουν με τις νέες τεχνικές που εισάγονται από κακόβουλα web bots για την αποφυγή του εντοπισμού.