The blue pill of matriX: analysis and prediction of Twitter bots via explainable AI

Abstract

Online social media have become a primary source of information, achieving rapid content spreading across the globe. However, the content of online social media has raised concerns about fake news spreading and user misinformation. Malicious users, known as bot accounts, are able to exploit current online social media towards public opinion manipulation via the spread of fake or biased information in a convincing manner. Due to Twitter's popularity and data access policies via API, it has become popular with malicious actors. During the past decade researchers have shown cases of propaganda, opinion manipulation, and influence during political events on Twitter. Measuring the direct impact of bot activity on human decisions is a challenging task. However, research has shown indirect correlations between bot activity and event outcomes, such as in the 2016 US Presidential Elections and stock market share prices. In order to preserve online social media integrity, effective bot detection methods are necessary. Current solutions lack effective bot detection in the general case and mostly offer high performance on very specific case scenarios, making them impractical in real-world situations. In this dissertation, we explore the evolution and challenges of the bot detection techniques, towards the creation of a novel general bot detection method (BotArtist). This method minimizes the utilization of the Twitter API usage and outperforms existing state-of-the-art bot detection methods. Towards this goal, we successfully identified botnet communities that share nearly identical content at nearly the same time. We meticulously analyzed a variety of characteristics and evaluated the differences between normal and bot accounts. Additionally, we applied the lessons we learned to develop machine learning models capable of bot detection within specific discussion topics. We also conducted an extensive evaluation of various account characteristics in terms of their predictive power over short and long time periods. This comprehensive approach led to the creation of BotArtist, currently the most versatile bot detection method. BotArtist has achieved remarkable results, with average F1 scores of 83.19 for specific dataset applications and 68.5 for general use cases. This represents an overall performance increase of nearly 10% compared to the current state-of-the-art methods.

Την τελευταία δεκαετία, οι πλατφόρμες κοινωνικής δικτύωσης αποτελούν πλέον την κύρια πηγή πληροφόρησης για δισεκατομμύρια ανθρώπους παγκοσμίως επιτυγχάνοντας την άμεση μετάδοση της. Ωστόσο, το περιεχόμενο των κοινωνικών δικτύων έχει εγείρει ανησυχίες σχετικά με τη διάδοση ψευδών ειδήσεων και την παραπληροφόρηση των χρηστών. Οι κακόβουλοι χρήστες, γνωστοί ως bot accounts, εκμεταλλεύονται τις πλατφόρμες κοινωνικής δικτύωσης προς χειραγώγηση της κοινής γνώμης μέσω της διάδοσης ψεύτικων ή μεροληπτικών πληροφοριών με πειστικό τρόπο. Λόγω της δημοτικότητας του Twitter και της πολιτικής πρόσβασης σε δεδομένα μέσω API, έχει γίνει δημοφιλές στους κακόβουλους χρήστες. Κατά την τελευταία δεκαετία, οι ερευνητές έχουν αποδείξει περιπτώσεις προπαγάνδας, χειραγώγησης γνώμης και επιρροής κατά τη διάρκεια πολιτικών γεγονότων στο Twitter μέσα από την βιβλιογραφία. Η μέτρηση του άμεσου αντίκτυπου της δραστηριότητας των bots στις ανθρώπινες αποφάσεις είναι μια πρόκληση. Ωστόσο, η έρευνα έχει δείξει έμμεσες συσχετίσεις μεταξύ της δραστηριότητας των bots και των γεγονότων, όπως στις προεδρικές εκλογές του 2016 στις ΗΠΑ και στις τιμές των μετοχών του χρηματιστηρίου. Προκειμένου να διατηρηθεί η ακεραιότητα των πλατφορμών κοινωνικής δικτύωσης, απαιτούνται αποτελεσματικές μέθοδοι ανίχνευσης των bots. Οι τρέχουσες μεθοδολογίες και λύσεις στερούνται της αποτελεσματικής ανίχνευσης των bots στη γενική περίπτωση και ως επί το πλείστον προσφέρουν υψηλή απόδοση σε πολύ συγκεκριμένα σενάρια περιπτώσεων, καθιστώντας τις, μη πρακτικές σε πραγματικές καταστάσεις. Σε αυτή τη διατριβή, διερευνούμε την εξέλιξη και τις προκλήσεις των τεχνικών ανίχνευσης, προς τη δημιουργία μιας νέας γενικής μεθόδου ανίχνευσης των bots (BotArtist). Αυτή η μέθοδος ελαχιστοποιεί τη χρήση του Twitter API και ξεπερνά τις υπάρχουσες μεθόδους ανίχνευσης των bots. Αρχικά επικεντρωθήκαμε στην ανίχνευση των κοινοτήτων botnet που μοιράζονται πολύ παρόμοιο περιεχόμενο σχεδόν την ίδια χρονική στιγμή. Με βάση τα ευρήματα μας αναλύσαμε τις διαφορές στα χαρακτηριστικά μεταξύ φυσιολογικών και bot λογαριασμών. Στην συνέχεια, εφαρμόσαμε την προηγούμενη γνώση για την ανάπτυξη μοντέλων μηχανικής μάθησης ικανών για τον εντοπισμό των bots κατά την διάρκεια της συζήτησης των προεδρικών εκλογών στην Αμερική 2020. Επιπλέον, πραγματοποιήσαμε μια εκτενή αξιολόγηση διαφόρων χαρακτηριστικών λογαριασμών όσον αφορά την προβλεπτική τους δύναμη σε σύντομα και μακροχρόνια χρονικά διαστήματα.Αυτή η συνολική προσέγγιση οδήγησε στη δημιουργία του BotArtist, που αυτήν τη στιγμή αποτελεί την πιο ευέλικτη μέθοδο εντοπισμού λογαριασμών των bots. Το BotArtist επέτυχε εντυπωσιακά αποτελέσματα, με μέσους όρους F1 83.19 για συγκεκριμένες εφαρμογές συνόλων δεδομένων και 68,5 για γενικές περιπτώσεις χρήσης. Αυτό αντιπροσωπεύει μια συνολική αύξηση απόδοσης κατά σχεδόν 10% σε σύγκριση με τις υπάρχοντες τεχνικές.