Machine learning methods for recognizing brain disorders

Abstract

Brain disorders represent a significant health challenge. It is estimated that approximately 165 million people suffer from a brain disorder in Europe, while 1 in 3 people will experience such a disorder during their lifetime. Some types of the brain disorders are the following: Alzheimer’s disease, dementias, epilepsy, Parkinson’s disease, Mental disorders, and more. These disorders affect the way people think, feel, or perform daily activities. However, if these disorders are diagnosed early and the person receives suitable medication, their progression may be delayed. For this reason, early diagnosis is crucial. Artificial Intelligence (AI) holds the promise of transforming how we tackle societal issues and enhancing the welfare of both individuals and communities. “AI for Social Good”, also known as “AI for Social Impact” is a new research field aiming to tackle some of the most important social, environmental, and public health challenges that exist today. Another main aim of the “AI for Social Good” is to address the United Nations Sustainable Development Goals (UNSDGs). This PhD thesis aims to contribute to this new field by developing modern machine learning methods, with a particular focus on three major categories (Depression, Alzheimer’s Dementia and Epilepsy). Depression entails a great number of symptoms, including loss of interest, anger, pessimism, changes in weight, feelings of worthlessness, thoughts of suicide, and many more. Social media are used on a daily basis by people, who express their thoughts, feelings by discussing with other users. Prior work employs transformer-based models. However, these models often cannot capture rich factual knowledge. Also, speech is a reliable biomarker for diagnosing depression, since depressed people present decreased verbal activity productivity and “lifeless” sounding speech. However, existing methods employ unimodal models, use early, intermediate, or late fusion strategies to fuse the different modalities, rely on feature extraction, and perform their approaches only in the English language. Alzheimer’s dementia is characterized by loss of memory, while it affects language and speech. Previous work utilizes speech and transcripts for recognizing dementia. However, prior work focuses on just improving the performance of proposed models, relies on feature extraction, while early and late fusion strategies are employed in terms of multimodal approaches, i.e., approaches employing both speech and transcripts. Epilepsy and seizures entail social stigma. Existing works rely on extraction of handcrafted features from electroencephalography (EEG) or dividing the EEG signals into multiple sub-signals and exploiting majority vote approaches. This PhD thesis is the first to systematically investigate various methods for identifying (i) depression by utilizing posts in social media and spontaneous speech, (ii) AD patients and predicting their Mini Mental State Examination scores through spontaneous speech, (iii) epilepsy through single-channel EEG signals. The key contributions of our work are the following: First, we introduce two methods for identifying depression. Regarding the first approach, we present the task of predicting depression in social media and propose a method for injecting external linguistic information into novel pretrained neural language models (e.g. BERT). We show that incorporating linguistic features is beneficial to depression recognition task. In terms of the second approach, we introduce a method which identifies depression based on speech and automatic transcripts. Secondly, for identifying dementia, we fine-tune language models based on transformers and present explainable approaches and linguistic analyses to investigate differences in language between healthy and AD patients. Thirdly, we introduce methods for fusing the different modalities (speech, text), calibrating the proposed models, enhancing the self-attention networks with contextual information, and automatically generating Convolutional Neural Network architectures (Neural Architecture Search). Finally, we present a multimodal approach for detecting epilepsy by exploiting single – channel EEG signals. All experiments are conducted on publicly available datasets. This PhD thesis represents a first, fundamental step among other recent efforts towards improving the performance of automatic systems aiming at recognizing various brain disorders using modern deep learning techniques. This thesis further advances the application of new technologies and sheds light on the emerging fields of text, speech, image and signal processing.

Οι διαταραχές του εγκεφάλου αποτελούν μία από τις μεγαλύτερες προκλήσεις για την υγεία. Υπολογίζεται ότι περίπου 165 εκατομμύρια άνθρωποι πάσχουν από εγκεφαλική διαταραχή στην Ευρώπη, ενώ 1 στους 3 ανθρώπους θα υποφέρει από εγκεφαλική διαταραχή κάποια στιγμή στη ζωή του. Μερικοί τύποι εγκεφαλικών διαταραχών είναι οι ακόλουθοι: Νόσος Αλτσχάιμερ, διάφοροι τύποι άνοιας, επιληψία, νόσος Πάρκινσον, ψυχικές διαταραχές, κ.ά. Αυτές οι διαταραχές επηρεάζουν τον τρόπο με τον οποίο οι άνθρωποι σκέφτονται, αισθάνονται ή εκτελούν καθημερινές δραστηριότητες. Ωστόσο, εάν αυτές οι διαταραχές διαγνωστούν έγκαιρα και το άτομο λάβει την κατάλληλη φαρμακευτική αγωγή, η εξέλιξή τους μπορεί να καθυστερήσει σημαντικά. Για το λόγο αυτό, η έγκαιρη διάγνωση είναι καθοριστική. Η Τεχνητή Νοημοσύνη (ΤΝ) μετασχηματίζει τον τρόπο με τον οποίο αντιμετωπίζουμε κοινωνικά ζητήματα ενισχύοντας την ευημερία τόσο των ατόμων όσο και των κοινοτήτων. Ο όρος “ΤΝ για το Κοινωνικό Καλό”, επίσης γνωστός ως “ΤΝ για το Κοινωνικό Αντίκτυπο”, είναι ένα νέο πεδίο έρευνας που στοχεύει στην αντιμετώπιση μερικών από τα πιο σημαντικά κοινωνικά, περιβαλλοντικά και δημόσια υγειονομικά προβλήματα που υπάρχουν σήμερα. Η παρούσα διδακτορική διατριβή έχει ως στόχο να συμβάλει σε αυτό το νέο πεδίο με την ανάπτυξη σύγχρονων μεθόδων μηχανικής μάθησης, για την αναγνώριση τριών μείζονων διαταραχών του εγκεφάλου, συμπεριλαμβανομένης της κατάθλιψης, άνοιας της νόσου Αλτσχάιμερ και επιληψίας. Η κατάθλιψη συνεπάγεται μεγάλο αριθμό συμπτωμάτων, όπως απώλεια ενδιαφέροντος, θυμό, απαισιοδοξία, αλλαγές στο βάρος, αισθήματα ανικανότητας, σκέψεις αυτοκτονίας και πολλά άλλα. Τα μέσα κοινωνικής δικτύωσης χρησιμοποιούνται σε καθημερινή βάση από ανθρώπους, οι οποίοι εκφράζουν τις σκέψεις και τα συναισθήματά τους συζητώντας με άλλους χρήστες. Οι υπάρχουσες εργασίες χρησιμοποιούν δεδομένα από τα μέσα κοινωνικής δικτύωσης με σκοπό τον εντοπισμό καταθλιπτικών δημοσιεύσεων. Οι εργασίες αυτές χρησιμοποιούν μοντέλα που βασίζονται σε μετασχηματιστές (transformers). Ωστόσο, αυτά τα μοντέλα συχνά δεν μπορούν να συλλάβουν πλούσια τεκμηριωμένη γνώση. Επίσης, η ομιλία είναι ένας αξιόπιστος βιοδείκτης για τη διάγνωση της κατάθλιψης, καθώς οι άνθρωποι με κατάθλιψη παρουσιάζουν μειωμένη παραγωγικότητα λεκτικής δραστηριότητας και “άψυχο” ήχο ομιλίας. Ωστόσο, οι υπάρχουσες μέθοδοι χρησιμοποιούν μονοτροπικά μοντέλα, εφαρμόζουν στρατηγικές early, intermediate, και late fusion για τη συγχώνευση των διαφορετικών τροπικοτήτων, βασίζονται στην εξαγωγή χαρακτηριστικών και εκτελούν τις προσεγγίσεις τους μόνο στην αγγλική γλώσσα. Η άνοια στη νόσο Αλτσχάιμερ χαρακτηρίζεται από απώλεια μνήμης, ενώ επηρεάζει τη γλώσσα και την ομιλία. Προηγούμενες εργασίες χρησιμοποιούν την ομιλία και απομαγνητοφωνήσεις για την αναγνώριση της άνοιας. Ωστόσο, οι προηγούμενες εργασίες επικεντρώνονται απλώς στη βελτίωση της απόδοσης των προτεινόμενων μοντέλων, βασίζονται στην εξαγωγή χαρακτηριστικών, ενώ οι στρατηγικές early και late fusion χρησιμοποιούνται όσον αφορά τις πολυτροπικές προσεγγίσεις, δηλαδή προσεγγίσεις που χρησιμοποιούν τόσο την ομιλία όσο και το απομαγνητοφωνημένο κείμενο. Οι επιληπτικές κρίσεις συνεπάγονται κοινωνικό στίγμα. Οι υπάρχουσες εργασίες βασίζονται στην εξαγωγή χαρακτηριστικών από το ηλεκτροεγκεφαλογράφημα (ΗΕΓ) ή στη διαίρεση των σημάτων ΗΕΓ σε πολλαπλά υποσήματα και στην χρησιμοποίηση τεχνικών majority vote στη συνέχεια. Αυτή η διδακτορική διατριβή είναι η πρώτη που διερευνά συστηματικά διάφορες μεθόδους για τον εντοπισμό (i) της κατάθλιψης χρησιμοποιώντας αναρτήσεις στα μέσα κοινωνικής δικτύωσης και ομιλία, (ii) ασθενών με άνοια της νόσου Αλτσχάιμερ και πρόβλεψης των βαθμολογιών τους μέσω μίας σύντομης εξέτασης της νοητικής κατάστασης - Βραχεία Κλίμακα Εκτίμησης των Νοητικών Λειτουργιών (Mini Mental State Examination) με χρήση αυθόρμητου λόγου, (iii) επιληψίας μέσω σημάτων ΗΕΓ μονού καναλιού. Οι βασικές συνεισφορές της διατριβής είναι οι εξής: Αρχικά, εισάγονται δύο μέθοδοι για την αναγνώριση της κατάθλιψης. Όσον αφορά την πρώτη μέθοδο, εισάγεται η εργασία της διάγνωσης της κατάθλιψης στα μέσα κοινωνικής δικτύωσης και προτείνεται μια μέθοδος για την ενσωμάτωση εξωτερικών γλωσσικών πληροφοριών σε προεκπαιδευμένα γλωσσικά μοντέλα (π.χ. BERT, MentalBERT). Αναδεικνύεται, έτσι, ότι η ενσωμάτωση γλωσσικών χαρακτηριστικών είναι ευεργετική για την αναγνώριση της κατάθλιψης. Όσον αφορά τη δεύτερη μέθοδο, εισάγεται μία προσέγγιση, η οποία βασίζεται στη χρήση ομιλίας και παραγόμενων από μηχανή (automatic) απομαγνητοφωνημένων κειμένων. Για τον εντοπισμό της άνοιας, βελτιστοποιούνται τα γλωσσικά μοντέλα που βασίζονται σε μετασχηματιστές (transformers) και παρουσιάζονται προσεγγίσεις επεξηγησιμότητας (explainability) και γλωσσικές αναλύσεις για τη διερεύνηση των διαφορών στη γλώσσα μεταξύ υγιών ατόμων και ασθενών με άνοια. Επίσης, εισάγονται μέθοδοι για τη συγχώνευση των διαφορετικών τροπικοτήτων (ομιλία, κείμενο), το καλιμπράρισμα (calibration) των προτεινόμενων μοντέλων με στόχο την αποφυγή δημιουργίας υπερβολικά σίγουρων μοντέλων, την ενίσχυση – βελτίωση των δικτύων αυτοπροσοχής (self – attention) με πληροφορίες σχετικές με τα συμφραζόμενα και την αυτόματη δημιουργία αρχιτεκτονικών Συνελικτικών Νευρωνικών Δικτύων με χρήση τεχνικών αυτόματης αναζήτησης αρχιτεκτονικών νευρωνικού δικτύου. Τέλος, παρουσιάζεται μια πολυτροπική προσέγγιση για την ανίχνευση της επιληψίας αξιοποιώντας μονοκάναλα σήματα ΗΕΓ. Όλα τα πειράματα διεξάγονται σε δημοσίως διαθέσιμα σύνολα δεδομένων.Αυτή η διδακτορική διατριβή αποτελεί ένα πρώτο, θεμελιώδες βήμα μεταξύ άλλων πρόσφατων προσπαθειών, προς τη βελτίωση της απόδοσης των αυτόματων συστημάτων που στοχεύουν στην αναγνώριση διαφόρων διαταραχών του εγκεφάλου με τη χρήση σύγχρονων τεχνικών βαθιάς μάθησης, προωθεί περαιτέρω την εφαρμογή των νέων τεχνολογιών και ρίχνει φως στααναδυόμενα πεδία της επεξεργασίας κειμένου, ομιλίας, εικόνας και σήματος.