Processing and analysis of EEG data recordings with the application of machine learning methods

Abstract

Cognition refers to all conscious mental activity, involved in thinking, remembering, and reasoning. As such, the different brain functions range from volitional movement to language, imagination and planning. Conventionally, brain research focuses on the perception of the external world by examining how information is processed by analyzing biomedical records based on statistical or quantitative characteristics. However, the complex attributes and interactions in the human brain pose several challenges in order to effectively elucidate the underlying neural substrates that govern higher-order cerebral functions. To address this, recent studies have suggested the inclusion of machine learning designs as a way for an effective and accurate analysis of the complicated properties of brain signals, unveiling (hidden) cognitive associations and characteristics. In this PhD dissertation, advanced machine learning approaches for processing and analysis of electroencephalographic (EEG) signals are proposed, exploiting the signal properties in the time and/or frequency domains. Towards this direction, three high-density EEG experiments were employed in order to study higher-order cognitive functions, forming the basis for real-world applications especially in the field of Brain-Computer Interfaces (BCI). The recorded EEG data were investigated using event-related potentials (ERPs), spectral decomposition and brain networks, while new methodologies were developed for the modeling, reconstruction and analysis of neurological structures providing valid results. Moreover, the features extracted from each experiment (representing different properties of the various brain structures) were combined with different classification and feature selection techniques, isolating a small subset of important interactions which achieved high accuracy in the discrimination between the different conditions. Of note is that the deciphering of the brain electrical activity in a global manner (irrelevant of task and subject variability) is a major requirement for the adaptation of a common framework to real world BCI applications. As such, this Doctoral Thesis focuses on addressing this through expanding the current state-of-the art in neurocognitive adaptations of Machine Learning.Specifically, experiment 1 (Chapter 3) investigates the impact of different time windows in time-locked ERP components after an error was committed, in an auditory task with varying complexity conditions. As such, signal characteristics (like amplitude, latency etc.) that are representative of error-elicited ERP components were utilized in a feature selection and classification framework examining the effect of EEG signal modulations through time. Experiment 2 (Chapter 4) regards the task-independent assessment of high vs low mental workload in two different working memory paradigms. Within this scope, a brain network design was combined with EEG spectral characteristics to extract the global traits that are representative of mental load, while different classification schemes were paired with a feature selection algorithm to evaluate the distinguishability properties of the fused feature subsets. Further examination of the selected features revealed common task-independent patterns regarding their spectral and localization properties. Lastly, experiment 3 (Chapter 5) investigates the neural mechanisms of mental workload and their modulation in conditions simulating real-world scenarios. On this premise, a well-controlled EEG flight simulation experiment was conducted in computer screen (2D) and virtual reality (3D) conditions with multiple levels of difficulty. The resulting data were subsequently processed using electrical source imaging (ESI) and parcellated into cortical regions constructing spectral source space networks. Machine learning algorithms were then applied to compare the connectivity alterations and identify the brain networks reorganization patterns in regard to each workload level and condition.The outcomes provide new insights in the underlying cognitive mechanisms, while provide support to experts in the relevant medical fields, subsequently allowing effective monitoring of brain activity. In addition, the combination of machine learning analysis and processing with neuroscience pave the way for Human-Machine Interface (HMI) and BCI applications in both scientific and medical fields. The experimental works and analysis in the aforementioned experiments form the theoretical basis for HMI/BCI, the implications and taxonomy of which is also discussed in this PhD (Chapter 6).

Σε αυτή τη διδακτορική διατριβή, έχει εφαρμοστεί ένα ευρύ φάσμα προσεγγίσεων Μηχανικής Μάθησης (ΜΜ) σε πειράματα που σχετίζονται με τον εγκέφαλο, παρέχοντας τη βάση για αλληλεπιδράσεις Διεπαφών Ανθρώπου-Μηχανής (ΔΑΜ) και Διεπαφών Εγκεφάλου-Υπολογιστή (ΔΕΥ) ρίχνοντας φως σε υποκείμενες γνωστικές πτυχές διαφορετικών καταστάσεων όσον αφορά τη νευροεπιστήμη. Υπό αυτό το πρίσμα, πρέπει να σημειωθεί ότι η εφαρμογή ΔΕΥ απαιτεί τη συνεχή μέτρηση των εγκεφαλικών σημάτων τα οποία να μπορούν να μεταφραστούν και να εισάγουν πληροφορίες στη συνδεδεμένη συσκευή για την εκτέλεση της κάθε εργασίας. Κατ' επέκταση, μη σχετιζόμενα νευρικά ερεθίσματα ενδέχεται να συγχέουν την εσωτερική διαδικασία ταξινόμησης, επομένως είναι εξαιρετικά σημαντικό να ανιχνεύονται συγκεκριμένες νευρικές ιδιότητες με τρόπο που να είναι όσο το δυνατόν πιο διακριτές και με καθολικό τρόπο. Ο στόχος της διατριβής αυτής είναι να θέσει τα θεμέλια για την εφαρμογή ΔΕΥ αξιολογώντας τα καθολικά χαρακτηριστικά διαφορετικών γνωστικών καταστάσεων και συνθηκών στα πλαίσια ΜΜ, ενώ παράλληλα να λαμβάνει υπόψη τις εξελίξεις στις αλγοριθμικές εφαρμογές και των εφαρμογών των υπαρχόντων συστημάτων στην ανάλυση ηλεκτροεγκεφαλογραφικών (ΗΕΓ) καταγραφών.Πιο συγκεκριμένα, προτείνονται προηγμένες προσεγγίσεις Μηχανικής Μάθησης για την επεξεργασία και την ανάλυση των ηλεκτροεγκεφαλογραφικών σημάτων, αξιοποιώντας ιδιότητες σήματος στο πεδίο του χρόνου και / ή συχνότητας. Προς αυτήν την κατεύθυνση, χρησιμοποιήθηκαν τρία πειράματα ηλεκτροεγκεφαλογραφικών καταγραφών υψηλής πυκνότητας προκειμένου να μελετηθούν γνωστικές λειτουργίες υψηλότερης τάξης, αποτελώντας τη βάση για εφαρμογές πραγματικού κόσμου ειδικά στον τομέα των Διεπαφών Εγκεφάλου-Υπολογιστή. Σε αυτήν τη διδακτορική διατριβή, προτείνονται προηγμένες προσεγγίσεις Μηχανικής Μάθησης για την επεξεργασία και την ανάλυση των ηλεκτροεγκεφαλογραφικών σημάτων, αξιοποιώντας ιδιότητες σήματος στο πεδίο του χρόνου και / ή συχνότητας. Προς αυτήν την κατεύθυνση, χρησιμοποιήθηκαν τρία πειράματα ηλεκτροεγκεφαλογραφικών καταγραφών υψηλής πυκνότητας προκειμένου να μελετηθούν γνωστικές λειτουργίες υψηλότερης τάξης, αποτελώντας τη βάση για εφαρμογές πραγματικού κόσμου ειδικά στον τομέα των Διεπαφών Εγκεφάλου-Υπολογιστή. Τα καταγεγραμμένα δεδομένα διερευνήθηκαν χρησιμοποιώντας δυναμικά που σχετίζονται με συμβάντα (Βιωματικά Δυναμικά, ΒΔ), φασματική αποσύνθεση και δίκτυα εγκεφάλου, ενώ αναπτύχθηκαν νέες μεθοδολογίες για τη μοντελοποίηση και ανάλυση των νευρολογικών δομών παρέχοντας έγκυρα αποτελέσματα. Επιπλέον, τα χαρακτηριστικά που εξήχθησαν από κάθε πείραμα συνδυάστηκαν με διαφορετικές τεχνικές ταξινόμησης και επιλογής χαρακτηριστικών (απομονώνοντας ένα μικρό υποσύνολο σημαντικών αλληλεπιδράσεων) και πετυχαίνοντας υψηλή ακρίβεια στη διάκριση μεταξύ των διαφόρων καταστάσεων. Αξίζει να σημειωθεί ότι η αποκρυπτογράφηση της ηλεκτρικής δραστηριότητας του εγκεφάλου με γενικευμένο τρόπο (άσχετο με τη μεταβλητότητα των εργασιών και των θεμάτων) είναι μια σημαντική απαίτηση για την προσαρμογή ενός κοινού πλαισίου σε πραγματικές εφαρμογές Διεπαφών Εγκεφάλου Υπολογιστή. Σε αυτό επικεντρώνεται αυτή η διδακτορική διατριβή, μέσω της επέκτασης της τρέχουσας τεχνολογίας σε νευρογνωστικές προσαρμογές της Μηχανικής Μάθησης. Πιο συγκεκριμένα, το πείραμα 1 (Κεφάλαιο 3) διερευνά τον αντίκτυπο διαφορετικών χρονικών παραθύρων σε ΒΔ μετά το σφάλμα σε ακουστική δοκιμασία με διαφορετικές συνθήκες πολυπλοκότητας. Ως εκ τούτου, χαρακτηριστικά σήματος (όπως πλάτος, λανθάνουσα κατάσταση κ.λπ.) που είναι αντιπροσωπευτικά των συστατικών ΒΔ που προκαλούνται από σφάλματα, χρησιμοποιήθηκαν σε ένα πλαίσιο επιλογής χαρακτηριστικών και ταξινόμησης που εξετάζει την επίδραση των διαμορφώσεων σήματος με την πάροδο του χρόνου. Το πείραμα 2 (Κεφάλαιο 4) αφορά την ανεξάρτητη (από το είδος διαδικασίας) εκτίμηση του υψηλού έναντι του χαμηλού νοητικού φόρτου εργασίας σε δύο διαφορετικά παραδείγματα μνήμης εργασίας. Στο πλαίσιο αυτό, ένα δικτύου εγκεφάλου συνδυάστηκε με φασματικά χαρακτηριστικά εγκαφαλογραφήματος για την εξαγωγή των γενικευμένων χαρακτηριστικών που είναι αντιπροσωπευτικά του νοητικού φόρτου, ενώ διαφορετικοί μέθοδοι ταξινόμησης συνδυάστηκαν με έναν αλγόριθμο επιλογής χαρακτηριστικών για την αξιολόγηση των ιδιοτήτων διακριτότητας των υποσύνολων λειτουργιών. Η περαιτέρω εξέταση των επιλεγμένων χαρακτηριστικών αποκάλυψε κοινά πρότυπα ανεξάρτητα από την εργασία σχετικά με τις φασματικές και τοπολογικές τους ιδιότητες. Τέλος, το πείραμα 3 (Κεφάλαιο 5) διερευνά τους νευρικούς μηχανισμούς του νοητικού φόρτου εργασίας και τη διαμόρφωσή τους σε συνθήκες που προσομοιώνουν σενάρια πραγματικού κόσμου. Σε αυτήν την περίπτωση, πραγματοποιήθηκε ένα καλά ελεγχόμενο πείραμα προσομοίωσης πτήσης σε περιβάλλοντα οθόνης υπολογιστή (2D) και εικονικής πραγματικότητας (3D) με πολλαπλά επίπεδα δυσκολίας. Τα προκύπτοντα δεδομένα στη συνέχεια υποβλήθηκαν σε επεξεργασία χρησιμοποιώντας εύρεση νευρολογικών πηγών και συσσωματώθηκαν σε φλοιώδεις περιοχές κατασκευάζοντας φασματικά διαστημικά δικτύων πηγής. Στη συνέχεια εφαρμόστηκαν αλγόριθμοι μηχανικής μάθησης για να συγκριθούν οι μεταβολές της συνδεσιμότητας και να εντοπιστούν τα πρότυπα αναδιοργάνωσης των εγκεφαλικών δικτύων σε σχέση με κάθε επίπεδο και κατάσταση φόρτου εργασίας.Τα αποτελέσματα παρέχουν νέες γνώσεις στους υποκείμενους γνωστικούς μηχανισμούς, ενώ παρέχουν υποστήριξη σε ειδικούς στους σχετικούς ιατρικούς τομείς, επιτρέποντας στη συνέχεια την αποτελεσματική παρακολούθηση της εγκεφαλικής δραστηριότητας. Επιπλέον, ο συνδυασμός της ανάλυσης που παρέχεται μέσω της Μηχανικής Μάθησης με τη νευροεπιστήμη ανοίγει το δρόμο για εφαρμογές διεπαφής ανθρώπου/εγκεφάλου-μηχανής τόσο σε επιστημονικούς όσο και σε ιατρικούς τομείς. Τα πειραματικά έργα και η ανάλυση στα προαναφερθέντα πειράματα αποτελούν τη θεωρητική βάση για τέτοιες διεπαφές, των οποίων οι επιπτώσεις και η ταξινόμηση συζητούνται επίσης σε αυτό το διδακτορικό (Κεφάλαιο 6).