Neural decoding schemes for BCIs in Neuroergonomics

Abstract

This thesis focuses on two different electroencephalography (EEG) based Brain-Computer Interface (BCI) applications in the context of neuroergonomics. The first concerns the so-called error-aware systems while the second revolves around human monitoring in driving and driving-like settings.Regarding the error-aware systems, we initially examined the possibility of exploiting brain's spontaneous responses with respect to the perception of an error (a response known as Error-Related Potential; ErrP) so as to create systems that are capable of incorporating self-correcting capabilities. In order to increase the detectability of such responses and consequently the neural decoding capabilities of a system, a generalized methodology for designing spatial filters based on the Fisher’s discriminant analysis of single-trial temporal patterning is presented. Moreover, it is shown that Fisher’s separability criterion constitutes the natural extension of a standard Signal-to-Noise Ratio (SNR) estimator suitable for multi-trial Event Related Potential (ERP) responses, and can therefore naturally lead to spatial filters that conform to discriminant analysis. Furthermore, to calculate the effectiveness of an error-agnostic BCI system that incorporates error detection capabilities, an extension of the Utility Metric is provided. The introduced metric, referred to as Inverse Correct Response Time (ICRT), corresponds to the inverse of the average time needed for an individual to complete an action using the error-aware BCI correctly and is monotonically related to the Information Transfer Rate (ITR) of the system. The aforementioned are combined to realize a gaze-based keyboard that can automatically erase the perceived typographic errors in real-time.Next, in the case of monitoring driving behavioural responses, a different course of action is followed, based on non-Euclidean methods. The fact that spatial covariance matrices provide a computationally efficient estimator of the brain’s functional connectivity while abiding to the Symmetric Positive Definite (SPD) manifold paved the way for novel decoding schemes that exploit concepts from Riemannian geometry. A critical issue that arises when treating an instance of spatial covariance as an ensemble of features is the high dimensionality of the involved data (i.e. the number of sensors squared). This issue poses severe limitations, in particular for high-density EEG and magnetoencephalography recordings or real-time applications. Therefore, a Riemannian geometry aligned methodology is introduced that: combines discriminative learning with dimensionality reduction, alleviates the problem of unknown dimensionality, and guarantees the interpretability of the obtained results. The approach is tested under three classification schemes, using publicly available experimental data from two distinct BCI-tasks. Emphasis is given on the dataset that concerns the automatic detection of brain patterns associated with the driver’s intention to perform an emergency braking during simulated driving.Despite the computational efficiency of the spatial covariance matrix, its representation capabilities with the respect to capturing the cortical network organization are limited. To alleviate this, a novel functional connectivity descriptor is introduced that inherits the advantages of pairwise phase-based estimators, while being capable to consider the time-lag between the involved oscillatory processes. This descriptor constitutes an extension of the Phase-Locking Value (PLV) that abides to the manifold of Hermitian Positive-Definite (HPD) matrices and therefore allows the employment of Riemannian geometry for neural decoding purposes. The validity of this descriptor, namely complex PLV (cPLV), is examined on multichannel EEG recordings of event related responses with the scope of differentiating between the attentive and the passive condition during a driving-like task.Finally, we explore the possibility of employing Geometric Deep Learning techniques in order to decode neural activity for BCIs. Since the availability of neuroimaging data is very limited, a data augmentation methodology is introduced with no assumptions regarding stationarity and linearity, capable of capturing and preserving the inherent structural and functional characteristics of the superficially observed cortical activity. The novelty of this approach lies in the exploitation of the spatiotemporal character of EEG signals which is taken into consideration by constructing a sparse binary graph that incorporates both the topological arrangement of the sensor array and the temporal continuity between consecutive signal samples (by means of multiplex graph modelling). Subsequently, the aforementioned graphs and the Graph Empirical Mode Decomposition (GEMD) method constitute the principal tools for developing a data augmentation scheme. The scope of this scheme is to improve the classification accuracy in Graph Convolutional Neural Networks (GCNNs). The introduced approach is validated on two distinct BCI-related datasets, where GCNNs are trained, at a personalised level, with only few dozens of trials initially available. The first dataset concerns the prediction of drivers' reaction time in a simulated driving environment. The second dataset includes EEG recordings of event related responses and concerns the differentiation between attentive and passive condition during a driving pc-game.

Η διατριβή αυτή διαπραγματεύεται δύο κατηγορίες Διεπαφών Εγκεφάλου-Υπολογιστή (ΔΕΥ) που βασίζονται στο ηλεκτροεγκεφαλογράφημα και βρίσκουν εφαρμογή στο πεδίο της Νευροεργονομίας. Η πρώτη κατηγορία αφορά συστήματα με δυνατότητα ανίχνευσης εσφαλμένων αποκρίσεων και αυτοδιόρθωσης ενώ η δεύτερη διαπραγματεύεται συστήματα που σχετίζονται με την παρακολούθηση της ανθρώπινης συμπεριφοράς κατά τη διάρκεια οδήγησης ενός οχήματος.Σχετικά με τις ΔΕΥ που ενσωματώνουν λειτουργίες αυτοδιόρθωσης, αρχικά εξετάζεται η δυνατότητα για εκμετάλλευση της αυθόρμητης απόκρισης του ανθρώπινου εγκεφάλου κατά τη διαδικασία παρατήρησης ενός λάθους. Η απόκριση αυτή αναφέρεται συχνά με τον αγγλικό όρο Error-Related Potential (ErrP). Προκειμένου να αυξηθεί η ικανότητα του συστήματος να αναγνωρίζει αυτές τις αποκρίσεις, παρουσιάζεται μια μεθοδολογία για τον σχεδιασμό χωρικών φίλτρων η οποία βασίζεται στο κριτήριο διαχωρισιμότητας του Fisher και είναι κατάλληλη για την ανάλυση προκλητών δυναμικών. Επιπλέον, αποδεικνύεται ότι τα προτεινόμενα χωρικά φίλτρα αποτελούν μια προέκταση του κριτηρίου μεγιστοποίησης του λόγου σήματος προς θόρυβο. Τέλος, προκειμένου να διαπιστωθεί η αποδοτικότητα ενός συστήματος που ενσωματώνει δυνατότητες αυτοδιόρθωσης εισάγεται μια καινούρια μετρική αξιολόγησης που αποτελεί επέκταση της Utility Metric.Στο δεύτερο σκέλος, που εστιάζουμε στις ΔΕΥ για την παρακολούθηση της ανθρώπινης συμπεριφοράς κατά τη διάρκεια οδήγησης ενός οχήματος, ακολουθείται μια διαφορετική στρατηγική βασισμένη σε τεχνικές μη Ευκλείδειας γεωμετρίας. Καθώς οι πίνακες χωρικής συνδιακύμανσης αποτελούν υπολογιστικά αποδοτικούς εκτιμητές της λειτουργικής συνδεσιμότητας του ανθρώπινου εγκεφάλου ενώ ταυτόχρονα ανήκουν στην πολλαπλότητα των συμμετρικών και θετικά (ημι)ορισμένων πινάκων οδηγούμαστε σε νέες και πιο ακριβείς τεχνικές αποκωδικοποίησης της εγκεφαλικής δραστηριότητας κάνοντας χρήση εργαλείων της Ριμάννειας γεωμετρίας. Ένα σημαντικό πρόβλημα που διέπει τους πίνακες χωρικής συνδιακύμασης αφορά την υψηλή διάσταση των δεδομένων σε αυτή τη μορφή αναπαράστασης. Δεδομένου ότι η διάσταση των δεδομένων είναι τετραγωνική ως προς το πλήθος των διαθέσιμων ηλεκτροδίων γίνεται αντιληπτό ότι το πρόβλημα αυτό γίνεται ιδιαίτερα έντονο σε καταγραφές με μεγάλο πλήθος αισθητήρων ή όταν πρόκειται για εφαρμογές που απαιτείται να εκτελούνται σε πραγματικό χρόνο. Συνεπώς, παρουσιάζεται μια καινούρια μεθοδολογία, βασισμένη στη Ριμάννεια γεωμετρία, για τη μείωση της διάστασης των πινάκων χωρικής συνδιακύμανσης που αυξάνει τη διαχωρισιμότητα των δεδομένων ενώ ταυτόχρονα διατηρεί τη νευροεπιστημονική ερμηνεία των αποτελεσμάτων. Η αξιοπιστία της μεθοδολογίας αυτής διαπιστώνεται σε δύο δημόσια σύνολα δεδομένων του τομέα των ΔΕΥ. Ιδιαίτερη έμφαση δίνεται στη βάση δεδομένων που αφορά την πρόβλεψη φρεναρίσματος αποκλειστικά από τη νευρωνική απόκριση κατά τη διάρκεια προσομοίωσης οδήγησης.Παρόλο που οι πίνακες χωρικής συνδιακύμανσης χαρακτηρίζονται από υψηλή υπολογιστική αποδοτικότητα, η περιγραφική τους ικανότητα σε ό,τι αφορά τη δικτύωση του ανθρώπινου εγκεφάλου είναι περιορισμένη. Συνεπώς, εισάγεται μια νέα αναπαράσταση της λειτουργικής δικτύωσης του εγκεφάλου που κληρονομεί όλα τα πλεονεκτήματα των αναπαραστάσεων που βασίζονται στον συγχρονισμό φάσης. Ταυτόχρονα, η νέα αυτή αναπαράσταση είναι σε θέση να εκφράσει τόσο την ισχύ του συγχρονισμού όσο και τη χρονοκαθυστέρηση ανάμεσα σε δύο ταλαντώσεις που προέρχονται από διακριτές περιοχές του εγκεφάλου. Η προτεινόμενη αναπαράσταση αποτελεί μια επέκταση του κλασικού περιγραφέα "συγχρονισμού φάσης" (Phase Locking Value; PLV) ενώ ταυτόχρονα ανήκει στην πολλαπλότητα των Ερμιτιανών θετικά (ημι)ορισμένων πινάκων. Η ιδιότητa αυτή επιτρέπει χειρισμούς με εργαλεία δανεισμένα από τον τομέα της Ριμάννειας γεωμετρίας. Η εγκυρότητα αυτής της αναπαράστασης διαπιστώνεται σε δεδομένα πολυκαναλικού ηλεκτροεγκεφαλογραφήματος με στόχο τον διαχωρισμό ενεργητικής και παθητικής αντίληψης (δηλαδή αν οι χρήστες έπρεπε να αντιδράσουν στο ερέθισμα ή όχι) κατά τη διάρκεια διεκπεραίωσης μιας άσκησης που σχετίζεται με την οδήγηση.Τέλος, διερευνάται η πιθανότητα χρήσης Γεωμετρικών Τεχνικών Βαθιάς Μάθησης με σκοπό την αποκωδικοποίηση νευρωνικών αποκρίσεων στο πλαίσιο των ΔΕΥ. Καθώς η διαθεσιμότητα νευροαπεικονιστικών δεδομένων είναι πολύ περιορισμένη, προτείνεται μια μέθοδος επαύξησης δεδομένων κατάλληλα διαμορφωμένη να εκμεταλλευτεί τις ιδιαιτερότητες που τα διέπουν. Το βασικό πλεονέκτημα αυτής της μεθόδου έγκειται στο γεγονός ότι εκμεταλλεύεται τόσο τα χωρικά όσο και τα χρονικά χαρακτηριστικά του ηλεκτροεγκεφαλογραφήματος τα οποία αποτυπώνονται μέσω ενός αραιού γράφου που λαμβάνει υπόψιν τόσο τη χωρική θέση των ηλεκτροδίων όσο και τη χρονική αλληλουχία των δειγμάτων. Στη συνέχεια, τα σήματα που ορίζονται βάσει του αραιού αυτού γράφου αποσυντίθενται κάνοντας χρήση της "γραφοθεωρητικής εμπειρικής αποσύνθεσης τρόπου" (Graph Empirical Mode Decomposition; GEMD) με σκοπό να οδηγήσουν σε μια νεοεισαχθείσα μέθοδο για επαύξηση των δεδομένων, εστιασμένη σε συνελικτικά νευρωνικά δίκτυα για την κατηγοριοποίηση γραφοσημάτων. Η αποδοτικότητα της μεθόδου εξετάζεται σε δημοσίως διαθέσιμα νευροαπεικονιστικά σύνολα δεδομένων που σχετίζονται με την παρακολούθηση της ανθρώπινης εγκεφαλικής δραστηριότητας κατά τη διάρκεια της οδήγησης.