Functional neuroimaging data characterisation via tensor representations

Abstract

The growing interest in neuroimaging technologies generates a massive amount of biomedical data that exhibit high dimensionality. Tensor-based analysis of brain imaging data has by now been recognized as an effective approach exploiting its inherent multi-way nature. In particular, the advantages of tensorial over matrix-based methods have previously been demonstrated in the context of functional magnetic resonance imaging (fMRI) source localization; the identification of the regions of the brain which are activated at specific time instances. However, such methods can also become ineffective in realistic challenging scenarios, involving, e.g., strong noise and/or significant overlap among the activated regions. Moreover, they commonly rely on the assumption of an underlying multilinear model generating the data. In the first part of this thesis, we aimed at investigating the possible gains from exploiting the 3-dimensional nature of the brain images, through a higher-order tensorization of the fMRI signal, and the use of less restrictive generative models. In this context, the higher-order Block Term Decomposition (BTD) and the PARAFAC2 tensor models are considered, for first time in fMRI blind source separation. Furthermore it has been proposed an heuristic for the estimation of the inner rank $L$ of the BTD decomposition for Blind Source Separation (BSS) of fMRI. The simulation results demonstrate the effectiveness of BTD for challenging scenarios (presence of noise, spatial overlap among activation regions) and the effectiveness of PARAFAC2 for scenarios where an inter-subject variability of the Haemodynamic Response Function (HRF) exists. Furthermore, a detailed analysis of a dataset which is openly available at the OpenfMRI database, has been performed. Aiming at combining the effectiveness of BTD in handling strong instances of noise and the potential of PARAFAC2 to cope with datasets that do not follow the strict multilinear assumption, we proposed a novel PARAFAC2-like extension of BTD, called BTD2. An Alternating Least Squares (ALS) algorithm is adopted for BTD2. The method was also tested using both synthetic and real data. The second main part of this thesis, in addition to signal processing methods, also elaborates on practical aspects of fMRI. In order to test the proposed BSS methods and in order to understand the limitations and challenges that doctors face, as a part of a secondment in Bioiatriki SA, we designed a novel fMRI protocol and collected fMRI data from volunteers. We have tried to investigate the cognitive and behavioral effects of emojis in memory retrieval, in an effort to determine how emojis complement the written text. Communication plays an essential role in our everyday life and draws on both verbal (e.g., speech) and nonverbal (e.g., gestures, facial expressions, the tone of the voice) cues to convey information. Recently, the Computer-Mediated Communication (CMC), which lacks the subtle nonverbal cues, has become part of our life. The insertion of emoticons and emojis is one option to convey emotions in online text communication and compensate the lack of nonverbal communicative cues. Different stimuli were presented to the participants, which were composed of alternating positive and negative words combined with happy or sad emojis. The analysis of the acquired data revealed differences in the reaction to congruent and incongruent events, hence the brain requires more time to process stimuli sentimentally incongruent. From the fMRI data analysis, we have noted the activation of the attention network when incogruent stimuli were presented pointing that the subjects needed to increase their attention in order to retrieve a specific memory. Furthermore, the posterior cingulate gyrus was activated in the congruent stimuli, an area that is connected to stimuli with semantic content. The higher activation in the congruent stimuli could mean that on those stimuli a memory with higher semantic content was retrieved. The last problem that this thesis touches upon is the fusion of fMRI and electroengephalography (EEG). Data fusion refers to the joint analysis of multiple datasets, which provide complementary views of the same task. Analyzing both EEG and fMRI measurements is highly beneficial for studying brain function because these modalities have complementary spatio-temporal resolutions: EEG offers good temporal resolution while fMRI offers good spatial resolution. The fusion methods reported, so far, ignore the underlying multi-way nature of the data in at least one of the modalities and/or rely on very strong assumptions concerning the relation among the respective data sets. These two points were addressed by adopting tensor models for both modalities and by following a soft coupling approach to implement the fused analysis.

Το αυξανόμενο ενδιαφέρον για τις τεχνολογίες νευροαπεικόνισης παράγει ένα τεράστιο όγκο βιοϊατρικών δεδομένων τα οποία είναι πολυδιάστατα. Η ανάλυση των δεδομένων νευροαπεικόνισης, η οποία βασίζεται σε τανιστές, έχει αναγνωριστεί ως μια αποτελεσματική προσέγγιση, που εκμεταλλεύεται την εγγενή πολυδιάστατη φύση των βιοϊατρικών σημάτων. Συγκεκριμένα, τα πλεονεκτήματα των τανιστικών μεθόδων, έναντι αυτών που βασίζονται σε μητρώα/πίνακες, έχουν τεκμηριωθεί και στο πλαίσιο του τυφλού διαχωρισμού πηγών (TΔΠ) σε δεδομένα λειτουργικής μαγνητικής τομογραφίας (fMRI) για την αναγνώριση των περιοχών του εγκεφάλου που ενεργοποιούνται σε συγκεκριμένες χρονικές στιγμές. Εν τούτοις, τέτοιες μέθοδοι μπορούν επίσης να καταστούν αναποτελεσματικές σε ρεαλιστικά σενάρια τα οποία περιλαμβάνουν, π.χ., έντονο θόρυβο και/ή σημαντική χωρική επικάλυψη μεταξύ των ενεργοποιημένων περιοχών. Επιπλέον, συνήθως, βασίζονται στην ύπαρξη ενός πολυγραμμικού μοντέλου το οποίο παράγει τα δεδομένα. Στο πρώτο μέρος αυτής της εργασίας επιχειρήσαμε να διερευνήσουμε τα πιθανά οφέλη από την αξιοποίηση της τρισδιάστατης φύσης των εικόνων του εγκεφάλου, μέσω της χρήσης τανιστών υψηλότερων διαστάσεων καθώς και της χρήσης πιο ευέλικτων μοντέλων. Σε αυτό το πλαίσιο, τα μοντέλα τανιστών BTD καθώς και PARAFAC2 χρησιμοποιούνται για πρώτη φορά στην ανάλυση δεδομένων fMRI. Επιπλέον, προτείνεται μια ευριστική μέθοδος για την εκτίμηση της εσωτερικής τάξης, $L$, του μοντέλου BTD για τον TΔΠ των δεδομένων fMRI. Τα αποτελέσματα προσομοίωσης επιδεικνύουν την αποτελεσματικότητα του BTD σε δύσκολα σενάρια (παρουσία υψηλού θορύβου καθώς και χωρικής επικάλυψης μεταξύ των περιοχών ενεργοποίησης) και την αποτελεσματικότητα του PARAFAC2 σε σενάρια στα οποία η αιμοδυναμική ανταπόκριση του εγκεφάλου κάθε αντικειμένου είναι διαφορετική. Επιπλέον, πραγματοποιήθηκε ανάλυση πραγματικών δεδομένων τα οποία είναι διαθέσιμα στη βάση δεδομένων OpenfMRI. Με στόχο το συνδυασμό της αποτελεσματικότητας του BTD, στο χειρισμό σεναρίων με ισχυρό θόρυβο καθώς και την αποτελεσματικότητά του PARAFAC2 στη διαχείριση μη πολυγραμμικών δεδομένων, προτείνουμε μια νέα επέκταση του PARAFAC2 και του BTD, το οποίο το αποκαλούμε BTD2. O αλγόριθμος βελτιστοποίσης του BTD2 που προτείνεται, βασίζεται στη τεχνική των Εναλλασσόμενων Ελάχιστων Τετράγωνων. Η μέθοδος αυτή, δοκιμάστηκε τόσο σε συνθετικά όσο και σε πραγματικά δεδομένα. Το δεύτερο κύριο μέρος αυτής της εργασίας πλεον των μεθόδων επεξεργασίας σήματος εστιάζει και σε πρακτικές πτυχές της συλλογής δεδομένων fMRI. Για να δοκιμαστούν οι προτεινόμενες μέθοδοι ΤΔΠ και για να κατανοήσουμε τους περιορισμούς και τις προκλήσεις που αντιμετωπίζουν οι γιατροί, σχεδιάσαμε ένα νέο πρωτόκολλο fMRI και συλλέχθηκαν δεδομένα fMRI από εθελοντές, στα πλαίσια μιας πρακτικής στη Βιοιατρική ΑΕ, τρίμηνης διάρκειας. Προσπαθήσαμε να διερευνήσουμε τις συμπεριφορικές επιδράσεις των emojis (γραφικές απεικοινίσεις προσώπων) στην ανάκτηση μνήμης, ώστε να προσδιορίσουμε τον τρόπο με τον οποίο τα emojis συμπληρώνουν το γραπτό κείμενο. Η επικοινωνία διαδραματίζει ουσιαστικό ρόλο στην καθημερινότητά μας και βασίζεται τόσο σε λεκτικά (π.χ., λόγια) όσο και μη λεκτικά (π.χ., χειρονομίες, εκφράσεις του προσώπου, τόνος της φωνής) ερεθίσματα για να μεταφέρει πληροφορίες. Η επικοινωνία με τη μεσολάβηση υπολογιστών, η οποία στερείται την ύπαρξη μη λεκτικών ερεθισμάτων, έχει γίνει πλέον μέρος της ζωής μας. Η εισαγωγή των emoticons και των emojis είναι ένας τρόπος ώστε να μεταδοθούν αυτά τα συναισθήματα κατά την επικοινωνία μέσω υπολογιστών. Στους συμμετέχοντες παρουσιάστηκαν διαφορετικά ερεθίσματα, τα οποία αποτελούνταν από εναλλασσόμενες λέξεις με χαρούμενο ή θλιβερό συναισθηματικό περιεχόμενο σε συνδυασμό με χαρούμενα ή θλιβερά emojis. Η ανάλυση των δεδομένων που συλλέχθηκαν αποκάλυψε τη διαφορά στην αντίδραση σε ερεθίσματα τα οποία περιείχαν ασύμφωνο συναισθηματικό περιεχόμενο (μεταξύ λέξεως και emoji) καθώς ο εγκέφαλος απαιτεί περισσότερο χρόνο για να τα επεξεργαστεί. Επίσης, σημειώθηκε η ενεργοποίηση του δικτύου προσοχής όταν παρουσιάζονται ασύμφωνα ερεθίσματα δείχνοντας ότι τα άτομα έπρεπε να αυξήσουν την προσοχή τους για να ανακτήσουν μια συγκεκριμένη μνήμη. Επιπρόσθετα, ο οπίσθιος φλοιός του προσαγωγίου είχε υψηλότερη ενεργοποίηση στα σύμφωνα συναισθηματικά ερεθίσματα, μια περιοχή η οποία συνδέεται με ερεθίσματα με έντονο περιεχόμενο. Η υψηλότερη αυτή ενεργοποίηση είναι πιθανό να υπαγορεύει την ανάκτηση μνήμης με υψηλότερο σημασιολογικό περιεχόμενο. Το τελευταίο πρόβλημα το οποίο πραγματεύεται αυτή η διατριβή είναι η συνένωση (fusion) του fMRI και του ηλεκτροεγκεφαλογραφήματος (EEG). Η συνένωση δεδομένων αναφέρεται στην κοινή ανάλυση πολλαπλών συνόλων δεδομένων που παρέχουν συμπληρωματικές πληροφορίες για το ίδιο πρόβλημα. Η ταυτόχρονη ανάλυση των δεδομένων του EEG και του fMRI είναι εξαιρετικά επωφελής για τη μελέτη της λειτουργίας του εγκεφάλου, καθώς έχουν συμπληρωματικές χωροχρονικές αναλύσεις: Το EEG προσφέρει καλή χρονική ανάλυση ενώ το fMRI προσφέρει καλή χωρική ανάλυση. Οι κλασσικές μέθοδοι συνένωσης που συνήθως χρησιμοποιούνται αγνοούν την πολυδιάστατη φύση των δεδομένων ενώ βασίζονται και σε πολύ ισχυρές παραδοχές σχετικά με τη σχέση μεταξύ των αντίστοιχων συνόλων δεδομένων. Αυτά τα δύο σημεία αντιμετωπίζονται στο τελευταίο μέρος της διδακτορικής διατριβής με την υιοθέτηση τανιστικών μοντέλων τόσο για το EEG όσο και στο fMRI, ακολουθώντας μια προσέγγιση μαλακής σύζευξης (soft coupling) για την εφαρμογή της συνένωσης.