Physics-informed numerical analysis and machine learning for modelling and analysis of large scale complex systems with applications in computational neuroscience

Abstract

Τhis Ph.D. Thesis deals with the development and implementation of physics-informed numerical analysis and machine learning methods for the solution of both the inverse and forward problem in complex systems modeling including the numerical bifurcation analysis of the emergent dynamics from big data. Modeling and analyzing the emergent behavior of large-scale complex dynamical systems from experimental data and/or data produced by detailed high-fidelity microscopic simulations requires appropriate data-driven/numerical analysis-based methods for extracting coarse-scale models that can be utilized for further numerical analysis of the emergent dynamics. The springs of this Thesis are interdisciplinary, bridging state-of-the-art methodologies from numerical analysis, machine learning, microscopic simulations, bifurcation theory, and neuroimaging. The research efforts and results were focused in three main directions. We have first focused on the solution of the inverse problem of source-localization in neuroimaging, exploiting and comparing the performance of state-of-the-art regularization methods, namely the standardized Low Resolution Electromagnetic Tomography (sLORETA), the weighted Minimum Norm Estimation (wMNE) and the dynamic Statistical Parametric Mapping (dSPM) and information arising from the electrophysiology of the brain. In particular, the research efforts were focused on the localization of the sources of brain activity of children with epilepsy based on electroencephalography (EEG) recordings acquired during a visual discrimination working memory (WM) task using numerical regularization algorithms. Importantly, our study and findings reveal also the importance and potential that originates from the use of physics-based information as well as publicly available scientific resources such as the “Neurodevelopmental MRI" database, which allows the researchers to numerically analyze available neuroimaging data and investigate questions beyond the scope of the original studies. Next, we addressed a computational framework for the solution of the inverse problem of complex systems modeling, i.e. the construction of PDEs from spatiotemporal data. Towards this aim, we (a) first embed the high-dimensional spatiotemporal data produced by microscopic simulators in a low-dimensional manifold with the aid of manifold learning algorithms and in particular Diffusion Maps, by identifying an appropriate set of parsimonious observables, (b) based on the extracted coarse-observables, we use machine learning to identify an effective PDE and, (c) based on the PDE model, we solve the forward problem, thus we solve and construct the corresponding coarse-grained bifurcation diagram in order to systematically study the emergent dynamics. For our illustrations, we implemented the proposed method to construct the one-dimensional bifurcation diagram of the celebrated FitzHugh-Nagumo PDEs of activation-inhibition neuronal dynamics from data generated by Lattice Boltzmann simulations. Finally, we addressed a numerical method based on physics-informed random-projection neural networks to solve the forward problem in initial value problems (IVPs) of systems of ODEs (which may also arise from the spatial discretization ofPDEs). The numerical solution of the IVPs is obtained by constructing a system of nonlinear algebraic equations, which is solved with respect to the output weights by Newton’s iterations. The performance of the proposed scheme was assessed through three benchmark stiff IVPs, namely the Prothero-Robinson, the van der Pol model, and the ROBER problem. Furthermore, the proposed scheme was compared with an adaptive Runge-Kutta method, and a variable-step variable-order multistep solver based on numerical differentiation formulas, as implemented in the ode45 and ode15s of the Matlab ODE suite. We show that the proposed scheme yields good approximation accuracy, thus outperforming in some cases ode45 and ode15s, especially in the cases where steep gradients arise. Furthermore, the computational times of our approach are comparable with those of the two Matlab solvers for all practical purposes.

Αυτή η διατριβή ασχολείται με την ανάπτυξη και εφαρμογή μεθόδων αριθμητικής ανάλυσης και μηχανικής μάθησης βασισμένες στους νόμους της φυσικής για την επίλυση τόσο του αντιστρόφου όσο και του ευθέως προβλήματος στη μοντελοποίηση περίπλοκων συστημάτων και της αριθμητικής ανάλυσης διακλάδωσης της αναδυόμενης δυναμικής από δεδομένα μεγάλης κλίμακας. Η μοντελοποίηση και ανάλυση της αναδυόμενης συμπεριφοράς περίπλοκων συστημάτων μεγάλης κλίμακας από πειραματικά δεδομένα ή/και δεδομένα που παράγονται από μικροσκοπικούς προσομοιωτές απαιτεί κατάλληλες μεθόδους βασισμένες στην αριθμητική ανάλυση και την ανάλυση δεδομένων για την εξαγωγή μοντέλων μακροσκοπικής κλίμακας που μπορούν να χρησιμοποιηθούν για περαιτέρω αριθμητική ανάλυση της αναδυόμενης δυναμικής. Τα αποτελέσματα αυτής της διατριβής είναι διεπιστημονικά, γεφυρώνουν μεθοδολογίες αιχμής από την αριθμητική ανάλυση, την μηχανική μάθηση, τις μικροσκοπικές προσομοιώσεις, την θεωρία διακλάδωσης και την νευροαπεικόνιση. Οι ερευνητικές προσπάθειες και τα αποτελέσματα επικεντρώθηκαν σε τρεις βασικές κατευθύνσεις. Αρχικά ερευνήθηκε η λύση του αντίστροφου προβλήματος του εντοπισμού των πηγών στη νευροαπεικόνιση, η αξιοποίηση και σύγκριση των επιδόσεων μεθόδων προηγμένης τεχνολογίας, συγκεκριμένα της Ηλεκτρομαγνητικής Τομογραφίας Χαμηλής Ευκρίνειας (LORETA), της σταθμισμένης Εκτίμησης Ελάχιστης Νόρμας (wMNE) και της Δυναμικής Στατιστικής Παραμετρικής Χαρτογράφησης (dSPM) καθώς και οι πληροφορίες που προκύπτουν από την ηλεκτροφυσιολογία του εγκεφάλου. Ειδικότερα, οι ερευνητικές προσπάθειες επικεντρώθηκαν στον εντοπισμό των πηγών εγκεφαλικής δραστηριότητας των παιδιών με επιληψία με βάση καταγραφές ηλεκτροεγκεφαλογραφίας που αποκτήθηκαν κατά τη διάρκεια ενός οπτικού ερεθίσματος μνήμης. Η μελέτη και τα ευρήματά μας αποκαλύπτουν επίσης τη σημασία και τις δυνατότητες που πηγάζουν από τη χρήση πληροφοριών που βασίζονται στη φυσική καθώς και διαθέσιμων στο κοινό επιστημονικών πόρων όπως η βάση δεδομένων «Neurodevelopmental MRI», η οποία επιτρέπει στους ερευνητές να αναλύσουν αριθμητικά τα διαθέσιμα δεδομένα νευροαπεικόνισης και να διερευνήσουν ερωτήσεις πέρα από αυτό το εύρος των αρχικών μελετών. Στη συνέχεια, η διατριβή ασχολήθηκε με την επίλυση του αντίστροφου προβλήματος της μοντελοποίησης πολύπλοκων συστημάτων, δηλαδή την κατασκευή μερικών διαφορικών εξισώσεων από χωροχρονικά δεδομένα. Για αυτόν τον σκοπό, (α) πρώτα ενσωματώθηκαν τα υψηλών διαστάσεων χωροχρονικά δεδομένα που παράγονται από μικροσκοπικούς προσομοιωτές σε μια πολλαπλότητα χαμηλής διάστασης με τη βοήθεια αλγορίθμων μάθησης πολλαπλοτήτων (Manifold Learning) και ειδικότερα Χάρτες Διάχυσης (Diffusion Maps), προσδιορίζοντας ένα κατάλληλο σύνολο παρατηρήσιμων μεταβλητών, (β) με βάση τα εξαγόμενα παρατηρήσιμα στοιχεία, χρησιμοποιήθηκε μηχανική μάθηση για να αναγνωρισθεί ένα σύστημα μερικών διαφορικών εξισώσεων και, (γ) με βάση το σύστημα, προσομοιώθηκε το ευθύ πρόβλημα, άρα η επίλυση του συστήματος αριθμητικά και κατασκευάσθηκε το αντίστοιχο διάγραμμα διακλάδωσης για να μελετηθεί συστηματικά η αναδυόμενη δυναμική. Για την εφαρμογή της μεθόδου, χρησιμοποιήθηκε το μοντέλο FitzHugh-Nagumo που μοντελοποιεί την νευρωνική δυναμική ενεργοποίησης και αναστολής των νευρώνων από δεδομένα που δημιουργήθηκαν από προσομοιώσεις Lattice Boltzmann. Τέλος, κατασκευάσθηκε μια αριθμητική μέθοδος που βασίζεται σε νευρωνικά δίκτυα τυχαίας προβολής για την επίλυση του προβλήματος αρχικών τιμών συστημάτων συνήθων διαφορικών εξισώσεων (που μπορεί επίσης να προκύψουν από τη χωρική διακριτοποίηση μερικών διαφορικών εξισώσεων). Η αριθμητική λύση των προβλημάτων αρχικών τιμών προκύπτει με την κατασκευή ενός συστήματος από μη γραμμικές αλγεβρικές εξισώσεις, το οποίο λύνεται ως προς τα βάρη εξόδου μέσω επαναλήψεις της μεθόδου του Newton. Αξιολογήθηκε η απόδοση της προτεινόμενης μεθόδου μέσω τριών συστημάτων stiff διαφορικών εξισώσεων, του Prothero-Robinson, του van der Pol και του προβλήμας ROBER. Επιπλέον, η προτεινόμενη μέθοδος συγκρίθηκε με την μέθοδο Runge-Kutta και της μεθόδου μεταβλητού βήματος πολλαπλών βημάτων που βασίζεται σε τύπους αριθμητικής διαφοροποίησης, όπως υλοποιείται από τις εντολές ode45 και ode15s στο Μatlab. Δείχνουμε ότι το προτεινόμενο σχήμα αποδίδει καλή ακρίβεια προσέγγισης, υπερτερώντας σε ορισμένες περιπτώσεις των εντολών ode45 και ode15s, ειδικά στις περιπτώσεις που προκύπτουν απότομες κλίσεις στις καμπύλες λύσεων. Επιπλέον, οι υπολογιστικοί χρόνοι της προσέγγισής μας είναι συγκρίσιμοι με εκείνους των δύο επιλυτών του Μatlab για όλους τους πρακτικούς σκοπούς.