Bayesian transfer learning for personalised well-being forecasting from scarce, sporadic observations

Abstract

The research presented in this dissertation has been conducted within the context of the NEVERMIND project. The main objective of this PhD was to explore and propose novel approaches for addressing the challenges associated with creating personalised models and making predictions in real world health-related applications when training is performed incrementally on scarce sporadic biomedical data. A particular challenge was being able to provide reliable personalised predictions in the early stage of data collection when insufficient data are available for training.The solution proposed in this dissertation is centred on Bayesian Transfer Learning techniques that allowed me to make informed predictions even in such challenging conditions by leveraging information coming from other patients. Firstly, I proposed a non-parametric transfer learning approach, which allowed me to make more accurate predictions about a specific patient by combining models trained on other “donor” patients in proportion to how well these models fit the specific patient’s past observations. Secondly, I developed a parametric transfer learning approach, which incorporated a modified prior that accounts for the knowledge available from all other “donor” patients. Finally, I proposed modified versions of the previous two approaches, where I controlled how much information is borrowed for transfer based on the similarity in emotional profiles between the patient under test and each “donor” patient. The results show that the proposed transfer learning methods not only naturally dealt with the uneven, sporadic data in the dataset but also performed very well even in the hardest forecasting scenarios, such as the case where only seven days of data are available, and the system is required to forecast for the next seven days. In general these approaches produced better-suited models for participants with very few sporadic training samples and performed significantly better than a number of competing models.

Η έρευνα που παρουσιάζεται σε αυτή τη διατριβή έχει διεξαχθεί στο πλαίσιο του έργου NEVERMIND. Ο σκοπός της διδακτορικής διατριβής ήταν να διερευνήσει και να προτείνει νέες προσεγγίσεις για την αντιμετώπιση των προκλήσεων που σχετίζονται με τη δημιουργία εξατομικευμένων μοντέλων και την πραγματοποίηση προβλέψεων σε εφαρμογές που σχετίζονται με την υγεία όταν η εκπαίδευση εκτελείται σταδιακά σε λίγα σποραδικά βιοϊατρικά δεδομένα. Μια ιδιαίτερη πρόκληση ήταν η δυνατότητα παροχής αξιόπιστων εξατομικευμένων προγνώσεων στο πρώιμο στάδιο της συλλογής δεδομένων δηλαδή όταν δεν υπάρχουν επαρκή δεδομένα για εκπαίδευση. Η λύση που προτείνεται σε αυτή τη διατριβή επικεντρώνεται σε τεχνικές Μπεϋζιανής μάθησης με μεταφορά (Bayesian Transfer Learning) που επέτρεψε να γίνουν έγκυρες προγνώσεις ακόμη και σε τέτοιες δύσκολες συνθήκες αξιοποιώντας πληροφορίες που προέρχονται από άλλους ασθενείς. Αρχικά, προτείνεται μια μη παραμετρική προσέγγιση μεταφοράς μάθησης, η οποία επέτρεψε να γίνουν πιο ακριβείς προγνώσεις για έναν συγκεκριμένο ασθενή συνδυάζοντας μοντέλα που έχουν εκπαιδευτεί σε άλλους ασθενείς «δότες» ανάλογα με το πόσο καλά αυτά τα μοντέλα ταιριάζουν με τις προηγούμενες παρατηρήσεις του συγκεκριμένου ασθενούς. Δεύτερον, αναπτύχθηκε μια παραμετρική προσέγγιση μάθησης μεταφοράς, η οποία ενσωματώνει μια τροποποιημένη πρότερη (prior) πιθανότητα που λαμβάνει υπόψιν της τη διαθέσιμη γνώση από όλους τους άλλους ασθενείς «δότες». Τέλος, προτείνονται τροποποιημένες εκδοχές των δύο προηγούμενων προσεγγίσεων, όπου ελέγχετε πόση πληροφορία δανείζεται για μεταφορά με βάση την ομοιότητα στα συναισθηματικά προφίλ μεταξύ του υπό δοκιμή ασθενούς και κάθε ασθενή «δότη». Τα αποτελέσματα δείχνουν ότι οι προτεινόμενες μέθοδοι μεταφοράς μάθησης όχι μόνο αντιμετώπισαν φυσικά τα ακανόνιστα, σποραδικά δεδομένα στο σετ των δεδομένων, αλλά επίσης απέδωσαν πολύ καλά ακόμα και στα πιο δύσκολα σενάρια πρόγνωσης, όπως στην περίπτωση που έχουμε διαθέσιμα δεδομένα μόνο επτά ημερών και το σύστημα απαιτείται να προγνώσει τις επόμενες επτά ημέρες. Γενικά, αυτές οι προσεγγίσεις παρήγαγαν καλύτερα μοντέλα για συμμετέχοντες με πολύ λίγα σποραδικά δεδομένα εκπαίδευσης και απέδωσαν σημαντικά καλύτερα από ορισμένα ανταγωνιστικά μοντέλα.