Federated, continual and meta-learning algorithms for multi-task settings

Abstract

In this dissertation, we present three novel Machine Learning algorithms, each addressing Multi-Task scenarios within different contexts. Multi-Task Learning (MTL) involves handling multiple tasks simultaneously or sequentially, where a task is specified in terms of an objective function and a dataset. The number of tasks can be finite or infinite, and these tasks may be distributed across multiple clients or contained within a single client. The algorithms we propose tackle Multi-Task Learning in the contexts of Personalized Federated Learning (PFL), Continual Learning, and Meta-Learning, each optimized for their specific task environments. First, we explore MTL in the context of PFL. Here, MTL is applied to learn a shared representation across a finite set of tasks distributed among multiple clients. This shared representation across clients enable better generalization and allow individual models to learn their tasks more efficiently, particularly when the size of each client’s dataset is limited. In this thesis, we propose a PFL algorithm utilizing exact distributed Stochastic Gradient Descent (SGD) which has theoretical convergence guarantees. Our algorithm handles the finite set of tasks distributed across multiple clients, by jointly optimizing two sets of weights, i.e., common and personalized weights. This method demonstrates superior performance on multi-class classification datasets. Second, we address MTL in the context of CL, where, unlike the standard MTL’s joint learning approach with access to all task data, the learner must adapt to tasks sequentially as they arrive from a stream while retaining good performance across all tasks at all times. We focus on classification problems and task-incremental CL, where new classes are introduced incrementally, requiring the learner to adapt to new classes over time. Unlike MTL, CL does not have access to all available data at once and cannot revisit past data unless it is explicitly stored in memory. This restriction, along with data imbalances inherent in the incoming stream, creates challenges in ensuring fairness in terms of accuracy, as the learner must learn to treat all classes equitably. To address CL’s challenges, we introduce an online replay-based Continual Learning method that minimizes Kullback-Leibler (KL) loss in order to achieve fairness in problems where there is high class imbalance. This approach achieves improved fairness and accuracy across datasets like MNIST, CIFAR-10, and CIFAR-100 compared to state-of-the-art Reservoir Sampling techniques. Finally, we address MTL in the context of Meta-Learning. While MTL enables the simultaneous handling of multiple tasks and promotes the sharing of information across these tasks to enhance generalization and performance, Meta-Learning extends these capabilities by focusing on adapting to an infinite number of tasks drawn from some distribution. A key concept in this context is to model and learn a stochastic representation or encoding along with its distribution so that it captures as much information as possible about each task to make accurate predictions. This is particularly important in environments with distribution drift, such as in CL, where tasks evolve over time. We develop a Meta-Learning framework using mutual information and the information bottleneck principle. This leads to stochastic generalizations of the well known Model Agnostic Meta Learning (MAML) as well as new Memory-based algorithms that apply Gaussian Process kernel methods and achieve competitive performance in few-shot regression and classification.

Η ερευνητική εργασία η οποία περιλαμβάνεται στη διατριβή αυτή αφορά τρεις νέους αλγορίθμους Μηχανικής Μάθησης, ο καθένας εκ των οποίων αντιμετωπίζει προβλήματα πολλαπλών εργασιών (multiple tasks) σε ένα συγκεκριμένο πλαίσιο. Αυτού του είδους η Μάθηση πολλαπλών εργασιών (Multi-Task Learning) αφορά των χειρισμό πολλαπλών εργασιών είναι ταυτόχρονα είτε σειριακά, με κάθε εργασία να ορίζεται βάσει μιας συνάρτησης στόχου (objective function). Το πλήθος των εργασιών μπορεί να είναι πεπερασμένο ή άπειρο, και οι εργασίες μπορεί να είναι κατανεμημένες σε πολλούς πελάτες ή να βρίσκονται συγκεντρωμένες σε έναν. Οι αλγόριθμοι που προτείνει η ερευνητική εργασία αντιμετωπίσουν την μάθηση πολλαπλών εργασιών στα πλαίσια της προσωποποιημένης ομόσπονδης μάθησης, (Personalized Federated Learning), της Συνεχούς Μάθησης (Continual Learning) και της Μέτα-Μάθησης (Meta-Learning). Ο καθένας εξ αυτών είναι βελτιστοποιημένος για το συγκεκριμένο περιβάλλον στο οποίο λειτουργεί. Στο Κεφάλαιο 2 η διατριβή εξετάζει την Μάθηση Πολλαπλών Εργασιών στο πλαίσιο της προσωποποιημένης Ομόσπονδης Μάθησης και, συγκεκριμένα, εφαρμόζεται προκειμένου να κατασκευαστεί μια από κοινού αναπαράσταση (representation) στο εύρος ενός πεπερασμένου συνόλου εργασιών κατανεμημένων σε πολλαπλούς πελάτες. Αυτή η από κοινού αναπαράσταση για όλους τους πελάτες επιτρέπει καλύτερη γενίκευση και επιτρέπει σε κάθε ένα από τα μοντέλα να εκπαιδευτούν στην εργασία τους πιο γρήγορα, ιδιαιτέρως όταν το μέγεθος του συνόλου δεδομένων (dataset) του κάθε πελάτη είναι πεπερασμένο. Η διατριβή προτείνει έναν αλγόριθμο που βασίζεται σε μια ακριβή, κατανεμημένη, τεχνική στοχαστικής κατάβασης κλίσης (exact, distributed, Stochastic Gradient Descent) η οποία διαθέτει θεωρητικές εγγυήσεις σύγκλισης. Ο αλγόριθμος μπορεί να χειριστεί ένα πεπερασμένο πλήθος εργασιών κατανεμημένων σε πολλαπλούς πελάτες, μέσω της από κοινού βελτιστοποίησης δύο συνόλων βαρών, εκ των οποίων το ένα σύνολο περιλαμβάνει κοινά βάρη και το άλλο προσωποποιημένα βάρη. Η μέθοδος παρουσιάζει υψηλή επίδοση σε προβλήματα κατηγοριοποίησης σε σύνολα δεδομένων πολλαπλών κλάσεων (multi-class classification data sets). Στο Κεφάλαιο 3 η διατριβή εξετάζει την Μάθηση Πολλαπλών Εργασιών στο πλαίσιο της Συνεχούς Μάθησης (Continual Learning). Επομένως, σε αντίθεση με την συνήθη προσέγγιση κατά την οποία η μάθηση επιτελείται με πρόσβαση σε όλα τα δεδομένων εργασιών, ο πράκτορας πρέπει να προσαρμόζεται στις εργασίες ακολουθιακά, καθώς αυτές καταφθάνουν από μια ροή, ενώ ταυτόχρονα διατηρεί διαρκώς καλή επίδοση σε όλες τις εργασίες. Η διατριβή εστιάζει σε προβλήματα κατηγοριοποίησης και Συνεχή Μάθηση σταδιακά προστιθέμενων εργασιών (task-incremental), όπου νέες κλάσεις εισάγονται διαδοχικά, απαιτώντας από τον πράκτορα να προσαρμόζεται σε νέες κλάσεις καθώς περνά ο χρόνος. Σε αντίθεση με την απλή Μάθηση Πολλαπλών Εργασιών, στο πλαίσιο της Συνεχούς Μάθησης ο πράκτορας δεν έχει ταυτόχρονη πρόσβαση σε όλα τα δεδομένα και δεν μπορεί να επεξεργαστεί εκ νέου παλιά δεδομένα εκτός αν αυτά έχουν επί τούτου αποθηκευτεί στη μνήμη του. Αυτός ο περιορισμός, σε συνδυασμό με τις ανισορροπίες στην εμφάνιση των κλάσεων που είναι εγγενείς στη ροή των εισερχομένων δεδομένων, δημιουργεί δυσκολίες στο να επιτευχθεί δικαιοσύνη μεταξύ κλάσεων σε ό,τι αφορά την ακρίβεια (accuracy) καθώς ο πράκτορας πρέπει να μάθει να αντιμετωπίζει τις διαφορετικές κλάσεις δίκαια. Προκειμένου να αντιμετωπισθεί αυτή τη δυσκολία, η διατριβή εισάγει μια μέθοδο σύγχρονης (online) Συνεχούς Μάθησης που βασίζεται σε επαναληπτική μάθηση (online replay-based Continual Learning) που ελαχιστοποιεί την απώλεια Kullback-Leibler (KL) προκειμένου να επιτύχει δικαιοσύνη σε προβλήματα με μεγάλη ανισορροπία στα σχετικά πλήθη των παραδειγμάτων σε κάθε κλάση. Η μέθοδος επιτυγχάνει βελτιωμένη δικαιοσύνη και ακρίβεια κατά μήκος συνόλων δεδομένων (data sets) όπως τα MNIST, CIFAR-10, και CIFAR-100 σε σχέση με σύγχρονους (state-of-the-art) τεχνικές Δειγματοληψίας Ταμιευτήρα (Reservoir Sampling). Στο Κεφάλαιο 4 η διατριβή εξετάζει την Μάθηση Πολλαπλών Εργασιών στο πλαίσιο της Μέτα-Μάθησης (Meta-Learning). Η Μάθηση Πολλαπλών Εργασιών επιτρέπει τον ταυτόχρονο χειρισμό πολλαπλών εργασιών και προωθεί τον διαμοιρασμό πληροφορίας μεταξύ των εργασιών προκειμένου να ενισχυθεί η γενίκευση και η επίδοση, αλλά η Μέτα-Μάθηση ενισχύει περαιτέρω αυτές τις δυνατότητες εστιάζοντας στην προσαρμογή σε άπειρο πλήθος εργασιών, οι οποίες αντλώνται από κάποια κατανομή. Σε αυτό το πλαίσιο, η κωδικοποίηση εργασιών (task encoding) έχει ένα κεντρικό ρόλο: αναγνωρίζοντας την κωδικοποίηση της εργασίας, το μοντέλο αντιλαμβάνεται την εργασία που καλείται να αντιμετωπίζει και προσαρμόζεται ανάλογα. Μια κρίσιμη ιδέα σε αυτό το πλαίσιο είναι η μοντελοποίηση και η μάθηση μιας στοχαστικής απεικόνισης ή κωδικοποίησης και της κατανομής της έτσι ώστε να εμπεριέχει όσο περισσότερη πληροφορία γίνεται για κάθε εργασία και να οδηγεί σε ακριβής προβλέψεις. Αυτό είναι ιδιαίτερα σημαντικό σε περιβάλλοντα με μετακίνηση κατανομής (distribution drift), όπως αυτά της Συνεχούς Μάθησης, όπου οι εργασίες αλλάζουν με το χρόνο. Η διατριβή παρουσιάζει ένα πλαίσιο Μέτα-Μάθησης χρησιμοποιώντας τις έννοιες της Αμοιβαίας Πληροφορίας (Mutual Information) και της Αρχής Στενωπού της Πληροφορίας (Information Bottleneck Principle). Το πλαίσιο επιτρέπει στοχαστικές γενικεύσεις του γνωστού Αλγορίθμου Model-Agnostic Meta Learning (MAML) καθώς και νέους αλγορίθμους που βασίζονται στη μνήμη (Memory-based) οι οποίες εφαρμόζουν τεχνικές πυρήνων γκαουσιανών διαδικασιών, που επιτυγχάνουν ανταγωνιστική επίδοση σε σχέση με το state-of-the-art σε προβλήματα παρεμβολής και κατηγοριοποίησης σύντομης εκπαίδευσης (few-shot).