Federated machine learning in network environments for connected and automated mobility applications

Abstract

5G networks and beyond (B5G) are expected to transform mobile communications, enabling the seamless integration of people, devices, and sensors (Internet of Things - IoT) within cyber-physical environments, ultimately realizing the concept of the "Internet-of-Everything" (IoE). A key enabler of this transformation is the convergence of Cloud Computing and the IoT domain, referred to as the 5G network and compute continuum. This continuum facilitates data exchange, processing, and decision-making across all 5G domains, from the cloud and network edge to the IoT domain, known as the Extreme-Edge. Artificial Intelligence and Machine Learning (AI/ML) play a central role in this evolution. From Industry 5.0 and automotive sectors to infotainment, education, and e-health, AI/ML technologies have introduced innovative solutions that allow computer systems to learn from environmental data, enabling fully autonomous systems capable of decision-making in a human-like manner. Traditionally, AI/ML in network environments has been implemented in a centralized manner, with data collection and processing occurring in central clouds. However, recent research has shifted focus toward distributed solutions to leverage the data generated by mobile client devices. Unlike Centralized Learning (CL), Distributed Learning (DML) methods, such as Federated Learning (FL), offload computation to client devices, offering benefits such as scalability, cost-efficiency, and privacy preservation for user data. Existing research on DML primarily focuses on the performance (accuracy) of trained models, often overlooking the practical aspects, such as the impact on underlying network resource consumption. This dissertation seeks to address these gaps by investigating the implementation of DML schemes from a systems perspective. Specifically, it examines the Cooperative, Connected, and Automated Mobility (CCAM) applications in the automotive domain, which have stringent requirements for both network performance (e.g., latency) and application performance (e.g., safety).To begin, we conduct an end-to-end performance comparison between CL and FL, analyzing training efficiency and resource consumption across all network stakeholders: clients, the network, and cloud/edge infrastructure. We explore the complex issue of ML scheme selection, considering various system parameters and constraints, including network and mobility conditions as well as AI/ML metrics (e.g., convergence). This analysis identifies the trade-offs between critical parameters when choosing between CL and FL. Next, inspired by ML operations (MLOps) and continuous learning, we examine how concept drift—changes in data distributions over time—affects the performance of distributed ML models, particularly in mobile and vehicular networks like those used in CCAM applications. These networks are highly dynamic and prone to drift. After understanding the impact of concept drift, we propose novel techniques to manage it in a resource-efficient manner. Finally, we validate our simulation-based findings through real-world testing. We first conduct a large-scale measurement campaign to collect network Quality-of-Service (QoS) and mobility data, which is then used to demonstrate a practical FL application: distributed QoS prediction. Our framework is extended to manage and orchestrate multiple FL services, introducing an orchestrator for Extreme-Edge and IoT devices performing AI/ML tasks. This orchestrator is deployed on a commercial-grade 5G testbed and evaluated using both mobile (in-vehicle) and static (lab-based) devices. The results demonstrate the feasibility of lifecycle management for multiple services, particularly in the automotive sector, showcasing the potential of FL in large-scale environments.

Τα δίκτυα Πέμπτης και επόμενης Γενιάς (Beyond 5G - B5G) αναμένεται να μεταμορφώσουν τις κινητές επικοινωνίες, επιτρέποντας την ενσωμάτωση ανθρώπων, συσκευών (Internet of Things - IoT) και αισθητήρων σε ψηφιακά-φυσικά περιβάλλοντα, πραγματοποιώντας τελικά την έννοια του Υπερδικτύου των Πραγμάτων (Internet of Everything - IoE). Ένας βασικός παράγοντας που διευκολύνει αυτή τη μετάβαση είναι η σύγκλιση της Υπολογιστικής Νέφους (cloud computing) προς το πεδίο των κινητών συσκευών, που αναφέρεται ως Υπολογιστικό Συνεχές (compute continuum). Αυτό διευκολύνει την ανταλλαγή δεδομένων, την επεξεργασία και τη λήψη αποφάσεων σε όλους τους τομείς του δικτύου, από το νέφος και την άκρη του δικτύου (Edge), φτάνοντας έως και τις συσκευές σε επίπεδο χρήστη (Extreme-Edge).Η Τεχνητή Νοημοσύνη και η Μηχανική Μάθηση (Artificial Intelligence/Machine Learning - AI/ML) παίζουν κεντρικό ρόλο σε αυτή την εξέλιξη. Από τους τομείς της Βιομηχανίας 5.0 και της αυτοκίνησης μέχρι τη διασκέδαση, την εκπαίδευση και την υγειονομική περίθαλψη, οι τεχνολογίες αυτές έχουν εισαγάγει καινοτόμες λύσεις που επιτρέπουν σε υπολογιστικά συστήματα να μαθαίνουν από τα περιβαλλοντικά δεδομένα, καθιστώντας τα δυνατά σε πλήρη αυτονομία με ικανότητα λήψης αποφάσεων χωρίς την ανθρώπινη παρέμβαση. Παραδοσιακά, η Τεχνητή Νοημοσύνη σε περιβάλλοντα δικτύου υλοποιείται με κεντρικοποιημένο τρόπο, με τη συλλογή και επεξεργασία δεδομένων να πραγματοποιούνται σε κεντρικά υπολογιστικά νέφη. Ωστόσο, οι τελευταίες έρευνες έχουν στρέψει την προσοχή τους προς τις κατανεμημένες λύσεις, ώστε να αξιοποιηθούν τα δεδομένα που παράγονται από τις κινητές συσκευές. Σε αντίθεση με την Κεντρικοποιημένη Μάθηση (Centralized Learning - CL), οι μέθοδοι Κατανεμημένης Μάθησης, όπως η Συνεργατική Μάθηση (Federated Learning - FL), μεταφέρουν τον υπολογιστικό φόρτο στις συσκευές, προσφέροντας οφέλη όπως η επεκτασιμότητα, η μείωση κόστους και η προστασία της ιδιωτικότητας των δεδομένων των χρηστών. Η υπάρχουσα έρευνα για την Κατανεμημένη Μάθηση επικεντρώνεται κυρίως στην απόδοση (ακρίβεια) των εκπαιδευμένων μοντέλων, αγνοώντας συχνά τις πρακτικές πτυχές, όπως η επίδραση στην κατανάλωση πόρων του δικτύου. Η παρούσα διατριβή επιδιώκει να καλύψει αυτά τα κενά ερευνώντας την εφαρμογή των σχημάτων Κατανεμημένης Μάθησης από την πλευρά του συστήματος. Συγκεκριμένα, εξετάζει τις εφαρμογές Αυτόνομης και Διασυνδεδεμένης Κινητικότητας στον τομέα της αυτοκινητοβιομηχανίας, οι οποίες έχουν αυστηρές απαιτήσεις τόσο ως προς την απόδοση του δικτύου (π.χ. καθυστερήσεις) όσο και ως προς την απόδοση των εφαρμογών (π.χ. ασφάλεια). Ξεκινώντας, πραγματοποιούμε μια συγκριτική αξιολόγηση της απόδοσης μεταξύ Κεντρικοποιημένης και Συνεργατικής Μάθησης, αναλύοντας την αποδοτικότητα της εκπαίδευσης και την κατανάλωση πόρων σε όλο το φάσμα ενός δικτύου: τους χρήστες, το δίκτυο και τις υποδομές στο υπολογιστικό νέφος και την άκρη του δικτύου. Εξετάζουμε το πολύπλοκο πρόβλημα της επιλογής του σχήματος Μηχανικής Μάθησης, λαμβάνοντας υπόψη διάφορες παραμέτρους και περιορισμούς του συστήματος, συμπεριλαμβανομένων και των παραμέτρων δικτύου και κινητικότητας, καθώς και μετρικών Μηχανικής Μάθησης (π.χ. σύγκλιση). Στη συνέχεια, βασιζόμενοι στις νέες τεχνικές της Συνεχούς Μηχανικής Μάθησης, εξετάζουμε το φαινόμενο της Μετατόπισης Εννοιών, δηλαδή το πώς οι αλλαγές στις κατανομές δεδομένων των χρηστών με την πάροδο του χρόνου, επηρεάζουν την απόδοση των κατανεμημένων μοντέλων μάθησης, ιδίως σε κινητά και δίκτυα οχημάτων. Αυτά τα δίκτυα είναι εκ φύσεως δυναμικά και ταχέως μεταβαλλόμενα, άρα και επιρρεπή στο φαινόμενο της Μετατόπισης Εννοιών. Στη συνέχεια της διερεύνησης, προτείνουμε καινοτόμες τεχνικές για τη διαχείριση της Μετατόπισης Εννοιών με τρόπο αποδοτικό ως προς τους πόρους του δικτύου. Τέλος, επικυρώνουμε τα θεωρητικά ευρήματά μας μέσω πραγματικών δοκιμών. Αρχικά, διεξάγουμε μια εκστρατεία μετρήσεων μεγάλης κλίμακας για τη συλλογή δεδομένων ποιότητας υπηρεσίας και κινητικότητας χρηστών στο δικτύου, τα οποία στη συνέχεια χρησιμοποιούνται για την υλοποίηση μιας πρακτικής εφαρμογής Συνεργατικής Μάθησης: την κατανεμημένη πρόβλεψη παραμέτρων του δικτύου. Το πλαίσιο μας επεκτείνεται για τη διαχείριση και ενορχήστρωση πολλαπλών υπηρεσιών Συνεργατικής Μάθησης, εισάγοντας έναν ενορχηστρωτή για συσκευές χρηστών που εκτελούν υπηρεσίες Μηχανικής και Συνεργατικής Μάθησης. Ο ενορχηστρωτής αναπτύσσεται σε ένα πραγματικό δίκτυο Πέμπτης Γενιάς και αξιολογείται με κινητές (εντός οχημάτων) και στατικές (εργαστηριακές) συσκευές. Τα αποτελέσματα επιδεικνύουν τη δυνατότητα διαχείρισης του κύκλου ζωής σε πολλαπλές υπηρεσίες, επισημαίνοντας τη δυνατότητα εφαρμογής της Συνεργατικής Μάθησης σε μεγάλης κλίμακας περιβάλλοντα και εφαρμογές Αυτόνομης και Διασυνδεδεμένης Κινητικότητας.