Machine and deep learning algorithms for radio resource management in 5G and beyond networks

Abstract

Fifth-generation (5G) and beyond (B5G) wireless communications systems have been established to support the exponential growth rate of mobile data traffic and dense user connectivity, which requires uninterrupted and location-free access to the medium. The emerging need for new application types (Internet of Things (IoT) applications, augmented/virtual reality (AR/VR), unmanned aerial vehicles (UAVs), etc.) has enabled telecommunication service categories served by 5G/B5G networks. In this context, the support of ultra-reliable low latency-communications (URLLC), enhanced mobile broadband (eMBB) and massive machine type communications (mMTC) in mass access environments is of utmost importance in 5G/B5G networks. Moreover, various novel physical layer technologies have been introduced over the last years to cope with the increasing challenges in the wireless communications domain, such as massive multi-input- multiple-output (m-MIMO) configurations, millimeter Wave (mmWave) transmission, Relay Nodes (RNs) as well as, non-orthogonal multiple access (NOMA). However, the aforementioned advanced physical layer technologies, when applied in a cellular environment characterized by high interference levels and complex channel approximations, can maximize the computational cost to support strict users’ requirements. Machine learning (ML) algorithms are proposed as an efficient way to tackle these considerations, due to their ability to utilize data generated by the network itself in improving network performance and efficiency. ML algorithms are trained using either data generated by the wireless network under test or by similar ones. In this way, complex channel calculations are encapsulated in ML models’ layers, leading to a computational cost and complexity decrease, after multiple successful training rounds. Moreover, there are ML algorithms (e.g., Reinforcement Learning (RL) ones), which can directly interact in real-time and support low-latency requirements of modern era networks. In the present thesis ML and Deep Learning (DL) methods are developed for efficient RRM in 5G/B5G wireless communication networks. More specifically, ML/DL algorithms are examined in various RRM subproblems, such as subcarrier allocation to active users (User Equipments - UEs), base station (BS) or RN placement and selection for users entering the cellular topology, as well as prediction of network key performance indicators (KPIs), such as throughput. The increased demands of the UEs for uninterrupted QoS, ultra-low latency and high density of connected devices necessitate the use of ML/DL techniques for the aforementioned RRM problems. Therefore, in addition to classical Supervised and Unsupervised learning techniques, this thesis explores Deep Reinforcement Learning (DRL) techniques, primarily Deep Q-Learning algorithms. Additionally, distributed ML techniques, such as Federated Learning (FL), are proposed for the aforementioned RRM subproblems, combining the benefits of ML and Mobile Edge Computing (MEC). In the context of this thesis, a state-of-the-art analysis regarding ML-based RRM in 5G/B5G networks is firstly performed. The corresponding research works are categorized, based on both the RRM sub-problem, and the employed ML technique. Then, the RRM problem in 5G/B5G networks is formulating and the significance of KPI prediction for RRM tasks is highlighted, while several ML/DL algorithms are developed concerning their performance in throughput prediction for 5G/B5G networks. An additional key problem in 5G/B5G orientations, where RNs are deployed to extend each cell’s coverage area and increase network’s capacity, is the optimal RN placement and selection for each user entering the cellular topology. After formulating both problems (RN placement and selection) ML/DL frameworks are studied. Regarding the RN placement problem, two different DL approaches are developed and evaluated based on datasets created by a MATLAB RN-assisted 5G/B5G link and system level simulator. These ML algorithms are not only deployed in a centralized manner, but also an FL framework is proposed. The coexistence of several interconnected devices in 5G/B5G networks, which can assist in splitting the computational overload among them, to efficiently utilize network resources. As far as the RN selection problem is concerned, a novel Deep Q-Learning scheme is proposed, based on the joint Energy Efficiency (EE) and Spectral Efficiency (SE) maximization for each user of the cellular topology. In addition, a specific mechanism is, also, implemented for the total system’s EE and SE maximization. Finally, all proposed solutions are thoroughly evaluated and tested via extended simulations. Comparisons are made, both among them and against other up-to-date approaches. In each case, significant performance gains are identified, leading to increased systems’ EE and SE levels and important spectrum utilization, while the advantages of the proposed frameworks are, also, mirrored in terms of computational costs.

Τα τελευταία χρόνια, έχουν αναπτυχθεί συστήματα ασύρματων επικοινωνιών πέμπτης και επόμενης γενιάς (5G/Β5G) για να υποστηρίξουν τον εκθετικό ρυθμό αύξησης της δικτυακής κίνησης και την πυκνή διασύνδεση των χρηστών, που απαιτεί αδιάλειπτη πρόσβαση στο μέσο. Η αυξανόμενη ανάγκη για νέους τύπους εφαρμογών (εφαρμογές Διαδικτύου των Πραγμάτων (IoT), επαυξημένη/εικονική πραγματικότητα (AR/VR), μη επανδρωμένα οχήματα (UAVs)) έχει οδηγήσει σε νέες κατηγορίες υπηρεσιών που εξυπηρετούνται από τα δίκτυα 5G/B5G. Έτσι, η υποστήριξη αξιόπιστης επικοινωνίας με χαμηλή καθυστέρηση (URLLC), η ενισχυμένη κινητή ευρυζωνικότητα (eMBB) και η μαζική επικοινωνία μηχανών (mMTC) σε περιβάλλοντα μαζικής πρόσβασης αποκτούν καίρια σημασία στα δίκτυα 5G/B5G. Επιπλέον, τα τελευταία χρόνια έχουν εισαχθεί καινοτόμες τεχνολογίες φυσικού επιπέδου για την αντιμετώπιση των αυξανόμενων προκλήσεων στον τομέα των ασύρματων επικοινωνιών, όπως τα κεραιοσυστήματα πολλαπλών εισόδων-πολλαπλών εξόδων (m-MIMO), οι χιλιοστομετρικές επικοινωνίες (mmWave), οι κόμβοι αναμετάδοσης (RNs), καθώς και η μη ορθογώνια πολλαπλή πρόσβαση (NOMA). Ωστόσο, οι προηγμένες αυτές τεχνολογίες φυσικού επιπέδου, όταν εφαρμόζονται σε ένα κυψελωτό περιβάλλον που χαρακτηρίζεται από υψηλά επίπεδα παρεμβολών και δυσχερείς συνθήκες διάδοσης, μπορούν να αυξήσουν το υπολογιστικό κόστος για την υποστήριξη των αυστηρών απαιτήσεων των χρηστών. Σε αυτό το πλαίσιο, προτείνονται αλγόριθμοι μηχανικής μάθησης (Machine Learning - ML), ως ένας αποτελεσματικός τρόπος αντιμετώπισης των παραπάνω προβλημάτων, εξαιτίας της ικανότητάς τους να χρησιμοποιούν δεδομένα που παράγονται από το ίδιο το δίκτυο για τη βελτίωση της αποδοτικότητας του δικτύου. Οι αλγόριθμοι ML εκπαιδεύονται χρησιμοποιώντας, είτε δεδομένα που παράγονται από το ίδιο το ασύρματο δίκτυο, είτε από παρόμοια δίκτυα. Με αυτόν τον τρόπο, οι πολύπλοκοι υπολογισμοί για τα δεδομένα του καναλιού ενσωματώνονται στα επίπεδα των μοντέλων ML, γεγονός που οδηγεί στη μείωση του υπολογιστικού κόστους και της πολυπλοκότητας μετά από πολλαπλούς διαδοχικούς γύρους (rounds) εκπαίδευσης. Ορισμένοι αλγόριθμοι ML (π.χ. αλγόριθμοι ενισχυτικής μάθησης (Reinforcement Learning - RL)) μπορούν να αλληλεπιδρούν άμεσα σε πραγματικό χρόνο με το περιβάλλον και να υποστηρίζουν τις απαιτήσεις για χαμηλή καθυστέρηση σε δίκτυα 5G/B5G. Αντικείμενο της παρούσας διδακτορικής διατριβής είναι η μελέτη και ανάπτυξη μεθόδων ML και Βαθιάς Μάθησης (Deep Learning – DL) για την αποτελεσματική ανάθεση ραδιοπόρων (Radio Resource Management – RRM) σε ασύρματα δίκτυα επικοινωνιών 5G/B5G. Συγκεκριμένα, μελετώνται ML/DL αλγόριθμοι για διάφορα RRM υποπροβλήματα, όπως η κατανομή υποφερόντων σε χρήστες (User Equipments – UEs), η επιλογή σταθμού βάσης (Base Station - BS) ή κόμβου αναμετάδοσης (Relay Node –RN) για χρήστες που εισέρχονται στην κυψελική τοπολογία, αλλά και η πρόβλεψη μετρικών δικτύου, όπως ο ρυθμός διέλευσης (throughput). Γενικά, οι αυξημένες απαιτήσεις των UEs για αδιάλειπτη ποιότητα υπηρεσίας (Quality of Service - QoS), ελαχιστοποιημένη καθυστέρηση και μεγάλη πυκνότητα διασυνδεδεμένων συσκευών, καθιστούν αναγκαία τη χρησιμοποίηση τεχνικών ML/DL για τα παραπάνω RRM προβλήματα. Μάλιστα, όταν στα 5G/B5G συστήματα γίνεται εκτενής χρήση προηγμένων τεχνολογιών φυσικού επιπέδου, όπως τα massive MIMO (m-MIMO) κεραιοσυστήματα, οι χιλιοστομετικές μπάντες συχνοτήτων (mmWaves) και η μη ορθογωνική πολλαπλή πρόσβαση διαίρεσης συχνότητας (non-orthogonal multiple access - NOMA), τότε η πολυπλοκότητα των RRM προβλημάτων και οι απαιτήσεις καθιστούν αναγκαίες ακόμη πιο εξελιγμένες ML τεχνικές. Για αυτόν το λόγο, πέραν των κλασσικών τεχνικών Επιβλεπόμενης (Supervised) και Μη-Επιβλεπόμενης (Unsupervised) μάθησης, η παρούσα διδακτορική διατριβή μελετά και αναπτύσσει και τεχνικές Βαθιάς Ενισχυτικής Μάθησης (Deep Reinforcement Learning – DRL), και Deep Q-Learning αλγορίθμους.