Distributed resource management in converged telecommunication infrastructures

Abstract

The fifth generation (5G) of wireless and mobile communications is expected to have a far-reaching impact on society and businesses beyond the information and communications technology (ICT) sector. 5G is aligned with the 4th industrial evolution, blurring the lines between the physical, digital, and biological spheres. A common design is necessary to accommodate all service types based on energy and cost efficiency. To address this, this PhD thesis adopts the idea of a universal 5G platform that integrates a variety of networking technologies (wireless and wired), and aims to develop mathematical tools, algorithms and protocols for the energy and operational optimization of this infrastructure and the services it provides. This infrastructure interconnects computing, storage and network components that are placed at different locations, using the concepts of programmable hardware (hardware-HW) and network software (network softwarisation). In this way, it enables the provision of any service by flexibly and efficiently mixing and matching network, computing and storage resources. The thesis targeted four distinct contributions. All proposed contributions are implemented and investigated experimentally in a 5G open-source lab testbed. The first contribution focused on optimal function and resource allocation adopting the innovative 5G RAN architecture, that splits flexibly the baseband processing function chain between Remote, Distributed and Central Units. This enables access to shared resources provided by micro or large-scale remote data centers, without requiring resource ownership. To support this architecture, networks adopt the Software Defined Networking (SDN) approach, where the control plane is decoupled from the data plane and the associated network devices and is centralized in a software-based controller. In this context, the goal of the proposed approach was to develop effective optimization techniques that identify the optimal functional split, along with the optimal location and size of the SDN controllers. The second contribution concentrated on solving the User Plane Function (UPF) selection problem in 5G core networks. According to the SDN paradigm 5G core control plane functions manage the network, while UPFs are responsible for handling users’ data. Depending on the 5G RAN deployment option and the nature of the service, UPF nodes can be placed closer to the network edge, directing traffic to the Multi-access Edge Computing (MEC) servers hence reducing latency, or be placed deeper into the network directing traffic to central cloud facilities. In this context, a framework that selects the optimal UPF nodes to handle user’s traffic minimizing total service delay has been proposed. The third contribution pertained to service provisioning in upcoming telecommunication systems. 6G systems require novel architectural Quality of Experience (QoE) models and resource allocation strategies that can differentiate between data streams originating from the same or multiple User Equipment (UEs), respond to changes in the underlying physical infrastructure, and scale with the number of connected devices. Currently, centralized management and network orchestration (MANO) platforms provide this functionality, but they suffer scalability issues. Therefore, future systems are anticipated to operate in a distributed manner, allowing applications to directly intervene in relevant control processes to ensure the required QoE. The proposed approach focused on developing a flow assignment model that supports applications running on UEs. The final contribution of this thesis focused on the deployment of a 5G infrastructure that supports multi-tenant network slicing on demand. Sharing of the underlying physical infrastructure was achieved through the development of suitable interfaces for integrating different network components and the creation of appropriate descriptors for virtual 5G network functions (VNFs). By collecting and combining multiple VNFs, an end-to-end 5G Network Service (NS) can be obtained. Using a MANO platform, these NSs can be combined to instantiate and manage a 5G network slice.

Η πέμπτη γενιά (5G) των ασύρματων και κινητών επικοινωνιών αναμένεται να έχει εκτεταμένο αντίκτυπο σε τομείς πέρα από αυτόν της τεχνολογίας πληροφοριών και επικοινωνιών (Information and Communications Technology - ICT). Το 5G ευθυγραμμίζεται με την 4η βιομηχανική εξέλιξη (4th industrial evolution), θολώνοντας τα όρια μεταξύ της φυσικής, της ψηφιακής και της βιολογικής σφαίρας. Σχεδιάστηκε για να προσφέρει δυνατότητες πολλαπλών υπηρεσιών και χρηστών, εκπληρώνοντας ταυτόχρονα πολλαπλές απαιτήσεις και επιχειρηματικά οικοσυστήματα. Ωστόσο, ορισμένες υπηρεσίες, όπως η επαυξημένη πραγματικότητα (Augmented Reality -AR), το εργοστάσιο του μέλλοντος (Factory of the Future) κ.λπ. θέτουν προκλήσεις για την ανάπτυξη μιας ενιαίας 5G υποδομής με βάση την ενεργειακή και οικονομική αποδοτικότητα. Σε αυτή τη κατεύθυνση, η παρούσα διδακτορική διατριβή υιοθετεί την ιδέα μιας καθολικής πλατφόρμας 5G που ενσωματώνει μια πληθώρα τεχνολογιών δικτύωσης (ασύρματες και ενσύρματες), και στοχεύει στην ανάπτυξη μαθηματικών εργαλείων, αλγορίθμων και πρωτοκόλλων για την ενεργειακή και λειτουργική βελτιστοποίηση αυτής της υποδομής και των υπηρεσιών που παρέχει. Αυτή η υποδομή διασυνδέει υπολογιστικούς, αποθηκευτικούς και δικτυακούς πόρους μέσω του προγραμματιζόμενου υλισμικού (hardware-HW) και της λογισμικοποίησης του δικτύου (network softwarisation). Με αυτό τον τρόπο, επιτρέπει την παροχή οποιασδήποτε υπηρεσίας με την ευέλικτη και αποτελεσματική μίξη και αντιστοίχιση πόρων δικτύου, υπολογισμού και αποθήκευσης. Αρχικά, η μελέτη επικεντρώνεται στις προκλήσεις των δικτύων ραδιοπρόσβασης επόμενης γενιάς (NG-RAN), τα οποία αποτελούνται από πολλαπλές τεχνολογίες δικτύου για τη διασύνδεση ενός ευρέος φάσματος συσκευών με υπολογιστικούς και αποθηκευτικούς πόρους. Η ανάπτυξη μικρών κυψελών (small cells) είναι ζωτικής σημασίας για τη βελτίωση της φασματικής απόδοσης και της ρυθμαπόδοσης και μπορεί να επιτευχθεί είτε μέσω παραδοσιακών κατανεμημένων δικτύων ραδιοπρόσβασης (D-RAN) είτε μέσω δικτύων ραδιοπρόσβασης νέφους (C-RAN). Ενώ το C-RAN προσφέρει μεγάλα οφέλη όσο αφορά την επεξεργασία σήματος και τον συντονισμό σε σχέση με τα D-RAN, απαιτεί υψηλό εύρος ζώνης μετάδοσης και επιβάλλει σοβαρούς περιορισμούς καθυστέρησης στο δίκτυο μεταφοράς. Για την αντιμετώπιση αυτών των ζητημάτων, προτείνεται μια νέα αρχιτεκτονική «αποσύνθεσης των πόρων». Σύμφωνα με αυτήν, οι λειτουργιές βασικής επεξεργασίας σήματος (BBU functions) μπορούν να διαχωριστούν και να εκτελεστούν είτε στην ίδια θέση με τη κεραία (RU), είτε απομακρυσμένα σε κάποια μονάδα επεξεργασίας που βρίσκεται κοντά (DU) ή μακριά (CU) από την κεραία. Αυτή η έννοια της «αποσύνθεσης των πόρων» επιτρέπει την πρόσβαση σε κοινόχρηστους πόρους που παρέχονται από κέντρα δεδομένων μικρής ή μεγάλης κλίμακας, χωρίς να απαιτείται ιδιοκτησία των πόρων. Ωστόσο, η προσέγγιση αυτή απαιτεί την ανάπτυξη νέων πλαισίων βελτιστοποίησης για τη βελτίωση της αποδοτικότητας και της ευελιξίας των υποδομών 5G, ώστε να διαχειρίζονται αποτελεσματικά τους διαχωρισμένους πόρους. Καθοριστικό ρόλο σε αυτό αποτελεί η αρχιτεκτονική της Δικτύωσης Καθορισμένης από Λογισμικό (SDN), η οποία στοχεύει να επιτρέψει την προγραμματιζόμενη και δυναμική διαχείριση των πόρων του δικτύου μέσω κεντρικού ελέγχου. Έχοντας υπόψιν τα παραπάνω, στο πρώτο μέρος της διατριβής αναπτύσσεται ένα πλαίσιο βελτιστοποίησης που προσδιορίζει το βέλτιστο λειτουργικό διαχωρισμό μεταξύ των λειτουργιών βασικής επεξεργασίας σήματος, σε συνδυασμό με τη βέλτιστη τοποθέτηση του SDN ελεγκτή, λαμβάνοντας επίσης υπόψη τη σταθερότητα του συνολικού συστήματος και τη μείωση των συνολικών λειτουργικών δαπανών. Η ανάλυση επεκτείνεται περαιτέρω με προηγμένα σχήματα βελτιστοποίησης, με σκοπό την προσέγγιση ενός πιο ρεαλιστικού περιβάλλοντος 5G, όπου η ραγδαία αύξηση της κίνησης συνεπάγεται την ανάγκη για μεγαλύτερες δυνατότητες κλιμάκωσης για τη διαχείριση των χωρικών και χρονικών μεταβολών της, καθώς και τερματικών με διαφορετικές απαιτήσεις ποιότητας. Στη συνέχεια μελετούνται τα δίκτυα πυρήνα του 5G. Στα δίκτυα πυρήνα 5G κάθε λειτουργία είναι λογισμικοποιημένη (softwarized) και απομονωμένη, επιτρέποντας την ανάπτυξη της σε υλικό γενικής χρήσης. Επίσης εισάγεται ένας νέος διαχωρισμό μεταξύ των λειτουργιών του επιπέδου ελέγχου και του επιπέδου δεδομένων (Control and User Plane Seperation – CUPS) με βάση την SDN αρχιτεκτονική. Με τον τρόπο αυτό διαχωρίζεται η δικτυακή κίνηση μεταξύ των διαφορετικών 5G οντοτήτων (επίπεδο ελέγχου) και η δικτυακή κίνηση των χρηστών (επίπεδο χρήστη). Κρίσιμο ρόλο στο χειρισμό σημαντικού μέρους του επιπέδου χρήστη στα συστήματα 5G διαδραματίζει η οντότητα «λειτουργία επιπέδου χρήστη» (User Plane Function – UPF). Το UPF είναι υπεύθυνο για την προώθηση της πραγματικής κίνησης χρηστών με πολύ αυστηρές απαιτήσεις απόδοσης. Ανάλογα με τον τύπο της απαιτούμενης υπηρεσίας και την αρχιτεκτονική του δικτύου ραδιοπρόσβασης, οι κόμβοι UPF μπορούν να βρίσκονται είτε πιο κοντά είτε πιο μακριά από αυτό, ανακατευθύνοντας την κυκλοφορία σε διακομιστές κοντά στην άκρη του δικτύου για μείωση του χρόνου καθυστέρησης ή σε κεντρικές εγκαταστάσεις. Ως εκ τούτου, προκύπτει το ερώτημα της επιλογής των βέλτιστων στοιχείων UPF, καθώς η επιλογή ενός μη διαθέσιμου υπολογιστικού πόρου UPF μπορεί να οδηγήσει σε μπλοκάρισμα και καθυστερήσεις της υπηρεσίας. Για την αντιμετώπιση αυτού του ζητήματος, προτείνουμε ένα μοντέλο ειδικά σχεδιασμένο για δυναμική επιλογή βέλτιστων στοιχείων UPF με στόχο την ελαχιστοποίηση της συνολικής καθυστέρησης της υπηρεσίας. Αναπτύσσουμε συναρτήσεις κόστους για το μοντέλο χρησιμοποιώντας εργαστηριακές μετρήσεις που ελήφθησαν από μια πλατφόρμα 5G ανοιχτού κώδικα που φιλοξενείται σε περιβάλλον νέφους οπτικού κέντρου δεδομένων. Με το προτεινόμενο μοντέλο, μπορούμε να επιλέξουμε δυναμικά το καταλληλότερο στοιχείο UPF για τη χρήση υπολογιστικών πόρων, μειώνοντας τη καθυστέρηση εξυπηρέτησης. Επεκτείνοντας την έννοια αποσύνθεσης των δικτυακών πόρων, η ανάλυση εστιάζει στα συστήματα 6G, τα οποία αναμένεται να υποστηρίξουν ένα ευρύ φάσμα υπηρεσιών μέσω μιας κοινής υποδομής που διευκολύνεται από τον τεμαχισμό δικτύου (network slicing). Τα συστήματα 6G προβλέπεται να λειτουργούν με αποκεντρωμένο τρόπο, που επιτρέπει στις εφαρμογές να παρεμβαίνουν άμεσα στις διαδικασίες ελέγχου για την πιο αποτελεσματική διασφάλιση της ποιότητας εμπειρίας (Quality of Experience – QoE) των τελικών χρηστών. Αυτό πραγματοποιείται μέσω της χρήσης της οντότητας «λειτουργία εφαρμογής» (Application Function – AF), η οποία διαχειρίζεται την εφαρμογή που εκτελείται στο τερματικό χρήστη (User Equipment – UE) και στο διακομιστή (Application Server - AS) που υποστηρίζει την υπηρεσία. Το AF διαδραματίζει κρίσιμο ρόλο στην παροχή υπηρεσιών υψηλού QoE, καθώς ενημερώνεται από την εφαρμογή και μπορεί να επηρεάσει τις αποφάσεις δρομολόγησης της κυκλοφορίας. Ωστόσο, η ανεξέλεγκτη λειτουργία του AF μπορεί να οδηγήσει σε αστάθεια στο σύστημα. Για την αντιμετώπιση αυτού του ζητήματος σχεδιάζουμε, εφαρμόζουμε και αξιολογούμε θεωρητικά και πειραματικά ένα πλήρως κατανεμημένο πλαίσιο λήψης αποφάσεων για την εκχώρηση ροών (flow assignment) στα συστήματα 6G. Το πλαίσιο αυτό αποδεικνύεται ότι, υπό συγκεκριμένες συνθήκες, συγκλίνει σε ένα σταθερό σημείο που παρέχει τη βέλτιστη ισορροπία μεταξύ QoE και αποδοτικότητας κόστους. Οι συναρτήσεις κόστους που χρησιμοποιούνται ενσωματώνουν τόσο το κόστος δικτύου όσο και το υπολογιστικό κόστος, τα οποία προκύπτουν ρεαλιστικά μέσω μιας λεπτομερούς διαδικασίας που διεξάγεται σε μια λειτουργική 5G πλατφόρμα. Αυτή η διαδικασία επιτρέπει τη μοντελοποίηση της απόδοσης του συστήματος και των απαιτήσεων σε διαφορετικά σενάρια λειτουργίας, τα οποία μπορούν να βοηθήσουν στη βελτιστοποιημένη διαχείριση του κύκλου ζωής των παρεχόμενων υπηρεσιών. Τέλος, η μελέτη επικεντρώνεται στην πραγματική ανάπτυξη μιας υποδομής 5G που υποστηρίζει τον τεμαχισμό του δικτύου κατά παραγγελία από πολλαπλούς χρήστες. Ο τεμαχισμός του δικτύου επιτρέπει τον διαχωρισμό της φυσικής υποδομής δικτύου σε πολλαπλές λογικές υποδομές που μπορούν να υποστηρίξουν διαφορετικές κατηγορίες υπηρεσιών. Ένα τμήμα δικτύου (slice) έχει τους δικούς του αποκλειστικούς πόρους από το δίκτυο πρόσβασης, μεταφοράς, και πυρήνα, καθώς και στοιχεία από διάφορους τομείς κάτω από τους ίδιους ή διαφορετικούς διαχειριστές. Η κοινή χρήση της υποκείμενης φυσικής υποδομής από τα τμήματα δικτύου περιλαμβάνει την ανάπτυξη κατάλληλων διεπαφών που μπορούν να χρησιμοποιηθούν για την σύνδεση των διαφορετικών δικτυακών στοιχείων, καθώς και τη δημιουργία κατάλληλων περιγραφών (descriptors) για την εικονοποίηση των 5G λειτουργιών (Εικονικές Δικτυακές Λειτουργίες 5G - 5G Virtual Network Functions – VNFs). Η συλλογή και ο κατάλληλος συνδυασμός πολλαπλών VNF δίνει μια 5G υπηρεσία δικτύου (Network Service - NS) από άκρη σε άκρη (End to End - E2E). Μέσω μιας πλατφόρμας διαχείρισης και ενορχήστρωσης (Management and Orchestration Platform - MANO), μπορούμε να συνδυάσουμε αυτές τις υπηρεσίες δικτύου για να δημιουργήσουμε και να διαχειριστούμε ένα 5G τμήμα δικτύου. Για να επιτευχθεί αυτό, στη μελέτη αυτή χρησιμοποιείται ένας ενορχηστρωτής που ονομάζεται Open Source MANO (OSM), ο οποίος είναι συμβατός με το πρότυπο της Εικονικοποίησης Λειτουργιών Δικτύου (NFV). Αναπτύσσονται descriptors τόσο για τις λειτουργίες του επιπέδου ελέγχου του 5G, όσο και για το επίπεδο χρήστη. Συνδυάζοντας αυτούς τους descriptors, επιτυγχάνεται η δυναμική υλοποίηση πολλαπλών τμημάτων δικτύου πάνω σε μια 5G πλατφόρμα που υποστηρίζει πολλαπλούς χρήστες και φιλοξενείται σε μια υποδομή κέντρου δεδομένων. Χρησιμοποιώντας τα δημιουργημένα VNF, μπορούμε να εκτελέσουμε το δίκτυο πυρήνα με το πάτημα ενός κουμπιού και να παρέχουμε πολλαπλά τμήματα δικτύου με διαφορετικά χαρακτηριστικά.