Μελέτη και υλοποίηση δικτυακού συστήματος διομότιμης αρχιτεκτονικής αποθήκευσης, εύρεσης δεδομένων και σύγχρονου διαμοιρασμού βίντεο πραγματικού χρόνου

Abstract

The subject of this PhD thesis is the study and development of a complete distributed system for real time data distribution capable of replacing existing client/server systems while offering greater levels of performance. The proposed system is composed of three subsystems. The first sub system is a peer to peer live streaming system. It is composed of an overlay which is able to reflect the underlying network infrastructure and to self-organize in response to dynamic changes of the peer population and network conditions and of a scheduler implementing three different mechanisms: the token generation algorithm, the mechanism of proactive block request and the mechanism for selecting the next peer for packet transmitting. The evaluation of this system which was done using simulation tools as well as deployment in real network conditions showed that it’s capable of satisfying all the requirements set by that type of applications with high levels of efficiency. The second sub system is responsible for monitoring the performance levels of the live streaming system and for supplying extra bandwidth in cases when peers aggregated resources are insufficient to sustain the streaming process. It is based on the development of a monitoring algorithm which is able to estimate in real time and with accuracy the aggregated upload bandwidth of the streaming system by just sampling a small subset of the participating peers. This subset is quite small and independent of the number of participant nodes allowing for the exceptional scalability of the proposed system. Because of these measurements the approximation of the bandwidth necessary for the successful performance of the distribution system becomes feasible. This excess bandwidth is supplied by a set of auxiliary peers which become a member of the streaming overlay for the efficient exploitation of their uploading bandwidth. The last sub system is a peer to peer storage system responsible for the storage and query of objects available for streaming aided by the first subsystem described above. Its main principle is the separation of the routing process from the storage process and it is composed of two interconnected overlays.

Αντικείμενο αυτής της διδακτορικής διατριβής είναι η μελέτη και η υλοποίηση ενός ολοκληρωμένου κατανεμημένου συστήματος διανομής δεδομένων σε πραγματικό χρόνο ικανό να αντικαταστήσει τα υπάρχοντα συστήματα που βασίζονται στην κλασσική αρχιτεκτονική πελάτη/εξυπηρετητή προσφέροντας παράλληλα μεγαλύτερα επίπεδα απόδοσης. Το προτεινόμενο σύστημα αποτελείται από τρία υποσυστήματα. Το πρώτο διομότιμο υποσύστημα είναι υπεύθυνο για το διαμοιρασμό των δεδομένων σε πραγματικό χρόνο σε όλους τους κόμβους του συστήματος. Αποτελείται από ένα γράφο διασύνδεσης που είναι ικανός να αντικατοπτρίζει τη θέση των κόμβων στο φυσικό υποδίκτυο και να μπορεί να αυτο-οργανώνεται στις δυναμικές αλλαγές του δικτύου ή του πληθυσμού των κόμβων και από ένα χρονοπρογραμματιστή του οποίου η λειτουργία διαχωρίζεται στον μηχανισμό δημιουργίας κουπονιών στον μηχανισμό προ ενεργής αίτησης πακέτου και στο μηχανισμό απόφασης επομένου κόμβου προς αποστολή πακέτου. Η αξιολόγηση του συστήματος η οποία έγινε με την βοήθεια προσομοιωτών αλλά και με την ανάπτυξη του συστήματος σε πραγματικές συνθήκες λειτουργίας έδειξε ότι είναι ικανό να ικανοποιήσει όλα τα επιθυμητά χαρακτηριστικά μιας τέτοιας εφαρμογής με μεγάλη αποτελεσματικότητα. Το δεύτερο υποσύστημα είναι υπεύθυνο για την παρακολούθηση της λειτουργίας του υποσυστήματος διαμοιρασμού και την παροχή επιπλέον εύρους ζώνης στην περίπτωση που δεν επαρκούν οι πόροι του πρώτου. Βασίζεται στην ανάπτυξη ενός αλγορίθμου παρακολούθησης ο οποίος είναι σε θέση μετρώντας ένα μικρό μόνο υποσύνολο κόμβων να εκτιμήσει γρήγορα και με ακρίβεια το συνολικό διαθέσιμο εύρος ζώνης του συστήματος. Ο αριθμός των κόμβων αυτών είναι αρκετά μικρός και ανεξάρτητος από τον αριθμό των συμμετεχόντων κόμβων καθιστώντας το προτεινόμενο σύστημα ικανό για εξαιρετική κλιμάκωση. Με τις μετρήσεις αυτές γίνεται εφικτός ο υπολογισμός του επιπλέων εύρους ζώνης που απαιτείται για την αδιάλειπτη λειτουργία του συστήματος διαμοιρασμού. Το εύρος ζώνης αυτό προσφέρεται από ένα σύνολο βοηθητικών εξυπηρετητών οι οποίοι εισάγονται στο γράφο διασύνδεσης για την βέλτιστη αξιοποίηση του εύρους ζώνης τους. Το τελευταίο υποσύστημα διομότιμης αρχιτεκτονικής είναι υπεύθυνο για την αποθήκευση και την εύρεση των αντικείμενων που είναι διαθέσιμα προς διανομή μέσω του πρώτου υποσυστήματος. Βασίζεται στην αρχή του διαχωρισμού της λειτουργίας δρομολόγησης από την λειτουργία αποθήκευσης και αποτελείται από δύο διασυνδεόμενους γράφους διασύνδεσης.