NFV service chains at the speed of the underlying commodity hardware

Abstract

Link speeds in networks will in the near-future reach and exceed100 Gbps. While available specialized hardware can accommodate these speeds, modern networks have adopted a new networking paradigm, also known as Network Functions Virtualization (NFV), that replaces expensive specialized hardware with open-source software running on commodity hardware. However, achieving high performance using commodity hardware is a hard problem mainly because of the processor-memory gap. This gap suggests that only the fastest memories of today’s commodity servers can achieve the desirable access latencies for high speed networks. Existing NFV systems realize chained network functions (also known as service chains)mostly using slower memories; this implies a need for multiple additional CPU cores or even multiple servers to achieve high speed packet processing. In contrast, this thesis combines four contributions to realize NFV service chains with dramatically higher performance and better efficiency than the state of the art. The first contribution is a framework that profiles NFV service chains to uncover reasons for performance degradation, while the second contribution leverages the profiler’s data to accelerate these service chains by combining multiplexing of system calls with scheduling strategies. The third contribution synthesizes input/output and processing service chain operations to increase the spatial locality of network traffic with respect to a system’s caches. The fourth contribution combines the profiler’s insights from the first contribution and the synthesis approach of the third contribution to realize NFV service chains at the speed of the underlying commodity hardware. To do so, stateless traffic classification operations are offloaded into available hardware (i.e., programmable switches and/or network cards) and a tag is associated with each traffic class. At the server side, input traffic classes are classified by the hardware based upon the values of these tags, which indicate the CPU core that should undertake their stateful processing, while ensuring zero inter-core communication. With commodity hardware, this thesis realizes Internet Service Provider-level service chains and deep packet inspection at a line-rate 40 Gbps and stateful service chains at the speed of a 100GbE network card on a 16 core single server. This results in up to (i) 4.7x lower latency, (ii) 8.5x higher throughput, and (iii) 6.5x better efficiency than the state of the art. The techniques described in this thesis are crucial for realizing future high speed NFV deployments.

Οι ταχύτητες σύνδεσης στα δίκτυα στο εγγύς μέλλον θα φτάσουν και θα ξεπεράσουν τα 100 Gbps. Ενώ το διαθέσιμο εξειδικευμένο υλικό μπορεί να διεκπεραιώσει αυτές τις ταχύτητες, τα σύγχρονα δίκτυα έχουν υιοθετήσει ένα νέο πρότυπο δικτύωσης γνωστό ως Network Functions Virtualization (NFV), που αντικαθιστά το ακριβό εξειδικευμένο υλικό με λογισμικό ανοιχτού κώδικα που εκτελείται σε υλικό γενικού σκοπού. Ωστόσο, η επίτευξη υψηλών επιδόσεων με χρήση υλικού γενικού σκοπού είναι ένα δύσκολο πρόβλημα κυρίως λόγω του χάσματος απόδοσης επεξεργαστή-μνήμης. Αυτό το χάσμα υποδηλώνει ότι μόνο οι πιο γρήγορες μνήμες προσπέλασης δεδομένων των σημερινών εξυπηρετητών (servers) μπορούν να επιτύχουν την επιθυμητή ταχύτητα πρόσβασης για δίκτυα υψηλής ταχύτητας. Υπάρχοντα NFV συστήματα πραγματοποιούν αλυσιδωτές λειτουργίες δικτύου (γνωστές και ως service chains) χρησιμοποιώντας κυρίως πιο αργές μνήμες. Αυτό συνεπάγεται την ανάγκη χρήσης πολλαπλών επεξεργαστών ή ακόμα και πολλαπλών εξυπηρετητών για την επίτευξη υψηλής ταχύτητας επεξεργασίας πακέτων. Αντίθετα, αυτή η διατριβή συνδυάζει τέσσερις συνεισφορές για την υλοποίηση αλυσιδωτών λειτουργιών δικτύου με δραματικά υψηλότερη απόδοση και καλύτερη αποδοτικότητα από ότι είναι εφικτό σήμερα. Η πρώτη συνεισφορά είναι ένα σύστημα που αναλύει την απόδοση NFV αλυσίδων για να ανακαλύψει πιθανούς λόγους υποβάθμισης της απόδοσης, ενώ η δεύτερη συνεισφορά αξιοποιεί τα δεδομένα της ανάλυσης για να επιταχύνει αυτές τις αλυσίδες υπηρεσιών συνδυάζοντας την πολυπλεξία κλήσεων συστήματος (system calls' multiplexing) με στρατηγικές χρονο-προγραμματισμού διεργασιών του λειτουργικού συστήματος. Η τρίτη συνεισφορά συνθέτει μεθόδους εισόδου/εξόδου και επεξεργασίας NFV υπηρεσιών για την αύξηση της χωρικής τοπικότητας των πακέτων του δικτύου στις κρυφές μνήμες ενός συστήματος. Η τέταρτη συνεισφορά συνδυάζει τα ευρήματα του αναλυτή από την πρώτη συνεισφορά και τη συνθετική προσέγγιση της τρίτης συμβολής για την υλοποίηση αλυσίδων υπηρεσιών NFV στην ταχύτητα του υποκείμενου υλικού γενικού σκοπού. Για να γίνει αυτό, οι εργασίες ταξινόμησης των πακέτων του δικτύου εκφορτώνονται στο διαθέσιμο υλικό (πχ επαναπρογραμματιζόμενοι μεταγωγείς ή/και κάρτες δικτύου) και μια ετικέτα συσχετίζεται με κάθε κατηγορία πακέτων. Στην πλευρά του εξυπηρετητή, οι κατηγορίες πακέτων εισόδου ταξινομούνται από το υλικό με βάση τις τιμές αυτών των ετικετών, οι οποίες υποδεικνύουν τον πυρήνα της CPU που πρέπει να αναλάβει την επεξεργασία τους, εκμηδενίζοντας παράλληλα την επικοινωνία μεταξύ πυρήνων. Με χρήση υλικού γενικού σκοπού, αυτή η διατριβή πραγματοποιεί υπηρεσίες σε επίπεδο Παροχέα Υπηρεσιών Διαδικτύου (Internet Service Provider) καθώς και αναλυτική επιθεώρηση πακέτων (deep packet inspection) με ρυθμό 40 Gbps και αλυσίδες υπηρεσιών στην ταχύτητα μιας κάρτας δικτύου 100 GbE με χρήση ενός μόνο εξυπηρετητή με 16 επεξεργαστές. Αυτό έχει ως αποτέλεσμα έως (i) 4,7 φορές χαμηλότερη καθυστέρηση, (ii) 8,5 φορές υψηλότερη ρυθμααπόδοση και (iii) 6,5 φορές καλύτερη αποδοτικότητα από την τελευταία λέξη της τεχνολογίας. Οι τεχνικές που περιγράφονται σε αυτή τη διατριβή είναι ζωτικής σημασίας για την επίτευξη NFV υπηρεσιών υψηλής ταχύτητας στο εγγύς μέλλον.