Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Η κλίμακα του δικτύου Amazon Web Services είναι 69 ζώνες σε όλο τον κόσμο σε 22 περιοχές: ΗΠΑ, Ευρώπη, Ασία, Αφρική και Αυστραλία. Κάθε ζώνη περιέχει έως και 8 κέντρα δεδομένων - Κέντρα Επεξεργασίας Δεδομένων. Κάθε κέντρο δεδομένων έχει χιλιάδες ή εκατοντάδες χιλιάδες διακομιστές. Το δίκτυο έχει σχεδιαστεί με τέτοιο τρόπο ώστε να λαμβάνονται υπόψη όλα τα απίθανα σενάρια διακοπής λειτουργίας. Για παράδειγμα, όλες οι περιοχές είναι απομονωμένες η μία από την άλλη και οι ζώνες προσβασιμότητας διαχωρίζονται σε αποστάσεις αρκετών χιλιομέτρων. Ακόμα κι αν κόψετε το καλώδιο, το σύστημα θα μεταβεί σε εφεδρικά κανάλια και η απώλεια πληροφοριών θα ανέλθει σε λίγα πακέτα δεδομένων. Ο Vasily Pantyukhin θα μιλήσει για ποιες άλλες αρχές βασίζεται το δίκτυο και πώς είναι δομημένο.

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Βασίλι Παντιούχιν ξεκίνησε ως διαχειριστής Unix σε εταιρείες .ru, εργάστηκε σε μεγάλο υλικό Sun Microsystem για 6 χρόνια, κήρυξε έναν κόσμο με επίκεντρο τα δεδομένα στην EMC για 11 χρόνια. Φυσικά εξελίχθηκε σε ιδιωτικά σύννεφα και στη συνέχεια μεταφέρθηκε σε δημόσια. Τώρα, ως αρχιτέκτονας των Υπηρεσιών Ιστού της Amazon, παρέχει τεχνικές συμβουλές για τη ζωή και την ανάπτυξη στο σύννεφο AWS.

Στο προηγούμενο μέρος της τριλογίας AWS, ο Vasily ασχολήθηκε με το σχεδιασμό φυσικών διακομιστών και την κλιμάκωση της βάσης δεδομένων. Κάρτες Nitro, προσαρμοσμένος hypervisor που βασίζεται σε KVM, βάση δεδομένων Amazon Aurora - για όλα αυτά στο υλικό "Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση διακομιστών και βάσης δεδομένων" Διαβάστε για τα συμφραζόμενα ή παρακολουθήστε εγγραφή βίντεο ομιλίες.

Αυτό το μέρος θα επικεντρωθεί στην κλιμάκωση δικτύου, ένα από τα πιο πολύπλοκα συστήματα στο AWS. Η εξέλιξη από ένα επίπεδο δίκτυο σε ένα Virtual Private Cloud και ο σχεδιασμός του, οι εσωτερικές υπηρεσίες Blackfoot και HyperPlane, το πρόβλημα ενός θορυβώδους γείτονα και στο τέλος - η κλίμακα του δικτύου, η ραχοκοκαλιά και τα φυσικά καλώδια. Σχετικά με όλα αυτά κάτω από το κόψιμο.

Αποποίηση ευθύνης: όλα τα παρακάτω είναι προσωπική άποψη του Vasily και ενδέχεται να μην συμπίπτουν με τη θέση των Υπηρεσιών Ιστού της Amazon.

Κλιμάκωση δικτύου

Το cloud AWS κυκλοφόρησε το 2006. Το δίκτυό του ήταν αρκετά πρωτόγονο - με επίπεδη δομή. Το εύρος των ιδιωτικών διευθύνσεων ήταν κοινό για όλους τους ενοικιαστές cloud. Κατά την εκκίνηση μιας νέας εικονικής μηχανής, λάβατε κατά λάθος μια διαθέσιμη διεύθυνση IP από αυτό το εύρος.

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Αυτή η προσέγγιση ήταν εύκολη στην εφαρμογή, αλλά περιόρισε θεμελιωδώς τη χρήση του cloud. Συγκεκριμένα, ήταν αρκετά δύσκολο να αναπτυχθούν υβριδικές λύσεις που συνδύαζαν ιδιωτικά δίκτυα στο έδαφος και στο AWS. Το πιο συνηθισμένο πρόβλημα ήταν η επικάλυψη σειρών διευθύνσεων IP.

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Εικονικό ιδιωτικό σύννεφο

Το σύννεφο αποδείχθηκε ότι ήταν σε ζήτηση. Ήρθε η ώρα να σκεφτούμε την επεκτασιμότητα και τη δυνατότητα χρήσης της από δεκάδες εκατομμύρια ενοικιαστές. Το επίπεδο δίκτυο έχει γίνει σημαντικό εμπόδιο. Ως εκ τούτου, σκεφτήκαμε πώς να απομονώσουμε τους χρήστες μεταξύ τους σε επίπεδο δικτύου, ώστε να μπορούν να επιλέξουν ανεξάρτητα εύρη IP.

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Ποιο είναι το πρώτο πράγμα που σας έρχεται στο μυαλό όταν σκέφτεστε την απομόνωση δικτύου; Σίγουρα VLAN и VRF - Εικονική δρομολόγηση και προώθηση.

Δυστυχώς, δεν λειτούργησε. Το αναγνωριστικό VLAN είναι μόνο 12 bit, το οποίο μας δίνει μόνο 4096 μεμονωμένα τμήματα. Ακόμη και οι μεγαλύτεροι διακόπτες μπορούν να χρησιμοποιήσουν το πολύ 1-2 χιλιάδες VRF. Η χρήση VRF και VLAN μαζί μας δίνει μόνο μερικά εκατομμύρια υποδίκτυα. Αυτό σίγουρα δεν είναι αρκετό για δεκάδες εκατομμύρια ενοικιαστές, καθένας από τους οποίους πρέπει να μπορεί να χρησιμοποιεί πολλαπλά υποδίκτυα.

Επίσης, απλά δεν έχουμε την πολυτέλεια να αγοράσουμε τον απαιτούμενο αριθμό μεγάλων κουτιών, για παράδειγμα, από τη Cisco ή την Juniper. Υπάρχουν δύο λόγοι: είναι τρελά ακριβό και δεν θέλουμε να είμαστε στο έλεος των πολιτικών ανάπτυξης και επιδιόρθωσης.

Υπάρχει μόνο ένα συμπέρασμα - φτιάξτε τη δική σας λύση.

Το 2009 ανακοινώσαμε VPC - Εικονικό ιδιωτικό σύννεφο. Το όνομα κόλλησε και τώρα το χρησιμοποιούν και πολλοί πάροχοι cloud.

Το VPC είναι ένα εικονικό δίκτυο SDN (Software Defined Network). Αποφασίσαμε να μην εφεύρουμε ειδικά πρωτόκολλα στα επίπεδα L2 και L3. Το δίκτυο τρέχει σε τυπικό Ethernet και IP. Για μετάδοση μέσω του δικτύου, η κίνηση της εικονικής μηχανής ενσωματώνεται στο δικό μας περιτύλιγμα πρωτοκόλλου. Υποδεικνύει το αναγνωριστικό που ανήκει στο VPC του ενοικιαστή.

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Ακούγεται απλό. Ωστόσο, υπάρχουν αρκετές σοβαρές τεχνικές προκλήσεις που πρέπει να ξεπεραστούν. Για παράδειγμα, πού και πώς να αποθηκεύσετε δεδομένα σχετικά με την αντιστοίχιση εικονικών διευθύνσεων MAC/IP, το αναγνωριστικό VPC και το αντίστοιχο φυσικό MAC/IP. Σε κλίμακα AWS, αυτός είναι ένας τεράστιος πίνακας που θα πρέπει να λειτουργεί με ελάχιστες καθυστερήσεις πρόσβασης. Υπεύθυνος για αυτό υπηρεσία χαρτογράφησης, το οποίο απλώνεται σε λεπτό στρώμα σε όλο το δίκτυο.

Στα μηχανήματα νέας γενιάς, η ενθυλάκωση γίνεται με κάρτες Nitro σε επίπεδο υλικού. Σε παλαιότερες περιπτώσεις, η ενθυλάκωση και η αποκαψούλωση βασίζονται σε λογισμικό. 

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Ας καταλάβουμε πώς λειτουργεί σε γενικούς όρους. Ας ξεκινήσουμε με το επίπεδο L2. Ας υποθέσουμε ότι έχουμε μια εικονική μηχανή με IP 10.0.0.2 σε έναν φυσικό διακομιστή 192.168.0.3. Στέλνει δεδομένα στην εικονική μηχανή 10.0.0.3, η οποία βρίσκεται στην 192.168.1.4. Ένα αίτημα ARP δημιουργείται και αποστέλλεται στην κάρτα Nitro δικτύου. Για απλότητα, υποθέτουμε ότι και οι δύο εικονικές μηχανές ζουν στο ίδιο «μπλε» VPC.

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Ο χάρτης αντικαθιστά τη διεύθυνση πηγής με τη δική του και προωθεί το πλαίσιο ARP στην υπηρεσία χαρτογράφησης.

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Η υπηρεσία χαρτογράφησης επιστρέφει πληροφορίες που είναι απαραίτητες για μετάδοση μέσω του φυσικού δικτύου L2.

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Η κάρτα Nitro στην απόκριση ARP αντικαθιστά το MAC στο φυσικό δίκτυο με μια διεύθυνση στο VPC.

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Κατά τη μεταφορά δεδομένων, τυλίγουμε λογικό MAC και IP σε ένα περιτύλιγμα VPC. Όλα αυτά τα μεταδίδουμε μέσω του φυσικού δικτύου χρησιμοποιώντας τις κατάλληλες κάρτες IP Nitro προέλευσης και προορισμού.

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Η φυσική μηχανή στην οποία προορίζεται το πακέτο εκτελεί τον έλεγχο. Αυτό είναι απαραίτητο για να αποφευχθεί η πιθανότητα πλαστογράφησης διεύθυνσης. Το μηχάνημα στέλνει ένα ειδικό αίτημα στην υπηρεσία χαρτογράφησης και ρωτά: «Από τη φυσική μηχανή 192.168.0.3 έλαβα ένα πακέτο που προορίζεται για 10.0.0.3 στο μπλε VPC. Είναι νόμιμος; 

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Η υπηρεσία χαρτογράφησης ελέγχει τον πίνακα κατανομής πόρων της και επιτρέπει ή αρνείται τη διέλευση του πακέτου. Σε όλες τις νέες περιπτώσεις, πρόσθετη επικύρωση είναι ενσωματωμένη στις κάρτες Nitro. Είναι αδύνατο να το παρακάμψεις έστω και θεωρητικά. Επομένως, η πλαστογράφηση πόρων σε άλλο VPC δεν θα λειτουργήσει.

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Στη συνέχεια, τα δεδομένα αποστέλλονται στην εικονική μηχανή για την οποία προορίζονται. 

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Η υπηρεσία χαρτογράφησης λειτουργεί επίσης ως λογικός δρομολογητής για τη μεταφορά δεδομένων μεταξύ εικονικών μηχανών σε διαφορετικά υποδίκτυα. Όλα είναι εννοιολογικά απλά, δεν θα μπω σε λεπτομέρειες.

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Αποδεικνύεται ότι κατά τη μετάδοση κάθε πακέτου, οι διακομιστές στρέφονται στην υπηρεσία χαρτογράφησης. Πώς να αντιμετωπίσετε τις αναπόφευκτες καθυστερήσεις; Προσωρινή αποθήκευση, φυσικά.

Η ομορφιά είναι ότι δεν χρειάζεται να αποθηκεύσετε ολόκληρο το τεράστιο τραπέζι. Ένας φυσικός διακομιστής φιλοξενεί εικονικές μηχανές από έναν σχετικά μικρό αριθμό VPC. Χρειάζεται μόνο να αποθηκεύσετε προσωρινά πληροφορίες σχετικά με αυτά τα VPC. Η μεταφορά δεδομένων σε άλλα VPC στην "προεπιλεγμένη" διαμόρφωση εξακολουθεί να μην είναι νόμιμη. Εάν χρησιμοποιείται λειτουργικότητα όπως η αντιστοίχιση VPC, τότε οι πληροφορίες σχετικά με τα αντίστοιχα VPC φορτώνονται επιπλέον στην κρυφή μνήμη. 

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Τακτοποιήσαμε τη μεταφορά δεδομένων στο VPC.

μαυροπόδαρος

Τι πρέπει να κάνετε σε περιπτώσεις όπου η κίνηση πρέπει να μεταδίδεται εκτός, για παράδειγμα στο Διαδίκτυο ή μέσω VPN στο έδαφος; Μας βοηθάει εδώ μαυροπόδαρος — Εσωτερική υπηρεσία AWS. Αναπτύχθηκε από την ομάδα μας στη Νότια Αφρική. Γι' αυτό η υπηρεσία πήρε το όνομά της από έναν πιγκουίνο που ζει στη Νότια Αφρική.

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Το Blackfoot αποκαψουλώνει την κυκλοφορία και κάνει ό,τι χρειάζεται με αυτό. Τα δεδομένα αποστέλλονται στο Διαδίκτυο ως έχουν.

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Τα δεδομένα αποκαψουλώνονται και αναδιπλώνονται σε IPsec όταν χρησιμοποιείτε VPN.

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Όταν χρησιμοποιείτε το Direct Connect, η κίνηση επισημαίνεται και αποστέλλεται στο κατάλληλο VLAN.

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Υπερπλάνο

Αυτή είναι μια υπηρεσία εσωτερικού ελέγχου ροής. Πολλές υπηρεσίες δικτύου απαιτούν παρακολούθηση καταστάσεις ροής δεδομένων. Για παράδειγμα, όταν χρησιμοποιείτε NAT, ο έλεγχος ροής πρέπει να διασφαλίζει ότι κάθε ζεύγος θύρας IP:προορισμού έχει μια μοναδική θύρα εξερχόμενης. Στην περίπτωση ενός εξισορροπητή NLB - Ισορροπιστής φορτίου δικτύου, η ροή δεδομένων πρέπει πάντα να κατευθύνεται στην ίδια εικονική μηχανή προορισμού. Το Security Groups είναι ένα τείχος προστασίας με κατάσταση κατάστασης. Παρακολουθεί την εισερχόμενη κίνηση και ανοίγει σιωπηρά τις θύρες για τη ροή εξερχόμενων πακέτων.

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Στο νέφος AWS, οι απαιτήσεις καθυστέρησης μετάδοσης είναι εξαιρετικά υψηλές. Να γιατί Υπερπλάνο κρίσιμης σημασίας για την απόδοση ολόκληρου του δικτύου.

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Το Hyperplane είναι χτισμένο σε εικονικές μηχανές EC2. Δεν υπάρχει μαγεία εδώ, μόνο πονηριά. Το κόλπο είναι ότι πρόκειται για εικονικές μηχανές με μεγάλη μνήμη RAM. Οι λειτουργίες είναι συναλλακτικές και εκτελούνται αποκλειστικά στη μνήμη. Αυτό σας επιτρέπει να επιτύχετε καθυστερήσεις μόνο δεκάδων μικροδευτερόλεπτων. Η εργασία με το δίσκο θα σκότωνε όλη την παραγωγικότητα. 

Το Hyperplane είναι ένα κατανεμημένο σύστημα ενός τεράστιου αριθμού τέτοιων μηχανών EC2. Κάθε εικονική μηχανή έχει εύρος ζώνης 5 GB/s. Σε ολόκληρο το περιφερειακό δίκτυο, αυτό παρέχει απίστευτα terabit εύρους ζώνης και επιτρέπει την επεξεργασία εκατομμύρια συνδέσεις ανά δευτερόλεπτο.

Το HyperPlane λειτουργεί μόνο με ροές. Η ενθυλάκωση πακέτων VPC είναι απολύτως διαφανής γι 'αυτό. Μια πιθανή ευπάθεια σε αυτήν την εσωτερική υπηρεσία θα εξακολουθούσε να αποτρέπει τη διάρρηξη της απομόνωσης VPC. Τα παρακάτω επίπεδα είναι υπεύθυνα για την ασφάλεια.

Θορυβώδης γείτονας

Υπάρχει ακόμα πρόβλημα θορυβώδης γείτονας - θορυβώδης γείτονας. Ας υποθέσουμε ότι έχουμε 8 κόμβους. Αυτοί οι κόμβοι επεξεργάζονται τις ροές όλων των χρηστών του cloud. Όλα φαίνονται να είναι καλά και το φορτίο θα πρέπει να κατανέμεται ομοιόμορφα σε όλους τους κόμβους. Οι κόμβοι είναι πολύ ισχυροί και είναι δύσκολο να υπερφορτωθούν.

Αλλά χτίζουμε την αρχιτεκτονική μας με βάση ακόμη και απίθανα σενάρια. 

Χαμηλή πιθανότητα δεν σημαίνει αδύνατο.

Μπορούμε να φανταστούμε μια κατάσταση στην οποία ένας ή περισσότεροι χρήστες θα δημιουργούσαν υπερβολικό φορτίο. Όλοι οι κόμβοι HyperPlane εμπλέκονται στην επεξεργασία αυτού του φορτίου και άλλοι χρήστες θα μπορούσαν ενδεχομένως να βιώσουν κάποιο είδος επιτυχίας απόδοσης. Αυτό σπάει την έννοια του cloud, στο οποίο οι ενοικιαστές δεν έχουν τη δυνατότητα να επηρεάσουν ο ένας τον άλλον.

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Πώς να λύσετε το πρόβλημα ενός θορυβώδους γείτονα; Το πρώτο πράγμα που μου έρχεται στο μυαλό είναι το sharing. Οι 8 κόμβοι μας χωρίζονται λογικά σε 4 θραύσματα των 2 κόμβων το καθένα. Τώρα ένας θορυβώδης γείτονας θα ενοχλήσει μόνο το ένα τέταρτο όλων των χρηστών, αλλά θα τους ενοχλήσει πολύ.

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Ας κάνουμε τα πράγματα διαφορετικά. Θα διαθέσουμε μόνο 3 κόμβους σε κάθε χρήστη. 

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Το κόλπο είναι να αντιστοιχίσετε τυχαία κόμβους σε διαφορετικούς χρήστες. Στην παρακάτω εικόνα, ο μπλε χρήστης τέμνει τους κόμβους με έναν από τους άλλους δύο χρήστες - πράσινο και πορτοκαλί.

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Με 8 κόμβους και 3 χρήστες, η πιθανότητα να διασταυρωθεί ένας θορυβώδης γείτονας με έναν από τους χρήστες είναι 54%. Με αυτήν την πιθανότητα ένας μπλε χρήστης θα επηρεάσει άλλους ενοικιαστές. Ταυτόχρονα, μόνο ένα μέρος του φορτίου του. Στο παράδειγμά μας, αυτή η επιρροή θα είναι τουλάχιστον κατά κάποιο τρόπο αισθητή όχι σε όλους, αλλά μόνο στο ένα τρίτο όλων των χρηστών. Αυτό είναι ήδη ένα καλό αποτέλεσμα.

Αριθμός χρηστών που θα διασταυρωθούν

Πιθανότητα σε ποσοστό

0

18%

1

54%

2

26%

3

2%

Ας φέρουμε την κατάσταση πιο κοντά στην πραγματικότητα - ας πάρουμε 100 κόμβους και 5 χρήστες σε 5 κόμβους. Σε αυτήν την περίπτωση, κανένας από τους κόμβους δεν θα τέμνεται με πιθανότητα 77%. 

Αριθμός χρηστών που θα διασταυρωθούν

Πιθανότητα σε ποσοστό

0

77%

1

21%

2

1,8%

3

0,06%

4

0,0006%

5

0,00000013%

Σε μια πραγματική κατάσταση, με έναν τεράστιο αριθμό κόμβων και χρηστών HyperPlane, η πιθανή επίδραση ενός θορυβώδους γείτονα σε άλλους χρήστες είναι ελάχιστη. Αυτή η μέθοδος ονομάζεται ανάμειξη θρυμματισμού - ανακάτεμα. Ελαχιστοποιεί την αρνητική επίδραση της αποτυχίας κόμβου.

Πολλές υπηρεσίες δημιουργούνται με βάση το HyperPlane: Network Load Balancer, NAT Gateway, Amazon EFS, AWS PrivateLink, AWS Transit Gateway.

Κλίμακα δικτύου

Τώρα ας μιλήσουμε για την κλίμακα του ίδιου του δικτύου. Για τον Οκτώβριο του 2019 η AWS προσφέρει τις υπηρεσίες της σε 22 περιφέρειες, και προγραμματίζονται άλλα 9.

  • Κάθε περιοχή περιέχει πολλές Ζώνες Διαθεσιμότητας. Υπάρχουν 69 από αυτά σε όλο τον κόσμο.
  • Κάθε ΑΖ αποτελείται από Κέντρα Επεξεργασίας Δεδομένων. Δεν υπάρχουν περισσότερα από 8 από αυτά συνολικά.
  • Το κέντρο δεδομένων φιλοξενεί έναν τεράστιο αριθμό διακομιστών, ορισμένοι με έως και 300.

Τώρα ας υπολογίσουμε κατά μέσο όρο όλα αυτά, ας πολλαπλασιάσουμε και ας πάρουμε ένα εντυπωσιακό νούμερο που αντανακλά Κλίμακα νέφους Amazon.

Υπάρχουν πολλοί οπτικοί σύνδεσμοι μεταξύ των ζωνών διαθεσιμότητας και του κέντρου δεδομένων. Σε μια από τις μεγαλύτερες περιοχές μας, έχουν δημιουργηθεί 388 κανάλια μόνο για επικοινωνία AZ μεταξύ τους και κέντρων επικοινωνίας με άλλες περιοχές (Κέντρα Διέλευσης). Συνολικά αυτό δίνει τρελό 5000 Tbit.

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Το Backbone AWS είναι κατασκευασμένο ειδικά για το cloud και βελτιστοποιημένο για αυτό. Το χτίζουμε στα κανάλια 100 GB / s. Τους ελέγχουμε πλήρως, με εξαίρεση τις περιοχές στην Κίνα. Η κίνηση δεν μοιράζεται με τα φορτία άλλων εταιρειών.

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Φυσικά, δεν είμαστε ο μόνος πάροχος cloud με ιδιωτικό δίκτυο κορμού. Όλο και περισσότερες μεγάλες εταιρείες ακολουθούν αυτόν τον δρόμο. Αυτό επιβεβαιώνεται από ανεξάρτητους ερευνητές, για παράδειγμα από Τηλεγεωγραφία.

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Το γράφημα δείχνει ότι το μερίδιο των παρόχων περιεχομένου και των παρόχων cloud αυξάνεται. Εξαιτίας αυτού, το μερίδιο της διαδικτυακής κίνησης των βασικών παρόχων μειώνεται συνεχώς.

Θα εξηγήσω γιατί συμβαίνει αυτό. Προηγουμένως, οι περισσότερες υπηρεσίες Ιστού ήταν προσβάσιμες και καταναλώνονταν απευθείας από το Διαδίκτυο. Σήμερα, όλο και περισσότεροι διακομιστές βρίσκονται στο cloud και είναι προσβάσιμοι μέσω CDN - Δίκτυο διανομής περιεχομένου. Για να αποκτήσει πρόσβαση σε έναν πόρο, ο χρήστης περνά μέσω του Διαδικτύου μόνο στο πλησιέστερο CDN PoP - Σημείο παρουσίας. Τις περισσότερες φορές είναι κάπου κοντά. Στη συνέχεια, αφήνει το δημόσιο Διαδίκτυο και πετάει μέσω μιας ιδιωτικής ραχοκοκαλιάς πέρα ​​από τον Ατλαντικό, για παράδειγμα, και φτάνει απευθείας στον πόρο.

Αναρωτιέμαι πώς θα αλλάξει το Διαδίκτυο σε 10 χρόνια αν συνεχιστεί αυτή η τάση;

Φυσικά κανάλια

Οι επιστήμονες δεν έχουν ακόμη καταλάβει πώς να αυξήσουν την ταχύτητα του φωτός στο Σύμπαν, αλλά έχουν σημειώσει μεγάλη πρόοδο στις μεθόδους μετάδοσής του μέσω οπτικών ινών. Αυτήν τη στιγμή χρησιμοποιούμε 6912 καλώδια οπτικών ινών. Αυτό βοηθά στη σημαντική βελτιστοποίηση του κόστους της εγκατάστασής τους.

Σε ορισμένες περιοχές πρέπει να χρησιμοποιούμε ειδικά καλώδια. Για παράδειγμα, στην περιοχή του Σίδνεϊ χρησιμοποιούμε καλώδια με ειδική επίστρωση κατά των τερμιτών. 

Πώς η AWS μαγειρεύει τις ελαστικές υπηρεσίες της. Κλιμάκωση δικτύου

Κανείς δεν είναι απρόσβλητος από προβλήματα και μερικές φορές τα κανάλια μας καταστρέφονται. Η φωτογραφία στα δεξιά δείχνει οπτικά καλώδια σε μια από τις περιοχές της Αμερικής που σκίστηκαν από εργάτες οικοδομής. Ως αποτέλεσμα του ατυχήματος, χάθηκαν μόνο 13 πακέτα δεδομένων, κάτι που προκαλεί έκπληξη. Για άλλη μια φορά - μόνο 13! Το σύστημα κυριολεκτικά άλλαξε αμέσως σε εφεδρικά κανάλια - η ζυγαριά λειτουργεί.

Καλπάσαμε μερικές από τις υπηρεσίες cloud και τεχνολογίες της Amazon. Ελπίζω να έχετε τουλάχιστον κάποια ιδέα για την κλίμακα των εργασιών που πρέπει να επιλύσουν οι μηχανικοί μας. Προσωπικά, το βρίσκω πολύ συναρπαστικό. 

Αυτό είναι το τελευταίο μέρος της τριλογίας από τον Vasily Pantyukhin σχετικά με τη συσκευή AWS. ΣΕ πρώτος τα μέρη περιγράφουν τη βελτιστοποίηση διακομιστή και την κλιμάκωση της βάσης δεδομένων, και σε δεύτερος — Λειτουργίες χωρίς διακομιστή και Firecracker.

Επί HighLoad++ τον Νοέμβριο ο Vasily Pantyukhin θα μοιραστεί νέες λεπτομέρειες της συσκευής Amazon. Αυτός θα πει σχετικά με τα αίτια των αστοχιών και τον σχεδιασμό των κατανεμημένων συστημάτων στο Amazon. Η 24η Οκτωβρίου είναι ακόμα δυνατή να κάνετε κράτηση εισιτήριο σε καλή τιμή και πληρώστε αργότερα. Σας περιμένουμε στο HighLoad++, ελάτε να τα πούμε!

Πηγή: www.habr.com

Προσθέστε ένα σχόλιο