Σήμερα θα σας πω πώς προέκυψε και υλοποιήθηκε η ιδέα της δημιουργίας ενός νέου εσωτερικού δικτύου για την εταιρεία μας. Η θέση της διοίκησης είναι ότι πρέπει να κάνετε το ίδιο ολοκληρωμένο έργο για τον εαυτό σας όπως και για τον πελάτη. Αν το κάνουμε καλά για τον εαυτό μας, μπορούμε να προσκαλέσουμε τον πελάτη και να δείξουμε πόσο καλά λειτουργεί και λειτουργεί αυτό που του προσφέρουμε. Ως εκ τούτου, προσεγγίσαμε την ανάπτυξη της ιδέας ενός νέου δικτύου για το γραφείο της Μόσχας πολύ διεξοδικά, χρησιμοποιώντας τον πλήρη κύκλο παραγωγής: ανάλυση των αναγκών του τμήματος → επιλογή τεχνικής λύσης → σχεδιασμός → υλοποίηση → δοκιμή. Ας ξεκινήσουμε λοιπόν.
Επιλογή τεχνικής λύσης: Mutant Sanctuary
Η διαδικασία εργασίας σε ένα σύνθετο αυτοματοποιημένο σύστημα περιγράφεται καλύτερα επί του παρόντος στο GOST 34.601-90 «Αυτοματοποιημένα συστήματα. Stages of Creation», οπότε δουλέψαμε σύμφωνα με αυτό. Και ήδη στα στάδια διαμόρφωσης απαιτήσεων και ανάπτυξης ιδέας, συναντήσαμε τις πρώτες δυσκολίες. Οργανισμοί διαφόρων προφίλ - τράπεζες, ασφαλιστικές εταιρείες, προγραμματιστές λογισμικού κ.λπ. - για τα καθήκοντα και τα πρότυπα τους, χρειάζονται ορισμένους τύπους δικτύων, οι ιδιαιτερότητες των οποίων είναι σαφείς και τυποποιημένες. Ωστόσο, αυτό δεν θα λειτουργήσει με εμάς.
Γιατί;
Η Jet Infosystems είναι μια μεγάλη διαφοροποιημένη εταιρεία πληροφορικής. Ταυτόχρονα, το τμήμα εσωτερικής μας υποστήριξης είναι μικρό (αλλά περήφανο), διασφαλίζει τη λειτουργικότητα των βασικών υπηρεσιών και συστημάτων. Η εταιρεία περιλαμβάνει πολλά τμήματα που εκτελούν διαφορετικές λειτουργίες: πρόκειται για πολλές ισχυρές ομάδες εξωτερικής ανάθεσης και για εσωτερικούς προγραμματιστές επιχειρηματικών συστημάτων και ασφάλειας πληροφοριών και αρχιτέκτονες υπολογιστικών συστημάτων - γενικά, όποιος κι αν είναι. Κατά συνέπεια, τα καθήκοντα, τα συστήματα και οι πολιτικές ασφαλείας τους είναι επίσης διαφορετικά. Κάτι που όπως ήταν αναμενόμενο δημιούργησε δυσκολίες στη διαδικασία ανάλυσης αναγκών και τυποποίησης.
Εδώ, για παράδειγμα, είναι το τμήμα ανάπτυξης: οι υπάλληλοί του γράφουν και δοκιμάζουν κώδικα για μεγάλο αριθμό πελατών. Συχνά υπάρχει ανάγκη να οργανωθούν γρήγορα περιβάλλοντα δοκιμών και, ειλικρινά, δεν είναι πάντα δυνατό να διαμορφωθούν απαιτήσεις για κάθε έργο, να ζητηθούν πόροι και να δημιουργηθεί ένα ξεχωριστό περιβάλλον δοκιμής σύμφωνα με όλους τους εσωτερικούς κανονισμούς. Αυτό δημιουργεί περίεργες καταστάσεις: μια μέρα ο ταπεινός υπηρέτης σας κοίταξε στο δωμάτιο των προγραμματιστών και βρήκε κάτω από το τραπέζι ένα σύμπλεγμα Hadoop που λειτουργούσε σωστά με 20 επιτραπέζιους υπολογιστές, το οποίο ήταν ανεξήγητα συνδεδεμένο σε ένα κοινό δίκτυο. Δεν νομίζω ότι αξίζει να διευκρινιστεί ότι το τμήμα πληροφορικής της εταιρείας δεν γνώριζε για την ύπαρξή του. Αυτή η συγκυρία, όπως και πολλές άλλες, ευθύνεται για το γεγονός ότι κατά την ανάπτυξη του έργου, γεννήθηκε ο όρος «μεταλλαγμένο απόθεμα», που περιγράφει την κατάσταση της πολύπαθης υποδομής γραφείων.
Ή εδώ είναι ένα άλλο παράδειγμα. Περιοδικά, ένας πάγκος δοκιμών δημιουργείται σε ένα τμήμα. Αυτό συνέβη με τα Jira και Confluence, τα οποία χρησιμοποιήθηκαν σε περιορισμένο βαθμό από το Κέντρο Ανάπτυξης Λογισμικού σε ορισμένα έργα. Μετά από κάποιο χρονικό διάστημα, άλλα τμήματα έμαθαν για αυτούς τους χρήσιμους πόρους, τους αξιολόγησαν και στο τέλος του 2018, οι Jira και Confluence πέρασαν από το καθεστώς του «παιχνιδιού των τοπικών προγραμματιστών» στο καθεστώς των «εταιρειών πόρων». Τώρα πρέπει να εκχωρηθεί ένας κάτοχος σε αυτά τα συστήματα, SLA, πολιτικές πρόσβασης/ασφάλειας πληροφοριών, πολιτικές δημιουργίας αντιγράφων ασφαλείας, παρακολούθηση, κανόνες για τη δρομολόγηση αιτημάτων για την επίλυση προβλημάτων - γενικά, πρέπει να υπάρχουν όλα τα χαρακτηριστικά ενός πλήρους συστήματος πληροφοριών .
Κάθε τμήμα μας είναι επίσης μια θερμοκοιτίδα που καλλιεργεί τα δικά της προϊόντα. Μερικά από αυτά πεθαίνουν στο στάδιο της ανάπτυξης, μερικά χρησιμοποιούμε ενώ εργαζόμαστε σε έργα, ενώ άλλα ριζώνουν και γίνονται επαναλαμβανόμενες λύσεις που αρχίζουμε να χρησιμοποιούμε μόνοι μας και να πουλάμε σε πελάτες. Για κάθε τέτοιο σύστημα είναι επιθυμητό να έχει το δικό του δικτυακό περιβάλλον, όπου θα αναπτύσσεται χωρίς να παρεμβαίνει σε άλλα συστήματα και κάποια στιγμή θα μπορεί να ενσωματωθεί στην υποδομή της εταιρείας.
Εκτός από την ανάπτυξη, έχουμε ένα πολύ μεγάλο με περισσότερους από 500 υπαλλήλους, συγκροτημένες σε ομάδες για κάθε πελάτη. Συμμετέχουν στη συντήρηση δικτύων και άλλων συστημάτων, στην απομακρυσμένη παρακολούθηση, στην επίλυση αξιώσεων κ.λπ. Δηλαδή, η υποδομή του SC είναι στην πραγματικότητα η υποδομή του πελάτη με τον οποίο συνεργάζονται αυτή τη στιγμή. Η ιδιαιτερότητα της συνεργασίας με αυτό το τμήμα του δικτύου είναι ότι οι σταθμοί εργασίας τους για την εταιρεία μας είναι εν μέρει εξωτερικοί και εν μέρει εσωτερικοί. Επομένως, για το SC εφαρμόσαμε την ακόλουθη προσέγγιση - η εταιρεία παρέχει στο αντίστοιχο τμήμα δίκτυο και άλλους πόρους, θεωρώντας τους σταθμούς εργασίας αυτών των τμημάτων ως εξωτερικές συνδέσεις (κατ' αναλογία με υποκαταστήματα και απομακρυσμένους χρήστες).
Σχεδιασμός αυτοκινητόδρομου: είμαστε ο χειριστής (έκπληξη)
Αφού αξιολογήσαμε όλες τις παγίδες, συνειδητοποιήσαμε ότι αποκτούσαμε το δίκτυο ενός τηλεπικοινωνιακού φορέα σε ένα γραφείο και αρχίσαμε να ενεργούμε ανάλογα.
Δημιουργήσαμε ένα βασικό δίκτυο με τη βοήθεια του οποίου σε κάθε εσωτερικό, αλλά και στο μέλλον και εξωτερικό, καταναλωτή παρέχεται η απαιτούμενη υπηρεσία: L2 VPN, L3 VPN ή κανονική δρομολόγηση L3. Ορισμένα τμήματα χρειάζονται ασφαλή πρόσβαση στο Διαδίκτυο, ενώ άλλα χρειάζονται καθαρή πρόσβαση χωρίς τείχη προστασίας, αλλά ταυτόχρονα προστατεύουν τους εταιρικούς πόρους και το βασικό μας δίκτυο από την επισκεψιμότητά τους.
Ανεπίσημα «συνάψαμε SLA» με κάθε τμήμα. Σύμφωνα με αυτήν, όλα τα περιστατικά που προκύπτουν πρέπει να εξαλειφθούν εντός ορισμένου, προσυμφωνημένου χρονικού διαστήματος. Οι απαιτήσεις της εταιρείας για το δίκτυό της αποδείχθηκαν αυστηρές. Ο μέγιστος χρόνος απόκρισης σε ένα περιστατικό σε περίπτωση αστοχίας τηλεφώνου και email ήταν 5 λεπτά. Ο χρόνος για την επαναφορά της λειτουργικότητας του δικτύου σε τυπικές βλάβες δεν είναι περισσότερο από ένα λεπτό.
Εφόσον διαθέτουμε δίκτυο κατηγορίας παρόχου, μπορείτε να συνδεθείτε σε αυτό μόνο σύμφωνα με τους κανόνες. Οι μονάδες υπηρεσιών ορίζουν πολιτικές και παρέχουν υπηρεσίες. Δεν χρειάζονται καν πληροφορίες σχετικά με τις συνδέσεις συγκεκριμένων διακομιστών, εικονικών μηχανών και σταθμών εργασίας. Ταυτόχρονα, όμως, χρειάζονται μηχανισμοί προστασίας, γιατί ούτε μία σύνδεση δεν πρέπει να απενεργοποιεί το δίκτυο. Εάν δημιουργηθεί κατά λάθος ένας βρόχος, οι άλλοι χρήστες δεν θα πρέπει να το παρατηρήσουν, δηλαδή είναι απαραίτητη μια επαρκής απόκριση από το δίκτυο. Οποιοσδήποτε τηλεπικοινωνιακός πάροχος επιλύει συνεχώς παρόμοια φαινομενικά πολύπλοκα προβλήματα εντός του βασικού του δικτύου. Παρέχει υπηρεσίες σε πολλούς πελάτες με διαφορετικές ανάγκες και κίνηση. Ταυτόχρονα, διαφορετικοί συνδρομητές δεν θα πρέπει να αντιμετωπίζουν ταλαιπωρία από την κίνηση άλλων.
Στο σπίτι, λύσαμε αυτό το πρόβλημα με τον εξής τρόπο: δημιουργήσαμε ένα δίκτυο κορμού L3 με πλήρη πλεονασμό, χρησιμοποιώντας το πρωτόκολλο IS-IS. Ένα δίκτυο επικάλυψης χτίστηκε πάνω από τον πυρήνα βασισμένο στην τεχνολογία /, χρησιμοποιώντας ένα πρωτόκολλο δρομολόγησης . Για να επιταχυνθεί η σύγκλιση των πρωτοκόλλων δρομολόγησης, χρησιμοποιήθηκε η τεχνολογία BFD.
Δομή δικτύου
Σε δοκιμές, αυτό το σχήμα αποδείχθηκε εξαιρετικό - όταν αποσυνδέεται οποιοδήποτε κανάλι ή διακόπτης, ο χρόνος σύγκλισης δεν είναι μεγαλύτερος από 0.1-0.2 s, χάνονται ελάχιστα πακέτα (συχνά κανένα), οι περίοδοι σύνδεσης TCP δεν σχίζονται, τηλεφωνικές συνομιλίες δεν διακόπτονται.
Στρώμα υποστρώματος - Δρομολόγηση
Επίπεδο επικάλυψης - Δρομολόγηση
Ως διακόπτες διανομής χρησιμοποιήθηκαν διακόπτες Huawei CE6870 με άδειες VXLAN. Αυτή η συσκευή έχει τη βέλτιστη αναλογία τιμής/ποιότητας, επιτρέποντάς σας να συνδέετε συνδρομητές με ταχύτητα 10 Gbit/s και να συνδέεστε στο backbone με ταχύτητες 40–100 Gbit/s, ανάλογα με τους πομποδέκτες που χρησιμοποιούνται.
Διακόπτες Huawei CE6870
Οι διακόπτες Huawei CE8850 χρησιμοποιήθηκαν ως διακόπτες πυρήνα. Ο στόχος είναι να μεταδίδεται η κυκλοφορία γρήγορα και αξιόπιστα. Καμία συσκευή δεν είναι συνδεδεμένη σε αυτά εκτός από διακόπτες διανομής, δεν γνωρίζουν τίποτα για το VXLAN, επομένως επιλέχθηκε ένα μοντέλο με 32 θύρες 40/100 Gbps, με βασική άδεια που παρέχει δρομολόγηση L3 και υποστήριξη για το IS-IS και το MP-BGP πρωτόκολλα.
Το κάτω μέρος είναι ο διακόπτης πυρήνα Huawei CE8850
Στο στάδιο του σχεδιασμού, ξέσπασε μια συζήτηση εντός της ομάδας σχετικά με τεχνολογίες που θα μπορούσαν να χρησιμοποιηθούν για την υλοποίηση μιας σύνδεσης ανοχής σε σφάλματα σε κόμβους του βασικού δικτύου. Το γραφείο μας στη Μόσχα βρίσκεται σε τρία κτίρια, έχουμε 7 δωμάτια διανομής, σε καθένα από τα οποία εγκαταστάθηκαν δύο διακόπτες διανομής Huawei CE6870 (μόνο διακόπτες πρόσβασης εγκαταστάθηκαν σε πολλούς χώρους διανομής). Κατά την ανάπτυξη της ιδέας του δικτύου, εξετάστηκαν δύο επιλογές πλεονασμού:
- Ενοποίηση των διακοπτών διανομής σε μια στοίβα ανεκτική σε σφάλματα σε κάθε δωμάτιο διασύνδεσης. Πλεονεκτήματα: απλότητα και ευκολία εγκατάστασης. Μειονεκτήματα: υπάρχει μεγαλύτερη πιθανότητα αποτυχίας ολόκληρης της στοίβας όταν συμβαίνουν σφάλματα στο υλικολογισμικό των συσκευών δικτύου («διαρροές μνήμης» και παρόμοια).
- Εφαρμόστε τεχνολογίες M-LAG και Anycast gateway για τη σύνδεση συσκευών με διακόπτες διανομής.
Στο τέλος, καταλήξαμε στη δεύτερη επιλογή. Είναι κάπως πιο δύσκολο στη διαμόρφωση, αλλά έχει δείξει στην πράξη τις επιδόσεις και την υψηλή αξιοπιστία του.
Ας εξετάσουμε πρώτα τη σύνδεση τελικών συσκευών με διακόπτες διανομής:
Σταυρός
Ένας διακόπτης πρόσβασης, ένας διακομιστής ή οποιαδήποτε άλλη συσκευή που απαιτεί σύνδεση με ανοχή σφαλμάτων περιλαμβάνεται σε δύο διακόπτες διανομής. Η τεχνολογία M-LAG παρέχει πλεονασμό σε επίπεδο ζεύξης δεδομένων. Υποτίθεται ότι δύο διακόπτες διανομής εμφανίζονται στον συνδεδεμένο εξοπλισμό ως μία συσκευή. Ο πλεονασμός και η εξισορρόπηση φορτίου πραγματοποιούνται χρησιμοποιώντας το πρωτόκολλο LACP.
Η τεχνολογία πύλης Anycast παρέχει πλεονασμό σε επίπεδο δικτύου. Ένας αρκετά μεγάλος αριθμός VRF έχει ρυθμιστεί σε κάθε έναν από τους διακόπτες διανομής (κάθε VRF προορίζεται για τους δικούς του σκοπούς - ξεχωριστά για «κανονικούς» χρήστες, ξεχωριστά για τηλεφωνία, ξεχωριστά για διάφορα περιβάλλοντα δοκιμής και ανάπτυξης κ.λπ.) και σε κάθε Το VRF έχει ρυθμισμένα πολλά VLAN. Στο δίκτυό μας, οι διακόπτες διανομής είναι οι προεπιλεγμένες πύλες για όλες τις συσκευές που είναι συνδεδεμένες σε αυτούς. Οι διευθύνσεις IP που αντιστοιχούν στις διεπαφές VLAN είναι οι ίδιες και για τους δύο διακόπτες διανομής. Η κυκλοφορία δρομολογείται μέσω του πλησιέστερου διακόπτη.
Τώρα ας δούμε τη σύνδεση των διακοπτών διανομής στον πυρήνα:
Η ανοχή σφαλμάτων παρέχεται σε επίπεδο δικτύου χρησιμοποιώντας το πρωτόκολλο IS-IS. Σημειώστε ότι μεταξύ των διακοπτών παρέχεται ξεχωριστή γραμμή επικοινωνίας L3, με ταχύτητα 100G. Από φυσικής πλευράς, αυτή η γραμμή επικοινωνίας είναι ένα καλώδιο άμεσης πρόσβασης· φαίνεται στα δεξιά στη φωτογραφία των διακοπτών Huawei CE6870.
Μια εναλλακτική θα ήταν η οργάνωση μιας «τίμιας» πλήρως συνδεδεμένης τοπολογίας διπλού αστεριού, αλλά, όπως προαναφέρθηκε, έχουμε 7 δωμάτια διασύνδεσης σε τρία κτίρια. Αντίστοιχα, αν είχαμε επιλέξει την τοπολογία «διπλού αστέρα», θα χρειαζόμασταν ακριβώς διπλάσιο αριθμό πομποδεκτών «μεγάλης εμβέλειας» 40G. Οι εξοικονομήσεις εδώ είναι πολύ σημαντικές.
Πρέπει να ειπωθούν λίγα λόγια για το πώς συνεργάζονται οι τεχνολογίες VXLAN και πύλης Anycast. Το VXLAN, χωρίς να υπεισέλθω σε λεπτομέρειες, είναι μια σήραγγα μεταφοράς πλαισίων Ethernet μέσα σε πακέτα UDP. Οι διεπαφές loopback των διακοπτών διανομής χρησιμοποιούνται ως η διεύθυνση IP προορισμού της σήραγγας VXLAN. Κάθε crossover έχει δύο διακόπτες με τις ίδιες διευθύνσεις διεπαφής loopback, έτσι ώστε ένα πακέτο να μπορεί να φτάσει σε οποιοδήποτε από αυτά και να εξαχθεί ένα πλαίσιο Ethernet από αυτό.
Εάν ο διακόπτης γνωρίζει τη διεύθυνση MAC προορισμού του ανακτημένου πλαισίου, το πλαίσιο θα παραδοθεί σωστά στον προορισμό του. Για να διασφαλιστεί ότι και οι δύο διακόπτες διανομής που είναι εγκατεστημένοι στην ίδια διασύνδεση έχουν ενημερωμένες πληροφορίες για όλες τις διευθύνσεις MAC που "φθάνουν" από τους διακόπτες πρόσβασης, ο μηχανισμός M-LAG είναι υπεύθυνος για το συγχρονισμό των πινάκων διευθύνσεων MAC (καθώς και του ARP πίνακες) και στους δύο διακόπτες ζεύγη M-LAG.
Η εξισορρόπηση της κυκλοφορίας επιτυγχάνεται λόγω της παρουσίας στο δίκτυο υποστρώματος αρκετών διαδρομών προς τις διεπαφές αναστροφής βρόχου των διακοπτών διανομής.
Αντί για ένα συμπέρασμα
Όπως αναφέρθηκε παραπάνω, κατά τη διάρκεια της δοκιμής και της λειτουργίας το δίκτυο έδειξε υψηλή αξιοπιστία (ο χρόνος αποκατάστασης για τυπικές βλάβες δεν είναι μεγαλύτερος από εκατοντάδες χιλιοστά του δευτερολέπτου) και καλή απόδοση - κάθε διασύνδεση συνδέεται στον πυρήνα με δύο κανάλια 40 Gbit/s. Οι διακόπτες πρόσβασης στο δίκτυό μας στοιβάζονται και συνδέονται με διακόπτες διανομής μέσω LACP/M-LAG με δύο κανάλια 10 Gbit/s. Μια στοίβα περιέχει συνήθως 5 διακόπτες με 48 θύρες ο καθένας και έως και 10 στοίβες πρόσβασης συνδέονται στη διανομή σε κάθε διασύνδεση. Έτσι, η ραχοκοκαλιά παρέχει περίπου 30 Mbit/s ανά χρήστη ακόμη και στο μέγιστο θεωρητικό φορτίο, το οποίο τη στιγμή της γραφής είναι αρκετό για όλες τις πρακτικές εφαρμογές μας.
Το δίκτυο σάς επιτρέπει να οργανώνετε απρόσκοπτα τη σύζευξη οποιωνδήποτε αυθαίρετων συνδεδεμένων συσκευών μέσω L2 και L3, παρέχοντας πλήρη απομόνωση της κυκλοφορίας (που αρέσει στην υπηρεσία ασφάλειας πληροφοριών) και των τομέων σφαλμάτων (που αρέσει στην ομάδα λειτουργιών).
Στο επόμενο μέρος θα σας πούμε πώς πραγματοποιήσαμε μετεγκατάσταση σε ένα νέο δίκτυο. Μείνετε συντονισμένοι!
Μαξίμ Κλότσκοφ
Ανώτερος σύμβουλος της ομάδας ελέγχου δικτύου και σύνθετων έργων
Κέντρο λύσεων δικτύου
"Jet Infosystems"
Πηγή: www.habr.com