Παρουσιάσαμε νέες υπηρεσίες, αυξήθηκε η επισκεψιμότητα, αντικαταστήσαμε διακομιστές, συνδέσαμε νέους ιστότοπους και αναδιαμορφώσαμε κέντρα δεδομένων - και τώρα θα πούμε αυτήν την ιστορία, την αρχή της οποίας σας παρουσιάσαμε πριν από πέντε χρόνια.
Τα πέντε χρόνια είναι μια τυπική περίοδος για τη σύνοψη των ενδιάμεσων αποτελεσμάτων. Ως εκ τούτου, αποφασίσαμε να μιλήσουμε για την ανάπτυξη των υποδομών μας, η οποία τα τελευταία πέντε χρόνια έχει περάσει από μια εκπληκτικά ενδιαφέρουσα πορεία ανάπτυξης, για την οποία είμαστε περήφανοι. Οι ποσοτικές αλλαγές που εφαρμόσαμε έχουν μετατραπεί σε ποιοτικές· τώρα η υποδομή μπορεί να λειτουργήσει με τρόπους που φάνταζαν φανταστικοί στα μέσα της τελευταίας δεκαετίας.
Διασφαλίζουμε τη λειτουργία των πιο σύνθετων έργων με τις πιο αυστηρές απαιτήσεις αξιοπιστίας και φορτίων, συμπεριλαμβανομένων των PREMIER και Match TV. Οι αθλητικές μεταδόσεις και η πρεμιέρα δημοφιλών τηλεοπτικών σειρών απαιτούν κίνηση σε terabit/s, το υλοποιούμε εύκολα και τόσο συχνά που η εργασία με τέτοιες ταχύτητες έχει γίνει από καιρό συνηθισμένη για εμάς. Και πριν από πέντε χρόνια, το πιο βαρύ έργο που εκτελείται στα συστήματά μας ήταν το Rutube, το οποίο έκτοτε αναπτύχθηκε, αύξησε τον όγκο και την κίνηση, τα οποία έπρεπε να ληφθούν υπόψη κατά τον σχεδιασμό φορτίων.
Μιλήσαμε για το πώς αναπτύξαμε το υλικό της υποδομής μας () και ανέπτυξε ένα σύστημα υπεύθυνο για τη μεταφόρτωση βίντεο (), αλλά έχει περάσει πολύς χρόνος από τη συγγραφή αυτών των κειμένων, έχουν δημιουργηθεί και εφαρμοστεί πολλές άλλες λύσεις, τα αποτελέσματα των οποίων μας επιτρέπουν να ανταποκρινόμαστε στις σύγχρονες απαιτήσεις και να είμαστε αρκετά ευέλικτοι ώστε να προσαρμοζόμαστε σε νέες εργασίες.
Πυρήνας δικτύου Αναπτυσσόμαστε συνεχώς. Μεταβήκαμε στον εξοπλισμό Cisco το 2015, τον οποίο αναφέραμε στο προηγούμενο άρθρο. Τότε ήταν ακόμα το ίδιο 10/40G, αλλά για προφανείς λόγους, μετά από μερικά χρόνια αναβάθμισαν το υπάρχον πλαίσιο και τώρα χρησιμοποιούμε ενεργά 25/100G.
Οι σύνδεσμοι 100G δεν ήταν από καιρό πολυτέλεια (αντίθετα, αυτή είναι μια επείγουσα απαίτηση της εποχής στο τμήμα μας), ούτε σπανιότητα (ολοένα και περισσότεροι πάροχοι παρέχουν συνδέσεις με τέτοιες ταχύτητες). Ωστόσο, το 10/40G παραμένει σχετικό: μέσω αυτών των συνδέσμων συνεχίζουμε να συνδέουμε φορείς εκμετάλλευσης με μικρό όγκο κίνησης, για τον οποίο προς το παρόν δεν είναι σκόπιμο να χρησιμοποιηθεί μια πιο μεγάλη θύρα.
Ο πυρήνας του δικτύου που δημιουργήσαμε αξίζει ξεχωριστή εξέταση και θα γίνει θέμα ξεχωριστού άρθρου λίγο αργότερα. Εκεί θα εμβαθύνουμε σε τεχνικές λεπτομέρειες και θα εξετάσουμε τη λογική των ενεργειών μας κατά τη δημιουργία του. Τώρα όμως θα συνεχίσουμε να σχεδιάζουμε την υποδομή πιο σχηματικά, αφού η προσοχή σας, αγαπητοί αναγνώστες, δεν είναι απεριόριστη.
Διακομιστές εξόδου βίντεο εξελίσσονται γρήγορα, για την οποία προσφέρουμε μεγάλη προσπάθεια. Αν παλαιότερα χρησιμοποιούσαμε κυρίως διακομιστές 2U με 4-5 κάρτες δικτύου με δύο θύρες 10G η καθεμία, τώρα το μεγαλύτερο μέρος της κίνησης αποστέλλεται από διακομιστές 1U, οι οποίοι έχουν 2-3 κάρτες με δύο θύρες 25G η καθεμία. Οι κάρτες με 10G και 25G είναι σχεδόν ίσες σε κόστος και οι πιο γρήγορες λύσεις σάς επιτρέπουν να εκπέμπετε σε 10G και 25G. Το αποτέλεσμα ήταν προφανής εξοικονόμηση: λιγότερα στοιχεία διακομιστή και καλώδια για σύνδεση - χαμηλότερο κόστος (και υψηλότερη αξιοπιστία), τα εξαρτήματα καταλαμβάνουν λιγότερο χώρο στο rack - κατέστη δυνατή η τοποθέτηση περισσότερων διακομιστών ανά μονάδα επιφάνειας και, επομένως, χαμηλότερο κόστος ενοικίασης.
Αλλά πιο σημαντικό είναι το κέρδος σε ταχύτητα! Τώρα μπορούμε να στείλουμε περισσότερα από 1G με 100U! Και αυτό είναι στο πλαίσιο μιας κατάστασης όπου ορισμένα μεγάλα ρωσικά έργα αποκαλούν την έξοδο 40G από το 2U "επίτευγμα". Θα θέλαμε τα προβλήματά τους!
Σημειώστε ότι εξακολουθούμε να χρησιμοποιούμε τη δημιουργία καρτών δικτύου που μπορούν να λειτουργήσουν μόνο σε 10G. Αυτός ο εξοπλισμός λειτουργεί σταθερά και μας είναι πολύ οικείος, οπότε δεν τον πετάξαμε, αλλά βρήκαμε μια νέα χρήση του. Εγκαταστήσαμε αυτά τα στοιχεία σε διακομιστές αποθήκευσης βίντεο, για τους οποίους μία ή δύο διεπαφές 1G δεν επαρκούν σαφώς για να λειτουργήσουν αποτελεσματικά· εδώ αποδείχτηκε ότι οι κάρτες 10G ήταν σχετικές.
Συστήματα αποθήκευσης αυξάνονται επίσης. Τα τελευταία πέντε χρόνια, έχουν αλλάξει από δώδεκα δίσκους (12x HDD 2U) σε τριάντα έξι δίσκους (36x HDD 4U). Μερικοί φοβούνται να χρησιμοποιήσουν τέτοια μεγάλα «κουφώματα», αφού εάν ένα τέτοιο σασί αποτύχει, μπορεί να υπάρξει κίνδυνος για την παραγωγικότητα - ή ακόμα και τη λειτουργικότητα! – για ολόκληρο το σύστημα. Αλλά αυτό δεν θα συμβεί με εμάς: έχουμε παράσχει αντίγραφα ασφαλείας σε επίπεδο γεωδιανεμημένων αντιγράφων δεδομένων. Έχουμε διανείμει το πλαίσιο σε διαφορετικά κέντρα δεδομένων - χρησιμοποιούμε τρία συνολικά - και αυτό εξαλείφει την εμφάνιση προβλημάτων τόσο σε περίπτωση αστοχιών στο πλαίσιο όσο και όταν πέσει ο ιστότοπος.
Φυσικά, αυτή η προσέγγιση έκανε περιττό το RAID υλικού, το οποίο εγκαταλείψαμε. Εξαλείφοντας τον πλεονασμό, αυξήσαμε ταυτόχρονα την αξιοπιστία του συστήματος απλοποιώντας τη λύση και αφαιρώντας ένα από τα πιθανά σημεία αστοχίας. Να σας υπενθυμίσουμε ότι τα συστήματα αποθήκευσης μας είναι «σπιτικά». Το κάναμε αυτό αρκετά σκόπιμα και μείναμε απόλυτα ικανοποιημένοι με το αποτέλεσμα.
Κέντρα δεδομένων Τα τελευταία πέντε χρόνια έχουμε αλλάξει αρκετές φορές. Από τη συγγραφή του προηγούμενου άρθρου, δεν έχουμε αλλάξει μόνο ένα κέντρο δεδομένων - DataLine - το υπόλοιπο χρειάστηκε αντικατάσταση καθώς αναπτύχθηκε η υποδομή μας. Όλες οι μεταφορές μεταξύ των τοποθεσιών είχαν προγραμματιστεί.
Πριν από δύο χρόνια, μεταναστεύσαμε στο MMTS-9, μετακομίσαμε σε μια τοποθεσία με επισκευές υψηλής ποιότητας, καλό σύστημα ψύξης, σταθερή παροχή ρεύματος και χωρίς σκόνη, η οποία προηγουμένως βρισκόταν σε παχιά στρώματα σε όλες τις επιφάνειες και επίσης έφραξε το εσωτερικό του εξοπλισμού μας . Επιλέξτε ποιοτικές υπηρεσίες – χωρίς σκόνη! – έγινε η αιτία της μετακόμισής μας.
Σχεδόν πάντα «μία κίνηση ισούται με δύο πυρκαγιές», αλλά τα προβλήματα κατά τη μετανάστευση είναι διαφορετικά κάθε φορά. Αυτή τη φορά, η κύρια δυσκολία μετακίνησης σε ένα κέντρο δεδομένων «παρέχονταν» από οπτικές διασυνδέσεις - η αφθονία τους μεταξύ των ορόφων χωρίς να συνδυάζονται σε μια ενιαία διασύνδεση από τηλεπικοινωνιακούς φορείς. Η διαδικασία ενημέρωσης και επαναδρομολόγησης των διασυνδέσεων (με την οποία μας βοήθησαν οι μηχανικοί του MMTS-9) ήταν ίσως το πιο δύσκολο στάδιο της μετανάστευσης.
Η δεύτερη μετανάστευση πραγματοποιήθηκε πριν από ένα χρόνο· το 2019, μετακινηθήκαμε από ένα όχι πολύ καλό κέντρο δεδομένων στο O2xygen. Οι λόγοι για την κίνηση ήταν παρόμοιοι με αυτούς που συζητήθηκαν παραπάνω, αλλά συμπληρώθηκαν από το πρόβλημα της μη ελκυστικότητας του αρχικού κέντρου δεδομένων για τους τηλεπικοινωνιακούς φορείς - πολλοί πάροχοι έπρεπε να "καλύψουν" αυτό το σημείο μόνοι τους.
Η μετεγκατάσταση 13 ραφιών σε μια τοποθεσία υψηλής ποιότητας στο MMTS-9 κατέστησε δυνατή την ανάπτυξη αυτής της τοποθεσίας όχι μόνο ως τοποθεσία χειριστή (μερικά rack και «προώθηση» χειριστών), αλλά και τη χρήση της ως μία από τις κύρια. Αυτό απλοποίησε κάπως τη μετάβαση από ένα όχι πολύ καλό κέντρο δεδομένων - μεταφέραμε το μεγαλύτερο μέρος του εξοπλισμού από αυτό σε άλλη τοποθεσία και στο O2xygen ανατέθηκε ο ρόλος ενός αναπτυσσόμενου, στέλνοντας 5 rack με εξοπλισμό εκεί.
Σήμερα το O2xygen είναι ήδη μια ολοκληρωμένη πλατφόρμα, όπου οι χειριστές που χρειαζόμαστε έχουν «φτάσει» και νέοι συνεχίζουν να συνδέονται. Για τους χειριστές, το O2xygen αποδείχθηκε επίσης ελκυστικό από την άποψη της στρατηγικής ανάπτυξης.
Πραγματοποιούμε πάντα την κύρια φάση της μετακόμισης σε μια νύχτα και κατά τη μετανάστευση εντός του MMTS-9 και στο O2xygen, τηρήσαμε αυτόν τον κανόνα. Τονίζουμε ότι ακολουθούμε αυστηρά τον κανόνα “move one night” ανεξάρτητα από τον αριθμό των rack! Υπήρχε ακόμη και προηγούμενο όταν μετακινήσαμε 20 ράφια και το ολοκληρώσαμε επίσης σε μια νύχτα. Η μετεγκατάσταση είναι μια αρκετά απλή διαδικασία που απαιτεί ακρίβεια και συνέπεια, αλλά υπάρχουν μερικά κόλπα εδώ, τόσο στη διαδικασία προετοιμασίας, όσο και κατά τη μετακίνηση και κατά την ανάπτυξη σε μια νέα τοποθεσία. Είμαστε έτοιμοι να μιλήσουμε λεπτομερώς για τη μετανάστευση αν σας ενδιαφέρει.
Ευρήματα Μας αρέσουν τα πενταετή αναπτυξιακά σχέδια. Ολοκληρώσαμε την κατασκευή μιας νέας υποδομής ανοχής σε σφάλματα, η οποία κατανέμεται σε τρία κέντρα δεδομένων. Αυξήσαμε απότομα την πυκνότητα κυκλοφορίας - αν πρόσφατα ήμασταν ευχαριστημένοι με 40-80G με 2U, τώρα ο κανόνας για εμάς είναι 100G με 1U. Τώρα, ακόμη και ένα terabit της κυκλοφορίας γίνεται αντιληπτό από εμάς ως κοινός τόπος. Είμαστε έτοιμοι να αναπτύξουμε περαιτέρω την υποδομή μας, η οποία έχει αποδειχθεί ευέλικτη και επεκτάσιμη.
Ερώτηση: Τι να σας πω στα παρακάτω κείμενα, αγαπητοί αναγνώστες; Σχετικά με το γιατί ξεκινήσαμε να δημιουργούμε αυτοσχέδια συστήματα αποθήκευσης δεδομένων; Σχετικά με τον πυρήνα του δικτύου και τις δυνατότητές του; Σχετικά με τα κόλπα και τις λεπτές αποχρώσεις της μετανάστευσης μεταξύ των κέντρων δεδομένων; Σχετικά με τη βελτιστοποίηση των αποφάσεων παράδοσης με την επιλογή εξαρτημάτων και παραμέτρων μικρορύθμισης; Σχετικά με τη δημιουργία βιώσιμων λύσεων χάρη σε πολλαπλές απολύσεις και δυνατότητες οριζόντιας κλιμάκωσης εντός του κέντρου δεδομένων, οι οποίες υλοποιούνται σε μια δομή τριών κέντρων δεδομένων;
Συγγραφέας: Petr Vinogradov - Τεχνικός Διευθυντής της Uma.Tech
Πηγή: www.habr.com