Είμαι βέβαιος ότι όλοι οι αναγνώστες του Habr τουλάχιστον μία φορά παρήγγειλαν προϊόντα σε ηλεκτρονικά καταστήματα στο εξωτερικό και στη συνέχεια πήγαν να λάβουν δέματα στο ρωσικό ταχυδρομείο. Μπορείτε να φανταστείτε την κλίμακα αυτού του έργου όσον αφορά την οργάνωση της εφοδιαστικής; Πολλαπλασιάστε τον αριθμό των αγοραστών με τον αριθμό των αγορών τους, φανταστείτε έναν χάρτη της τεράστιας χώρας μας και σε αυτόν - περισσότερα από 40 χιλιάδες ταχυδρομεία ... Παρεμπιπτόντως, το 2018, η Russian Post επεξεργάστηκε 345 εκατομμύρια διεθνή δέματα.
Σε αυτό το άρθρο, θα σας πούμε ποια προβλήματα αντιμετώπισε το Post και πώς τα έλυσε η ομάδα LANIT-Integration, δημιουργώντας μια νέα υποδομή πληροφορικής για κέντρα δεδομένων.
Ένα από τα σύγχρονα κέντρα logistics των Russian Post
Πριν από το έργο
Λόγω της απότομης αύξησης του αριθμού των δεμάτων από ξένα καταστήματα στην Κίνα, τη Δυτική Ευρώπη και τη Βόρεια Αμερική, το φορτίο στις εγκαταστάσεις logistics των Russian Post έχει αυξηθεί. Ως εκ τούτου, έχουν κατασκευαστεί μια νέα γενιά κέντρων logistics, τα οποία χρησιμοποιούν μηχανήματα διαλογής μεγάλης χωρητικότητας. Απαιτούν υποστήριξη από την υπολογιστική υποδομή.
Η υποδομή των κέντρων δεδομένων ήταν ξεπερασμένη και δεν παρείχε την απαραίτητη απόδοση και αξιοπιστία στη λειτουργία των πληροφοριακών συστημάτων επιχειρήσεων. Επίσης, η Russian Post αντιμετώπισε έλλειψη υπολογιστικής ισχύος για την έναρξη νέων υπηρεσιών.
Τα κέντρα δεδομένων πελατών και τα προβλήματά τους
Τα κέντρα δεδομένων Russian Post εξυπηρετούν περισσότερα από 40 αντικείμενα, 000 εδαφικά γραφεία. Δεκάδες επιχειρηματικές υπηρεσίες όλο το εικοσιτετράωρο λειτουργούν σε κέντρα δεδομένων, συμπεριλαμβανομένων των υπηρεσιών ηλεκτρονικού εμπορίου.
Ήδη σήμερα, η επιχείρηση χρησιμοποιεί συστήματα αποθήκευσης, ανάλυσης και επεξεργασίας μεγάλων δεδομένων. Για τέτοια συστήματα, η χρήση αλγορίθμων τεχνητής νοημοσύνης και μηχανικής μάθησης παίζει σημαντικό ρόλο. Μέχρι σήμερα, μία από τις πιο σημαντικές περιπτώσεις για την επιχείρηση είναι η βελτιστοποίηση της διαχείρισης ροής logistics και η επιτάχυνση της εξυπηρέτησης πελατών στα ταχυδρομεία.
Πριν από την έναρξη του έργου αναβάθμισης, υπήρχαν περίπου 3000 εικονικές μηχανές στα κύρια και εφεδρικά κέντρα δεδομένων, η ποσότητα των αποθηκευμένων πληροφοριών ξεπερνούσε τα 2 petabyte. Τα κέντρα δεδομένων είχαν μια πολύπλοκη δομή δρομολόγησης κυκλοφορίας που σχετίζεται με τη διαίρεση σε διαφορετικά τμήματα ανάλογα με τα επίπεδα ασφάλειας.
Με την ανάπτυξη εφαρμογών και την εισαγωγή νέων υπηρεσιών, το υπάρχον εύρος ζώνης του εξοπλισμού δικτύου στα κέντρα δεδομένων έχει καταστεί ανεπαρκές. Απαιτήθηκε μια μετάβαση σε διεπαφές με νέες ταχύτητες: 10 Gb / s, αντί για 1 Gb / s για πρόσβαση και 40 Gb / s στο βασικό επίπεδο, με πλήρη πλεονασμό εξοπλισμού και καναλιών επικοινωνίας.
Από το τμήμα ασφάλειας πληροφοριών, ελήφθη απαίτηση να χωριστεί η υποδομή σε τμήματα με υψηλό επίπεδο ασφάλειας πληροφοριών κυκλοφορίας και εφαρμογών (PN - Ιδιωτικό Δίκτυο και DMZ - Αποστρατιωτικοποιημένη Ζώνη). Τα τείχη προστασίας (ITU) διήλθαν κίνηση που δεν ήταν απαραίτητο να φιλτραριστεί. Δεν χρησιμοποιήθηκε VRF στους διακόπτες για τέτοια κίνηση. Οι κανόνες στο ITU δεν ήταν βέλτιστοι (δεκάδες χιλιάδες κανόνες σε κάθε κέντρο δεδομένων).
Δεν ήταν δυνατή η απρόσκοπτη μετεγκατάσταση εικονικών μηχανών (VM) μεταξύ κέντρων δεδομένων, διατηρώντας τη διεύθυνση IP και τη βέλτιστη διαδρομή για την κυκλοφορία μεταξύ τμημάτων, συμπεριλαμβανομένου του εταιρικού δικτύου δεδομένων (CDTN).
Το MSTP χρησιμοποιήθηκε για πλεονασμό, ορισμένες θύρες μπλοκαρίστηκαν (hot standby). Ο πυρήνας και οι διακόπτες πρόσβασης δεν συγκεντρώθηκαν με ανακατεύθυνση και δεν χρησιμοποιήθηκε συνάθροιση διεπαφής (LAG).
Με την εμφάνιση του τρίτου κέντρου δεδομένων, απαιτήθηκε μια νέα αρχιτεκτονική και διαμόρφωση εξοπλισμού για τη λειτουργία του δακτυλίου μεταξύ των κέντρων δεδομένων (προτάθηκε το EVPN).
Δεν υπήρχε ενιαία ιδέα για την ανάπτυξη κέντρων δεδομένων, τεκμηριωμένη με τη μορφή έργου και συμφωνημένη με όλα τα τμήματα του πελάτη. Η τρέχουσα τεκμηρίωση λειτουργίας του δικτύου ήταν ελλιπής και ξεπερασμένη.
Προσδοκίες πελατών
Η ομάδα του έργου είχε τα ακόλουθα καθήκοντα:
- προετοιμασία της αρχιτεκτονικής και της ιδέας ανάπτυξης για την κατασκευή της υποδομής δικτύου και διακομιστή του τρίτου κέντρου δεδομένων·
- διενεργεί επιχειρησιακό έλεγχο του υπάρχοντος δικτύου του πελάτη·
- επέκταση της χωρητικότητας του πυρήνα του δικτύου κατά περισσότερες από 1500 θύρες Ethernet 10/40 Gb/s σε κάθε κέντρο δεδομένων (4500 θύρες συνολικά).
- εξασφάλιση της λειτουργίας ενός δακτυλίου μεταξύ τριών κέντρων δεδομένων με δυνατότητα αύξησης της ταχύτητας έως και 80 Gb / s σε κάθε ένα από τα τμήματα, προκειμένου να συνδυαστούν οι υπολογιστικοί πόροι του πελάτη από διαφορετικά κέντρα δεδομένων σε ένα ενιαίο σύστημα πληροφορικής·
- Παρέχετε 100% διπλό απόθεμα όλων των στοιχείων δικτύου για την επίτευξη του στόχου χρόνου λειτουργίας στο επίπεδο του 99,995%.
- ελαχιστοποιήστε τις καθυστερήσεις κυκλοφορίας μεταξύ εικονικών μηχανών για να επιταχύνετε τις επιχειρηματικές εφαρμογές.
- συλλογή στατιστικών στοιχείων, ανάλυση και περαιτέρω βελτιστοποίηση κανόνων φιλτραρίσματος κυκλοφορίας στα κέντρα δεδομένων (αρχικά υπήρχαν περίπου 80 κανόνες).
- αναπτύξτε μια αρχιτεκτονική στόχο για να εξασφαλίσετε την απρόσκοπτη μετάβαση των κρίσιμων επιχειρηματικών εφαρμογών του πελάτη σε οποιοδήποτε από τα τρία κέντρα δεδομένων.
Έτσι, είχαμε κάτι να δουλέψουμε.
Оборудование
Ας ρίξουμε μια πιο προσεκτική ματιά στον εξοπλισμό που χρησιμοποιήσαμε στο έργο.
Τείχος προστασίας (NGWF) USG9560:
- διαίρεση κατά VSYS.
- έως 720 Gbps.
- έως και 720 εκατομμύρια ταυτόχρονες συνεδρίες.
- 8 υποδοχές.
Δρομολογητής NE40E-X8:
- Χωρητικότητα μεταγωγής έως 7,08 Tbit/s.
- Απόδοση προώθησης έως 2,880 Mpps.
- 8 υποδοχές για κάρτες γραμμής (LPU).
- έως και 10 εκατομμύρια διαδρομές BGP IPv4 ανά MPU.
- έως 1500K διαδρομές OSPF IPv4 ανά MPU.
- έως 3000K - IPv4 FIB (εξαρτάται από το LPU).
Διακόπτες σειράς CE12800:
- Εικονικοποίηση συσκευής: VS (εικονικοποίηση 1:16), Σύστημα μεταγωγής συμπλέγματος (CSS), Super Virtual Fabric (SVF);
- Εικονικοποίηση δικτύου: M-LAG, TRILL, VXLAN και VXLAN γεφύρωση, QinQ σε VXLAN, EVN (Εικονικό δίκτυο Ethernet).
- Ξεκινώντας με το VRP V2, περιλαμβάνεται υποστήριξη EVPN.
- Το M-LAG είναι ένα ανάλογο του vPC (εικονικό κανάλι θύρας) για το Cisco Nexus.
- Virtual Spanning Tree Protocol (VSTP) - Συμβατό με Cisco PVST.
CE12804
CE12808
Λογισμικό
Στο έργο χρησιμοποιήσαμε:
- μετατροπέας αρχείων διαμόρφωσης για τείχη προστασίας άλλων προμηθευτών σε μορφή εντολών για νέο εξοπλισμό.
- σενάρια του δικού μας σχεδιασμού για τη βελτιστοποίηση και τη μετατροπή της διαμόρφωσης των τείχη προστασίας.
Εμφάνιση του μετατροπέα για τη μετατροπή αρχείων διαμόρφωσης
Σχέδιο επικοινωνίας μεταξύ κέντρων δεδομένων (EVPN VXLAN)
Οι αποχρώσεις της εγκατάστασης εξοπλισμού
CE12808
- EVPN (τυπικό) αντί για EVN (ιδιόκτητο Huawei) για επικοινωνία μεταξύ κέντρων δεδομένων:
○ L2 έναντι L3 χρησιμοποιώντας iBGP στο επίπεδο ελέγχου.
○ Εκπαίδευση και ανακοίνωση MAC μέσω της οικογένειας iBGP EVPN (διαδρομές MAC, τύπος 2).
○ αυτόματη κατασκευή σηράγγων VXLAN για κυκλοφορία μετάδοσης / άγνωστης unicast (Inclusive Multicast Routes, τύπος 3). - Δύο τρόποι διαίρεσης στο VS:
○ με βάση τις θύρες (port-mode port) ή με βάση το ASIC (ομάδα port-mode, port-map συσκευής εμφάνισης).
○ Η διεπαφή διάστασης διαχωρισμού θύρας 40GE λειτουργεί ΜΟΝΟ σε Admin VS (ανεξάρτητα από τη λειτουργία θύρας).
USG9560
- δυνατότητα διαίρεσης με VSYS,
- μεταξύ της δυναμικής δρομολόγησης VSYS και της διαρροής διαδρομής είναι αδύνατη!
CE12804
All Active GW (VRRP Master/Master/Master) με φιλτράρισμα MAC VRRP μεταξύ κέντρων δεδομένων
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Σχέδιο αλληλεπίδρασης πόρων μεταξύ κέντρων δεδομένων (VXLAN EVPN και All Active GW)
Πολυπλοκότητα έργου
Η κύρια δυσκολία ήταν η ανάγκη δημιουργίας αντιγράφων ασφαλείας υπαρχουσών εφαρμογών με χρήση υπολογιστικής υποδομής. Ο πελάτης είχε περισσότερες από 100 διαφορετικές εφαρμογές, μερικές από τις οποίες γράφτηκαν πριν από σχεδόν 10 χρόνια. Για παράδειγμα, εάν για το Yandex είναι δυνατή η εύκολη απενεργοποίηση πολλών εκατοντάδων εικονικών μηχανών χωρίς να βλάψει τους τελικούς χρήστες, τότε στη Russian Post μια τέτοια προσέγγιση θα απαιτούσε την ανάπτυξη ορισμένων εφαρμογών από την αρχή και αλλαγές στην αρχιτεκτονική των συστημάτων πληροφοριών επιχειρήσεων. Επιλύσαμε τα προβλήματα που προκύπτουν στη διαδικασία της μετάβασης και της βελτιστοποίησης στο στάδιο ενός κοινού ελέγχου της υπολογιστικής υποδομής. Όλες οι νέες τεχνολογίες δικτύωσης για την επιχείρηση (όπως το EVPN) έχουν δοκιμαστεί εκ των προτέρων στο εργαστήριο.
Αποτελέσματα του έργου
Η ομάδα του έργου περιελάμβανε ειδικούς , τον πελάτη και τους συνεργάτες του στη λειτουργία της υπολογιστικής υποδομής. Δημιουργήθηκαν επίσης ειδικές ομάδες υποστήριξης από προμηθευτές (Check Point και Huawei). Το έργο κράτησε δύο χρόνια. Εδώ είναι τι έχει γίνει αυτό το διάστημα.
- Αναπτύχθηκε και συμφωνήθηκε με όλα τα τμήματα του πελάτη μια στρατηγική για την ανάπτυξη ενός δικτύου κέντρων δεδομένων, ενός εταιρικού δικτύου μετάδοσης δεδομένων (CSTN) και ενός δακτυλίου μεταξύ κέντρων δεδομένων.
- Αυξημένη διαθεσιμότητα υπηρεσιών. Αυτό σημείωσε η επιχείρηση του πελάτη και οδήγησε σε ακόμη μεγαλύτερη αύξηση της επισκεψιμότητας λόγω της εισαγωγής νέων υπηρεσιών.
- Περισσότεροι από 40 κανόνες έχουν μετεγκατασταθεί και βελτιστοποιηθεί από το FWSM/ASA στο USG 000. Διαφορετικά περιβάλλοντα ASA στο UGG 9560 έχουν συγχωνευθεί σε μια ενιαία πολιτική ασφαλείας.
- Η απόδοση των θυρών κέντρων δεδομένων έχει αυξηθεί από 1G σε 10/40G μέσω της χρήσης CE12800/CE6850. Αυτό κατέστησε δυνατή την εξάλειψη των υπερφορτώσεων της διεπαφής και της απώλειας πακέτων.
- Οι δρομολογητές κατηγορίας φορέα NE40E-X8 κάλυψαν πλήρως τις ανάγκες του κέντρου δεδομένων του πελάτη και του KSPD, λαμβάνοντας υπόψη τη μελλοντική επιχειρηματική ανάπτυξη.
- Οκτώ νέα αιτήματα λειτουργιών έχουν ζητηθεί για το USG 9560. Από αυτά, τα επτά έχουν ήδη υλοποιηθεί και περιλαμβάνονται στην τρέχουσα έκδοση του VRP. Το 1 FR υλοποιείται από την Huawei R&D. Πρόκειται για ένα σύμπλεγμα για οκτώ σασί με δυνατότητα διαμόρφωσης των απαραίτητων λειτουργιών για το συγχρονισμό της διαμόρφωσης χωρίς συγχρονισμό περιόδων σύνδεσης. Απαιτείται εάν η καθυστέρηση κυκλοφορίας σε ένα από τα κέντρα δεδομένων είναι πολύ υψηλή (Adler - Μόσχα 1300 km κατά μήκος της κύριας διαδρομής και 2800 km κατά μήκος της εφεδρικής διαδρομής).
Το έργο δεν έχει ανάλογα σε σύγκριση με άλλες ταχυδρομικές εταιρείες στη Ρωσία.
Ο εκσυγχρονισμός της υποδομής του δικτύου των κέντρων δεδομένων άνοιξε νέες ευκαιρίες για την επιχείρηση να αναπτύξει ψηφιακές υπηρεσίες.
- Παροχή προσωπικού λογαριασμού και εφαρμογής για κινητά για φυσικά και νομικά πρόσωπα.
- Ενοποίηση με ηλεκτρονικά καταστήματα για την παροχή υπηρεσιών παράδοσης αγαθών.
- Εκπλήρωση είναι η αποθήκευση αγαθών, ο σχηματισμός και η παράδοση παραγγελιών από ηλεκτρονικά καταστήματα.
- Επέκταση των σημείων έκδοσης παραγγελιών, συμπεριλαμβανομένης της χρήσης δικτύων συνεργατών.
- Νομικά σημαντική ροή εγγράφων με εργολάβους. Αυτό θα εξαλείψει την αργή και δαπανηρή παράδοση εγγράφων σε χαρτί.
- Αποδοχή συστημένων επιστολών σε ηλεκτρονική μορφή με παράδοση τόσο σε ηλεκτρονική όσο και σε έντυπη μορφή (με εκτύπωση ειδών όσο το δυνατόν πλησιέστερα στον τελικό παραλήπτη). Επίδοση ηλεκτρονικών συστημένων επιστολών στην πύλη των δημοσίων υπηρεσιών.
- Πλατφόρμα για την παροχή υπηρεσιών τηλεϊατρικής.
- Απλοποιημένη αποδοχή και απλοποιημένη παράδοση συστημένων ταχυδρομικών αντικειμένων με απλή ηλεκτρονική υπογραφή.
- Ψηφιοποίηση του ταχυδρομικού δικτύου.
- Επεξεργασία υπηρεσιών αυτοεξυπηρέτησης (τερματικά και μηχανήματα δεμάτων).
- Δημιουργία ψηφιακής πλατφόρμας διαχείρισης της υπηρεσίας ταχυμεταφορών και νέας εφαρμογής για κινητά για πελάτες υπηρεσιών ταχυμεταφορών.
Ελάτε να δουλέψετε μαζί μας!
Πηγή: www.habr.com