Ik bin der wis fan dat alle Habr-lêzers op syn minst ien kear guod besteld hawwe yn online winkels yn it bûtenlân en dan gongen om pakjes te ûntfangen by it Russyske postkantoar. Kinne jo de skaal fan dizze taak yntinke yn termen fan it organisearjen fan logistyk? Fermannichfâldigje it oantal keapers troch it oantal fan har oankeapen, stel jo in kaart fan ús grutte lân foar, en dêrop - mear as 40 tûzen postkantoaren ... Trouwens, yn 2018 ferwurke Russian Post 345 miljoen ynternasjonale pakketten.
Yn dit artikel sille wy jo fertelle hokker problemen de Post tsjinkaam en hoe't it LANIT-yntegraasjeteam se hat oplost, en in nije IT-ynfrastruktuer foar datasintra kreëarje.
Ien fan 'e moderne logistike sintra fan Russyske Post
Foardat it projekt
Troch in skerpe tanimming fan it oantal pakjes út bûtenlânske winkels yn Sina, West-Jeropa en Noard-Amearika is de lading op 'e logistike foarsjennings fan' e Russyske Post ferhege. Dêrom is in nije generaasje logistyksintra boud, dy't sortearmasines mei hege kapasiteit brûke. Se hawwe stipe nedich fan 'e kompjûterynfrastruktuer.
De datacenterynfrastruktuer wie ferâldere en levere net de nedige prestaasjes en betrouberens yn 'e wurking fan bedriuwsynformaasjesystemen. Ek, Russian Post belibbe in gebrek oan kompjûter macht te lansearjen nije tsjinsten.
Klantdatasintra en har problemen
Russian Post datacenters tsjinje mear as 40 objekten, 000 territoriale kantoaren. Tsientallen saaklike tsjinsten rûn de klok wurkje yn datasintra, ynklusyf tsjinsten foar e-commerce.
Al hjoeddedei brûkt it bedriuw systemen foar it opslaan, analysearjen en ferwurkjen fan grutte gegevens. Foar sokke systemen spilet it brûken fan keunstmjittige yntelliginsje en algoritmen foar masine learen in wichtige rol. Oant no ta is ien fan 'e wichtichste gefallen foar it bedriuw it optimalisearjen fan logistykstreambehear en de fersnelling fan klanttsjinst yn postkantoaren.
Foarôfgeand oan it begjin fan it upgradeprojekt wiene d'r sawat 3000 firtuele masines yn 'e haad- en reservekopy-datasintra, it bedrach fan opsleine ynformaasje is mear as 2 petabytes. Datasintra hie in komplekse ferkearsroutingstruktuer ferbûn mei de ferdieling yn ferskate segminten neffens feiligensnivo's.
Mei de ûntwikkeling fan tapassingen en de ynfiering fan nije tsjinsten is de besteande bânbreedte fan netwurkapparatuer yn datasintra net genôch wurden. In oergong nei ynterfaces mei nije snelheden wie nedich: 10 Gb / s, ynstee fan 1 Gb / s foar tagong en 40 Gb / s op it kearnnivo, mei folsleine redundânsje fan apparatuer en kommunikaasjekanalen.
Fan 'e ôfdieling ynformaasjefeiligens waard in eask ûntfongen om de ynfrastruktuer te dielen yn segminten mei in heech nivo fan ynformaasjefeiligens fan ferkear en applikaasjes (PN - Private Network en DMZ - Demilitarized Zone). Firewalls (ITU) trochjûn ferkear dat net nedich wie om te filterjen. VRF waard net brûkt op de skakelaars foar sa'n ferkear. De regels by de ITU wiene suboptimaal (tsientûzenen regels yn elk datasintrum).
Naadleaze migraasje fan firtuele masines (VM's) tusken datasintra mei it behâld fan it IP-adres en it optimale paad foar ferkear tusken segminten, ynklusyf it bedriuwsdatanetwurk (CDTN), wie net mooglik.
MSTP waard brûkt foar redundânsje, guon havens waarden blokkearre (hot standby). De kearn- en tagongswitches waarden net failover klustere, en gjin ynterface aggregation (LAG) waard brûkt.
Mei de komst fan it tredde datasintrum wie in nije arsjitektuer en apparatuerkonfiguraasje nedich om de ring tusken datasintra te operearjen (EVPN waard foarsteld).
D'r wie gjin ienich konsept foar de ûntwikkeling fan datasintra, dokumintearre yn 'e foarm fan in projekt en ôfpraat mei alle ôfdielingen fan' e klant. De hjoeddeistige dokumintaasje foar netwurkoperaasje wie ûnfolslein en ferâldere.
Klant ferwachtings
It projektteam hie de folgjende taken:
- tariede it konsept fan arsjitektuer en ûntwikkeling foar it bouwen fan it netwurk- en serverynfrastruktuer fan it tredde datasintrum;
- útfiere in operasjonele kontrôle fan it besteande netwurk fan de klant;
- útwreidzje netwurk kearn kapasiteit mei mear as 1500 10/40 Gb / s Ethernet havens yn elk datasintrum (4500 havens yn totaal);
- soargje foar de wurking fan 'e ring tusken trije datasintra mei de mooglikheid om de snelheid te fergrutsjen oant 80 Gb / s yn elk fan' e segminten om de komputerboarnen fan 'e klant út ferskate datasintra te kombinearjen yn ien IT-systeem;
- foarsjen 100% dûbele reserve fan alle netwurk eleminten te berikken it doel Uptime op it nivo fan 99,995%;
- minimalisearje ferkearsfertragingen tusken firtuele masines om saaklike applikaasjes te fersnellen;
- statistiken sammelje, analysearje en fierder optimalisearjen fan ferkearsfilterregels yn datasintra (yn earsten wiene d'r sa'n 80 regels);
- in doelarsjitektuer ûntwikkelje om naadleaze migraasje fan 'e krityske saaklike applikaasjes fan' e klant te garandearjen nei ien fan 'e trije datasintra.
Sa hiene wy wat om oan te wurkjen.
Wetter - Agrarwetter
Litte wy in tichterby besjen hokker apparatuer wy brûkten yn it projekt.
Firewall (NGWF) USG9560:
- ferdieling troch VSYS;
- oant 720 Gbps;
- oant 720 miljoen simultane sesjes;
- 8 sluw.
Router NE40E-X8:
- oant 7,08 Tbit / s Switching kapasiteit;
- oant 2,880 Mpps Forwarding Performance;
- 8 slots foar line cards (LPU);
- oant 10M BGP IPv4-rûtes per MPU;
- oant 1500K OSPF IPv4-rûtes per MPU;
- oant 3000K - IPv4 FIB (hinget ôf fan LPU).
CE12800 Series Switches:
- Device Virtualization: VS (1:16 virtualization), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
- Netwurkvirtualisaasje: M-LAG, TRILL, VXLAN en VXLAN brêge, QinQ yn VXLAN, EVN (Ethernet Virtual Network);
- begjinnend mei VRP V2, is EVPN-stipe opnommen;
- M-LAG - analoog fan vPC (firtuele Port Channel) foar Cisco Nexus;
- Virtual Spanning Tree Protocol (VSTP) - Kompatibel mei Cisco PVST.
CE12804
CE12808
Software
Yn it projekt hawwe wy brûkt:
- converter fan konfiguraasjetriemmen foar firewalls fan oare leveransiers yn kommandoformaat foar nije apparatuer;
- skripts fan ús eigen ûntwerp om de konfiguraasje fan firewalls te optimalisearjen en te transformearjen.
Uterlik fan de converter foar it konvertearjen fan konfiguraasjebestannen
Kommunikaasjeskema tusken datasintra (EVPN VXLAN)
De nuânses fan it opsetten fan apparatuer
CE12808
- EVPN (standert) ynstee fan EVN (Huawei proprietary) foar kommunikaasje tusken datasintra:
○ L2 oer L3 mei iBGP yn kontrôleflak;
○ MAC-training en oankundiging fia iBGP EVPN-famylje (MAC-rûtes, type 2);
○ automatyske konstruksje fan VXLAN-tunnels foar útstjoering / ûnbekend unicast-ferkear (ynklusive Multicast-rûtes, type 3). - Twa divyzjemodi op VS:
○ basearre op havens (poarte-modus haven) of basearre op ASIC (poarte-modus groep, display apparaat haven-map);
○ port split diminsje ynterface 40GE ONLY wurket yn Admin VS (nettsjinsteande poarte-modus).
USG9560
- mooglikheid om te dielen troch VSYS,
- tusken VSYS dynamyske routing en rûte leaking is ûnmooglik!
CE12804
Alle aktive GW (VRRP Master / Master / Master) mei MAC VRRP-filtering tusken datasintra
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Skema fan ynteraksje fan boarnen tusken datasintra (VXLAN EVPN en All Active GW)
Projekt kompleksiteit
De wichtichste muoite wie de needsaak om reservekopy fan besteande applikaasjes mei help fan kompjûterynfrastruktuer. De klant hie mear as 100 ferskillende applikaasjes, wêrfan guon binne hast 10 jier lyn skreaun. Bygelyks, as Yandex kin maklik ôfslute ferskate hûndert firtuele masines sûnder skea oan ein brûkers, dan yn Russyske Post sa'n oanpak soe easkje de ûntwikkeling fan in oantal applikaasjes út it begjin en feroarings yn de arsjitektuer fan bedriuw ynformaasje systemen. Wy hawwe de problemen oplost dy't ûntsteane yn it proses fan migraasje en optimisaasje op it poadium fan in mienskiplike kontrôle fan 'e kompjûterynfrastruktuer. Alle nije netwurktechnologyen foar it bedriuw (lykas EVPN) binne foarôf testen yn it laboratoarium.
Projektresultaten
It projektteam befette spesjalisten , de klant en syn partners yn 'e eksploitaasje fan' e kompjûterynfrastruktuer. Tawiisde stipeteams fan leveransiers (Check Point en Huawei) waarden ek foarme. It projekt duorre twa jier. Hjir is wat dien is yn dizze tiid.
- In strategy foar de ûntwikkeling fan in netwurk fan datasintra, in bedriuwsdatatransfernetwurk (CSTN) en in ring tusken datasintra waard ûntwikkele en ôfpraat mei alle ôfdielingen fan 'e klant.
- Ferhege tsjinst beskikberens. Dit waard opmurken troch it bedriuw fan de klant en late ta in noch grutter tanimming fan ferkear troch de ynfiering fan nije tsjinsten.
- Mear dan 40 regels binne migrearre en optimalisearre fan FWSM/ASA nei USG 000. Ferskillende ASA-konteksten op UGG 9560 binne gearfoege ta ien befeiligingsbelied.
- De trochstreaming fan havens foar gegevenssintrum is ferhege fan 1G nei 10/40G troch it brûken fan CE12800 / CE6850. Dit makke it mooglik om ynterface-overloads en ferlies fan pakketten te eliminearjen.
- Carrier-klasse routers NE40E-X8 folslein bedutsen de behoeften fan de klant syn data sintrum en KSPD, rekken hâldend mei takomstige saaklike ûntwikkeling.
- Acht nije Feature Requests binne oanfrege foar USG 9560. Dêrfan binne sân al ymplementearre en binne opnommen yn 'e aktuele ferzje fan VRP. 1 FR wurdt ymplementearre troch Huawei R&D. Dit is in kluster foar acht chassis mei de mooglikheid om te konfigurearjen de nedige funksjonaliteit foar syngronisaasje fan de konfiguraasje sûnder syngronisaasje sesjes. Ferplicht as de ferkearsfertraging nei ien fan 'e datasintra te heech is (Adler - Moskou 1300 km lâns de haadrûte en 2800 km lâns de reserverûte).
It projekt hat gjin analogen yn ferliking mei oare postbedriuwen yn Ruslân.
De modernisearring fan 'e ynfrastruktuer fan it datasintrumnetwurk hat nije kânsen iepene foar it bedriuw om digitale tsjinsten te ûntwikkeljen.
- It leverjen fan in persoanlik akkount en in mobile applikaasje foar partikulieren en juridyske entiteiten.
- Yntegraasje mei elektroanyske winkels om tsjinsten foar levering fan guod te leverjen.
- Ferfolling is de opslach fan guod, de formaasje en levering fan oarders út elektroanyske winkels.
- Utwreiding fan punten fan útjefte fan oarders, ynklusyf mei it brûken fan partnernetwurken.
- Juridysk wichtige dokumintstream mei oannimmers. Dit sil de trage en kostbere levering fan papieren dokuminten eliminearje.
- Akseptaasje fan registrearre brieven yn elektroanyske foarm mei levering sawol yn elektroanyske as papierfoarm (mei it printsjen fan items sa ticht mooglik by de definitive ûntfanger). Tsjinst fan elektroanyske registrearre brieven op it portaal fan publike tsjinsten.
- Platfoarm foar it leverjen fan telemedisyntsjinsten.
- Ienfâldige akseptaasje en ferienfâldige levering fan registrearre postposten mei in ienfâldige elektroanyske hantekening.
- Digitalisearring fan it postkantoar netwurk.
- Ferwurkjen fan selsbetsjinningstsjinsten (terminals en pakketmasines).
- Oanmeitsjen fan in digitaal platfoarm foar it behearen fan de koerierstsjinst en in nije mobile applikaasje foar klanten fan koerierstsjinsten.
Kom by ús oan it wurk!
Boarne: www.habr.com