रूसी पोस्ट डाटा केन्द्रको लागि नयाँ आईटी पूर्वाधार

म पक्का छु कि सबै Habr पाठकहरूले कम्तिमा एक पटक विदेशमा अनलाइन स्टोरहरूबाट सामानहरू अर्डर गरेका छन् र त्यसपछि रूसी हुलाक कार्यालयमा पार्सलहरू प्राप्त गर्न गएका छन्। तपाईं रसद संगठित को दृष्टिकोण देखि, यो कार्य को मापन कल्पना गर्न सक्नुहुन्छ? खरीददारहरूको संख्यालाई तिनीहरूको खरिदहरूको संख्याद्वारा गुणा गर्नुहोस्, हाम्रो विशाल देशको नक्सा कल्पना गर्नुहोस्, र यसमा 40 हजार भन्दा बढी हुलाक कार्यालयहरू छन्... वैसे, 2018 मा, रूसी पोस्टले 345 मिलियन अन्तर्राष्ट्रिय पार्सलहरू प्रशोधन गर्यो।

यस लेखमा हामी तपाइँलाई पोख्ताले सामना गर्नु पर्ने समस्याहरू र कसरी LANIT एकीकरण टोलीले डाटा केन्द्रहरूको लागि नयाँ IT पूर्वाधार सिर्जना गर्दै तिनीहरूलाई समाधान गर्यो भन्ने कुरा बताउनेछौं।

रूसी पोस्ट को आधुनिक रसद केन्द्रहरु मध्ये एक
 

परियोजना अघि

चीन, पश्चिमी युरोप र उत्तर अमेरिकामा विदेशी स्टोरहरूबाट पार्सलहरूको संख्यामा तीव्र वृद्धिको कारण, रूसी पोष्टको रसद सुविधाहरूमा भार बढेको छ। त्यसकारण, नयाँ पुस्ताको रसद केन्द्रहरू बनाइयो, जसले उच्च प्रदर्शन क्रमबद्ध मेसिनहरू प्रयोग गर्दछ। उनीहरूलाई कम्प्युटिङ पूर्वाधारबाट सहयोग चाहिन्छ।

डाटा केन्द्र पूर्वाधार पुरानो थियो र उद्यम सूचना प्रणाली को सञ्चालन मा आवश्यक प्रदर्शन र विश्वसनीयता प्रदान गर्दैन। साथै, रूसी पोष्टले नयाँ सेवाहरू सुरू गर्न कम्प्युटिङ शक्तिको अभाव अनुभव गर्यो।
 

ग्राहक डाटा केन्द्र र तिनीहरूको समस्या

रूसी पोस्ट डाटा केन्द्रहरूले 40 भन्दा बढी सुविधाहरू र 000 क्षेत्रीय विभागहरू सेवा गर्छन्। डाटा केन्द्रहरूले दर्जनौं 85/XNUMX व्यापार सेवाहरू सञ्चालन गर्दछ, ई-वाणिज्य सेवाहरू सहित।

आज, उद्यमहरूले ठूलो डेटा भण्डारण, विश्लेषण र प्रशोधन गर्न प्रणालीहरू प्रयोग गर्छन्। त्यस्ता प्रणालीहरूको लागि, कृत्रिम बुद्धिमत्ता र मेसिन लर्निङ एल्गोरिदमको प्रयोगले महत्त्वपूर्ण भूमिका खेल्छ। आज, एक उद्यम को लागी सबैभन्दा महत्त्वपूर्ण मामलाहरु मध्ये एक रसद प्रवाह को प्रबंधन को अनुकूलन र हुलाक कार्यालयहरु मा ग्राहक सेवा को गति।

आधुनिकीकरण परियोजना सुरु हुनु अघि, मुख्य र ब्याकअप डाटा केन्द्रहरूमा लगभग 3000 भर्चुअल मेसिनहरू थिए, भण्डारण गरिएको जानकारीको मात्रा 2 पेटाबाइटहरू नाघ्यो। डाटा केन्द्रहरूमा सुरक्षा स्तर अनुसार विभिन्न खण्डहरूमा विभाजनसँग सम्बन्धित जटिल ट्राफिक मार्ग संरचना थियो।

अनुप्रयोगहरूको विकास र नयाँ सेवाहरूको परिचयको साथ, डाटा केन्द्रहरूमा नेटवर्क उपकरणहरूको अवस्थित ब्यान्डविथ अपर्याप्त भएको छ। नयाँ गतिको साथ इन्टरफेसहरूमा संक्रमण आवश्यक थियो: पहुँचमा 10 Gbit/s को सट्टा 1 Gbit/s र कोर स्तरमा 40 Gbit/s, उपकरण र सञ्चार च्यानलहरूको पूर्ण रिडन्डन्सीको साथ।

सूचना सुरक्षा विभागले ट्राफिक र एप्लिकेसनहरूको उच्च स्तरको सूचना सुरक्षा (PN - निजी नेटवर्क र DMZ - Demilitarized Zone) को साथ खण्डहरूमा पूर्वाधारहरूलाई विभाजन गर्न आवश्यकता प्राप्त गर्यो। ट्राफिक फायरवालहरू (FWUs) मार्फत पास भयो जुन फिल्टर गर्न आवश्यक छैन। यो ट्राफिकको लागि स्विचहरूमा VRF प्रयोग गरिएको थिएन। फायरवालका नियमहरू सबोप्टिमल थिए (प्रत्येक डाटा केन्द्रमा हजारौं नियमहरू)।

आईपी ​​ठेगाना र कर्पोरेट डाटा नेटवर्क (CDN) सहित खण्डहरू बीच ट्राफिकको लागि इष्टतम मार्ग कायम गर्दा डाटा केन्द्रहरू बीच भर्चुअल मेसिनहरू (VMs) को सिमलेस माइग्रेसन असम्भव थियो।

MSTP ब्याकअपको लागि प्रयोग गरिएको थियो; केही पोर्टहरू रोकिएका थिए (हट स्ट्यान्डबाइ)। कोर र पहुँच स्विचहरू फेलओभर क्लस्टरमा जोडिएका थिएनन्, र इन्टरफेस एग्रीगेसन (LAG) प्रयोग गरिएन।

तेस्रो डाटा सेन्टरको आगमनको साथ, डाटा केन्द्रहरू (EVPN प्रस्ताव गरिएको थियो) बीचको घण्टी सञ्चालन गर्न नयाँ वास्तुकला र उपकरण कन्फिगरेसन आवश्यक थियो।

डाटा केन्द्रहरूको विकासको लागि कुनै एकीकृत अवधारणा थिएन, परियोजनाको रूपमा दस्तावेज गरिएको र ग्राहकका सबै विभागहरूसँग सहमत। हालको सञ्जाल सञ्चालन कागजातहरू अपूर्ण र म्याद सकिएको थियो।
 

ग्राहकको अपेक्षा

परियोजना टोलीले निम्न कार्यहरूको सामना गर्यो:

• तेस्रो डाटा केन्द्रको नेटवर्क र सर्भर पूर्वाधार निर्माणको लागि वास्तुकला र विकास अवधारणा तयार गर्नुहोस्;
• ग्राहकको अवस्थित नेटवर्कको परिचालन लेखा परीक्षा सञ्चालन गर्नुहोस्;
• प्रत्येक डाटा केन्द्रमा 1500 10/40 Gbit/s इथरनेट पोर्टहरू (कुल 4500 पोर्टहरू) द्वारा नेटवर्क कोर क्षमता विस्तार गर्नुहोस्;
• विभिन्न डेटा केन्द्रहरूबाट ग्राहकको कम्प्युटिङ स्रोतहरूलाई एकल IT प्रणालीमा जोड्नको लागि प्रत्येक खण्डमा 80 Gbit/s गति बढाउने क्षमताको साथ तीन डाटा केन्द्रहरू बीचको रिङको सञ्चालन सुनिश्चित गर्नुहोस्;
• 100% को स्तरमा लक्ष्य अपटाइम प्राप्त गर्न सबै नेटवर्क तत्वहरूको 99,995% डबल रिजर्भ प्रदान गर्नुहोस्;
• व्यापार अनुप्रयोगहरूको गति बढाउन भर्चुअल मेसिनहरू बीच ट्राफिक ढिलाइ कम गर्नुहोस्;
• तथ्याङ्कहरू सङ्कलन गर्नुहोस्, विश्लेषण गर्नुहोस् र डाटा केन्द्रहरूमा ट्राफिक फिल्टरिङ नियमहरूको पछिको अनुकूलन गर्नुहोस् (सुरुमा त्यहाँ लगभग 80 नियमहरू थिए);
• ग्राहकको महत्वपूर्ण व्यापारिक अनुप्रयोगहरूको कुनै पनि तीनवटा डाटा केन्द्रहरूमा निर्बाध स्थानान्तरण सुनिश्चित गर्न लक्ष्य वास्तुकलाको विकास गर्नुहोस्।

त्यसैले हामीसँग काम गर्न केहि थियो।

उपकरण

हामीले परियोजनामा ​​कुन उपकरणहरू प्रयोग गर्यौं भनेर नजिकबाट हेरौं।

फायरवाल (NGWF) USG9560:

• VSYS द्वारा विभाजन;
• 720 Gbps सम्म;
• 720 मिलियन एक साथ सत्र सम्म;
• 8 स्लटहरू।

 
राउटर NE40E-X8:

• 7,08 Tbit/s स्विचिङ क्षमता सम्म;
• 2,880 Mpps फर्वार्डिङ प्रदर्शन सम्म;
• लाइन कार्डहरू (LPU) को लागि 8 स्लटहरू;
• प्रति MPU 10M BGP IPv4 मार्गहरू सम्म;
• प्रति MPU 1500K OSPF IPv4 मार्गहरू सम्म;
• 3000K सम्म - IPv4 FIB (LPU मा निर्भर गर्दै)।

CE12800 श्रृंखला स्विचहरू:

• उपकरण भर्चुअलाइजेशन: VS (1:16 भर्चुअलाइजेशन), क्लस्टर स्विच प्रणाली (CSS), सुपर भर्चुअल कपडा (SVF);
• नेटवर्क भर्चुअलाइजेशन: M-LAG, TRILL, VXLAN र VXLAN ब्रिजिङ, VXLAN मा QinQ, EVN (इथरनेट भर्चुअल नेटवर्क);
• VRP V2 बाट सुरु हुँदै, EVPN समर्थन समावेश गरिएको छ;
• M-LAG - सिस्को नेक्ससको लागि vPC (भर्चुअल पोर्ट च्यानल) को एनालग;
• भर्चुअल स्प्यानिङ ट्री प्रोटोकल (VSTP) - Cisco PVST सँग उपयुक्त।

CE12804

CE12808

सफ्टवेयर

परियोजनामा ​​हामीले प्रयोग गर्यौं:

• नयाँ उपकरणहरूको लागि आदेश ढाँचामा अन्य विक्रेताहरूबाट फायरवाल कन्फिगरेसन फाइलहरूको रूपान्तरण;
• फायरवाल कन्फिगरेसनहरू अनुकूलन र रूपान्तरणका लागि स्वामित्व लिपिहरू।

कन्फिगरेसन फाइलहरू रूपान्तरणको लागि कनवर्टरको उपस्थिति
 
डाटा केन्द्रहरू (EVPN VXLAN) बीच सञ्चार व्यवस्थित गर्ने योजना
 

उपकरण सेट अप को सूक्ष्मता

CE12808
 

• डाटा केन्द्रहरू बीच सञ्चारको लागि EVN (Huawei स्वामित्व) को सट्टा EVPN (मानक):

  ○ नियन्त्रण विमानमा iBGP प्रयोग गरेर L2 माथि L3;
  ○ MAC प्रशिक्षण र iBGP EVPN परिवार (MAC मार्गहरू, टाइप 2) मार्फत तिनीहरूको विज्ञापन;
  ○ प्रसारण / अज्ञात युनिकास्ट ट्राफिकको लागि VXLAN सुरुङहरूको स्वचालित निर्माण (समावेशी मल्टीकास्ट मार्गहरू, प्रकार 3)।

• VS मा दुई विभाजन मोडहरू:

  ○ पोर्टहरूमा आधारित (पोर्ट-मोड पोर्ट) वा ASIC (पोर्ट-मोड समूह, प्रदर्शन उपकरण पोर्ट-नक्सा) मा आधारित;
  ○ पोर्ट स्प्लिट डाइमेन्सन इन्टरफेस 40GE ले Admin VS मा मात्र काम गर्छ (पोर्ट-मोड जस्तोसुकै भए पनि)।

USG9560
 

• VSYS द्वारा विभाजनको सम्भावना,
• VSYS बीच गतिशील मार्ग र मार्ग चुहावट सम्भव छैन!

CE12804
 
सबै सक्रिय GW (VRRP मास्टर/मास्टर/मास्टर) डाटा केन्द्रहरू बीच MAC VRRP फिल्टरिङको साथ
 
acl number 4000
  rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
  rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
  rule 15 permit
 
interface Eth-Trunk1
  traffic-filter acl 4000 outbound

डाटा केन्द्रहरू (VXLAN EVPN र सबै सक्रिय GW) बीचको स्रोत अन्तरक्रियाको योजना
 

परियोजना कठिनाइहरू

मुख्य कठिनाई कम्प्युटिङ पूर्वाधार प्रयोग गरेर अवस्थित अनुप्रयोगहरू ब्याकअप गर्न आवश्यक थियो। ग्राहकसँग 100 भन्दा बढी विभिन्न अनुप्रयोगहरू थिए, जसमध्ये केही लगभग 10 वर्ष पहिले लेखिएका थिए। उदाहरण को लागी, यदि Yandex को लागी तपाईले धेरै सय भर्चुअल मेशिनहरु लाई अन्त प्रयोगकर्ताहरु लाई हानि बिना सजिलै बन्द गर्न सक्नुहुन्छ, त्यसपछि रूसी पोस्ट मा यस्तो दृष्टिकोण को लागी स्क्र्याच देखि धेरै अनुप्रयोगहरु को विकास र उद्यम सूचना प्रणाली को संरचना मा परिवर्तन को आवश्यकता हुनेछ। हामीले कम्प्युटिङ पूर्वाधारको संयुक्त लेखापरीक्षणको चरणमा माइग्रेसन र अप्टिमाइजेसन प्रक्रियाको क्रममा उत्पन्न भएका समस्याहरूलाई समाधान गर्यौं। इन्टरप्राइजमा नयाँ भएका सबै नेटवर्क टेक्नोलोजीहरू (जस्तै EVPN) प्रयोगशालामा प्रारम्भिक परीक्षणबाट गुज्रिएका छन्।
 

परियोजना परिणामहरू

परियोजना टोलीमा विशेषज्ञहरू थिए "LANIT-एकीकरण", कम्प्युटिङ पूर्वाधारको सञ्चालनमा ग्राहक र यसका साझेदारहरू। विक्रेताहरू (चेक पोइन्ट र Huawei) बाट समर्पित समर्थन टोलीहरू पनि गठन गरियो। आयोजनाले दुई वर्ष लगाएको थियो । यो अवधिमा के गरियो।

• डाटा सेन्टरहरूको नेटवर्क, कर्पोरेट डाटा नेटवर्क (CDTN) र डाटा सेन्टरहरू बीचको रिंगको विकासको लागि रणनीति विकास गरिएको छ र ग्राहकका सबै विभागहरूसँग सहमत छ।
• सेवाको उपलब्धता बढेको छ । यो ग्राहकको व्यवसाय द्वारा नोट गरिएको थियो र नयाँ सेवाहरूको परिचयको कारण ट्राफिकमा अझ ठूलो वृद्धि भएको थियो।
• FWSM/ASA बाट USG 40 मा 000 भन्दा बढी नियमहरू माइग्रेट र अप्टिमाइज गरिएका छन्। UGG 9560 मा विभिन्न ASA सन्दर्भहरूलाई एकल सुरक्षा-नीतिमा जोडिएको छ।
• CE1/CE10 को प्रयोग मार्फत डाटा सेन्टर पोर्टहरूको थ्रुपुट 40G बाट 12800/6850G मा बढाइएको छ। यसले इन्टरफेस ओभरलोडहरू र प्याकेटहरूको हानि हटाउन सम्भव बनायो।
• क्यारियर-ग्रेड राउटरहरू NE40E-X8 ले ग्राहकको डाटा सेन्टर र डाटा ट्रान्सफर सेन्टरका आवश्यकताहरूलाई पूर्ण रूपमा समेट्छ, भविष्यको व्यापार विकासलाई ध्यानमा राख्दै।
• USG 9560 को लागि आठ नयाँ सुविधा अनुरोधहरू अनुरोध गरिएको छ। ती मध्ये, सात पहिले नै लागू भइसकेका छन् र VRP को हालको संस्करणमा समावेश छन्। 1 FR - Huawei R&D मा कार्यान्वयनको लागि। यो सत्र सिङ्क्रोनाइजेसन बिना कन्फिगरेसन सिंक्रोनाइजेसनको लागि आवश्यक कार्यक्षमता कन्फिगर गर्ने क्षमताको साथ आठ-चेसिस क्लस्टर हो। यदि डेटा केन्द्रहरू मध्ये एकमा ट्राफिक ढिलाइ धेरै ठूलो छ भने यो आवश्यक छ (एडलर - मस्को मुख्य मार्गमा 1300 किमी र रिजर्व मार्गमा 2800 किमी)।

यस परियोजनासँग अन्य रूसी हुलाक कम्पनीहरूको तुलनामा कुनै एनालॉगहरू छैनन्।

डाटा केन्द्रहरूको सञ्जाल पूर्वाधारको आधुनिकीकरणले इन्टरप्राइजलाई डिजिटल सेवाहरू विकास गर्न नयाँ अवसरहरू खोलेको छ।

• व्यक्ति र कानूनी संस्थाहरूको लागि व्यक्तिगत खाता र मोबाइल अनुप्रयोग प्रदान गर्दै।
• सामान वितरण सेवाहरू प्रदान गर्न इलेक्ट्रोनिक स्टोरहरूसँग एकीकरण।
• पूर्ति - सामानहरूको भण्डारण, गठन र इलेक्ट्रोनिक स्टोरहरूबाट अर्डरहरूको डेलिभरी।
• सम्बद्ध नेटवर्कहरू प्रयोग गर्ने सहित अर्डर पिक-अप बिन्दुहरू विस्तार गर्दै।
• काउन्टरपार्टीहरूसँग कानूनी रूपमा महत्त्वपूर्ण कागजात प्रवाह। यसले कागजी कागजातहरूको ढिलो र महँगो पठाउनेलाई हटाउनेछ।
• इलेक्ट्रोनिक रूपमा र कागजी रूपमा वितरणको साथ इलेक्ट्रोनिक फारममा दर्ता गरिएका पत्रहरूको स्वीकृति (अन्तिम प्राप्तकर्तालाई सकेसम्म नजिकको वस्तुहरूको मुद्रणको साथ)। सार्वजनिक सेवा पोर्टलमा इलेक्ट्रोनिक दर्ता पत्रहरूको सेवा।
• टेलिमेडिसिन सेवाहरू प्रदान गर्न प्लेटफर्म।
• सरल इलेक्ट्रोनिक हस्ताक्षर प्रयोग गरेर दर्ता गरिएको मेलको सरलीकृत स्वागत र सरल वितरण।
• हुलाक कार्यालय नेटवर्क को डिजिटलीकरण।
• स्व-सेवा सेवाहरूको पुन: डिजाइन (टर्मिनल र पार्सल टर्मिनलहरू)।
• कुरियर सेवा प्रबन्ध गर्न डिजिटल प्लेटफर्म र कुरियर सेवा ग्राहकहरूको लागि नयाँ मोबाइल अनुप्रयोगको सिर्जना।

आउनुहोस् हामीसँग काम गर्नुहोस्!

• कर्पोरेट पूर्वाधार इन्जिनियर
• लीड लिनक्स / DevOps ईन्जिनियर

स्रोत: www.habr.com