Хабрын бүх уншигчид дор хаяж нэг удаа гадаадад онлайн дэлгүүрээс бараа захиалж, Оросын шуудангийн газарт илгээмж авахаар очсон гэдэгт би итгэлтэй байна. Логистикийг зохион байгуулах үүднээс энэ ажлын цар хүрээг та төсөөлж байна уу? Худалдан авагчдын тоог тэдний худалдан авалтын тоогоор үржүүлж, өргөн уудам эх орны маань газрын зургийг төсөөлөөд үз дээ, түүн дээр 40 мянга гаруй шуудангийн салбар байна... Дашрамд дурдахад, Оросын шуудан 2018 онд 345 сая олон улсын илгээмжийг боловсруулсан байна.
Энэ нийтлэлд бид Pochta-д ямар асуудал тулгарч байсан, LANIT Integration баг үүнийг хэрхэн шийдэж, дата төвүүдэд мэдээллийн технологийн шинэ дэд бүтцийг бий болгосныг танд хэлэх болно.
Оросын шуудангийн орчин үеийн логистикийн төвүүдийн нэг
Төслийн өмнө
Хятад, Баруун Европ, Хойд Америк дахь гадаадын дэлгүүрүүдээс илгээмжийн тоо огцом нэмэгдсэнтэй холбоотойгоор Оросын шуудангийн ложистикийн байгууламжийн ачаалал нэмэгджээ. Тиймээс өндөр хүчин чадалтай ангилах машин ашигладаг шинэ үеийн ложистикийн төвүүд баригдсан. Тэд тооцоолох дэд бүтцийн дэмжлэг шаарддаг.
Дата төвийн дэд бүтэц хуучирсан бөгөөд аж ахуйн нэгжийн мэдээллийн системийн үйл ажиллагаанд шаардлагатай гүйцэтгэл, найдвартай байдлыг хангаж чадаагүй. Мөн Оросын шуудан нь шинэ үйлчилгээг эхлүүлэхэд тооцоолох хүчин чадал дутагдалтай байсан.
Хэрэглэгчийн мэдээллийн төвүүд ба тэдгээрийн асуудлууд
Оросын шуудангийн мэдээллийн төвүүд нь 40 гаруй байгууламж, 000 нутаг дэвсгэрийн хэлтэст үйлчилдэг. Дата төвүүд нь цахим худалдааны үйлчилгээ зэрэг олон арван бизнесийн үйлчилгээг 85/XNUMX ажиллуулдаг.
Өнөөдөр аж ахуйн нэгжүүд том өгөгдлийг хадгалах, дүн шинжилгээ хийх, боловсруулах системийг ашигладаг. Ийм системүүдийн хувьд хиймэл оюун ухаан, машин сургалтын алгоритмыг ашиглах нь чухал үүрэг гүйцэтгэдэг. Өнөөдөр аж ахуйн нэгжийн хамгийн чухал тохиолдлуудын нэг бол логистикийн урсгалын менежментийг оновчтой болгох, шуудангийн салбар дахь харилцагчийн үйлчилгээг хурдасгах явдал юм.
Шинэчлэлийн төсөл эхлэхээс өмнө үндсэн болон нөөц мэдээллийн төвүүдэд 3000 орчим виртуал машин байсан бөгөөд хадгалагдсан мэдээллийн хэмжээ 2 петабайтаас давжээ. Мэдээллийн төвүүд нь аюулгүй байдлын түвшний дагуу янз бүрийн сегментүүдэд хуваагддаг замын хөдөлгөөний нарийн төвөгтэй бүтэцтэй байсан.
Аппликэйшнүүдийг хөгжүүлж, шинэ үйлчилгээг нэвтрүүлснээр дата төвүүдийн сүлжээний тоног төхөөрөмжийн одоогийн зурвасын өргөн хангалтгүй болсон. Шинэ хурдтай интерфэйсүүд рүү шилжих шаардлагатай байсан: нэвтрэх үед 10 Гбит/с биш харин 1 Гбит/с, үндсэн түвшинд 40 Гбит/с, тоног төхөөрөмж, холбооны сувгуудыг бүрэн нөөцлөх боломжтой.
Мэдээллийн аюулгүй байдлын хэлтэс нь дэд бүтцийг урсгал, хэрэглээний мэдээллийн аюулгүй байдлын өндөр түвшний сегментүүдэд хуваах шаардлагыг хүлээн авсан (PN - Хувийн сүлжээ ба DMZ - Цэрэггүй бүс). Траффик шүүлтүүр шаардлагагүй галт ханаар (FWU) дамждаг. Шилжүүлэгч дээрх VRF-г энэ урсгалд ашиглаагүй. Галт хана дээрх дүрмүүд нь оновчтой бус байсан (өгөгдлийн төв бүрт хэдэн арван мянган дүрэм).
Корпорацийн мэдээллийн сүлжээ (CDN) зэрэг сегментүүдийн хоорондох хөдөлгөөний оновчтой замыг, IP хаягийг хадгалахын зэрэгцээ өгөгдлийн төвүүдийн хооронд виртуал машинуудыг (VMs) саадгүй шилжүүлэх боломжгүй байв.
MSTP-г нөөцлөхөд ашигласан; зарим портуудыг хаасан (халуун зогсолт). Үндсэн болон хандалтын унтраалга нь бүтэлгүйтлийн кластерт нэгтгэгдээгүй бөгөөд интерфейсийн нэгтгэлийг (LAG) ашиглаагүй.
Гурав дахь дата төв бий болсноор мэдээллийн төвүүдийн хоорондох цагирагыг ажиллуулахын тулд шинэ архитектур, тоног төхөөрөмжийн тохиргоо шаардлагатай болсон (EVPN санал болгосон).
Дата төвийг хөгжүүлэх нэгдсэн концепц байхгүй, төсөл хэлбэрээр баримтжуулж, хэрэглэгчийн бүх хэлтэстэй тохиролцсон. Одоогийн сүлжээний үйл ажиллагааны баримт бичиг бүрэн бус, хуучирсан.
Хэрэглэгчийн хүлээлт
Төслийн багийнханд дараах ажлууд тулгарсан.
- гуравдугаар дата төвийн сүлжээ, серверийн дэд бүтцийг бий болгох архитектур, хөгжлийн үзэл баримтлалыг бэлтгэх;
- хэрэглэгчийн одоо байгаа сүлжээнд үйл ажиллагааны аудит хийх;
- сүлжээний үндсэн хүчин чадлыг дата төв бүрийн 1500 гаруй 10/40 Гбит/с Ethernet портоор өргөтгөх (нийт 4500 порт);
- өөр өөр мэдээллийн төвүүдээс хэрэглэгчийн тооцоолох нөөцийг нэг мэдээллийн технологийн системд нэгтгэхийн тулд сегмент бүрт 80 Гбит/с хүртэл хурдыг нэмэгдүүлэх чадвартай гурван дата төвийн хоорондох цагирагийн ажиллагааг хангах;
- зорилтот ажиллах хугацааг 100% түвшинд хүргэхийн тулд сүлжээний бүх элементүүдийн 99,995% давхар нөөцийг хангах;
- бизнесийн програмуудыг хурдасгахын тулд виртуал машинуудын хоорондох хөдөлгөөний саатлыг багасгах;
- статистик мэдээлэл цуглуулах, дүн шинжилгээ хийх, мэдээллийн төвүүдэд замын хөдөлгөөний шүүлтүүрийн дүрмийг дараагийн оновчтой болгох (эхэндээ 80 орчим дүрэм байсан);
- Хэрэглэгчийн бизнесийн чухал програмуудыг гурван дата төвийн аль нэг рүү нь саадгүй шилжүүлэх зорилтот архитектурыг боловсруулах.
Тиймээс бидэнд ажиллах зүйл байсан.
Тоног төхөөрөмж
Төсөлд ямар тоног төхөөрөмж ашигласан талаар дэлгэрэнгүй авч үзье.
Галт хана (NGWF) USG9560:
- VSYS-ээр хуваах;
- 720 Gbps хүртэл;
- 720 сая хүртэл нэгэн зэрэг сесс;
- 8 үүр.
Чиглүүлэгч NE40E-X8:
- 7,08 Tbit/s хүртэл шилжих хүчин чадал;
- 2,880 Mpps хүртэл дамжуулах гүйцэтгэл;
- Шугаман картуудын 8 үүр (LPU);
- MPU тутамд 10M BGP IPv4 чиглүүлэлт хүртэл;
- MPU тутамд 1500K OSPF IPv4 чиглүүлэлт хүртэл;
- 3000K хүртэл – IPv4 FIB (LPU-ээс хамаарч).
CE12800 цуврал унтраалга:
- Төхөөрөмжийн виртуалчлал: VS (1:16 виртуалчлал), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
- Сүлжээний виртуалчлал: M-LAG, TRILL, VXLAN болон VXLAN гүүр, VXLAN дахь QinQ, EVN (Ethernet виртуал сүлжээ);
- VRP V2-ээс эхлэн EVPN дэмжлэг багтсан болно;
- M-LAG – Cisco Nexus-д зориулсан vPC (виртуал порт суваг)-ийн аналог;
- Virtual Spanning Tree Protocol (VSTP) – Cisco PVST-тэй нийцдэг.
CE12804
CE12808
Програм хангамж
Төсөлд бид ашигласан:
- Бусад үйлдвэрлэгчдийн галт ханын тохиргооны файлуудыг шинэ төхөөрөмжид командын формат руу хөрвүүлэх;
- галт ханын тохиргоог оновчтой болгох, хөрвүүлэх зориулалттай скриптүүд.
Тохиргооны файлуудыг хөрвүүлэх хөрвүүлэгчийн харагдах байдал
Мэдээллийн төвүүдийн хоорондын харилцаа холбоог зохион байгуулах схем (EVPN VXLAN)
Тоног төхөөрөмжийг тохируулах нюансууд
CE12808
- Мэдээллийн төвүүдийн хоорондын харилцаа холбооны EVN (Huawei өмчийн) оронд EVPN (стандарт):
○ Хяналтын хавтгайд iBGP ашиглан L2-аас дээш L3;
○ MAC сургалт ба iBGP EVPN гэр бүлээр дамжуулан сурталчлах (MAC чиглүүлэлтүүд, төрөл 2);
○ Өргөн нэвтрүүлгийн / үл мэдэгдэх Unicast урсгалд зориулсан VXLAN туннелийг автоматаар барих (Inclusive Multicast Routes, төрөл 3). - VS дээрх хоёр хуваах горим:
○ портууд дээр суурилсан (портын горимын порт) эсвэл ASIC дээр суурилсан (портын горимын бүлэг, дэлгэцийн төхөөрөмжийн портын зураг);
○ порт хуваах хэмжээст интерфэйс 40GE нь ЗӨВХӨН Админ VS дээр ажилладаг (портын горимоос үл хамааран).
9560 ам.доллар
- VSYS-ээр хуваах боломж,
- VSYS хооронд динамик чиглүүлэлт болон чиглүүлэлт алдагдуулах боломжгүй!
CE12804
Дата төвүүдийн хооронд MAC VRRP шүүлтүүр бүхий бүх идэвхтэй GW (VRRP Мастер/Мастер/Мастер)
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Өгөгдлийн төвүүдийн хоорондын нөөцийн харилцан үйлчлэлийн схем (VXLAN EVPN ба All Active GW)
Төслийн хүндрэлүүд
Гол бэрхшээл нь тооцоолох дэд бүтцийг ашиглан одоо байгаа програмуудыг нөөцлөх хэрэгцээ байв. Үйлчлүүлэгч 100 гаруй төрлийн програмтай байсан бөгөөд тэдгээрийн зарим нь бараг 10 жилийн өмнө бичигдсэн байдаг. Жишээлбэл, Yandex-ийн хувьд та хэдэн зуун виртуал машиныг эцсийн хэрэглэгчдэд хохирол учруулахгүйгээр хялбархан унтрааж чадвал Оросын шуудан дээр ийм арга нь олон тооны програмуудыг эхнээс нь боловсруулж, аж ахуйн нэгжийн мэдээллийн системийн архитектурт өөрчлөлт оруулах шаардлагатай болно. Тооцооллын дэд бүтцийн хамтарсан аудитын үе шатанд шилжих, оновчтой болгох явцад үүссэн асуудлуудыг шийдвэрлэсэн. Байгууллагад шинээр нэвтэрсэн бүх сүлжээний технологиуд (EVPN гэх мэт) лабораторид урьдчилсан туршилтанд хамрагдсан.
Төслийн үр дүн
Төслийн багт мэргэжилтнүүд багтсан , тооцооллын дэд бүтцийн үйл ажиллагаанд үйлчлүүлэгч болон түүний түншүүд. Мөн борлуулагчдаас (Check Point болон Huawei) тусгайлан туслах багууд байгуулагдсан. Төсөл хоёр жил үргэлжилсэн. Энэ хугацаанд ийм зүйл хийсэн.
- Дата төвүүдийн сүлжээ, Корпорацийн мэдээллийн сүлжээ (CDTN) болон дата төвүүдийн хоорондох цагирагыг хөгжүүлэх стратегийг боловсруулж, хэрэглэгчийн бүх хэлтэстэй тохиролцсон.
- Үйлчилгээний хүртээмж нэмэгдсэн. Энэ нь үйлчлүүлэгчийн бизнест анхаарал хандуулж, шинэ үйлчилгээ нэвтрүүлсэнтэй холбоотойгоор замын хөдөлгөөн улам бүр нэмэгдэхэд хүргэсэн.
- 40 гаруй дүрмийг FWSM/ASA-аас USG 000 руу шилжүүлж, оновчтой болгосон. UGG 9560 дээрх өөр өөр ASA контекстүүдийг нэг аюулгүй байдлын бодлогод нэгтгэсэн.
- CE1/CE10 ашиглан дата төвийн портуудын нэвтрүүлэх чадварыг 40G-ээс 12800/6850G болгон нэмэгдүүлсэн. Энэ нь интерфэйсийн хэт ачаалал болон пакетуудын алдагдлыг арилгах боломжтой болсон.
- NE40E-X8 зөөгч зэрэглэлийн чиглүүлэгчид ирээдүйн бизнесийн хөгжлийг харгалзан хэрэглэгчийн дата төв болон өгөгдөл дамжуулах төвийн хэрэгцээг бүрэн хангасан.
- USG 9560-д зориулж найман шинэ Онцлох хүсэлтийг хүссэн. Эдгээрээс долоог нь аль хэдийн хэрэгжүүлсэн бөгөөд VRP-ийн одоогийн хувилбарт оруулсан болно. 1 FR - Huawei R&D-д хэрэгжүүлэхэд зориулагдсан. Энэ нь сесс синхрончлолгүйгээр тохиргооны синхрончлолд шаардлагатай функцийг тохируулах чадвартай найман явах эд ангитай кластер юм. Мэдээллийн төвүүдийн аль нэг рүү чиглэсэн хөдөлгөөний саатал хэт өндөр байвал шаардлагатай (Адлер - Москва гол маршрутын дагуу 1300 км, нөөцийн маршрутын дагуу 2800 км).
Төсөл нь Оросын бусад шуудангийн компаниудтай харьцуулахад ижил төстэй зүйл байхгүй.
Дата төвүүдийн сүлжээний дэд бүтцийг шинэчлэх нь аж ахуйн нэгжид дижитал үйлчилгээг хөгжүүлэх шинэ боломжийг нээж өгсөн.
- Хувь хүн, хуулийн этгээдийн хувийн данс, гар утасны аппликейшнээр хангах.
- Бараа хүргэх үйлчилгээ үзүүлэх цахим дэлгүүрүүдтэй нэгтгэх.
- Биелэлт - барааг хадгалах, цахим дэлгүүрээс захиалгыг бүрдүүлэх, хүргэх.
- Түнш сүлжээг ашиглах зэрэг захиалга хүлээн авах цэгүүдийг өргөжүүлэх.
- Харилцагч талуудтай хууль ёсны ач холбогдолтой баримт бичгийн урсгал. Энэ нь цаасан баримтыг удаан, зардал ихтэй илгээх явдлыг арилгах болно.
- Бүртгэгдсэн захидлыг цахим хэлбэрээр болон цаасан хэлбэрээр (эцсийн хүлээн авагчид аль болох ойр хэвлэх замаар) хүлээн авах. Төрийн үйлчилгээний портал дээр цахим бүртгэлтэй захидлын үйлчилгээ.
- Телемедицинийн үйлчилгээ үзүүлэх платформ.
- Энгийн цахим гарын үсэг ашиглан бүртгүүлсэн шууданг хялбаршуулсан хүлээн авах, хүргэх.
- Шуудангийн сүлжээг цахимжуулах.
- Өөртөө үйлчлэх үйлчилгээг дахин төлөвлөх (терминал ба илгээмжийн терминал).
- Шуудангийн үйлчилгээг удирдах дижитал платформ, шуудангийн үйлчилгээний үйлчлүүлэгчдэд зориулсан шинэ гар утасны програмыг бий болгох.
Бидэнтэй хамт ажиллаад ир!
Эх сурвалж: www.habr.com