Eminim tüm Habr okuyucuları en az bir kez yurtdışındaki çevrimiçi mağazalarda mal sipariş ettiler ve ardından Rus Postanesine paket almaya gittiler. Lojistik organizasyonu açısından bu görevin ölçeğini hayal edebiliyor musunuz? Alıcı sayısını satın alımlarıyla çarpın, geniş ülkemizin bir haritasını ve üzerinde - 40 binden fazla postaneyi hayal edin ... Bu arada, 2018'de Rus Postası 345 milyon uluslararası parsel işledi.
Bu yazıda, Post'un hangi sorunlarla karşılaştığını ve LANIT-Entegrasyon ekibinin veri merkezleri için yeni bir BT altyapısı oluşturarak bunları nasıl çözdüğünü anlatacağız.
Rus Postasının modern lojistik merkezlerinden biri
projeden önce
Çin, Batı Avrupa ve Kuzey Amerika'daki yabancı mağazalardan gelen koli sayısındaki keskin artış nedeniyle, Rus Postasının lojistik tesisleri üzerindeki yük arttı. Bu nedenle, yüksek kapasiteli ayıklama makineleri kullanan yeni nesil lojistik merkezler inşa edildi. Bilgi işlem altyapısından destek gerektirirler.
Veri merkezi altyapısı eskiydi ve kurumsal bilgi sistemlerinin işleyişinde gerekli performans ve güvenilirliği sağlayamıyordu. Ayrıca, Russian Post, yeni hizmetler başlatmak için bilgi işlem gücü eksikliği yaşadı.
Müşteri veri merkezleri ve sorunları
Russian Post veri merkezleri 40'den fazla nesneye, 000 bölgesel ofise hizmet vermektedir. E-ticaret hizmetleri de dahil olmak üzere veri merkezlerinde düzinelerce 85 saat iş hizmeti çalışır.
Kuruluşlar bugün bile büyük verileri depolamak, analiz etmek ve işlemek için sistemler kullanıyor. Bu tür sistemler için yapay zeka ve makine öğrenimi algoritmalarının kullanılması önemli rol oynuyor. Bugüne kadar, işletme için en önemli durumlardan biri, lojistik akış yönetiminin optimizasyonu ve postanelerde müşteri hizmetlerinin hızlandırılmasıdır.
Yükseltme projesi başlamadan önce, ana ve yedek veri merkezlerinde yaklaşık 3000 sanal makine vardı, depolanan bilgi miktarı 2 petabaytı aştı. Veri merkezleri, güvenlik seviyelerine göre farklı segmentlere bölünme ile ilişkili karmaşık bir trafik yönlendirme yapısına sahipti.
Uygulamaların gelişmesi ve yeni servislerin devreye girmesiyle birlikte veri merkezlerindeki ağ ekipmanlarının mevcut bant genişliği yetersiz hale geldi. Yeni hızlara sahip arabirimlere geçiş gerekliydi: erişim için 10 Gb / s yerine 1 Gb / s ve çekirdek düzeyinde 40 Gb / s, ekipman ve iletişim kanallarının tam yedekliliği ile.
Bilgi güvenliği departmanından, altyapının trafik ve uygulamaların bilgi güvenliği yüksek segmentlere (PN - Özel Ağ ve DMZ - Demilitarized Zone) bölünmesi şartı alındı. Güvenlik duvarları (ITU), filtrelenmesi gerekmeyen trafiği geçti. Anahtarlardaki VRF, bu tür trafik için kullanılmadı. ITU'daki kurallar yetersizdi (her veri merkezinde on binlerce kural).
IP adresini ve kurumsal veri ağı (CDTN) dahil olmak üzere segmentler arasındaki trafik için en uygun yolu korurken veri merkezleri arasında sanal makinelerin (VM'ler) sorunsuz geçişi mümkün değildi.
Yedekleme için MSTP kullanıldı, bazı bağlantı noktaları engellendi (çalışırken beklemede). Çekirdek ve erişim anahtarları yük devretme kümelenmedi ve arayüz toplama (LAG) kullanılmadı.
Üçüncü veri merkezinin gelişiyle birlikte, veri merkezleri arasındaki halkayı çalıştırmak için yeni bir mimari ve ekipman konfigürasyonu gerekliydi (EVPN önerildi).
Bir proje şeklinde belgelenen ve müşterinin tüm departmanları ile anlaşmaya varılan veri merkezlerinin geliştirilmesi için tek bir konsept yoktu. Geçerli ağ işlemi belgeleri eksik ve güncel değil.
Müşteri beklentileri
Proje ekibinin aşağıdaki görevleri vardı:
- üçüncü veri merkezinin ağ ve sunucu altyapısını oluşturmak için mimari ve geliştirme konseptini hazırlamak;
- müşterinin mevcut ağının operasyonel denetimini yapmak;
- her veri merkezinde 1500'den fazla 10/40 Gb/sn Ethernet bağlantı noktası (toplamda 4500 bağlantı noktası) ile ağ çekirdek kapasitesini genişletin;
- müşterinin farklı veri merkezlerindeki bilgi işlem kaynaklarını tek bir BT sisteminde birleştirmek için her segmentte hızı 80 Gb / s'ye kadar artırma olasılığı ile üç veri merkezi arasında bir halkanın çalışmasını sağlamak;
- %100 düzeyinde hedef Çalışma Süresine ulaşmak için tüm ağ öğelerinin %99,995 çifte rezervini sağlayın;
- iş uygulamalarını hızlandırmak için sanal makineler arasındaki trafik gecikmelerini en aza indirin;
- veri merkezlerinde trafik filtreleme kurallarını toplayın, analiz edin ve daha fazla optimize edin (başlangıçta yaklaşık 80 kural vardı);
- müşterinin kritik iş uygulamalarının üç veri merkezinden herhangi birine sorunsuz geçişini sağlamak için bir hedef mimari geliştirin.
Böylece üzerinde çalışacak bir şeyimiz oldu.
Оборудование
Projede hangi ekipmanları kullandığımıza daha yakından bakalım.
Güvenlik Duvarı (NGWF) USG9560:
- VSYS'ye göre bölme;
- 720 Gbps'ye kadar;
- 720 milyona kadar eşzamanlı oturum;
- 8 yuva
Yönlendirici NE40E-X8:
- 7,08 Tbit/s'ye kadar Anahtarlama Kapasitesi;
- 2,880 Mpps'ye kadar Yönlendirme Performansı;
- Hat kartları (LPU) için 8 yuva;
- MPU başına 10 milyona kadar BGP IPv4 yolu;
- MPU başına 1500K'ya kadar OSPF IPv4 yolu;
- 3000K'ya kadar - IPv4 FIB (LPU'ya bağlıdır).
CE12800 Serisi Anahtarlar:
- Cihaz Sanallaştırma: VS (1:16 sanallaştırma), Küme Anahtar Sistemi (CSS), Süper Sanal Yapı (SVF);
- Ağ Sanallaştırma: M-LAG, TRILL, VXLAN ve VXLAN köprüleme, VXLAN'da QinQ, EVN (Ethernet Sanal Ağı);
- VRP V2'den itibaren EVPN desteği dahildir;
- M-LAG, Cisco Nexus için bir vPC (sanal Bağlantı Noktası Kanalı) analoğudur;
- Sanal Yayılma Ağacı Protokolü (VSTP) - Cisco PVST ile uyumludur.
CE12804
CE12808
Yazılım
Projede kullandığımız:
- diğer satıcıların güvenlik duvarları için yapılandırma dosyalarının yeni ekipman için komut biçimine dönüştürülmesi;
- güvenlik duvarlarının yapılandırmasını optimize etmek ve dönüştürmek için kendi tasarımımız olan komut dosyaları.
Yapılandırma dosyalarını dönüştürmek için dönüştürücünün görünümü
Veri merkezleri arasındaki iletişim şeması (EVPN VXLAN)
Ekipman kurmanın nüansları
CE12808
- Veri merkezleri arasındaki iletişim için EVN (Huawei'ye özel) yerine EVPN (standart):
○ Kontrol düzleminde iBGP kullanılarak L2 üzerinden L3;
○ iBGP EVPN ailesi (MAC yolları, tip 2) aracılığıyla MAC eğitimi ve duyurusu;
○ yayın / bilinmeyen tek noktaya yayın trafiği için VXLAN tünellerinin otomatik olarak oluşturulması (Multicast Yolları Dahil, tip 3). - VS'de iki bölme modu:
○ bağlantı noktalarına (bağlantı noktası modu bağlantı noktası) veya ASIC'ye (bağlantı noktası modu grubu, görüntüleme cihazı bağlantı noktası haritası) dayalı;
○ bağlantı noktası bölünmüş boyut arabirimi 40GE YALNIZCA Yönetici VS'de çalışır (bağlantı noktası modundan bağımsız olarak).
USG9560
- VSYS ile bölme imkanı,
- VSYS dinamik yönlendirme ve rota sızıntısı arasında imkansız!
CE12804
Veri merkezleri arasında MAC VRRP filtrelemeli tüm Aktif GW (VRRP Ana/Ana/Ana)
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Veri merkezleri arasındaki kaynakların etkileşim şeması (VXLAN EVPN ve Tümü Aktif GW)
Proje karmaşıklığı
Ana zorluk, bilgi işlem altyapısını kullanarak mevcut uygulamaları yedekleme ihtiyacıydı. Müşterinin, bazıları neredeyse 100 yıl önce yazılmış 10'den fazla farklı uygulaması vardı. Örneğin, Yandex birkaç yüz sanal makineyi son kullanıcılara zarar vermeden kolayca kapatabiliyorsa, Russian Post'ta böyle bir yaklaşım, bir dizi uygulamanın sıfırdan geliştirilmesini ve kurumsal bilgi sistemlerinin mimarisinde değişiklikler yapılmasını gerektirecektir. Geçiş ve optimizasyon sürecinde ortaya çıkan sorunları, bilgi işlem altyapısının ortak denetimi aşamasında çözdük. Kuruluş için yeni olan tüm ağ teknolojileri (EVPN gibi) laboratuvarda önceden test edilmiştir.
Projenin sonuçları
Proje ekibinde uzmanlar yer aldı , bilgi işlem altyapısının işletilmesinde müşteri ve ortakları. Satıcılardan (Check Point ve Huawei) özel destek ekipleri de oluşturuldu. Proje iki yıl sürdü. İşte bu süre zarfında yapılanlar.
- Bir veri merkezleri ağının, bir kurumsal veri iletim ağının (CSTN) ve veri merkezleri arasında bir halkanın geliştirilmesine yönelik bir strateji geliştirildi ve müşterinin tüm departmanlarıyla kararlaştırıldı.
- Artan hizmet kullanılabilirliği. Bu, müşterinin işi tarafından not edildi ve yeni hizmetlerin sunulması nedeniyle trafikte daha da büyük bir artışa yol açtı.
- 40'den fazla kural FWSM/ASA'dan USG 000'a taşındı ve optimize edildi. UGG 9560'taki farklı ASA içerikleri tek bir güvenlik politikasında birleştirildi.
- CE1/CE10 kullanılarak veri merkezi bağlantı noktalarının verimi 40G'den 12800/6850G'ye yükseltildi. Bu, arayüz aşırı yüklerini ve paket kaybını ortadan kaldırmayı mümkün kıldı.
- Taşıyıcı sınıfı yönlendiriciler NE40E-X8, müşterinin veri merkezinin ve KSPD'nin ihtiyaçlarını, gelecekteki iş gelişimini dikkate alarak tamamen karşıladı.
- USG 9560 için sekiz yeni Özellik İsteği talep edildi. Bunlardan yedisi halihazırda uygulandı ve VRP'nin güncel sürümüne dahil edildi. 1 FR, Huawei Ar-Ge tarafından uygulanmaktadır. Bu, oturumları senkronize etmeden yapılandırmayı senkronize etmek için gerekli işlevselliği yapılandırma yeteneğine sahip sekiz kasalık bir kümedir. Veri merkezlerinden birine giden trafik gecikmesi çok yüksekse gereklidir (Adler - Moskova ana yol boyunca 1300 km ve yedek yol boyunca 2800 km).
Projenin Rusya'daki diğer posta şirketleriyle karşılaştırıldığında benzerleri yok.
Veri merkezi ağ altyapısının modernizasyonu, işletmenin dijital hizmetler geliştirmesi için yeni fırsatlar yarattı.
- Bireyler ve tüzel kişiler için kişisel hesap ve mobil uygulama sağlanması.
- Mal teslim hizmetleri sağlamak için elektronik mağazalarla entegrasyon.
- Yerine getirme, malların depolanması, elektronik mağazalardan siparişlerin oluşturulması ve teslim edilmesidir.
- İş ortağı ağlarının kullanımı da dahil olmak üzere sipariş verme noktalarının genişletilmesi.
- Yüklenicilerle yasal olarak önemli belge akışı. Bu, kağıt belgelerin yavaş ve maliyetli teslimini ortadan kaldıracaktır.
- Taahhütlü mektupların hem elektronik hem de kağıt formda teslimatla elektronik biçimde kabulü (öğelerin nihai alıcıya mümkün olduğunca yakın basılmasıyla). Kamu hizmetleri portalında elektronik kayıtlı mektupların servisi.
- Teletıp hizmetlerinin sağlanması için platform.
- Basit bir elektronik imza kullanarak kayıtlı posta öğelerinin basitleştirilmiş kabulü ve basitleştirilmiş teslimatı.
- Postane ağının sayısallaştırılması.
- Self servis hizmetlerinin işlenmesi (terminaller ve paket makineleri).
- Kurye hizmetini yönetmek için dijital bir platform ve kurye hizmeti müşterileri için yeni bir mobil uygulama oluşturulması.
Bizimle çalışmak için gel!
Kaynak: habr.com