Infrastruktur IT baharu untuk pusat data Russian Post

Saya pasti bahawa semua pembaca Habr telah sekurang-kurangnya sekali memesan barangan dari kedai dalam talian di luar negara dan kemudian pergi untuk menerima bungkusan di pejabat Pos Rusia. Bolehkah anda bayangkan skala tugas ini, dari sudut penganjuran logistik? Darabkan bilangan pembeli dengan bilangan pembelian mereka, bayangkan peta negara kita yang luas, dan di atasnya terdapat lebih daripada 40 ribu pejabat pos... Ngomong-ngomong, pada tahun 2018, Pos Rusia memproses 345 juta bungkusan antarabangsa.

Dalam artikel ini kami akan memberitahu anda tentang isu yang dihadapi Pochta dan cara pasukan Integrasi LANIT menyelesaikannya, mewujudkan infrastruktur IT baharu untuk pusat data.

Salah satu pusat logistik moden Pos Rusia
 

Sebelum projek

Disebabkan peningkatan mendadak dalam bilangan bungkusan dari kedai asing di China, Eropah Barat dan Amerika Utara, beban kemudahan logistik Pos Rusia telah meningkat. Oleh itu, pusat logistik generasi baharu telah dibina, yang menggunakan mesin pengisih berprestasi tinggi. Mereka memerlukan sokongan daripada infrastruktur pengkomputeran.

Infrastruktur pusat data sudah lapuk dan tidak memberikan prestasi dan kebolehpercayaan yang diperlukan dalam pengendalian sistem maklumat perusahaan. Juga, Russian Post mengalami kekurangan kuasa pengkomputeran untuk melancarkan perkhidmatan baharu.
 

Pusat data pelanggan dan masalah mereka

Pusat data Pos Rusia berkhidmat lebih daripada 40 kemudahan dan 000 jabatan wilayah. Pusat data mengendalikan berpuluh-puluh perkhidmatan perniagaan 85/XNUMX, termasuk perkhidmatan e-dagang.

Hari ini, perusahaan menggunakan sistem untuk menyimpan, menganalisis dan memproses data besar. Untuk sistem sedemikian, penggunaan kecerdasan buatan dan algoritma pembelajaran mesin memainkan peranan penting. Hari ini, salah satu kes terpenting bagi sesebuah perusahaan ialah mengoptimumkan pengurusan aliran logistik dan mempercepatkan perkhidmatan pelanggan di pejabat pos.

Sebelum permulaan projek pemodenan, terdapat kira-kira 3000 mesin maya di pusat data utama dan sandaran, jumlah maklumat yang disimpan melebihi 2 petabait. Pusat data mempunyai struktur penghalaan trafik yang kompleks yang dikaitkan dengan pembahagian kepada pelbagai segmen mengikut tahap keselamatan.

Dengan pembangunan aplikasi dan pengenalan perkhidmatan baharu, lebar jalur sedia ada peralatan rangkaian di pusat data menjadi tidak mencukupi. Peralihan kepada antara muka dengan kelajuan baharu diperlukan: 10 Gbit/s, bukannya 1 Gbit/s pada akses dan 40 Gbit/s pada tahap teras, dengan lebihan penuh peralatan dan saluran komunikasi.

Jabatan keselamatan maklumat menerima keperluan untuk membahagikan infrastruktur kepada segmen dengan tahap keselamatan maklumat trafik dan aplikasi yang tinggi (PN - Rangkaian Persendirian dan DMZ - Zon Demilitarisasi). Trafik melalui tembok api (FWU) yang tidak perlu ditapis. VRF pada suis tidak digunakan untuk trafik ini. Peraturan pada firewall adalah suboptimum (berpuluh-puluh ribu peraturan dalam setiap pusat data).

Penghijrahan mesin maya (VM) yang lancar antara pusat data sambil mengekalkan alamat IP dan laluan optimum untuk trafik antara segmen, termasuk rangkaian data korporat (CDN), adalah mustahil.

MSTP telah digunakan untuk sandaran; beberapa port telah disekat (siap sedia panas). Suis teras dan akses tidak digabungkan menjadi kelompok failover, dan pengagregatan antara muka (LAG) tidak digunakan.

Dengan kemunculan pusat data ketiga, konfigurasi seni bina dan peralatan baharu diperlukan untuk mengendalikan gelang antara pusat data (EVPN telah dicadangkan).

Tiada konsep bersatu untuk pembangunan pusat data, didokumenkan dalam bentuk projek dan dipersetujui dengan semua jabatan pelanggan. Dokumentasi pengendalian rangkaian semasa tidak lengkap dan lapuk.
 

Jangkaan pelanggan

Pasukan projek menghadapi tugas-tugas berikut:

• menyediakan konsep seni bina dan pembangunan untuk membina infrastruktur rangkaian dan pelayan pusat data ketiga;
• menjalankan audit operasi rangkaian sedia ada pelanggan;
• mengembangkan kapasiti teras rangkaian dengan lebih daripada 1500 port Ethernet 10/40 Gbit/s dalam setiap pusat data (jumlah 4500 port);
• memastikan operasi gelang antara tiga pusat data dengan keupayaan untuk meningkatkan kelajuan sehingga 80 Gbit/s dalam setiap segmen untuk menggabungkan sumber pengkomputeran pelanggan daripada pusat data yang berbeza ke dalam satu sistem IT;
• menyediakan rizab berganda 100% daripada semua elemen rangkaian untuk mencapai sasaran Uptime pada tahap 99,995%;
• meminimumkan kelewatan trafik antara mesin maya untuk mempercepatkan aplikasi perniagaan;
• mengumpul statistik, melakukan analisis dan menjalankan pengoptimuman seterusnya peraturan penapisan trafik di pusat data (pada mulanya terdapat kira-kira 80 peraturan);
• membangunkan seni bina sasaran untuk memastikan penghijrahan lancar aplikasi perniagaan kritikal pelanggan ke mana-mana tiga pusat data.

Jadi kami ada sesuatu untuk diusahakan.

Оборудование

Mari kita lihat dengan lebih dekat peralatan yang kami gunakan dalam projek itu.

Firewall (NGWF) USG9560:

• pembahagian oleh VSYS;
• sehingga 720 Gbps;
• sehingga 720 juta sesi serentak;
• 8 slot.

 
Penghala NE40E-X8:

• sehingga 7,08 Tbit/s Kapasiti Penukaran;
• sehingga 2,880 Mpps Prestasi Pemajuan;
• 8 slot untuk kad talian (LPU);
• sehingga 10M BGP IPv4 laluan setiap MPU;
• sehingga 1500K laluan IPv4 OSPF bagi setiap MPU;
• sehingga 3000K – IPv4 FIB (bergantung kepada LPU).

Suis Siri CE12800:

• Virtualisasi Peranti: VS (1:16 virtualisasi), Sistem Suis Kluster (CSS), Fabrik Maya Super (SVF);
• Virtualisasi Rangkaian: M-LAG, TRILL, VXLAN dan VXLAN merapatkan, QinQ dalam VXLAN, EVN (Rangkaian Maya Ethernet);
• bermula dari VRP V2, sokongan EVPN disertakan;
• M-LAG – analog vPC (Saluran Pelabuhan maya) untuk Cisco Nexus;
• Protokol Pokok Spanning Maya (VSTP) – Serasi dengan Cisco PVST.

CE12804

CE12808

Perisian

Dalam projek yang kami gunakan:

• Penukar fail konfigurasi tembok api daripada vendor lain ke dalam format arahan untuk peralatan baharu;
• skrip proprietari untuk mengoptimumkan dan menukar konfigurasi tembok api.

Kemunculan penukar untuk menukar fail konfigurasi
 
Skim mengatur komunikasi antara pusat data (EVPN VXLAN)
 

Nuansa menyediakan peralatan

CE12808
 

• EVPN (standard) dan bukannya EVN (proprietari Huawei) untuk komunikasi antara pusat data:

  ○ L2 atas L3 menggunakan iBGP dalam satah Kawalan;
  ○ Latihan MAC dan iklannya melalui keluarga iBGP EVPN (laluan MAC, jenis 2);
  ○ pembinaan automatik terowong VXLAN untuk penyiaran / trafik unicast yang tidak diketahui (Laluan Multicast Inklusif, jenis 3).

• Dua mod bahagian pada VS:

  ○ berdasarkan port (port mod port) atau berdasarkan ASIC (kumpulan mod port, peta port peranti paparan);
  ○ antara muka dimensi pemisahan port 40GE berfungsi SAHAJA dalam Admin VS (tanpa mengira mod port).

USG9560
 

• kemungkinan pembahagian oleh VSYS,
• Penghalaan dinamik dan laluan bocor tidak boleh dilakukan antara VSYS!

CE12804
 
Semua GW Aktif (VRRP Master/Master/Master) dengan penapisan MAC VRRP antara pusat data
 
acl number 4000
  rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
  rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
  rule 15 permit
 
interface Eth-Trunk1
  traffic-filter acl 4000 outbound

Skim interaksi sumber antara pusat data (VXLAN EVPN dan All Active GW)
 

Kesukaran projek

Kesukaran utama adalah keperluan untuk membuat sandaran aplikasi sedia ada menggunakan infrastruktur pengkomputeran. Pelanggan mempunyai lebih daripada 100 aplikasi yang berbeza, beberapa daripadanya telah ditulis hampir 10 tahun yang lalu. Sebagai contoh, jika untuk Yandex anda boleh dengan mudah mematikan beberapa ratus mesin maya tanpa membahayakan pengguna akhir, maka dalam Russian Post pendekatan sedemikian memerlukan pembangunan beberapa aplikasi dari awal dan perubahan dalam seni bina sistem maklumat perusahaan. Kami menyelesaikan masalah yang timbul semasa proses migrasi dan pengoptimuman pada peringkat audit bersama infrastruktur pengkomputeran. Semua teknologi rangkaian yang baharu kepada perusahaan (seperti EVPN) telah menjalani ujian awal di makmal.
 

Hasil projek

Pasukan projek termasuk pakar "LANIT-Integrasi", pelanggan dan rakan kongsinya dalam pengendalian infrastruktur pengkomputeran. Pasukan sokongan khusus daripada vendor (Check Point dan Huawei) juga telah dibentuk. Projek itu mengambil masa dua tahun. Inilah yang dilakukan selama ini.

• Satu strategi untuk pembangunan rangkaian pusat data, Rangkaian Data Korporat (CDTN) dan cincin antara pusat data telah dibangunkan dan dipersetujui dengan semua jabatan pelanggan.
• Ketersediaan perkhidmatan telah meningkat. Ini telah diperhatikan oleh perniagaan pelanggan dan membawa kepada peningkatan yang lebih besar dalam trafik kerana pengenalan perkhidmatan baharu.
• Lebih daripada 40 peraturan telah dipindahkan dan dioptimumkan daripada FWSM/ASA kepada USG 000. Konteks ASA yang berbeza pada UGG 9560 telah digabungkan menjadi satu dasar keselamatan.
• Daya pemprosesan port pusat data telah ditingkatkan daripada 1G kepada 10/40G melalui penggunaan CE12800/CE6850. Ini memungkinkan untuk menghapuskan beban lampau antara muka dan kehilangan paket.
• Penghala gred pembawa NE40E-X8 merangkumi sepenuhnya keperluan pusat data pelanggan dan pusat pemindahan data, dengan mengambil kira pembangunan perniagaan masa hadapan.
• Lapan Permintaan Ciri baharu telah diminta untuk USG 9560. Daripada jumlah ini, tujuh telah dilaksanakan dan disertakan dalam versi semasa VRP. 1 FR - untuk pelaksanaan dalam R&D Huawei. Ini ialah kluster lapan casis dengan keupayaan untuk mengkonfigurasi fungsi yang diperlukan untuk penyegerakan konfigurasi tanpa penyegerakan sesi. Ia diperlukan jika kelewatan lalu lintas ke salah satu pusat data terlalu besar (Adler - Moscow 1300 km di sepanjang laluan utama dan 2800 km di sepanjang laluan simpanan).

Projek itu tidak mempunyai analog berbanding syarikat pos Rusia yang lain.

Pemodenan infrastruktur rangkaian pusat data telah membuka peluang baharu kepada perusahaan untuk membangunkan perkhidmatan digital.

• Menyediakan akaun peribadi dan aplikasi mudah alih untuk individu dan entiti undang-undang.
• Integrasi dengan kedai elektronik untuk menyediakan perkhidmatan penghantaran barangan.
• Pemenuhan - penyimpanan barang, pembentukan dan penghantaran pesanan dari kedai elektronik.
• Memperluas tempat pengambilan pesanan, termasuk menggunakan rangkaian ahli gabungan.
• Aliran dokumen penting dari segi undang-undang dengan rakan niaga. Ini akan menghapuskan penghantaran dokumen kertas yang perlahan dan mahal.
• Penerimaan surat berdaftar dalam bentuk elektronik dengan penghantaran secara elektronik dan dalam bentuk kertas (dengan percetakan item sedekat mungkin dengan penerima akhir). Perkhidmatan surat berdaftar elektronik di portal perkhidmatan awam.
• Platform untuk menyediakan perkhidmatan teleperubatan.
• Penerimaan yang dipermudahkan dan penghantaran mel berdaftar yang dipermudahkan menggunakan tandatangan elektronik yang ringkas.
• Pendigitalan rangkaian pejabat pos.
• Reka bentuk semula perkhidmatan layan diri (terminal dan terminal bungkusan).
• Penciptaan platform digital untuk mengurus perkhidmatan kurier dan aplikasi mudah alih baharu untuk pelanggan perkhidmatan kurier.

Mari bekerja dengan kami!

• Jurutera Infrastruktur Korporat
• Ketua Jurutera Linux/DevOps

Sumber: www.habr.com