Saya yakin bahwa semua pembaca Habr setidaknya pernah memesan barang di toko online di luar negeri dan kemudian pergi untuk menerima parsel di kantor Pos Rusia. Bisakah Anda bayangkan skala tugas ini dalam hal mengatur logistik? Lipat gandakan jumlah pembeli dengan jumlah pembelian mereka, bayangkan peta negara kita yang luas, dan di atasnya - lebih dari 40 ribu kantor pos ... Omong-omong, pada tahun 2018, Pos Rusia memproses 345 juta paket internasional.
Dalam artikel ini, kami akan memberi tahu Anda masalah apa yang dihadapi Post dan bagaimana tim Integrasi LANIT menyelesaikannya, membuat infrastruktur TI baru untuk pusat data.
Salah satu pusat logistik modern Pos Rusia
Sebelum proyek
Karena peningkatan tajam jumlah parsel dari toko asing di China, Eropa Barat, dan Amerika Utara, beban fasilitas logistik Pos Rusia meningkat. Oleh karena itu, telah dibangun generasi baru pusat logistik yang menggunakan mesin sortir berkapasitas tinggi. Mereka membutuhkan dukungan dari infrastruktur komputasi.
Infrastruktur pusat data sudah usang dan tidak memberikan kinerja dan keandalan yang diperlukan dalam pengoperasian sistem informasi perusahaan. Selain itu, Russian Post mengalami kekurangan daya komputasi untuk meluncurkan layanan baru.
Pusat data pelanggan dan masalahnya
Pusat data Russian Post melayani lebih dari 40 objek, 000 kantor teritorial. Lusinan layanan bisnis sepanjang waktu beroperasi di pusat data, termasuk layanan e-niaga.
Saat ini, perusahaan menggunakan sistem untuk menyimpan, menganalisis, dan memproses data besar. Untuk sistem seperti itu, penggunaan kecerdasan buatan dan algoritma pembelajaran mesin memainkan peran penting. Hingga saat ini, salah satu kasus terpenting bagi perusahaan adalah optimalisasi manajemen arus logistik dan percepatan layanan pelanggan di kantor pos.
Sebelum dimulainya proyek pemutakhiran, ada sekitar 3000 mesin virtual di pusat data utama dan cadangan, jumlah informasi yang disimpan melebihi 2 petabyte. Pusat data memiliki struktur perutean lalu lintas yang kompleks yang terkait dengan pembagian ke dalam segmen yang berbeda sesuai dengan tingkat keamanan.
Dengan pengembangan aplikasi dan pengenalan layanan baru, bandwidth peralatan jaringan yang ada di pusat data menjadi tidak mencukupi. Diperlukan transisi ke antarmuka dengan kecepatan baru: 10 Gb / dtk, alih-alih 1 Gb / dtk untuk akses dan 40 Gb / dtk di tingkat inti, dengan redundansi penuh peralatan dan saluran komunikasi.
Dari departemen keamanan informasi, persyaratan diterima untuk membagi infrastruktur menjadi segmen-segmen dengan tingkat keamanan informasi lalu lintas dan aplikasi yang tinggi (PN - Jaringan Pribadi dan DMZ - Zona Demiliterisasi). Firewall (ITU) melewatkan lalu lintas yang tidak perlu difilter. VRF pada sakelar tidak digunakan untuk lalu lintas tersebut. Aturan di ITU kurang optimal (puluhan ribu aturan di setiap pusat data).
Migrasi mulus mesin virtual (VM) antara pusat data sambil mempertahankan alamat IP dan jalur optimal untuk lalu lintas antar segmen, termasuk jaringan data perusahaan (CDTN), tidak dimungkinkan.
MSTP digunakan untuk redundansi, beberapa port diblokir (hot standby). Sakelar inti dan akses tidak berkerumun failover, dan tidak ada agregasi antarmuka (LAG) yang digunakan.
Dengan munculnya pusat data ketiga, arsitektur baru dan konfigurasi peralatan diperlukan untuk mengoperasikan ring antar pusat data (EVPN diusulkan).
Tidak ada konsep tunggal untuk pengembangan pusat data, didokumentasikan dalam bentuk proyek dan disepakati dengan semua departemen pelanggan. Dokumentasi operasi jaringan saat ini tidak lengkap dan ketinggalan zaman.
Harapan pelanggan
Tim proyek memiliki tugas-tugas berikut:
- menyiapkan konsep arsitektur dan pengembangan untuk membangun infrastruktur jaringan dan server data center ketiga;
- melakukan audit operasional terhadap jaringan pelanggan yang ada;
- memperluas kapasitas inti jaringan hingga lebih dari 1500 port Ethernet 10/40 Gb/s di setiap pusat data (total 4500 port);
- memastikan pengoperasian cincin antara tiga pusat data dengan kemungkinan peningkatan kecepatan hingga 80 Gb / dtk di setiap segmen untuk menggabungkan sumber daya komputasi pelanggan dari pusat data yang berbeda ke dalam satu sistem TI;
- memberikan cadangan ganda 100% dari semua elemen jaringan untuk mencapai target Uptime di level 99,995%;
- meminimalkan penundaan lalu lintas antara mesin virtual untuk mempercepat aplikasi bisnis;
- mengumpulkan statistik, menganalisis, dan lebih lanjut mengoptimalkan aturan pemfilteran lalu lintas di pusat data (awalnya ada sekitar 80 aturan);
- mengembangkan arsitektur target untuk memastikan migrasi mulus dari aplikasi bisnis penting pelanggan ke salah satu dari tiga pusat data.
Jadi, kami memiliki sesuatu untuk dikerjakan.
Оборудование
Mari kita lihat lebih dekat peralatan apa yang kami gunakan dalam proyek tersebut.
Tembok Api (NGWF) USG9560:
- pembagian oleh VSYS;
- hingga 720 Gbps;
- hingga 720 juta sesi simultan;
- 8 slot.
Router NE40E-X8:
- Kapasitas Pengalihan hingga 7,08 Tbit/dtk;
- Kinerja Penerusan hingga 2,880 Mpps;
- 8 slot untuk line card (LPU);
- hingga 10 juta rute BGP IPv4 per MPU;
- hingga 1500K rute OSPF IPv4 per MPU;
- hingga 3000K - IPv4 FIB (tergantung LPU).
Sakelar Seri CE12800:
- Virtualisasi Perangkat: VS (virtualisasi 1:16), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
- Virtualisasi Jaringan: menjembatani M-LAG, TRILL, VXLAN dan VXLAN, QinQ dalam VXLAN, EVN (Jaringan Virtual Ethernet);
- dimulai dengan VRP V2, dukungan EVPN disertakan;
- M-LAG adalah analog dari vPC (Virtual Port Channel) untuk Cisco Nexus;
- Virtual Spanning Tree Protocol (VSTP) - Kompatibel dengan Cisco PVST.
CE12804
CE12808
Perangkat lunak
Dalam proyek kami menggunakan:
- konverter file konfigurasi untuk firewall dari vendor lain ke dalam format perintah untuk peralatan baru;
- skrip desain kami sendiri untuk mengoptimalkan dan mengubah konfigurasi firewall.
Penampilan konverter untuk mengonversi file konfigurasi
Skema komunikasi antara pusat data (EVPN VXLAN)
Nuansa menyiapkan peralatan
CE12808
- EVPN (standar), bukan EVN (milik Huawei) untuk komunikasi antar pusat data:
○ L2 di atas L3 menggunakan iBGP di bidang Kontrol;
○ Pelatihan dan pengumuman MAC melalui keluarga iBGP EVPN (rute MAC, tipe 2);
○ konstruksi otomatis terowongan VXLAN untuk siaran / lalu lintas unicast yang tidak diketahui (Rute Multicast Inklusif, tipe 3). - Dua mode divisi pada VS:
○ berdasarkan port (port-mode port) atau berdasarkan ASIC (port-mode group, display device port-map);
○ antarmuka dimensi port split 40GE HANYA berfungsi di Admin VS (terlepas dari mode port).
USG9560
- kemungkinan membagi dengan VSYS,
- antara perutean dinamis VSYS dan kebocoran rute tidak mungkin!
CE12804
Semua GW Aktif (VRRP Master/Master/Master) dengan pemfilteran MAC VRRP antar pusat data
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Skema interaksi sumber daya antara pusat data (VXLAN EVPN dan All Active GW)
Kompleksitas proyek
Kesulitan utama adalah kebutuhan untuk mencadangkan aplikasi yang ada menggunakan infrastruktur komputasi. Pelanggan memiliki lebih dari 100 aplikasi berbeda, beberapa di antaranya dibuat hampir 10 tahun yang lalu. Misalnya, jika untuk Yandex dimungkinkan untuk dengan mudah mematikan beberapa ratus mesin virtual tanpa merugikan pengguna akhir, maka di Russian Post pendekatan seperti itu akan membutuhkan pengembangan sejumlah aplikasi dari awal dan perubahan arsitektur sistem informasi perusahaan. Kami memecahkan masalah yang timbul dalam proses migrasi dan pengoptimalan pada tahap audit bersama infrastruktur komputasi. Semua teknologi jaringan baru untuk perusahaan (seperti EVPN) telah diuji sebelumnya di laboratorium.
Hasil proyek
Tim proyek termasuk spesialis , pelanggan dan mitranya dalam pengoperasian infrastruktur komputasi. Tim dukungan khusus dari vendor (Check Point dan Huawei) juga dibentuk. Proyek ini memakan waktu dua tahun. Inilah yang telah dilakukan selama ini.
- Strategi pengembangan jaringan pusat data, jaringan transmisi data perusahaan (CSTN) dan jaringan antar pusat data dikembangkan dan disepakati dengan semua departemen pelanggan.
- Peningkatan ketersediaan layanan. Ini dicatat oleh bisnis pelanggan dan menyebabkan peningkatan lalu lintas yang lebih besar karena pengenalan layanan baru.
- Lebih dari 40 aturan telah dipindahkan dan dioptimalkan dari FWSM/ASA ke USG 000. Konteks ASA yang berbeda pada UGG 9560 telah digabungkan menjadi satu kebijakan keamanan.
- Throughput port pusat data telah ditingkatkan dari 1G menjadi 10/40G melalui penggunaan CE12800/CE6850. Ini memungkinkan untuk menghilangkan kelebihan antarmuka dan kehilangan paket.
- Router kelas operator NE40E-X8 sepenuhnya memenuhi kebutuhan pusat data dan KSPD pelanggan, dengan mempertimbangkan pengembangan bisnis di masa depan.
- Delapan Permintaan Fitur baru telah diminta untuk USG 9560. Tujuh di antaranya telah diterapkan dan disertakan dalam versi VRP saat ini. 1 FR sedang diimplementasikan oleh Huawei R&D. Ini adalah cluster untuk delapan sasis dengan kemampuan untuk mengonfigurasi fungsionalitas yang diperlukan untuk menyinkronkan konfigurasi tanpa menyinkronkan sesi. Diperlukan jika penundaan lalu lintas ke salah satu pusat data terlalu tinggi (Adler - Moskow 1300 km di sepanjang rute utama dan 2800 km di sepanjang rute cadangan).
Proyek ini tidak memiliki analog dibandingkan dengan perusahaan pos lain di Rusia.
Modernisasi infrastruktur jaringan pusat data telah membuka peluang baru bagi perusahaan untuk mengembangkan layanan digital.
- Menyediakan akun pribadi dan aplikasi seluler untuk individu dan badan hukum.
- Integrasi dengan toko elektronik untuk menyediakan layanan pengiriman barang.
- Pemenuhan adalah penyimpanan barang, pembentukan dan pengiriman pesanan dari toko elektronik.
- Perluasan poin-poin penerbitan pesanan, termasuk dengan penggunaan jaringan mitra.
- Alur dokumen yang signifikan secara hukum dengan kontraktor. Ini akan menghilangkan pengiriman dokumen kertas yang lambat dan mahal.
- Penerimaan surat tercatat dalam bentuk elektronik dengan penyerahan baik dalam bentuk elektronik maupun kertas (dengan pencetakan barang sedekat mungkin dengan penerima akhir). Layanan surat terdaftar elektronik di portal layanan publik.
- Platform untuk penyediaan layanan telemedicine.
- Penerimaan yang disederhanakan dan pengiriman kiriman pos terdaftar yang disederhanakan menggunakan tanda tangan elektronik sederhana.
- Digitalisasi jaringan kantor pos.
- Pemrosesan layanan swalayan (terminal dan mesin parsel).
- Pembuatan platform digital untuk mengelola layanan kurir dan aplikasi seluler baru untuk pelanggan layanan kurir.
Ayo bekerja bersama kami!
Sumber: www.habr.com