Kisah satu suis

Dalam pengagregatan rangkaian tempatan kami, kami mempunyai enam pasang suis Arista DCS-7050CX3-32S dan satu pasang suis Brocade VDX 6940-36Q. Bukannya kami terlalu tegang oleh suis Brocade dalam rangkaian ini, ia berfungsi dan melaksanakan fungsinya, tetapi kami sedang menyediakan automasi penuh untuk beberapa tindakan, dan kami tidak mempunyai keupayaan ini pada suis ini. Saya juga ingin menukar daripada antara muka 40GE kepada kemungkinan menggunakan 100GE untuk membuat rizab untuk 2-3 tahun akan datang. Jadi kami memutuskan untuk menukar Brocade kepada Arista.

Suis ini ialah suis pengagregatan LAN untuk setiap pusat data. Suis pengedaran (tahap pengagregatan kedua) disambungkan terus kepada mereka, yang sudah memasang suis rangkaian tempatan Teratas dalam rak dengan pelayan.

Setiap pelayan disambungkan kepada satu atau dua suis akses. Suis capaian disambungkan kepada sepasang suis pengedaran (dua suis pengedaran dan dua pautan fizikal daripada suis akses kepada suis pengedaran berbeza digunakan untuk redundansi).

Setiap pelayan boleh digunakan oleh kliennya sendiri, jadi klien diperuntukkan VLAN yang berasingan. VLAN yang sama kemudiannya didaftarkan pada pelayan lain pelanggan ini dalam mana-mana rak. Pusat data terdiri daripada beberapa baris (POD), setiap baris rak mempunyai suis pengedarannya sendiri. Kemudian suis pengedaran ini disambungkan kepada suis pengagregatan.

Pelanggan boleh memesan pelayan dalam mana-mana baris; adalah mustahil untuk meramalkan terlebih dahulu bahawa pelayan akan diperuntukkan atau dipasang dalam baris tertentu dalam rak tertentu, itulah sebabnya terdapat kira-kira 2500 VLAN pada suis pengagregatan di setiap pusat data.

Peralatan untuk DCI (Data-Center Interconnect) disambungkan kepada suis pengagregatan. Ia boleh bertujuan untuk sambungan L2 (sepasang suis membentuk terowong VXLAN ke pusat data lain) atau untuk sambungan L3 (dua penghala MPLS).

Seperti yang telah saya tulis, untuk menyatukan proses mengautomasikan konfigurasi perkhidmatan pada peralatan dalam satu pusat data, suis pengagregatan pusat perlu diganti. Kami memasang suis baharu di sebelah suis sedia ada, menggabungkannya menjadi pasangan MLAG dan mula bersedia untuk bekerja. Mereka segera disambungkan kepada suis pengagregatan sedia ada, supaya mereka mempunyai domain L2 yang sama merentas semua VLAN pelanggan.

Butiran litar

Untuk butiran khusus, mari namakan suis pengagregatan lama A1 и A2, baru - N1 и N2. Mari kita bayangkan bahawa dalam POD 1 и POD 4 pelayan satu pelanggan dihoskan C1,VLAN pelanggan ditunjukkan dengan warna biru. Pelanggan ini menggunakan perkhidmatan sambungan L2 dengan pusat data lain, jadi VLANnya disalurkan kepada sepasang suis VXLAN.

Pelanggan C2 menjadi tuan rumah pelayan dalam POD 2 и POD 3,VLAN pelanggan dilambangkan dengan warna hijau gelap. Pelanggan ini juga menggunakan perkhidmatan sambungan dengan pusat data lain, tetapi L3, jadi VLANnya disalurkan kepada sepasang penghala L3VPN.

Kami memerlukan VLAN pelanggan untuk memahami pada peringkat apa kerja penggantian apa yang berlaku, di mana gangguan komunikasi berlaku, dan tempoh masanya. Protokol STP tidak digunakan dalam skema ini, kerana lebar pokok untuknya dalam kes ini adalah besar, dan penumpuan protokol berkembang secara eksponen dengan bilangan peranti dan pautan di antara mereka.

Semua peranti yang disambungkan dengan pautan berkembar membentuk tindanan, pasangan MLAG atau fabrik Ethernet VCS. Untuk sepasang penghala L3VPN, teknologi sedemikian tidak digunakan, kerana tidak ada keperluan untuk redundansi L2; ia cukup bahawa mereka mempunyai sambungan L2 antara satu sama lain melalui suis pengagregatan.

Pilihan pelaksanaan

Apabila menganalisis pilihan untuk acara selanjutnya, kami menyedari bahawa terdapat beberapa cara untuk melaksanakan kerja ini. Daripada rehat global pada keseluruhan rangkaian tempatan, kepada rehat kecil secara literal 1-2 saat di bahagian rangkaian.

Rangkaian, berhenti! Tukar, gantikannya!

Cara paling mudah ialah, sudah tentu, untuk mengisytiharkan putus komunikasi global pada semua POD dan semua perkhidmatan DCI dan menukar semua pautan daripada suis А kepada suis N.

Selain daripada gangguan, masa yang tidak dapat kami ramalkan dengan pasti (ya, kami tahu bilangan pautan, tetapi kami tidak tahu berapa kali sesuatu akan berlaku - daripada kord tampalan yang patah atau penyambung yang rosak kepada port atau transceiver yang rosak ), kita masih tidak dapat meramalkan terlebih dahulu sama ada panjang kord tampalan, DAC, AOC, yang disambungkan ke suis lama A, akan mencukupi untuk mencapainya ke suis baharu N, walaupun berdiri di sebelahnya, tetapi masih sedikit untuk sisi, dan sama ada transceiver yang sama akan berfungsi /DAC/AOC daripada Brocade bertukar kepada suis Arista.

Dan semua ini dalam keadaan tekanan yang teruk daripada pelanggan dan sokongan teknikal ("Natasha, bangun! Natasha, semuanya tidak berfungsi di sana! Natasha, kami telah menulis kepada sokongan teknikal, secara jujur! Natasha, mereka telah menggugurkan segala-galanya ! Natasha, berapa banyak lagi yang kita tidak akan berjaya? Natasha, bila ia akan berkesan?!"). Walaupun terdapat rehat dan pemberitahuan yang telah diumumkan kepada pelanggan, kemasukan permintaan pada masa sedemikian dijamin.

Berhenti, 1-2-3-4!

Bagaimana jika kami tidak mengumumkan rehat global, sebaliknya satu siri gangguan komunikasi kecil untuk perkhidmatan POD dan DCI. Semasa rehat pertama, tukar kepada suis N sahaja POD 1, dalam kedua - dalam beberapa hari - POD 2, kemudian beberapa hari lagi POD 3, Selanjutnya POD 4…[N], kemudian suis VXLAN dan kemudian penghala L3VPN.

Dengan penganjuran pertukaran kerja ini, kami mengurangkan kerumitan kerja sekali sahaja dan meningkatkan masa kami untuk menyelesaikan masalah jika sesuatu berlaku secara tiba-tiba. POD 1 kekal disambungkan kepada POD dan DCI lain selepas bertukar. Tetapi kerja itu sendiri berlarutan untuk masa yang lama; semasa kerja ini di pusat data, seorang jurutera diperlukan untuk melakukan pensuisan secara fizikal, dan semasa kerja (dan kerja sedemikian dijalankan, sebagai peraturan, pada waktu malam, dari 2 hingga 5 pagi), kehadiran jurutera rangkaian dalam talian diperlukan pada kelayakan tahap yang agak tinggi. Tetapi kemudian kami mendapat gangguan komunikasi yang singkat; sebagai peraturan, kerja boleh dilakukan dalam selang setengah jam dengan rehat sehingga 2 minit (dalam praktiknya, selalunya 20-30 saat dengan tingkah laku yang diharapkan dari peralatan).

Dalam contoh klien C1 atau klien C2 anda perlu memberi amaran tentang kerja dengan gangguan komunikasi sekurang-kurangnya tiga kali - kali pertama untuk menjalankan kerja pada satu POD, di mana salah satu pelayannya terletak, kali kedua - pada yang kedua, dan kali ketiga - apabila peralatan pensuisan untuk perkhidmatan DCI.

Menukar saluran komunikasi agregat

Mengapakah kita bercakap tentang tingkah laku peralatan yang dijangkakan, dan bagaimana saluran agregat boleh ditukar sambil meminimumkan gangguan komunikasi? Mari bayangkan gambar berikut:

Di satu sisi pautan terdapat suis pengedaran POD - D1 и D2, mereka membentuk pasangan MLAG antara satu sama lain (timbunan, kilang VCS, pasangan vPC), sebaliknya terdapat dua pautan - Pautan 1 и Pautan 2 - termasuk dalam pasangan MLAG suis pengagregatan lama А. Di bahagian suis D antara muka agregat dengan nama Saluran pelabuhan A, di sisi suis pengagregatan А - antara muka agregat dengan nama Saluran pelabuhan D.

Antara muka agregat menggunakan LACP dalam operasinya, iaitu, suis pada kedua-dua belah pihak kerap menukar paket LACPDU pada kedua-dua pautan untuk memastikan pautan:

• pekerja;
• disertakan dalam sepasang peranti di bahagian jauh.

Apabila menukar paket, paket membawa nilai sistem-id, menunjukkan peranti tempat pautan ini disertakan. Untuk pasangan MLAG (tindanan, kilang, dll.), nilai id sistem untuk peranti yang membentuk antara muka agregat adalah sama. Tukar D1 menghantar kepada Pautan 1 nilai id sistem D, dan suis D2 menghantar kepada Pautan 2 nilai id sistem D.

Suis A1 и A2 menganalisis paket LACPDU yang diterima melalui satu antara muka Po D dan semak sama ada id sistem di dalamnya sepadan. Jika id sistem yang diterima melalui beberapa pautan tiba-tiba berbeza daripada nilai operasi semasa, maka pautan ini dialih keluar daripada antara muka agregat sehingga keadaan diperbetulkan. Sekarang di bahagian suis kami D nilai sistem-id semasa daripada rakan kongsi LACP - A, dan pada bahagian suis А — nilai sistem-id semasa daripada rakan kongsi LACP — D.

Jika kita perlu menukar antara muka agregat, kita boleh melakukannya dalam dua cara berbeza:

Kaedah 1 - Mudah
Lumpuhkan kedua-dua pautan daripada suis A. Dalam kes ini, saluran agregat tidak berfungsi.

Sambungkan kedua-dua pautan satu demi satu ke suis N, maka parameter operasi LACP akan dirundingkan semula dan antara muka akan dibentuk PoD pada suis N dan penghantaran nilai pada pautan id sistem N.

Kaedah 2 - Minimumkan gangguan
Putuskan sambungan Pautan 2 daripada suis A2. Pada masa yang sama, lalu lintas antara А и D akan terus dihantar hanya melalui salah satu pautan, yang akan kekal sebagai sebahagian daripada antara muka agregat.

Sambungkan Pautan 2 untuk menukar N2. Pada suis N antara muka agregat sudah dikonfigurasikan Po DN, dan suis N2 akan mula menghantar ke LACPDU id sistem N. Pada peringkat ini kita sudah boleh menyemak bahawa suis N2 berfungsi dengan betul dengan transceiver yang digunakan untuk Pautan 2, bahawa port sambungan telah memasuki keadaan Up, dan tiada ralat berlaku pada port sambungan semasa menghantar LACPDU.

Tetapi hakikat bahawa suis D2 untuk antara muka agregat Po A dari sisi Pautan 2 menerima nilai N id sistem yang berbeza daripada nilai id sistem pengendalian semasa A, tidak membenarkan suis D memperkenalkan Pautan 2 sebahagian daripada antara muka agregat Po A. Tukar N tak boleh masuk Pautan 2 beroperasi, kerana ia tidak menerima pengesahan kebolehkendalian daripada rakan kongsi LACP suis D2. Trafik yang terhasil ialah Pautan 2 tidak lulus.

Dan sekarang kita matikan Pautan 1 daripada suis A1, dengan itu menafikan suis А и D antara muka agregat yang berfungsi. Jadi pada bahagian suis D nilai id sistem kerja semasa untuk antara muka hilang Po A.

Ini membolehkan suis D и N bersetuju untuk menukar system-id AN pada antara muka Po A и Po DN, supaya trafik mula dihantar sepanjang pautan Pautan 2. Jeda dalam kes ini, dalam amalan, sehingga 2 saat.

Dan kini kita boleh menukar Pautan 1 untuk menukar N1 dengan mudah, memulihkan kapasiti dan tahap lebihan antara muka Po A и Po DN. Oleh kerana apabila pautan ini disambungkan, nilai id sistem semasa tidak berubah pada kedua-dua belah pihak, tiada gangguan.

Pautan tambahan

Tetapi suis boleh dilakukan tanpa kehadiran jurutera pada masa pensuisan. Untuk melakukan ini, kami perlu meletakkan pautan tambahan antara suis pengedaran terlebih dahulu D dan suis pengagregatan baharu N.

Kami sedang meletakkan pautan baharu antara suis pengagregatan N dan suis pengedaran untuk semua POD. Ini memerlukan pesanan dan meletakkan kord tampalan tambahan, dan memasang transceiver tambahan seperti dalam N, dan dalam D. Kita boleh melakukan ini kerana dalam suis kita D Setiap POD mempunyai port percuma (atau kami pra-bebaskannya). Akibatnya, setiap POD disambungkan secara fizikal oleh dua pautan kepada suis lama A dan kepada suis baharu N.

Pada suis D dua antara muka agregat telah dibentuk - Po A dengan pautan Pautan 1 и Pautan 2dan Po N - dengan pautan Pautan N1 и Pautan N2. Pada peringkat ini, kami menyemak sambungan yang betul antara muka dan pautan, tahap isyarat optik pada kedua-dua hujung pautan (melalui maklumat DDM daripada suis), kami juga boleh menyemak prestasi pautan di bawah beban atau memantau keadaan isyarat optik dan suhu transceiver selama beberapa hari.

Trafik masih dihantar melalui antara muka Po A, dan antara muka Po N tiada kos lalu lintas. Tetapan pada antara muka adalah seperti ini:

Interface Port-channel A
Switchport mode trunk
Switchport allowed vlan C1, C2

Interface Port-channel N
Switchport mode trunk
Switchport allowed vlan none

Suis D, sebagai peraturan, menyokong perubahan konfigurasi berasaskan sesi; model suis yang mempunyai fungsi ini digunakan. Jadi kita boleh menukar tetapan antara muka Po A dan Po N dalam satu langkah:

Configure session
Interface Port-channel A
Switchport allowed vlan none
Interface Port-channel N
Switchport allowed vlan C1, C2
Commit

Kemudian perubahan konfigurasi akan berlaku cukup cepat, dan rehat akan, dalam amalan, tidak lebih daripada 5 saat.

Kaedah ini membolehkan kami menyelesaikan semua kerja persediaan terlebih dahulu, menjalankan semua pemeriksaan yang diperlukan, menyelaraskan kerja dengan peserta dalam proses, meramalkan secara terperinci tindakan untuk penghasilan karya, tanpa penerbangan kreativiti apabila "semuanya menjadi salah. ,” dan mempunyai rancangan untuk kembali ke konfigurasi sebelumnya. Kerja mengikut pelan ini dijalankan oleh jurutera rangkaian tanpa kehadiran jurutera pusat data di tapak yang secara fizikal menjalankan pensuisan.

Apa yang penting juga dengan kaedah penukaran ini ialah semua pautan baharu sudah dipantau terlebih dahulu. Ralat, kemasukan pautan dalam unit, memuatkan pautan - semua maklumat yang diperlukan sudah ada dalam sistem pemantauan, dan ini sudah dilukis pada peta.

D-Day

POD

Kami memilih laluan penukaran yang paling tidak menyakitkan untuk pelanggan dan paling tidak terdedah kepada senario "sesuatu yang tidak kena" dengan pautan tambahan. Jadi kami menukar semua POD kepada suis pengagregatan baharu dalam beberapa malam.

Tetapi yang tinggal hanyalah menukar peralatan yang menyediakan perkhidmatan DCI.

L2

Dalam kes peralatan yang menyediakan sambungan L2, kami tidak dapat menjalankan kerja serupa dengan pautan tambahan. Terdapat sekurang-kurangnya dua sebab untuk ini:

• Kekurangan port percuma kelajuan yang diperlukan pada suis VXLAN.
• Kekurangan fungsi perubahan konfigurasi sesi pada suis VXLAN.

Kami tidak menukar pautan "satu demi satu" dengan rehat sahaja semasa bersetuju dengan pasangan id sistem baharu, kerana kami tidak mempunyai keyakinan 100% bahawa prosedur akan berjalan dengan betul, dan ujian di makmal menunjukkan bahawa dalam kes jika "sesuatu yang tidak kena," kami masih mendapat gangguan sambungan, dan yang paling teruk bukan sahaja untuk pelanggan yang mempunyai sambungan L2 dengan pusat data lain, tetapi secara umum untuk semua pelanggan pusat data ini.

Kami menjalankan kerja propaganda lebih awal daripada masa pada peralihan daripada saluran L2, jadi bilangan pelanggan yang terjejas oleh kerja pada suis VXLAN sudah beberapa kali kurang daripada setahun yang lalu. Akibatnya, kami memutuskan untuk mengganggu komunikasi melalui perkhidmatan sambungan L2, dengan syarat kami mengekalkan operasi biasa perkhidmatan rangkaian tempatan dalam satu pusat data. Di samping itu, SLA untuk perkhidmatan ini menyediakan kemungkinan untuk menjalankan kerja berjadual dengan gangguan.

L3

Mengapakah kami mengesyorkan agar semua orang beralih kepada L3VPN apabila menganjurkan perkhidmatan DCI? Salah satu sebabnya ialah keupayaan untuk menjalankan kerja pada salah satu penghala yang menyediakan perkhidmatan ini, hanya mengurangkan tahap redundansi kepada N+0, tanpa mengganggu komunikasi.

Mari kita lihat lebih dekat skim penyampaian perkhidmatan. Dalam perkhidmatan ini, segmen L2 pergi daripada pelayan pelanggan sahaja kepada penghala L3VPN Selectel. Rangkaian pelanggan ditamatkan pada penghala.

Setiap pelayan pelanggan, mis. S2 и S3 dalam rajah di atas, mempunyai alamat IP peribadi mereka sendiri - 10.0.0.2/24 pada pelayan S2 и 10.0.0.3/24 pada pelayan S3. Alamat 10.0.0.252/24 и 10.0.0.253/24 diberikan oleh Selectel kepada penghala L3VPN-1 и L3VPN-2, masing-masing. alamat IP 10.0.0.254/24 ialah alamat VIP VRRP pada penghala Selectel.

Anda boleh mengetahui lebih lanjut mengenai perkhidmatan L3VPN membaca dalam blog kami.

Sebelum suis, semuanya kelihatan lebih kurang seperti dalam rajah:

Dua penghala L3VPN-1 и L3VPN-2 telah disambungkan ke suis pengagregatan lama А. Induk untuk alamat VIP VRRP 10.0.0.254 ialah penghala L3VPN-1. Ia mempunyai keutamaan yang lebih tinggi untuk alamat ini daripada penghala L3VPN-2.

unit 1006 {
    description C2;
    vlan-id 1006;
    family inet {       
        address 10.0.0.252/24 {
            vrrp-group 1 {
                priority 200;
                virtual-address 10.100.0.254;
                preempt {
                    hold-time 120;
                }
                accept-data;
            }
        }
    }
}

Pelayan S2 menggunakan get laluan 10.0.0.254 untuk berkomunikasi dengan pelayan di lokasi lain. Oleh itu, memutuskan sambungan penghala L3VPN-2 daripada rangkaian (sudah tentu, jika ia pertama kali diputuskan daripada domain MPLS) tidak menjejaskan kesambungan pelayan pelanggan. Pada ketika ini, tahap redundansi litar hanya dikurangkan.

Selepas ini kita boleh menyambung semula penghala dengan selamat L3VPN-2 kepada sepasang suis N. Pautan letak, tukar transceiver. Antara muka logik penghala, di mana operasi perkhidmatan pelanggan bergantung, dilumpuhkan sehingga ia disahkan bahawa semuanya berfungsi sebagaimana mestinya.

Selepas menyemak pautan, transceiver, tahap isyarat dan tahap ralat pada antara muka, penghala dimasukkan ke dalam operasi, tetapi sudah disambungkan kepada sepasang suis baharu.

Seterusnya, kami menurunkan keutamaan VRRP penghala L3VPN-1, dan alamat VIP 10.0.0.254 dialihkan ke penghala L3VPN-2. Kerja-kerja ini juga dijalankan tanpa gangguan komunikasi.

Memindahkan alamat VIP 10.0.0.254 ke penghala L3VPN-2 membolehkan anda melumpuhkan penghala L3VPN-1 tanpa gangguan komunikasi untuk pelanggan dan sambungkannya kepada sepasang suis pengagregatan baharu N.

Sama ada untuk memulangkan VRRP VIP kepada penghala L3VPN-1 atau tidak adalah persoalan lain, dan walaupun ia dikembalikan, ia dilakukan tanpa mengganggu sambungan.

Dalam jumlah

Selepas semua langkah ini, kami sebenarnya telah menggantikan suis pengagregatan di salah satu pusat data kami, sambil meminimumkan gangguan untuk pelanggan kami.

Yang tinggal hanyalah pembongkaran. Pembongkaran suis lama, pembongkaran pautan lama antara suis A dan D, pembongkaran transceiver daripada pautan ini, pembetulan pemantauan, pembetulan rajah rangkaian dalam dokumentasi dan pemantauan.

Kita boleh menggunakan suis, transceiver, kord tampalan, AOC, DAC yang ditinggalkan selepas menukar dalam projek lain atau untuk penukaran lain yang serupa.

"Natasha, kami menukar segala-galanya!"

Sumber: www.habr.com