Hari ini saya akan memberitahu anda tentang bagaimana idea untuk mencipta rangkaian dalaman baharu untuk syarikat kami terhasil dan dilaksanakan. Kedudukan pengurusan ialah anda perlu melakukan projek sepenuhnya yang sama untuk diri sendiri seperti untuk pelanggan. Jika kita melakukannya dengan baik untuk diri kita sendiri, kita boleh menjemput pelanggan dan menunjukkan sejauh mana apa yang kita tawarkan kepadanya berfungsi dan berfungsi. Oleh itu, kami mendekati pembangunan konsep rangkaian baru untuk pejabat Moscow dengan sangat teliti, menggunakan kitaran pengeluaran penuh: analisis keperluan jabatan β pemilihan penyelesaian teknikal β reka bentuk β pelaksanaan β ujian. Jadi mari kita mulakan.
Memilih Penyelesaian Teknikal: Mutant Sanctuary
Prosedur untuk bekerja pada sistem automatik yang kompleks pada masa ini paling baik diterangkan dalam GOST 34.601-90 "Sistem automatik. Tahap Penciptaanβ, jadi kami bekerja mengikutnya. Dan sudah pada peringkat pembentukan keperluan dan pembangunan konsep, kami menghadapi kesukaran pertama. Organisasi pelbagai profil - bank, syarikat insurans, pembangun perisian, dll. - untuk tugas dan piawaian mereka, mereka memerlukan jenis rangkaian tertentu, yang spesifiknya jelas dan piawai. Walau bagaimanapun, ini tidak akan berfungsi dengan kami.
Mengapa?
Jet Infosystems ialah sebuah syarikat IT terpelbagai yang besar. Pada masa yang sama, jabatan sokongan dalaman kami adalah kecil (tetapi bangga), ia memastikan kefungsian perkhidmatan dan sistem asas. Syarikat itu mengandungi banyak bahagian yang melaksanakan fungsi yang berbeza: ini ialah beberapa pasukan penyumberan luar yang berkuasa, dan pembangun dalaman sistem perniagaan, dan keselamatan maklumat, dan arkitek sistem pengkomputeran - secara amnya, sesiapa sahaja. Sehubungan itu, tugas, sistem dan dasar keselamatan mereka juga berbeza. Yang, seperti yang dijangka, menimbulkan kesukaran dalam proses analisis dan penyeragaman keperluan.
Di sini, sebagai contoh, ialah jabatan pembangunan: pekerjanya menulis dan menguji kod untuk sejumlah besar pelanggan. Selalunya terdapat keperluan untuk mengatur persekitaran ujian dengan cepat, dan terus terang, tidak selalu mungkin untuk merumuskan keperluan untuk setiap projek, meminta sumber dan membina persekitaran ujian yang berasingan mengikut semua peraturan dalaman. Ini menimbulkan situasi yang ingin tahu: pada suatu hari hamba anda yang rendah hati melihat ke dalam bilik pembangun dan mendapati di bawah meja gugusan Hadoop 20 desktop yang berfungsi dengan baik, yang tidak dapat dijelaskan disambungkan ke rangkaian biasa. Saya tidak fikir ia patut menjelaskan bahawa jabatan IT syarikat itu tidak mengetahui tentang kewujudannya. Keadaan ini, seperti banyak yang lain, bertanggungjawab untuk fakta bahawa semasa pembangunan projek, istilah "rizab mutan" dilahirkan, menggambarkan keadaan infrastruktur pejabat yang telah lama menderita.
Atau ini contoh lain. Secara berkala, bangku ujian disediakan dalam jabatan. Ini adalah kes Jira dan Confluence, yang digunakan pada tahap yang terhad oleh Pusat Pembangunan Perisian dalam beberapa projek. Selepas beberapa lama, jabatan lain mengetahui tentang sumber berguna ini, menilai mereka, dan pada penghujung 2018, Jira dan Confluence beralih daripada status "mainan pengaturcara tempatan" kepada status "sumber syarikat." Kini pemilik mesti ditugaskan kepada sistem ini, SLA, dasar keselamatan akses/maklumat, dasar sandaran, pemantauan, peraturan untuk permintaan penghalaan untuk membetulkan masalah mesti ditakrifkan - secara umum, semua atribut sistem maklumat lengkap mesti ada. .
Setiap bahagian kami juga merupakan inkubator yang mengembangkan produknya sendiri. Sesetengah daripada mereka mati di peringkat pembangunan, sesetengahnya kami gunakan semasa menjalankan projek, manakala yang lain berakar umbi dan menjadi penyelesaian yang direplikasi yang kami mula gunakan sendiri dan jual kepada pelanggan. Bagi setiap sistem sedemikian, adalah wajar untuk mempunyai persekitaran rangkaiannya sendiri, di mana ia akan berkembang tanpa mengganggu sistem lain, dan pada satu ketika boleh disepadukan ke dalam infrastruktur syarikat.
Di samping pembangunan, kami mempunyai yang sangat besar dengan lebih daripada 500 pekerja, dibentuk menjadi pasukan untuk setiap pelanggan. Mereka terlibat dalam mengekalkan rangkaian dan sistem lain, pemantauan jarak jauh, menyelesaikan tuntutan, dan sebagainya. Iaitu, infrastruktur SC, sebenarnya, infrastruktur pelanggan yang mereka sedang bekerja. Keistimewaan bekerja dengan bahagian rangkaian ini ialah stesen kerja mereka untuk syarikat kami sebahagiannya luaran, dan sebahagiannya dalaman. Oleh itu, untuk SC kami melaksanakan pendekatan berikut - syarikat menyediakan jabatan yang sepadan dengan rangkaian dan sumber lain, memandangkan stesen kerja jabatan ini sebagai sambungan luaran (dengan analogi dengan cawangan dan pengguna jauh).
Reka bentuk lebuh raya: kami adalah pengendali (kejutan)
Selepas menilai semua masalah, kami menyedari bahawa kami mendapat rangkaian pengendali telekomunikasi dalam satu pejabat, dan kami mula bertindak sewajarnya.
Kami mencipta rangkaian teras dengan bantuan mana-mana dalaman, dan pada masa hadapan juga luaran, pengguna disediakan dengan perkhidmatan yang diperlukan: L2 VPN, L3 VPN atau penghalaan L3 biasa. Sesetengah jabatan memerlukan akses Internet yang selamat, manakala yang lain memerlukan akses bersih tanpa tembok api, tetapi pada masa yang sama melindungi sumber korporat dan rangkaian teras kami daripada trafik mereka.
Kami secara tidak rasmi "menyimpulkan SLA" dengan setiap bahagian. Selaras dengan itu, semua insiden yang timbul mesti dihapuskan dalam tempoh masa tertentu yang telah dipersetujui. Keperluan syarikat untuk rangkaiannya ternyata ketat. Masa respons maksimum kepada insiden sekiranya telefon dan e-mel gagal ialah 5 minit. Masa untuk memulihkan fungsi rangkaian semasa kegagalan biasa adalah tidak lebih daripada satu minit.
Memandangkan kami mempunyai rangkaian gred pembawa, anda hanya boleh menyambung kepadanya mengikut peraturan yang ketat. Unit perkhidmatan menetapkan dasar dan menyediakan perkhidmatan. Mereka bahkan tidak memerlukan maklumat tentang sambungan pelayan tertentu, mesin maya dan stesen kerja. Tetapi pada masa yang sama, mekanisme perlindungan diperlukan, kerana tidak satu sambungan pun harus melumpuhkan rangkaian. Jika gelung dibuat secara tidak sengaja, pengguna lain tidak sepatutnya menyedarinya, iaitu, respons yang mencukupi daripada rangkaian diperlukan. Mana-mana pengendali telekom sentiasa menyelesaikan masalah serupa yang kelihatan rumit dalam rangkaian terasnya. Ia menyediakan perkhidmatan kepada banyak pelanggan dengan keperluan dan trafik yang berbeza. Pada masa yang sama, pelanggan yang berbeza tidak seharusnya mengalami kesulitan daripada trafik orang lain.
Di rumah, kami menyelesaikan masalah ini dengan cara berikut: kami membina rangkaian L3 tulang belakang dengan redundansi penuh, menggunakan protokol IS-IS. Rangkaian tindanan dibina di atas teras berdasarkan teknologi /, menggunakan protokol penghalaan . Untuk mempercepatkan penumpuan protokol penghalaan, teknologi BFD telah digunakan.
Struktur rangkaian
Dalam ujian, skim ini menunjukkan dirinya sangat baik - apabila mana-mana saluran atau suis diputuskan sambungan, masa penumpuan tidak lebih daripada 0.1-0.2 s, minimum paket hilang (selalunya tiada), sesi TCP tidak koyak, perbualan telefon tidak terganggu.
Lapisan Dasar - Penghalaan
Lapisan Tindanan - Penghalaan
Suis Huawei CE6870 dengan lesen VXLAN digunakan sebagai suis pengedaran. Peranti ini mempunyai nisbah harga/kualiti yang optimum, membolehkan anda menyambungkan pelanggan pada kelajuan 10 Gbit/s, dan menyambung ke tulang belakang pada kelajuan 40β100 Gbit/s, bergantung pada transceiver yang digunakan.
Suis Huawei CE6870
Suis Huawei CE8850 digunakan sebagai suis teras. Matlamatnya adalah untuk menghantar trafik dengan cepat dan boleh dipercayai. Tiada peranti disambungkan kepada mereka kecuali suis pengedaran, mereka tidak tahu apa-apa tentang VXLAN, jadi model dengan port 32 40/100 Gbps telah dipilih, dengan lesen asas yang menyediakan penghalaan L3 dan sokongan untuk IS-IS dan MP-BGP protokol .
Bahagian bawah ialah suis teras Huawei CE8850
Pada peringkat reka bentuk, perbincangan tercetus dalam pasukan tentang teknologi yang boleh digunakan untuk melaksanakan sambungan toleran kesalahan kepada nod rangkaian teras. Pejabat Moscow kami terletak di tiga bangunan, kami mempunyai 7 bilik pengedaran, di mana setiap satunya dua suis pengedaran Huawei CE6870 dipasang (hanya suis akses dipasang di beberapa bilik pengedaran). Semasa membangunkan konsep rangkaian, dua pilihan redundansi telah dipertimbangkan:
- Penyatuan suis pengedaran menjadi timbunan tahan kerosakan dalam setiap bilik sambungan silang. Kelebihan: kesederhanaan dan kemudahan persediaan. Kelemahan: terdapat kebarangkalian kegagalan keseluruhan timbunan yang lebih tinggi apabila ralat berlaku dalam perisian tegar peranti rangkaian ("kebocoran memori" dan sebagainya).
- Gunakan teknologi gerbang M-LAG dan Anycast untuk menyambungkan peranti ke suis pengedaran.
Pada akhirnya, kami menyelesaikan pilihan kedua. Ia agak sukar untuk dikonfigurasikan, tetapi telah menunjukkan dalam amalan prestasi dan kebolehpercayaan yang tinggi.
Mari kita pertimbangkan dahulu untuk menyambungkan peranti akhir ke suis pengedaran:
Menyeberang
Suis akses, pelayan atau mana-mana peranti lain yang memerlukan sambungan tahan kerosakan disertakan dalam dua suis pengedaran. Teknologi M-LAG menyediakan lebihan pada peringkat pautan data. Diandaikan bahawa dua suis pengedaran muncul pada peralatan yang disambungkan sebagai satu peranti. Lebihan dan pengimbangan beban dijalankan menggunakan protokol LACP.
Teknologi get laluan Anycast menyediakan redundansi pada peringkat rangkaian. Sebilangan besar VRF dikonfigurasikan pada setiap suis pengedaran (setiap VRF bertujuan untuk tujuannya sendiri - secara berasingan untuk pengguna "biasa", berasingan untuk telefon, berasingan untuk pelbagai persekitaran ujian dan pembangunan, dsb.), dan dalam setiap VRF mempunyai beberapa VLAN yang dikonfigurasikan. Dalam rangkaian kami, suis pengedaran ialah pintu masuk lalai untuk semua peranti yang disambungkan kepadanya. Alamat IP yang sepadan dengan antara muka VLAN adalah sama untuk kedua-dua suis pengedaran. Trafik dihalakan melalui suis terdekat.
Sekarang mari kita lihat menyambungkan suis pengedaran ke kernel:
Toleransi kesalahan disediakan pada peringkat rangkaian menggunakan protokol IS-IS. Sila ambil perhatian bahawa talian komunikasi L3 yang berasingan disediakan di antara suis, pada kelajuan 100G. Dari segi fizikal, talian komunikasi ini ialah kabel Akses Langsung; ia boleh dilihat di sebelah kanan dalam foto suis Huawei CE6870.
Alternatifnya ialah dengan mengatur topologi bintang berkembar bersambung penuh "jujur", tetapi, seperti yang dinyatakan di atas, kami mempunyai 7 bilik sambungan silang dalam tiga bangunan. Sehubungan itu, jika kami telah memilih topologi "bintang berganda", kami memerlukan tepat dua kali lebih banyak transceiver 40G "jarak jauh". Penjimatan di sini sangat ketara.
Beberapa perkataan perlu dinyatakan tentang cara teknologi get laluan VXLAN dan Anycast berfungsi bersama. VXLAN, tanpa butiran terperinci, adalah terowong untuk mengangkut bingkai Ethernet di dalam paket UDP. Antara muka gelung balik suis pengedaran digunakan sebagai alamat IP destinasi terowong VXLAN. Setiap silang mempunyai dua suis dengan alamat antara muka gelung balik yang sama, jadi satu paket boleh sampai pada mana-mana daripadanya, dan bingkai Ethernet boleh diekstrak daripadanya.
Jika suis mengetahui tentang alamat MAC destinasi bagi bingkai yang diambil, bingkai itu akan dihantar dengan betul ke destinasinya. Untuk memastikan kedua-dua suis pengedaran yang dipasang dalam sambungan silang yang sama mempunyai maklumat terkini tentang semua alamat MAC "tiba" daripada suis akses, mekanisme M-LAG bertanggungjawab untuk menyegerakkan jadual alamat MAC (serta ARP jadual) pada kedua-dua suis pasangan M-LAG.
Pengimbangan trafik dicapai kerana kehadiran dalam rangkaian dasar beberapa laluan ke antara muka gelung balik suis pengedaran.
Daripada kesimpulan
Seperti yang dinyatakan di atas, semasa ujian dan operasi rangkaian menunjukkan kebolehpercayaan yang tinggi (masa pemulihan untuk kegagalan biasa tidak lebih daripada ratusan milisaat) dan prestasi yang baik - setiap sambungan silang disambungkan ke teras oleh dua saluran 40 Gbit/s. Suis akses dalam rangkaian kami disusun dan disambungkan kepada suis pengedaran melalui LACP/M-LAG dengan dua saluran 10 Gbit/s. Satu tindanan biasanya mengandungi 5 suis dengan 48 port setiap satu, dan sehingga 10 tindanan akses disambungkan kepada pengedaran dalam setiap sambungan silang. Oleh itu, tulang belakang menyediakan kira-kira 30 Mbit/s setiap pengguna walaupun pada beban teoritikal maksimum, yang pada masa penulisan adalah mencukupi untuk semua aplikasi praktikal kami.
Rangkaian ini membolehkan anda mengatur gandingan mana-mana peranti bersambung sewenang-wenangnya dengan lancar melalui L2 dan L3, memberikan pengasingan lengkap trafik (yang disukai oleh perkhidmatan keselamatan maklumat) dan domain kesalahan (yang disukai oleh pasukan operasi).
Dalam bahagian seterusnya kami akan memberitahu anda bagaimana kami berhijrah ke rangkaian baharu. Nantikan!
Maxim Klochkov
Perunding kanan kumpulan audit rangkaian dan projek kompleks
Pusat Penyelesaian Rangkaian
"Sistem Maklumat Jet"
Sumber: www.habr.com