Setelah melihat sekilas seluruh solusi modern Huawei Enterprise yang dihadirkan pada tahun 2020, kami beralih ke cerita yang lebih fokus dan mendetail tentang ide-ide dan produk individual yang dapat menjadi dasar transformasi digital baik bagi perusahaan besar maupun lembaga pemerintah. Hari ini kita berbicara tentang konsep dan teknologi yang diusulkan Huawei untuk membangun pusat data.
Di era dunia yang terhubung, tantangan penyimpanan dan pemrosesan data memerlukan pendekatan baru di semua tahap siklus hidup pusat data. Mereka harus secara bersamaan menjadi lebih sederhana dan cerdas agar dapat menjalankan peran mereka sebagai elemen sentral infrastruktur ekonomi digital global.
Pada tahun 2018, umat manusia menyimpan 33 zettabytes informasi, tetapi pada tahun 2025 total volumenya akan meningkat lebih dari lima kali lipat. Pengalaman selama tiga dekade dalam pengembangan infrastruktur TIK telah memungkinkan Huawei untuk bersiap menghadapi “tsunami data” yang semakin meningkat dan menawarkan konsep pusat data cerdas kepada mitra dan pelanggannya, termasuk seluruh tahap konstruksi, pengoperasian, dan pemeliharaannya. Elemen konsep ini disatukan di bawah nama umum HiDC.
Digitalkan itu
Ada lelucon baru yang beredar di Internet: siapa yang paling mempercepat transformasi digital perusahaan Anda - CEO, CTO, dewan direksi? Epidemi virus corona! Hanya orang malas yang tidak mengadakan webinar, tidak menulis artikel, tidak memberi tahu orang bagaimana dan apa yang harus dilakukan. Tapi ini semua adalah tindakan reaktif. Beberapa bersiap sebelumnya.
Bukan untuk menyombongkan diri - untuk alasan obyektif, kami akan menggunakan perusahaan kami sebagai contoh, di mana transformasi digital dimulai secara besar-besaran beberapa tahun lalu. Saat ini, kami dapat memindahkan hampir seluruh karyawan kami untuk bekerja dari rumah tanpa kehilangan efisiensi. Kisah sebuah rumah sakit yang dibangun di kota Wuhan dalam sepuluh hari adalah contohnya. Di sana, transformasi digital diwujudkan dalam kenyataan bahwa semua sistem TI diterapkan dalam tiga hari. Jadi transformasi digital bukan soal “kapan” dan “mengapa”, melainkan soal “bagaimana”.
Pendekatan arsitektur bukan pembangunan spontan
Apa masalah utama yang kita hadapi ketika kita mulai membangun sistem tertentu? Hingga saat ini, semua pelanggan kami bekerja dalam mode menggabungkan tugas bisnis dengan layanan aplikasi dan solusi TI. Mendapatkan gambaran umum tentang fungsi kompleks seperti itu cukup sulit jika dibuat hanya dengan menambahkan berbagai blok. Dan untuk membangun suatu sistem sebagai suatu organisme tunggal, pertama-tama diperlukan pendekatan arsitektural. Inilah yang kami wujudkan dalam ideologi solusi HiDC kami.
Nilai maksimum dan biaya minimum
Seluruh struktur HiDC terdiri dari dua irisan utama. Hal pertama yang biasa Anda lihat dari Huawei adalah infrastruktur klasik. Elemen bagian kedua paling mudah digabungkan dengan istilah “data cerdas”.
Mengapa hal ini perlu? Saat ini, banyak perusahaan mengumpulkan informasi dalam jumlah besar, seringkali tersebar atau dapat diakses melalui berbagai jenis “gasket”. Ya, setidaknya ambil database biasa. Tanyakan kepada administrator basis data Anda bagaimana basis data ini cocok satu sama lain dan bagaimana menggunakan informasi dari basis data tersebut dalam sistem BI untuk membuat keputusan bisnis. Anehnya, database seringkali terhubung secara longgar satu sama lain dan berfungsi sebagai “pulau” yang terpisah. Oleh karena itu, pertama-tama, kami memikirkan pendekatan arsitektur apa yang dapat menghilangkan masalah ini.
Prinsip Desain Arsitektur HiDC
Mari kita lihat prinsip dasar desain HiDC. Hal ini terutama berguna bukan bagi para spesialis di bidang tertentu, namun bagi para arsitek solusi yang dapat mengamati keseluruhan panorama.
Yang paling umum adalah blok jaringan konvergensi dan blok manajemen data. Dan inilah konsep yang jarang dipikirkan oleh para arsitek solusi: manajemen siklus hidup data. Dari database klasik, ia telah bermigrasi ke banyak sistem lain, termasuk cloud dan edge computing.
Komputasi tepi menjadi semakin umum. Contoh paling nyata dari penggunaannya adalah mobil dengan autopilot, yang disarankan untuk dikendalikan dari satu platform. Selain itu, ada kecenderungan ke arah teknologi “hijau” – lebih hemat energi, dan menyebabkan kerusakan lingkungan yang minimal. Anda dapat mencapai keduanya dengan beralih ke sumber daya intelektual (akan dibahas lebih lanjut nanti).
Sangat menyenangkan memiliki keenam blok struktur HiDC yang kami miliki. Benar, pelanggan sering kali bekerja di lingkungan yang telah dibuat sebelumnya. Namun, menggunakan satu blok saja dari diagram di atas dapat membuahkan hasil. Dan jika ditambahkan yang kedua, ketiga, dan seterusnya, efek sinergis akan mulai terlihat. Kombinasi jaringan dan penyimpanan terdistribusi saja akan menghasilkan kinerja lebih tinggi dan latensi lebih rendah. Pendekatan blok memungkinkan kita untuk berkembang tidak secara semrawut, seperti yang sering terjadi di industri, namun menggunakan pendekatan arsitektur terintegrasi. Nah, keterbukaan blok itu sendiri memberikan kebebasan dalam memilih solusi optimal.
Waktu jaringan konvergen
Baru-baru ini, di pasar global dan Rusia, kami semakin mempromosikan konsep jaringan konvergen. Saat ini, pelanggan kami sudah menggunakan solusi konvergensi berdasarkan RoCEv2 (RDMA over Converged Ethernet v2) untuk membangun sistem penyimpanan terdistribusi yang ditentukan perangkat lunak. Keuntungan utama dari pendekatan ini adalah keterbukaannya dan tidak adanya kebutuhan untuk menciptakan jaringan berbeda dalam jumlah yang tidak terbatas.
Mengapa hal ini tidak dilakukan sebelumnya? Ingatlah bahwa standar Ethernet dikembangkan pada tahun 1969. Selama setengah abad, banyak masalah telah menumpuk, namun Huawei telah belajar untuk menyelesaikannya. Sekarang, berkat sejumlah langkah tambahan, kita dapat menggunakan Ethernet untuk aplikasi yang sangat penting, solusi beban tinggi, dll.
Dari DCN ke DCI
Tren penting berikutnya adalah efek sinergis dari penerapan DCI (Data Center Interconnect). Di Rusia, tidak seperti Tiongkok, hal serupa hanya dapat ditemukan di operator telekomunikasi. Ketika pelanggan mempertimbangkan solusi jaringan untuk pusat data, mereka biasanya tidak memberikan perhatian yang cukup pada integrasi jaringan optik dan solusi IP klasik dalam satu titik kehadiran. Mereka menggunakan solusi familiar yang bekerja pada lapisan IP, dan itu sudah cukup bagi mereka.
Lalu untuk apa DCI itu? Bayangkan administrator node DWDM dan administrator jaringan bertindak secara independen. Pada titik tertentu, kegagalan dalam salah satu hal tersebut dapat sangat mengurangi ketahanan Anda. Dan jika kita menggunakan prinsip sinergi, routing IP dilakukan dengan mempertimbangkan apa yang terjadi pada jaringan optik. Penggunaan layanan cerdas seperti itu secara signifikan meningkatkan jumlah sembilan tingkat ketersediaan seluruh sistem.
Keuntungan serius lainnya dari DCI kami adalah margin kinerjanya yang besar. Dengan menjumlahkan kemampuan rentang C dan L, Anda bisa mendapatkan sekitar 220 lambda. Cadangan tersebut sepertinya tidak akan cepat habis bahkan oleh pelanggan korporat besar, mengingat solusi kami saat ini memungkinkan transmisi hingga 400 Gbit/dtk melalui setiap lambda. Di masa depan, kecepatan 800 Gbit/s dapat dicapai pada peralatan yang sama.
Kenyamanan tambahan disediakan oleh keseluruhan pengelolaan yang kami sediakan melalui antarmuka terbuka klasik. NETCONF tidak hanya mengelola sakelar, tetapi juga perangkat multipleks optik, yang memungkinkan Anda mencapai konvergensi di semua tingkatan dan memandang sistem sebagai sumber daya intelektual, dan bukan “seperangkat kotak”.
Komputasi tepi semakin penting
Banyak orang telah mendengar tentang Edge Computing. Dan mereka yang terlibat dalam cloud dan pusat data klasik harus ingat bahwa akhir-akhir ini kita melihat adanya pergeseran serius ke arah komputasi edge.
Apa yang menyebabkan hal ini? Mari kita lihat model penerapan yang umum. Saat ini banyak dibicarakan tentang “kota pintar”, “rumah pintar”, dll. Konsep ini memungkinkan pengembang untuk menciptakan nilai tambah dan menaikkan harga properti. Sebuah “rumah pintar” mengidentifikasi penghuninya, mengizinkannya masuk dan keluar, dan memberinya layanan tertentu. Menurut statistik, layanan tersebut menambah sekitar 10–15% harga apartemen dan, secara umum, dapat memacu pengembangan model bisnis baru. Juga telah disebutkan tentang konsep autopilot. Dalam waktu dekat, pengembangan teknologi 5G dan Wi-Fi 6 akan memberikan latensi yang sangat rendah untuk transfer data antara rumah pintar, mobil, dan pusat data utama yang menjalankan komputasi edge. Ini berarti bahwa dimungkinkan untuk melakukan lebih banyak operasi yang terkait dengan pemrosesan data yang serius. Untuk mengatasi masalah seperti itu, khususnya, dimungkinkan untuk menggunakan prosesor saraf yang sudah dipasok ke Rusia.
Janji dari tren yang baru saja diuraikan tidak dapat disangkal. Mari kita bayangkan, misalnya, sebuah sistem manajemen transportasi perkotaan yang cerdas yang mampu mengganti lampu lalu lintas, mengatur beban lalu lintas di jalan-jalan tertentu, atau bahkan mengambil tindakan yang memadai selama keadaan darurat.
Sekarang mari kita beralih ke sumber daya yang kami sediakan untuk implementasi konsep HiDC.
Perhitungan
Ketika kita perlu mengimplementasikan sistem komputasi standar, tentu saja prosesor dengan arsitektur x86 digunakan di dalamnya. Namun begitu kebutuhan akan penyesuaian muncul, inilah saatnya memikirkan solusi yang lebih beragam.
Misalnya, prosesor ARM, karena jumlah intinya yang besar, sangat baik untuk aplikasi yang sangat paralel. Multithreading memberikan peningkatan kinerja sekitar 30%.
Ketika latensi rendah sangat penting, sirkuit terpadu logika yang dapat diprogram di lapangan (FPGA) menjadi yang terdepan.
Prosesor saraf terutama dibutuhkan saat memecahkan masalah pembelajaran mesin. Jika untuk implementasi tertentu kita memerlukan 16 rak dengan masing-masing 8 server, diisi dengan prosesor saraf, maka solusi dengan level yang sama berdasarkan arsitektur x86 akan membutuhkan (!) sekitar 128 rak. Seperti yang Anda lihat, beragamnya jenis penghitungan mengharuskan pemilihan platform perangkat keras secara cermat.
Penyimpanan data
Untuk tahun kedua ini, Huawei telah meminta mitra, pelanggan, dan kolega industri untuk membangun sistem penyimpanan data sesuai dengan prinsip Flash Only. Dan sebagian besar pelanggan kami hanya menggunakan penggerak spindel mekanis pada solusi lama atau untuk data arsip yang jarang digunakan.
Sistem flash juga berkembang. Sistem Storage Class Memory (SCM) seperti Intel Optane mulai bermunculan di pasaran. Pabrikan China dan Jepang menunjukkan perkembangan yang menarik. Saat ini, SCM lebih unggul dari semua solusi lain dalam hal kelas pemrosesan. Selama ini hanya biayanya yang mahal tidak memungkinkan untuk digunakan dimana-mana.
Pada saat yang sama, kami melihat bahwa kualitas sistem penyimpanan perlu ditingkatkan tidak hanya pada backend konvensional, tetapi juga pada frontend. Sekarang, secara de facto, dalam implementasi baru, kami biasanya menawarkan dan menggunakan mekanisme akses memori langsung melalui Ethernet, tetapi kami melihat permintaan pelanggan dan oleh karena itu, menjelang akhir tahun, kami akan mulai lebih sering menggunakan NVMe melalui Fabrics. Selain itu, end-to-end, untuk menyediakan arsitektur umum, yang tentu saja harus berkinerja tinggi dan tahan terhadap kegagalan pengontrol.
Sistem penyimpanan OceanStor Dorado adalah salah satu produk andalan kami. Pengujian internal menunjukkan bahwa ia memberikan kinerja 20 juta IOPS, mempertahankan fungsionalitas ketika tujuh dari delapan pengontrol gagal.
Mengapa begitu banyak kekuatan? Mari kita lihat situasi saat ini. Selama beberapa bulan ini, penduduk Tiongkok menghabiskan lebih banyak waktu di rumah karena lockdown. Lalu lintas internet saat ini meningkat rata-rata 30%, bahkan di beberapa provinsi meningkat dua kali lipat. Konsumsi berbagai layanan jaringan meningkat. Dan pada titik tertentu, bank yang sama mulai mengalami beban tambahan yang serius, sehingga sistem penyimpanannya belum siap.
Jelas bahwa tidak semua orang membutuhkan 20 juta IOPS saat ini. Tapi apa yang akan terjadi besok? Sistem cerdas kami memaksimalkan potensi penuh dari prosesor saraf untuk memastikan kekompakan lalu lintas, deduplikasi, optimalisasi, dan pemulihan data yang cepat.
jaringan referensi
Tahun 2020, seperti yang kami sebutkan di artikel sebelumnya, akan menjadi tahun jaringan inti bagi kami. Banyak pelanggan, terutama penyedia layanan aplikasi (ASP) dan bank, sudah memikirkan bagaimana aplikasi mereka akan bekerja khususnya dalam hal komunikasi ke dan antar pusat data. Di sinilah jaringan tulang punggung baru membantu kami. Sebagai contoh, mari kita ambil bank terbesar di Tiongkok yang telah beralih ke sistem tulang punggung yang disederhanakan yang menggunakan tidak selusin protokol berbeda untuk komunikasi antar pusat data, tetapi, secara relatif, sepasang - OSPF dan SRv6. Selain itu, organisasi menerima serangkaian layanan yang sama.
Sumber daya intelektual
Bagaimana cara menggunakan datanya? Sampai saat ini, ada sistem database heterogen yang terfragmentasi: Microsoft SQL, MySQL, Oracle, dll. Untuk bekerja dengannya, solusi dari bidang data besar digunakan, yang mampu menggabungkan data ini, mengambilnya, bekerja dengannya. Semua ini menciptakan beban sumber daya yang tinggi.
Pada saat yang sama, tidak ada mekanisme untuk melakukan operasi dengan data ketika suatu peristiwa terjadi. Solusinya adalah pengembangan prinsip manajemen siklus hidup data (DLM).
Semua orang telah mendengar tentang data lake. Dengan transisi dari pengelolaan data ke tata kelola data, “danau digital” mulai menjadi lebih cerdas dengan cepat. Termasuk berkat solusi Huawei. Dalam materi berikut kami pasti akan berbicara tentang keseluruhan teknologi perangkat lunak yang kami gunakan. Sekarang penting untuk dicatat bahwa penggunaan manajemen siklus hidup data yang cerdaslah yang memungkinkan kami menyederhanakan penggunaan jaringan dan server kami, serta belajar membangun arsitektur end-to-end untuk lebih memahami prinsip-prinsip bekerja dengan data. .
Infrastruktur rekayasa pusat data
Kami akan menerbitkan materi terpisah yang ditujukan untuk infrastruktur teknik, namun dalam konteks topik hari ini kami ingin menyebutkan perubahan-perubahan yang terkait dengan konsep HiDC.
Untuk waktu yang lama, penggunaan baterai litium dalam sistem daya darurat dan cadangan (ESP) pusat data dilarang karena tingginya bahaya kebakaran. Kerusakan mekanis atau pelanggaran integritas baterai dapat menyebabkan kebakaran dan konsekuensi yang tidak terduga. Dalam hal ini, PSA dilengkapi dengan baterai asam usang, yang memiliki kepadatan muatan spesifik rendah dan massa besar.
Sistem daya darurat dan cadangan baru Huawei menggunakan baterai lithium iron phosphate (LFP) yang aman dengan manajemen proaktif yang cerdas. Dengan kapasitas yang sama, baterai ini menempati volume tiga kali lebih sedikit dibandingkan baterai asam. Siklus hidup mereka adalah 10–15 tahun, yang antara lain mengurangi beban yang mereka timbulkan terhadap lingkungan. Sistem kontrol yang dipatenkan dalam ekosistem SmartLi memungkinkan penggunaan sistem hybrid yang terdiri dari susunan baterai tipe lama dan baru, dan sistem switching memungkinkan perubahan “panas” pada struktur PSA sambil mempertahankan fungsi redundansi.
Operasi cerdas
Bagian penting dari prinsip pengoperasian infrastruktur HiDC adalah ideologi penyembuhan diri yang cerdas. DI DALAM Dari publikasi kami sebelumnya, kami menyebutkan platform cerdas O&M 1-3-5, yang tidak hanya mampu mendeteksi dan menganalisis kejadian yang tidak diinginkan dalam sistem, namun juga menawarkan kepada administrator beberapa opsi untuk solusi otomatis sepenuhnya terhadap masalah tersebut.
Fungsi analisis mandiri memungkinkan Anda mendeteksi masalah dalam waktu sekitar satu menit. Tiga menit dihabiskan untuk analisis, dan dalam lima menit proposal dibentuk untuk mengubah keadaan sistem.
Katakanlah beberapa kesalahan operator menyebabkan terbentuknya proses loop tertutup, mengurangi kinerja lahan virtualisasi dari 100 menjadi 77%. Administrator pusat data menerima pesan terkait di dasbornya, yang berisi visualisasi lengkap masalah, termasuk diagram jaringan sumber daya yang terpengaruh oleh proses yang tidak diinginkan. Selanjutnya, administrator dapat melanjutkan untuk memperbaiki situasi secara manual atau menggunakan salah satu dari beberapa skenario pemulihan otomatis yang ditawarkan kepadanya.
Sistem mengetahui sekitar 75 skenario yang dapat diimplementasikan dalam waktu kurang dari sepuluh menit, dan mencakup 90% masalah yang dihadapi di pusat data. Saat ini, teknisi dapat dengan tenang menjawab panggilan dari pelanggan yang khawatir, yakin bahwa layanan akan pulih setiap saat.
Produk utama baru di HiDC
Selain produk perangkat lunak, hal ini juga harus mencakup solusi utama yang beroperasi pada tingkat infrastruktur. Pertama-tama, kami perlu menyebutkan prosesor saraf yang digunakan dalam cluster AI keluarga Atlas kami, serta server berbasis NPU dan GPU.
Selain itu, kami tidak bisa tidak menyebutkan lagi Dorado dan performa terdepan di kelasnya, yang akan bertahan selama bertahun-tahun yang akan datang. Hal ini terutama berlaku di ruang pasca-Soviet, di mana, dengan pengecualian yang jarang terjadi, merupakan kebiasaan untuk memperbarui sesuatu hanya ketika sesuatu itu benar-benar berhenti berfungsi. Hal ini menjelaskan masa pakai sistem penyimpanan individu, yang mencapai sepuluh tahun. Produktivitas yang sangat besar diperlukan bagi Dorado untuk memastikan pemberian layanan berkualitas tinggi sepuluh tahun dari sekarang.
Inovasi di setiap elemen
Saat memilih solusi infrastruktur tertentu, kita tidak boleh melupakan arsitektur dan skenario untuk pengembangan lebih lanjut. Produk yang berbeda dari produsen yang berbeda tidak menjamin efek sinergis yang diharapkan dari solusi yang telah dioptimalkan untuk penggunaan bersama.
Infrastruktur harus berbasis teknologi yang tepat. Yang “benar” termasuk yang terbuka, memberikan throughput tinggi, beroperasi secara stabil di bawah beban tinggi. Untuk pusat data, misalnya, rasio total konsumsi energi terhadap beban TI adalah hal yang penting. Untuk mencapai semua tujuan di atas, Anda perlu memilih lingkungan dan komponennya. Dalam kondisi modern, hal ini juga berarti semakin meluasnya penggunaan kecerdasan buatan.
Berdasarkan pengamatan kami, semakin sedikit pelanggan strategis Huawei yang masih belum menggunakan sistem pembelajaran mesin. Tanpa ML, mustahil untuk memonetisasi data yang terakumulasi sebanyak mungkin.
Sistem monetisasi bisa berbeda: untuk bank - menawarkan produk baru yang ditargetkan, untuk operator telekomunikasi - menyediakan layanan individu dan memastikan loyalitas, untuk pelanggan pemerintah - manajemen siklus hidup data berkualitas tinggi dan interaksi tingkat tinggi dengan organisasi lain. Bagaimanapun, model manajemen data telah lama melampaui pengaturan firewall dan memastikan visibilitas jaringan atas database mereka.
Dari ide hingga pengoperasian pusat data
Pembangunan pusat data standar memakan waktu paling lama satu hingga satu setengah tahun. Siklus produksi kami memungkinkan kami melakukan hal ini lebih cepat berkat penggunaan sekelompok solusi yang digabungkan dengan nama umum FusionDC 2.0. Desain, pengembangan desain tingkat tinggi, perakitan seluruh elemen beban TI dilakukan langsung di pabrik. Dalam waktu singkat, peralatan dikirim melalui kontainer laut dari China ke Rusia. Hasilnya, pembangunan pusat data siap pakai dapat dicapai dalam waktu empat hingga lima bulan.
Ide pusat data cloud prefabrikasi juga menarik karena pusat data dapat dikembangkan secara bertahap dengan menambahkan blok fungsional yang diperlukan ke dalamnya. Pendekatan ini tertanam dalam konsep HiDC itu sendiri.
Agar materi ulasan tidak berubah menjadi lembar data, kami sarankan untuk pergi ke informasi tambahan tentang HiDC . Di sana Anda akan menemukan penjelasan dan contoh penerapan pendekatan, produk dan solusi yang telah kita bicarakan. Semakin tinggi tingkat akses Anda ke situs, semakin banyak materi yang tersedia. Jika Anda diberi status “mitra”, Anda akan dapat mengunduh peta jalan HiDC, presentasi teknis, video.
Kami berani berasumsi bahwa mayoritas dari mereka yang membaca artikel ini memiliki kompetensi arsitek jaringan. Mereka pasti akan tertarik untuk mengunjungi kami . Di sana kami membahas secara detail tentang cara membangun infrastruktur jaringan sesuai aturan Huawei Validated Design (HVD). Pedoman yang tersedia untuk diunduh akan membantu Anda memahami secara menyeluruh cara kerja solusi perusahaan. Ingatlah bahwa tanpa izin, lebih sedikit materi yang akan tersedia untuk Anda.
***
Berbagai webinar yang diadakan tidak hanya di segmen berbahasa Rusia, tetapi juga di tingkat internasional juga akan membantu Anda menavigasi. Di dalamnya kami berbagi informasi tentang produk dan praktik bisnis kami. Kami juga membahas bagaimana Huawei, meskipun terjadi gangguan pada banyak jaringan layanan, terus memastikan pengiriman produknya secara berkelanjutan ke berbagai negara. Baru-baru ini, misalnya, ada kasus ketika peralatan pusat data yang baru diproduksi mencapai pelanggan Moskow hanya dalam tiga minggu.
Daftar webinar untuk bulan April tersedia .
Sumber: www.habr.com