Hari ini kita akan bercakap tentang cara terbaik untuk menyimpan data dalam dunia di mana rangkaian generasi kelima, pengimbas genom dan kereta pandu sendiri menghasilkan lebih banyak data setiap hari daripada semua manusia yang dijana sebelum revolusi perindustrian.
Dunia kita menjana lebih banyak maklumat. Sebahagian daripadanya adalah sekejap dan hilang secepat ia dikumpulkan. Satu lagi harus disimpan lebih lama, dan satu lagi direka "selama berabad-abad" - sekurang-kurangnya itulah yang kita lihat dari masa kini. Aliran maklumat menetap di pusat data pada kelajuan sedemikian sehingga mana-mana pendekatan baharu, sebarang teknologi yang direka untuk memenuhi "permintaan" yang tidak berkesudahan ini dengan cepat menjadi usang.
40 tahun pembangunan sistem storan teragih
Storan rangkaian pertama dalam bentuk yang kita kenali muncul pada tahun 1980-an. Ramai daripada anda telah menemui NFS (Sistem Fail Rangkaian), AFS (Sistem Fail Andrew) atau Coda. Sedekad kemudian, fesyen dan teknologi telah berubah, dan sistem fail yang diedarkan telah memberi laluan kepada sistem storan berkelompok berdasarkan GPFS (Sistem Fail Selari Umum), CFS (Sistem Fail Berkelompok) dan StorNext. Penyimpanan blok seni bina klasik digunakan sebagai asas, di atasnya satu sistem fail dicipta menggunakan lapisan perisian. Penyelesaian ini dan yang serupa masih digunakan, menduduki niche mereka dan agak dalam permintaan.
Pada permulaan milenium, paradigma storan yang diedarkan agak berubah, dan sistem dengan seni bina SN (Shared-Nothing) mengambil kedudukan utama. Terdapat peralihan daripada storan kluster kepada storan pada nod individu, yang, sebagai peraturan, adalah pelayan klasik dengan perisian yang menyediakan storan yang boleh dipercayai; Atas prinsip sedemikian, katakan, HDFS (Sistem Fail Teragih Hadoop) dan GFS (Sistem Fail Global) dibina.
Lebih dekat dengan tahun 2010-an, konsep yang mendasari sistem storan teragih semakin mula dicerminkan dalam produk komersial lengkap, seperti VMware vSAN, Dell EMC Isilon dan kami . Di sebalik platform yang disebutkan tidak lagi terdapat komuniti peminat, tetapi vendor khusus yang bertanggungjawab ke atas kefungsian, sokongan dan perkhidmatan produk dan menjamin perkembangan selanjutnya. Penyelesaian sedemikian paling banyak diminati dalam beberapa bidang.
Operator telekom
Mungkin salah satu pengguna tertua sistem storan teragih ialah pengendali telekom. Rajah menunjukkan kumpulan aplikasi yang menghasilkan sebahagian besar data. OSS (Sistem Sokongan Operasi), MSS (Perkhidmatan Sokongan Pengurusan) dan BSS (Sistem Sokongan Perniagaan) mewakili tiga lapisan perisian pelengkap yang diperlukan untuk menyediakan perkhidmatan kepada pelanggan, pelaporan kewangan kepada pembekal dan sokongan operasi kepada jurutera pengendali.
Selalunya, data lapisan ini banyak bercampur antara satu sama lain, dan untuk mengelakkan pengumpulan salinan yang tidak perlu, storan teragih digunakan, yang mengumpul keseluruhan jumlah maklumat yang datang dari rangkaian pengendalian. Storan digabungkan menjadi kolam biasa, yang boleh diakses oleh semua perkhidmatan.
Pengiraan kami menunjukkan bahawa peralihan daripada sistem storan klasik kepada sistem storan menyekat membolehkan anda menjimatkan sehingga 70% daripada belanjawan hanya dengan meninggalkan sistem storan hi-end khusus dan menggunakan pelayan seni bina klasik konvensional (biasanya x86), bekerja bersama-sama dengan khusus. perisian. Pengendali selular telah lama mula membeli penyelesaian sedemikian dalam kuantiti yang banyak. Khususnya, pengendali Rusia telah menggunakan produk sedemikian daripada Huawei selama lebih daripada enam tahun.
Ya, beberapa tugas tidak dapat diselesaikan menggunakan sistem teragih. Contohnya, dengan peningkatan keperluan prestasi atau keserasian dengan protokol yang lebih lama. Tetapi sekurang-kurangnya 70% daripada data yang diproses oleh pengendali boleh ditempatkan dalam kumpulan teragih.
Sektor perbankan
Di mana-mana bank terdapat banyak sistem IT yang berbeza, bermula daripada pemprosesan dan berakhir dengan sistem perbankan automatik. Infrastruktur ini juga berfungsi dengan sejumlah besar maklumat, sementara kebanyakan tugas tidak memerlukan peningkatan prestasi dan kebolehpercayaan sistem storan, contohnya, pembangunan, ujian, automasi proses pejabat, dll. Di sini, penggunaan sistem storan klasik adalah mungkin, tetapi setiap tahun semakin kurang untung. Di samping itu, dalam kes ini tidak ada fleksibiliti dalam penggunaan sumber sistem storan, yang prestasinya dikira berdasarkan beban puncak.
Apabila menggunakan sistem storan teragih, nod mereka, yang sebenarnya adalah pelayan biasa, boleh ditukar pada bila-bila masa, sebagai contoh, ke ladang pelayan dan digunakan sebagai platform pengkomputeran.
Tasik data
Rajah di atas menunjukkan senarai pengguna perkhidmatan biasa . Ini boleh menjadi perkhidmatan e-kerajaan (contohnya, "Perkhidmatan Kerajaan"), perusahaan digital, institusi kewangan, dsb. Kesemuanya perlu bekerja dengan jumlah besar maklumat heterogen.
Menggunakan sistem storan klasik untuk menyelesaikan masalah sedemikian adalah tidak berkesan, kerana ia memerlukan kedua-dua akses berprestasi tinggi untuk menyekat pangkalan data dan akses tetap kepada perpustakaan dokumen yang diimbas yang disimpan sebagai objek. Sebagai contoh, sistem pesanan melalui portal web juga boleh dipautkan di sini. Untuk melaksanakan semua ini pada platform storan klasik, anda memerlukan set peralatan yang besar untuk pelbagai tugas. Satu sistem storan universal mendatar mungkin meliputi semua tugas yang disenaraikan sebelum ini: anda hanya perlu mencipta beberapa kumpulan dengan ciri storan berbeza di dalamnya.
Penjana maklumat baru
Jumlah maklumat yang disimpan di dunia berkembang kira-kira 30% setahun. Ini adalah berita baik untuk vendor storan, tetapi apakah dan akan menjadi sumber utama data ini?
Sepuluh tahun yang lalu, rangkaian sosial menjadi penjana sedemikian, ini memerlukan penciptaan sejumlah besar algoritma baharu, penyelesaian perkakasan, dll. Kini terdapat tiga pemacu utama untuk pertumbuhan volum storan. Yang pertama ialah pengkomputeran awan. Pada masa ini, kira-kira 70% syarikat menggunakan perkhidmatan awan dalam satu cara atau yang lain. Ini boleh menjadi sistem mel elektronik, salinan sandaran dan entiti maya lain.
Pemacu kedua ialah rangkaian generasi kelima. Ini adalah kelajuan baharu dan volum pemindahan data baharu. Menurut ramalan kami, penggunaan meluas 5G akan menyebabkan penurunan permintaan untuk kad memori flash. Tidak kira berapa banyak memori yang ada dalam telefon, ia tetap kehabisan, dan jika alat itu mempunyai saluran 100 megabit, tidak perlu menyimpan foto secara setempat.
Kumpulan ketiga sebab permintaan untuk sistem storan semakin meningkat termasuk perkembangan pesat kecerdasan buatan, peralihan kepada analisis data besar dan arah aliran ke arah automasi sejagat segala yang mungkin.
Satu ciri "trafik baharu" ialah . Kita perlu menyimpan data ini tanpa menentukan formatnya dalam apa jua cara. Ia hanya diperlukan untuk bacaan seterusnya. Sebagai contoh, untuk menentukan jumlah pinjaman yang tersedia, sistem pemarkahan perbankan akan melihat foto yang anda siarkan di rangkaian sosial, menentukan sama ada anda sering pergi ke laut dan di restoran, dan pada masa yang sama mengkaji cabutan daripada dokumen perubatan anda yang tersedia. kepadanya. Data ini, dalam satu pihak, adalah komprehensif, tetapi sebaliknya, tidak mempunyai kehomogenan.
Lautan data tidak berstruktur
Apakah masalah yang timbul daripada "data baharu"? Yang pertama di antara mereka, tentu saja, adalah jumlah maklumat yang banyak dan anggaran tempoh penyimpanannya. Kereta autonomi tanpa pemandu moden sahaja menjana sehingga 60 terabait data setiap hari daripada semua penderia dan mekanismenya. Untuk membangunkan algoritma pergerakan baharu, maklumat ini mesti diproses dalam hari yang sama, jika tidak, ia akan mula terkumpul. Pada masa yang sama, ia mesti disimpan untuk masa yang sangat lama - beberapa dekad. Hanya dengan itu mungkin pada masa hadapan untuk membuat kesimpulan berdasarkan sampel analisis yang besar.
Satu peranti untuk mentafsir urutan genetik menghasilkan kira-kira 6 TB setiap hari. Dan data yang dikumpul dengan bantuannya tidak membayangkan pemadaman sama sekali, iaitu, secara hipotesis, ia harus disimpan selama-lamanya.
Akhirnya, rangkaian generasi kelima yang sama. Sebagai tambahan kepada maklumat sebenar yang dihantar, rangkaian sedemikian itu sendiri adalah penjana data yang besar: log aktiviti, rekod panggilan, hasil perantaraan interaksi mesin-ke-mesin, dsb.
Semua ini memerlukan pembangunan pendekatan dan algoritma baharu untuk menyimpan dan memproses maklumat. Dan pendekatan sedemikian muncul.
Teknologi era baru
Terdapat tiga kumpulan penyelesaian yang direka untuk menampung keperluan baharu untuk sistem storan maklumat: pengenalan kecerdasan buatan, evolusi teknikal media storan dan inovasi dalam bidang seni bina sistem. Mari kita mulakan dengan AI.
Dalam penyelesaian Huawei baharu, kecerdasan buatan digunakan pada tahap storan itu sendiri, yang dilengkapi dengan pemproses AI yang membolehkan sistem menganalisis keadaannya secara bebas dan meramalkan kegagalan. Jika sistem storan disambungkan kepada awan perkhidmatan yang mempunyai keupayaan pengkomputeran yang ketara, kecerdasan buatan akan dapat memproses lebih banyak maklumat dan meningkatkan ketepatan hipotesisnya.
Selain kegagalan, AI sedemikian boleh meramalkan beban puncak masa hadapan dan baki masa sehingga kapasiti habis. Ini membolehkan anda mengoptimumkan prestasi dan menskalakan sistem sebelum sebarang peristiwa yang tidak diingini berlaku.
Sekarang mengenai evolusi media storan. Pemacu kilat pertama dibuat menggunakan teknologi SLC (Sel Tahap Tunggal). Peranti berdasarkannya adalah pantas, boleh dipercayai, stabil, tetapi mempunyai kapasiti kecil dan sangat mahal. Pertumbuhan volum dan pengurangan harga dicapai melalui konsesi teknikal tertentu, yang menyebabkan kelajuan, kebolehpercayaan dan hayat perkhidmatan pemacu telah dikurangkan. Walau bagaimanapun, trend itu tidak menjejaskan sistem storan itu sendiri, yang, disebabkan oleh pelbagai helah seni bina, secara amnya menjadi lebih produktif dan lebih dipercayai.
Tetapi mengapa anda memerlukan sistem storan All-Flash? Tidak cukupkah dengan hanya menggantikan HDD lama dalam sistem pengendalian dengan SSD baharu dengan faktor bentuk yang sama? Ini diperlukan untuk menggunakan semua sumber pemacu keadaan pepejal baharu dengan berkesan, yang sememangnya mustahil dalam sistem lama.
Huawei, sebagai contoh, telah membangunkan beberapa teknologi untuk menyelesaikan masalah ini, salah satunya ialah , yang memungkinkan untuk mengoptimumkan interaksi "pengawal cakera" sebanyak mungkin.
Pengenalpastian pintar memungkinkan untuk menguraikan data kepada beberapa aliran dan menghadapi beberapa fenomena yang tidak diingini, seperti (tulis penguatan). Pada masa yang sama, algoritma pemulihan baharu, khususnya , meningkatkan kelajuan pembinaan semula, mengurangkan masanya kepada jumlah yang tidak penting sama sekali.
Kegagalan, kesesakan, pengumpulan sampah - faktor ini juga tidak lagi menjejaskan prestasi sistem storan terima kasih kepada pengubahsuaian khas pada pengawal.
Dan storan data blok juga sedang bersedia untuk bertemu . Mari kita ingat bahawa skema klasik untuk mengatur akses data berfungsi seperti ini: pemproses mengakses pengawal RAID melalui bas PCI Express. Itu, seterusnya, berinteraksi dengan cakera mekanikal melalui SCSI atau SAS. Penggunaan NVMe pada bahagian belakang dengan ketara mempercepatkan keseluruhan proses, tetapi ia mempunyai satu kelemahan: pemacu perlu disambungkan terus kepada pemproses untuk memberikannya akses terus ke memori.
Fasa pembangunan teknologi seterusnya yang kita lihat sekarang ialah penggunaan NVMe-oF (NVMe over Fabrics). Bagi teknologi blok Huawei, mereka sudah menyokong FC-NVMe (NVMe melalui Saluran Fiber), dan NVMe melalui RoCE (RDMA melalui Ethernet Tertumpu) sedang dalam perjalanan. Model ujian agak berfungsi; terdapat beberapa bulan lagi sebelum pembentangan rasmi mereka. Ambil perhatian bahawa semua ini akan muncul dalam sistem yang diedarkan, di mana "Ethernet tanpa rugi" akan mendapat permintaan yang tinggi.
Cara tambahan untuk mengoptimumkan operasi storan teragih ialah pengabaian sepenuhnya pencerminan data. Penyelesaian Huawei tidak lagi menggunakan n salinan, seperti dalam RAID 1 biasa, dan beralih sepenuhnya ke (Pengekodan pemadaman). Pakej matematik khas mengira blok kawalan pada tempoh tertentu, yang membolehkan anda memulihkan data perantaraan sekiranya berlaku kehilangan.
Mekanisme deduplikasi dan mampatan menjadi wajib. Jika dalam sistem storan klasik kita dihadkan oleh bilangan pemproses yang dipasang dalam pengawal, maka dalam sistem storan berskala mendatar yang diedarkan, setiap nod mengandungi semua yang diperlukan: ββcakera, memori, pemproses dan saling bersambung. Sumber-sumber ini mencukupi untuk memastikan penyahduplikasian dan pemampatan mempunyai kesan yang minimum terhadap prestasi.
Dan mengenai kaedah pengoptimuman perkakasan. Di sini adalah mungkin untuk mengurangkan beban pada pemproses pusat dengan bantuan cip khusus tambahan (atau blok khusus dalam pemproses itu sendiri), yang memainkan peranan (TCP/IP Offload Engine) atau menjalankan tugas matematik EC, penyahduplikasian dan pemampatan.
Pendekatan baharu kepada storan data terkandung dalam seni bina terbahagi (teredar). Sistem storan berpusat mempunyai kilang pelayan yang disambungkan melalui Saluran Fiber ke dengan banyak tatasusunan. Kelemahan pendekatan ini ialah kesukaran untuk menskala dan memastikan tahap perkhidmatan yang terjamin (dari segi prestasi atau kependaman). Sistem hyperconverged menggunakan hos yang sama untuk menyimpan dan memproses maklumat. Ini memberikan skop yang hampir tidak terhad untuk penskalaan, tetapi memerlukan kos yang tinggi untuk mengekalkan integriti data.
Berbeza dengan kedua-dua perkara di atas, seni bina terpisah membayangkan membahagikan sistem kepada fabrik pengkomputeran dan sistem storan mendatar. Ini memberikan faedah kedua-dua seni bina dan membenarkan penskalaan hampir tidak terhad hanya elemen yang tidak mempunyai prestasi.
Daripada integrasi kepada penumpuan
Tugas klasik, yang perkaitannya hanya berkembang sejak 15 tahun yang lalu, ialah keperluan untuk menyediakan storan blok, akses fail, akses kepada objek secara serentak, operasi ladang data besar, dll. Icing pada kek juga boleh menjadi, sebagai contoh, sistem sandaran pada pita magnetik.
Pada peringkat pertama, hanya pengurusan perkhidmatan ini boleh disatukan. Sistem storan data heterogen disambungkan kepada beberapa perisian khusus, yang melaluinya pentadbir mengagihkan sumber daripada kumpulan yang tersedia. Tetapi oleh kerana kolam ini mempunyai perkakasan yang berbeza, pemindahan beban antara mereka adalah mustahil. Pada tahap penyepaduan yang lebih tinggi, pengagregatan berlaku pada tahap pintu masuk. Jika perkongsian fail tersedia, ia boleh disampaikan melalui protokol yang berbeza.
Kaedah penumpuan paling maju yang kini tersedia untuk kami melibatkan penciptaan sistem hibrid universal. Apa yang sepatutnya menjadi milik kita . Akses universal menggunakan sumber perkakasan yang sama, secara logik dibahagikan kepada kumpulan yang berbeza, tetapi membenarkan pemindahan beban. Semua ini boleh dilakukan melalui konsol pengurusan tunggal. Dengan cara ini, kami dapat melaksanakan konsep "satu pusat data - satu sistem storan."
Kos menyimpan maklumat kini menentukan banyak keputusan seni bina. Dan walaupun ia boleh diletakkan di hadapan dengan selamat, hari ini kita membincangkan storan "langsung" dengan akses aktif, jadi prestasi juga mesti diambil kira. Satu lagi sifat penting sistem teragih generasi akan datang ialah penyatuan. Lagipun, tiada siapa yang mahu mempunyai beberapa sistem yang berbeza dikawal daripada konsol yang berbeza. Semua kualiti ini terkandung dalam siri baharu produk Huawei .
Sistem penyimpanan besar-besaran generasi baru
OceanStor Pacific memenuhi keperluan kebolehpercayaan enam sembilan (99,9999%) dan boleh digunakan untuk mencipta pusat data kelas HyperMetro. Dengan jarak antara dua pusat data sehingga 100 km, sistem menunjukkan kependaman tambahan 2 ms, yang memungkinkan untuk membina sebarang penyelesaian tahan bencana berdasarkan asasnya, termasuk yang mempunyai pelayan kuorum.
Produk siri baharu menunjukkan kepelbagaian protokol. Sudah, OceanStor 100D menyokong akses blok, akses objek dan akses Hadoop. Akses fail juga akan dilaksanakan dalam masa terdekat. Tidak perlu menyimpan berbilang salinan data jika ia boleh dikeluarkan melalui protokol yang berbeza.
Nampaknya, apakah kaitan konsep "rangkaian tanpa kerugian" dengan sistem storan? Hakikatnya ialah sistem storan data teragih dibina berdasarkan rangkaian pantas yang menyokong algoritma yang sesuai dan mekanisme RoCE. Sistem kecerdasan buatan yang disokong oleh suis kami membantu meningkatkan lagi kelajuan rangkaian dan mengurangkan kependaman. . Keuntungan dalam prestasi storan apabila mengaktifkan AI Fabric boleh mencapai 20%.
Apakah nod storan teragih OceanStor Pacific baharu? Penyelesaian faktor bentuk 5U termasuk 120 pemacu dan boleh menggantikan tiga nod klasik, yang memberikan penjimatan lebih daripada dua kali ganda dalam ruang rak. Dengan tidak menyimpan salinan, kecekapan pemacu meningkat dengan ketara (sehingga +92%).
Kami terbiasa dengan hakikat bahawa storan yang ditentukan perisian ialah perisian khas yang dipasang pada pelayan klasik. Tetapi sekarang, untuk mencapai parameter optimum, penyelesaian seni bina ini juga memerlukan nod khas. Ia terdiri daripada dua pelayan berdasarkan pemproses ARM yang menguruskan pelbagai pemacu tiga inci.
Pelayan ini tidak sesuai untuk penyelesaian hiperkonvergen. Pertama, terdapat beberapa aplikasi untuk ARM, dan kedua, sukar untuk mengekalkan keseimbangan beban. Kami mencadangkan pemindahan ke storan berasingan: kluster pengkomputeran, yang diwakili oleh pelayan klasik atau rak, beroperasi secara berasingan, tetapi disambungkan ke nod storan OceanStor Pacific, yang turut melaksanakan tugas langsung mereka. Dan ia membenarkan dirinya sendiri.
Sebagai contoh, mari ambil penyelesaian storan data besar klasik dengan sistem hyperconverged yang menduduki 15 rak pelayan. Jika anda mengagihkan beban antara pelayan pengkomputeran yang berasingan dan nod storan OceanStor Pacific, mengasingkannya antara satu sama lain, bilangan rak yang diperlukan akan dikurangkan separuh! Ini mengurangkan kos operasi pusat data dan mengurangkan jumlah kos pemilikan. Dalam dunia di mana jumlah maklumat yang disimpan meningkat sebanyak 30% setahun, kelebihan tersebut tidak dibuang begitu sahaja.
***
Anda boleh mendapatkan maklumat lanjut tentang penyelesaian Huawei dan senario aplikasinya di laman web kami atau dengan menghubungi terus wakil syarikat.
Sumber: www.habr.com