Dina iki kita bakal ngomong babagan cara paling apik kanggo nyimpen data ing donya ing ngendi jaringan generasi kaping lima, pemindai genom lan mobil nyopir dhewe ngasilake data saben dina luwih akeh tinimbang kabeh manungsa sing diasilake sadurunge revolusi industri.
Donya kita ngasilake informasi luwih akeh. Sawetara bagéan saka iku fleeting lan ilang minangka cepet sing diklumpukake. Liyane kudu disimpen luwih suwe, lan liyane malah dirancang "kanggo berabad-abad" - paling ora sing kita deleng saiki. Aliran informasi dumunung ing pusat data kanthi cepet nganti pendekatan anyar, teknologi apa wae sing dirancang kanggo nyukupi "panjaluk" tanpa wates iki kanthi cepet dadi lungse.
40 taun pangembangan sistem panyimpenan sing disebarake
Panyimpenan jaringan pisanan ing wangun sing kita kenal muncul ing taun 1980-an. Akeh sing wis nemoni NFS (Network File System), AFS (Andrew File System) utawa Coda. A dasawarsa mengko, fashion lan teknologi wis diganti, lan sistem file mbagekke wis menehi cara kanggo sistem panyimpenan clustered adhedhasar GPFS (General Parallel File System), CFS (Clustered File Systems) lan StorNext. Panyimpenan blok arsitektur klasik digunakake minangka basis, ing ndhuwur sistem file siji digawe nggunakake lapisan piranti lunak. Iki lan solusi sing padha isih digunakake, manggoni niche lan cukup dikarepake.
Ing wiwitan milenium, paradigma panyimpenan sing disebarake rada owah, lan sistem kanthi arsitektur SN (Shared-Nothing) njupuk posisi utama. Ana transisi saka panyimpenan kluster menyang panyimpenan ing kelenjar individu, sing, minangka aturan, minangka server klasik kanthi piranti lunak sing nyedhiyakake panyimpenan sing dipercaya; Ing prinsip kasebut, ucapake, HDFS (Hadoop Distributed File System) lan GFS (Global File System) dibangun.
Nyedhaki taun 2010-an, konsep-konsep sing ndasari sistem panyimpenan sing disebarake wiwit katon ing produk komersial lengkap, kayata VMware vSAN, Dell EMC Isilon lan kita. . Ing mburi platform kasebut ora ana komunitas penggemar maneh, nanging vendor khusus sing tanggung jawab kanggo fungsi, dhukungan, lan layanan produk lan njamin pangembangan luwih lanjut. Solusi kasebut paling akeh dikarepake ing sawetara wilayah.
operator telekomunikasi
Bisa uga salah sawijining konsumen paling tuwa saka sistem panyimpenan sing disebarake yaiku operator telekomunikasi. Diagram kasebut nuduhake klompok aplikasi sing ngasilake akeh data. OSS (Sistem Dhukungan Operasi), MSS (Layanan Dhukungan Manajemen) lan BSS (Sistem Dhukungan Bisnis) makili telung lapisan piranti lunak pelengkap sing dibutuhake kanggo nyedhiyakake layanan kanggo pelanggan, laporan keuangan menyang panyedhiya lan dhukungan operasional kanggo insinyur operator.
Asring, data saka lapisan iki akeh banget dicampur karo saben liyane, lan kanggo ngindhari akumulasi salinan sing ora perlu, panyimpenan sing disebarake digunakake, sing nglumpukake kabeh informasi sing teka saka jaringan operasi. Panyimpenan digabungake dadi blumbang umum, sing diakses kabeh layanan.
Petungan kita nuduhake yen transisi saka sistem panyimpenan klasik kanggo mblokir sistem panyimpenan ngidini sampeyan ngirit nganti 70% saka budget mung kanthi ninggalake sistem panyimpenan dhuwur-end khusus lan nggunakake server arsitektur klasik konvensional (biasane x86), bisa digunakake bebarengan karo khusus. piranti lunak. Operator seluler wis suwe wiwit tuku solusi kasebut kanthi jumlah akeh. Khususé, operator Rusia wis nggunakake produk kasebut saka Huawei luwih saka enem taun.
Ya, sawetara tugas ora bisa rampung nggunakake sistem sing disebarake. Contone, kanthi syarat kinerja tambah utawa kompatibilitas karo protokol lawas. Nanging paling ora 70% data sing diproses dening operator bisa ditemokake ing blumbang sing disebarake.
Sektor perbankan
Ing bank apa wae ana macem-macem sistem IT, wiwit saka proses lan diakhiri karo sistem perbankan otomatis. Infrastruktur iki uga bisa digunakake kanthi jumlah informasi sing akeh, dene umume tugas ora mbutuhake peningkatan kinerja lan keandalan sistem panyimpenan, umpamane, pangembangan, tes, otomatisasi proses kantor, lsp. Ing kene, panggunaan sistem panyimpenan klasik bisa uga. nanging saben taun saya kurang bathi. Kajaba iku, ing kasus iki ora ana keluwesan nggunakake sumber daya sistem panyimpenan, kinerja kang diwilang adhedhasar beban puncak.
Nalika nggunakake sistem panyimpenan sing disebarake, simpul kasebut, sing sejatine minangka server biasa, bisa diowahi sawayah-wayah, umpamane, dadi peternakan server lan digunakake minangka platform komputasi.
Data lakes
Diagram ing ndhuwur nuduhake dhaptar konsumen layanan sing khas . Iki bisa uga dadi layanan e-government (contone, "Layanan Pemerintah"), perusahaan digital, lembaga keuangan, lan liya-liyane. Kabeh mau kudu nggarap informasi heterogen kanthi volume gedhe.
Nggunakake sistem panyimpenan klasik kanggo ngatasi masalah kasebut ora efektif, amarga mbutuhake akses kinerja dhuwur kanggo mblokir database lan akses biasa menyang perpustakaan dokumen sing dipindai sing disimpen minangka obyek. Contone, sistem pesenan liwat portal web uga bisa disambung ing kene. Kanggo ngleksanakake kabeh iki ing platform panyimpenan klasik, sampeyan butuh peralatan gedhe kanggo macem-macem tugas. Siji sistem panyimpenan universal horisontal bisa uga nutupi kabeh tugas sing wis kadhaptar sadurunge: sampeyan mung kudu nggawe sawetara blumbang kanthi karakteristik panyimpenan sing beda.
Generator informasi anyar
Jumlah informasi sing disimpen ing donya saya tambah udakara 30% saben taun. Iki warta apik kanggo vendor panyimpenan, nanging apa lan bakal dadi sumber utama data iki?
Sepuluh taun kepungkur, jaringan sosial dadi generator kaya ngono, iki mbutuhake nggawe akeh algoritma anyar, solusi hardware, lan liya-liyane. Saiki ana telung pembalap utama kanggo pertumbuhan volume panyimpenan. Sing pertama yaiku komputasi awan. Saiki, kira-kira 70% perusahaan nggunakake layanan awan kanthi cara siji utawa liyane. Iki bisa dadi sistem surat elektronik, salinan serep lan entitas virtual liyane.
Pembalap kapindho yaiku jaringan generasi kaping lima. Iki minangka kecepatan anyar lan volume transfer data anyar. Miturut ramalan kita, adopsi 5G sing nyebar bakal nyebabake penurunan permintaan kanggo kertu memori lampu kilat. Ora ketompo carane akeh memori ing telpon, iku isih entek, lan yen gadget duwe saluran 100 megabit, ora perlu kanggo nyimpen foto lokal.
Klompok katelu alasan kenapa panjaluk sistem panyimpenan saya tambah akeh kalebu pangembangan intelijen buatan kanthi cepet, transisi menyang analytics data gedhe lan tren menyang otomatisasi universal kabeh bisa.
A fitur saka "lalu lintas anyar" iku sawijining . Kita kudu nyimpen data iki tanpa nemtokake format kanthi cara apa wae. Dibutuhake mung kanggo maca sabanjure. Contone, kanggo nemtokake jumlah silihan sing kasedhiya, sistem skor perbankan bakal ndeleng foto sing dikirim ing jaringan sosial, nemtokake manawa sampeyan kerep pindhah menyang segara lan ing restoran, lan ing wektu sing padha sinau ekstrak saka dokumen medis sing kasedhiya. marang iku. Data kasebut, ing tangan siji, komprehensif, nanging ing sisih liya, ora homogen.
Samudra data sing ora terstruktur
Masalah apa sing kedadeyan saka "data anyar"? Pisanan ing antarane, mesthi, volume informasi sing akeh lan perkiraan wektu panyimpenan. Mobil otonom tanpa driver modern mung ngasilake data nganti 60 terabyte saben dina saka kabeh sensor lan mekanisme. Kanggo ngembangake algoritma gerakan anyar, informasi iki kudu diproses ing dina sing padha, yen ora bakal mulai nglumpukake. Ing wektu sing padha, kudu disimpen nganti suwe - puluhan taun. Mung banjur bakal bisa ing mangsa kanggo nggawe kesimpulan adhedhasar conto analitis gedhe.
Siji piranti kanggo deciphering urutan genetis ngasilake kira-kira 6 TB saben dina. Lan data sing diklumpukake kanthi bantuan ora ateges pambusakan, yaiku, kanthi hipotesis, kudu disimpen ing salawas-lawase.
Pungkasan, jaringan generasi kaping lima padha. Saliyane informasi sing dikirimake nyata, jaringan kasebut dhewe minangka generator data sing gedhe: log kegiatan, cathetan telpon, asil intermediasi interaksi mesin-mesin, lsp.
Kabeh iki mbutuhake pangembangan pendekatan lan algoritma anyar kanggo nyimpen lan ngolah informasi. Lan pendekatan kasebut muncul.
Teknologi jaman anyar
Ana telung klompok solusi sing dirancang kanggo ngrampungake syarat anyar kanggo sistem panyimpenan informasi: introduksi intelijen buatan, evolusi teknis media panyimpenan lan inovasi ing bidang arsitektur sistem. Ayo dadi miwiti karo AI.
Ing solusi Huawei anyar, intelijen buatan digunakake ing tingkat panyimpenan dhewe, sing dilengkapi prosesor AI sing ngidini sistem kasebut kanthi mandiri nganalisa kahanan lan prédhiksi kegagalan. Yen sistem panyimpenan disambungake menyang awan layanan sing nduweni kemampuan komputasi sing signifikan, intelijen buatan bakal bisa ngolah informasi luwih akeh lan nambah akurasi hipotesis kasebut.
Saliyane gagal, AI kasebut bisa prédhiksi beban puncak ing mangsa ngarep lan wektu sing isih ana nganti kapasitas entek. Iki ngidini sampeyan ngoptimalake kinerja lan skala sistem sadurunge kedadeyan sing ora dikarepake.
Saiki babagan evolusi media panyimpenan. Flash drive pisanan digawe nggunakake teknologi SLC (Single-Level Cell). Piranti adhedhasar iku cepet, dipercaya, stabil, nanging nduweni kapasitas cilik lan larang banget. Wutah volume lan pangurangan rega digayuh liwat konsesi teknis tartamtu, amarga kacepetan, linuwih lan umur layanan drive suda. Nanging, tren kasebut ora mengaruhi sistem panyimpenan dhewe, sing, amarga macem-macem trik arsitektur, umume dadi luwih produktif lan luwih dipercaya.
Nanging kenapa sampeyan butuh sistem panyimpenan All-Flash? Apa ora cukup mung ngganti HDD lawas ing sistem operasi sing wis ana karo SSD anyar kanthi faktor wangun sing padha? Iki dibutuhake supaya bisa nggunakake kabeh sumber daya drive solid-state anyar kanthi efektif, sing ora bisa ditindakake ing sistem lawas.
Huawei, umpamane, wis ngembangake sawetara teknologi kanggo ngatasi masalah iki, salah sijine yaiku , sing ndadekake bisa ngoptimalake interaksi "pengontrol disk" sabisa-bisa.
Identifikasi cerdas ndadekake data bisa diurai dadi sawetara aliran lan ngatasi sawetara fenomena sing ora dikarepake, kayata (nulis amplifikasi). Ing wektu sing padha, algoritma pemulihan anyar, utamane , nambah kacepetan mbangun maneh, nyuda wektu kanggo jumlah sing ora pati penting.
Gagal, overcrowding, koleksi sampah - faktor kasebut uga ora mengaruhi kinerja sistem panyimpenan amarga modifikasi khusus kanggo pengontrol.
Lan panyimpenan data pamblokiran uga nyiapake kanggo ketemu . Elinga yen skema klasik kanggo ngatur akses data bisa digunakake kaya mangkene: prosesor ngakses pengontrol RAID liwat bus PCI Express. Sing, ing siji, sesambungan karo disk mechanical liwat SCSI utawa SAS. Panggunaan NVMe ing backend Ngartekno nyepetake kabeh proses, nanging ana siji drawback: drive kudu disambungake langsung menyang prosesor kanggo nyedhiyani akses langsung menyang memori.
Tahap sabanjure pangembangan teknologi sing saiki kita deleng yaiku nggunakake NVMe-oF (NVMe over Fabrics). Kanggo teknologi pemblokiran Huawei, dheweke wis ndhukung FC-NVMe (NVMe liwat Fiber Channel), lan NVMe liwat RoCE (RDMA liwat Converged Ethernet) lagi mlaku. Model tes cukup fungsional; isih ana sawetara wulan sadurunge presentasi resmi. Elinga yen kabeh iki bakal katon ing sistem sing disebarake, ing ngendi "Ethernet lossless" bakal dikarepake.
Cara tambahan kanggo ngoptimalake operasi panyimpenan sing disebarake yaiku nglirwakake pangilon data. solusi Huawei maneh nggunakake n salinan, minangka ing RAID biasanipun 1, lan rampung ngalih menyang (Erasure coding). Paket matematika khusus ngetung pamblokiran kontrol ing periodisitas tartamtu, sing ngidini sampeyan mulihake data penengah yen ana mundhut.
Mekanisme deduplikasi lan kompresi dadi wajib. Yen ing sistem panyimpenan klasik kita diwatesi kanthi jumlah prosesor sing dipasang ing pengontrol, banjur ing sistem panyimpenan sing bisa diukur kanthi horisontal, saben simpul ngemot kabeh sing dibutuhake: disk, memori, prosesor lan interkoneksi. Sumber daya kasebut cukup kanggo mesthekake yen deduplikasi lan kompresi duwe pengaruh minimal ing kinerja.
Lan babagan cara optimasi hardware. Ing kene bisa nyuda beban ing prosesor tengah kanthi bantuan chip khusus tambahan (utawa blok khusus ing prosesor kasebut dhewe), sing nduwe peran. (TCP / IP Offload Engine) utawa njupuk tugas matematika EC, deduplikasi lan kompresi.
Pendekatan anyar kanggo panyimpenan data diwujudake ing arsitektur sing dipisahake (disebarake). Sistem panyimpenan terpusat wis pabrik server disambungake liwat Serat Channel kanggo karo akeh susunan. Kerugian saka pendekatan iki yaiku kesulitan skala lan njamin tingkat layanan sing dijamin (ing babagan kinerja utawa latensi). Sistem Hyperconverged nggunakake host sing padha kanggo nyimpen lan ngolah informasi. Iki menehi orane katrangan sakbenere Unlimited kanggo njongko, nanging entails biaya dhuwur kanggo njaga integritas data.
Ora kaya loro kasebut ing ndhuwur, arsitektur sing dipisahake mbagi sistem dadi kain komputasi lan sistem panyimpenan horisontal. Iki menehi keuntungan saka loro arsitektur lan ngidini scaling meh Unlimited mung unsur sing kurang kinerja.
Saka integrasi menyang konvergensi
Tugas klasik, relevansi sing mung tuwuh sajrone 15 taun kepungkur, yaiku kabutuhan kanggo nyedhiyakake panyimpenan blok, akses file, akses menyang obyek, operasi farm data gedhe, lan liya-liyane. dadi, contone, sistem serep ing tape Magnetik.
Ing tataran kapisan, mung manajemen layanan kasebut bisa dadi siji. Sistem panyimpenan data heterogen disambungake menyang sawetara piranti lunak khusus, ing ngendi administrator mbagekke sumber daya saka blumbang sing kasedhiya. Nanging wiwit pools iki hardware beda, mbukak migrasi antarane wong-wong mau ora mungkin. Ing tingkat integrasi sing luwih dhuwur, agregasi dumadi ing tingkat gateway. Yen enggo bareng file kasedhiya, bisa dilayani liwat protokol sing beda.
Cara konvergensi paling maju sing saiki kasedhiya kanggo kita kalebu nggawe sistem hibrida universal. Persis apa kita kudu dadi . Akses universal nggunakake sumber daya hardware padha, logis dipérang dadi pools beda, nanging ngidini kanggo migrasi mbukak. Kabeh iki bisa ditindakake liwat konsol manajemen siji. Kanthi cara iki, kita bisa ngetrapake konsep "siji pusat data - siji sistem panyimpenan."
Biaya nyimpen informasi saiki nemtokake akeh pancasan arsitektur. Lan sanajan bisa dilebokake kanthi aman ing ngarep, dina iki kita ngrembug panyimpenan "urip" kanthi akses aktif, saengga kinerja uga kudu dianggep. Properti penting liyane saka sistem distribusi generasi sabanjure yaiku manunggal. Sawise kabeh, ora ana sing pengin duwe sawetara sistem sing beda-beda sing dikontrol saka konsol sing beda. Kabeh kuwalitas kasebut diwujudake ing seri anyar produk Huawei .
Sistem panyimpenan massa generasi anyar
OceanStor Pacific nyukupi syarat linuwih enem sanga (99,9999%) lan bisa digunakake kanggo nggawe pusat data kelas HyperMetro. Kanthi jarak antarane rong pusat data nganti 100 km, sistem kasebut nuduhake latensi tambahan 2 ms, sing ndadekake bisa mbangun solusi tahan bencana apa wae, kalebu sing duwe server kuorum.
Produk seri anyar nuduhake versatility protokol. Wis, OceanStor 100D ndhukung akses blokir, akses obyek lan akses Hadoop. Akses file uga bakal ditindakake ing mangsa ngarep. Ora perlu nyimpen pirang-pirang salinan data yen bisa ditanggepi liwat protokol sing beda.
Iku bakal katon, apa konsep "jaringan lossless" apa karo sistem panyimpenan? Kasunyatane yaiku sistem panyimpenan data sing disebarake dibangun kanthi basis jaringan cepet sing ndhukung algoritma sing cocog lan mekanisme RoCE. Sistem intelijen buatan sing didhukung dening switch kita mbantu nambah kacepetan jaringan lan nyuda latensi. . Keuntungan ing kinerja panyimpenan nalika ngaktifake AI Fabric bisa tekan 20%.
Apa simpul panyimpenan sing disebarake OceanStor Pacific anyar? Solusi faktor wangun 5U kalebu 120 drive lan bisa ngganti telung simpul klasik, sing nyedhiyakake luwih saka rong tabungan ing papan rak. Kanthi ora nyimpen salinan, efisiensi drive mundhak akeh (nganti +92%).
Kita wis biasa yen panyimpenan sing ditemtokake piranti lunak minangka piranti lunak khusus sing diinstal ing server klasik. Nanging saiki, kanggo entuk parameter optimal, solusi arsitektur iki uga mbutuhake simpul khusus. Iki kalebu rong server adhedhasar prosesor ARM sing ngatur macem-macem drive telung inci.
Server iki ora cocok kanggo solusi hyperconverged. Kaping pisanan, ana sawetara aplikasi kanggo ARM, lan nomer loro, angel njaga imbangan beban. We propose obah kanggo panyimpenan kapisah: cluster komputasi, dituduhake dening server klasik utawa rak, makaryakke dhewe, nanging disambungake menyang simpul panyimpenan OceanStor Pacific, kang uga nindakake tugas langsung. Lan mbenerake dhewe.
Contone, ayo njupuk solusi panyimpenan data gedhe klasik kanthi sistem hyperconverged sing manggoni 15 rak server. Yen sampeyan nyebarake beban ing antarane server komputasi sing kapisah lan simpul panyimpenan OceanStor Pacific, misahake saka siji liyane, jumlah rak sing dibutuhake bakal dikurangi! Iki nyuda biaya operasi pusat data lan nyuda total biaya kepemilikan. Ing donya ing ngendi volume informasi sing disimpen saya tambah 30% saben taun, keuntungan kasebut ora dibuwang.
***
Sampeyan bisa entuk informasi luwih lengkap babagan solusi Huawei lan skenario aplikasi ing kita utawa kanthi langsung hubungi wakil perusahaan.
Source: www.habr.com