Dinten ieu kami bakal ngobrol ngeunaan kumaha pangalusna pikeun nyimpen data di dunya dimana jaringan generasi kalima, scanner génom jeung mobil timer nyetir ngahasilkeun leuwih data per poé ti sakabéh umat manusa dihasilkeun saméméh revolusi industri.
Dunya urang ngahasilkeun langkung seueur inpormasi. Sababaraha bagian tina éta sakedapan sareng leungit gancang-gancang dikumpulkeun. Anu sanés kedah disimpen langkung lami, sareng anu sanés bahkan dirarancang "pikeun abad" - sahenteuna éta anu urang tingali ti ayeuna. Aliran inpormasi netep di pusat data kalayan gancang dugi ka pendekatan anyar, téknologi naon waé anu dirancang pikeun nyugemakeun "paménta" anu teu aya watesna ieu gancang janten leungit.
40 taun ngembangkeun sistem panyimpen anu disebarkeun
Panyimpenan jaringan munggaran dina bentuk anu urang wawuh muncul dina taun 1980-an. Seueur anjeun parantos mendakan NFS (Network File System), AFS (Andrew File System) atanapi Coda. A dékade engké, fashion jeung téhnologi geus robah, sarta sistem file disebarkeun geus masihan jalan ka sistem gudang clustered dumasar kana GPFS (General Parallel File System), CFS (Clustered File Systems) sarta StorNext. Panyimpen blok arsitéktur klasik dianggo salaku dasar, di luhurna sistem file tunggal diciptakeun nganggo lapisan parangkat lunak. Ieu sareng solusi anu sami masih dianggo, ngeusian Ecological maranéhanana sareng rada dipénta.
Dina péngkolan milénium, paradigma panyimpenan anu disebarkeun rada robih, sareng sistem sareng arsitéktur SN (Dibagi-Euweuh) nyandak posisi utama. Aya transisi tina gudang klaster ka panyimpenan dina titik individu, nu, sakumaha aturan, éta server Palasik kalawan software nyadiakeun gudang dipercaya; Dina prinsip sapertos kitu, sebutkeun, HDFS (Hadoop Distributed File System) sareng GFS (Global File System) diwangun.
Deukeut ka taun 2010-an, konsép anu aya dina sistem panyimpen anu disebarkeun beuki mimiti ditingali dina produk komérsial anu lengkep, sapertos VMware vSAN, Dell EMC Isilon sareng kami. . Di balik platform anu disebatkeun teu aya deui komunitas peminat, tapi ngical paralatan khusus anu tanggung jawab pikeun fungsionalitas, dukungan, sareng jasa produk sareng ngajamin pangwangunan salajengna. Solusi sapertos kitu paling dipénta di sababaraha daérah.
operator telekomunikasi
Panginten salah sahiji konsumen pangkolotna tina sistem panyimpenan anu disebarkeun nyaéta operator telekomunikasi. Diagram nunjukkeun grup aplikasi mana anu ngahasilkeun data anu paling ageung. OSS (Sistem Rojongan Operasi), MSS (Layanan Rojongan Manajemén) sareng BSS (Sistem Rojongan Usaha) ngagambarkeun tilu lapisan parangkat lunak pelengkap anu diperyogikeun pikeun nyayogikeun palanggan, ngalaporkeun kauangan ka panyadia sareng dukungan operasional ka insinyur operator.
Seringna, data lapisan-lapisan ieu dicampur pisan, sareng pikeun ngahindarkeun akumulasi salinan anu teu dipikabutuh, panyimpen disebarkeun dianggo, anu ngumpulkeun jumlah inpormasi anu asalna tina jaringan operasi. Panyimpenan digabungkeun kana kolam renang umum, anu diaksés ku sadaya jasa.
Itungan kami nunjukkeun yén transisi tina sistem panyimpen klasik pikeun meungpeuk sistem panyimpen ngamungkinkeun anjeun pikeun ngahémat dugi ka 70% tina anggaran ngan ukur ngantunkeun sistem panyimpen hi-end khusus sareng nganggo server arsitéktur klasik konvensional (biasana x86), damel babarengan sareng khusus. software. Operator sélulér parantos lami mimiti mésér solusi sapertos kitu dina jumlah anu ageung. Khususna, operator Rusia parantos nganggo produk sapertos ti Huawei langkung ti genep taun.
Leres, sababaraha pancén teu tiasa réngsé nganggo sistem anu disebarkeun. Contona, kalawan ngaronjat sarat kinerja atawa kasaluyuan jeung protokol heubeul. Tapi sahenteuna 70% data anu diolah ku operator tiasa ditempatkeun dina kolam renang anu disebarkeun.
Sektor perbankan
Di bank mana waé aya seueur sistem IT anu béda, mimitian ti ngolah sareng ditungtungan ku sistem perbankan otomatis. Infrastruktur ieu ogé tiasa dianggo sareng seueur inpormasi, sedengkeun sabagéan ageung tugas henteu meryogikeun kanaékan kinerja sareng réliabilitas sistem panyimpen, contona, pamekaran, uji, automation prosés kantor, jsb. tapi unggal taun éta kirang na kirang nguntungkeun. Sajaba ti éta, dina hal ieu euweuh kalenturan dina pamakéan sumberdaya sistem gudang, kinerja nu diitung dumasar kana beban puncak.
Nalika nganggo sistem panyimpen anu disebarkeun, titik-titikna, anu saleresna mangrupikeun server biasa, tiasa dirobih iraha waé, contona, janten tegalan server sareng dianggo salaku platform komputasi.
Tasik data
Diagram di luhur nembongkeun daptar konsumén jasa has . Ieu tiasa janten jasa e-government (contona, "Layanan Pamaréntah"), perusahaan digitalisasi, lembaga keuangan, jsb. Sadayana kedah damel sareng inpormasi hétérogén anu ageung.
Ngagunakeun sistem gudang klasik pikeun ngajawab masalah sapertos teu epektip, sabab merlukeun duanana aksés-kinerja tinggi pikeun meungpeuk database jeung aksés biasa ka perpustakaan dokumén discan disimpen salaku objék. Salaku conto, sistem pesenan via portal wéb ogé tiasa dikaitkeun ka dieu. Pikeun nerapkeun sadayana ieu dina platform panyimpenan klasik, anjeun peryogi sakumpulan alat anu ageung pikeun sababaraha tugas. Hiji sistem panyimpen universal horisontal ogé tiasa nutupan sadaya tugas anu didaptarkeun sateuacana: anjeun ngan ukur kedah nyiptakeun sababaraha kolam renang anu gaduh ciri panyimpen anu béda di jerona.
Generators inpormasi anyar
Jumlah inpormasi anu disimpen di dunya ngembang sakitar 30% per taun. Ieu warta alus keur ngical paralatan gudang, tapi naon jeung bakal jadi sumber utama data ieu?
Sapuluh taun ka pengker, jaringan sosial janten generator sapertos, ieu diperlukeun kreasi angka nu gede ngarupakeun algoritma anyar, solusi hardware, jsb Ayeuna aya tilu panggerak utama pikeun tumuwuhna volume gudang. Anu kahiji nyaéta komputasi awan. Ayeuna, sakitar 70% perusahaan nganggo jasa awan dina hiji cara atanapi anu sanés. Ieu tiasa janten sistem surat éléktronik, salinan cadangan sareng éntitas virtualisasi sanés.
Supir kadua nyaéta jaringan generasi kalima. Ieu mangrupikeun kacepetan énggal sareng volume transfer data énggal. Numutkeun ramalan urang, nyoko nyebar 5G bakal ngakibatkeun turunna paménta pikeun kartu mémori flash. Perkara teu sabaraha mémori aya dina telepon, eta masih ngalir kaluar, sarta lamun gadget ngabogaan saluran 100-megabit, teu kudu nyimpen poto lokal.
Grup katilu alesan kunaon paménta pikeun sistem panyimpen naék kalebet pamekaran gancang intelijen buatan, transisi ka analitik data gedé sareng tren ka arah otomatisasi universal sadaya kamungkinan.
A fitur tina "lalulintas anyar" nyaeta na . Urang kudu nyimpen data ieu tanpa nangtukeun format na sagala cara. Ieu diperlukeun ngan pikeun bacaan salajengna. Contona, pikeun nangtukeun jumlah injeuman sadia, sistem nyetak perbankan bakal kasampak di poto Anjeun masangkeun dina jaringan sosial, nangtukeun naha anjeun mindeng indit ka laut jeung di réstoran, sarta dina waktos anu sareng diajar extracts ti dokumén médis anjeun sadia. ka dinya. Data ieu, di hiji sisi, komprehensif, tapi di sisi sanésna, henteu homogénitas.
Samudra data teu terstruktur
Masalah naon anu munculna "data anyar"? Anu pangheulana di antarana, tangtosna, nyaéta volume inpormasi sareng perkiraan waktos panyimpen na. Mobil otonom tanpa supir modern nyalira ngahasilkeun dugi ka 60 terabyte data unggal dinten tina sadaya sensor sareng mékanisme na. Pikeun ngembangkeun algoritma gerakan anyar, inpormasi ieu kedah diolah dina dinten anu sami, upami henteu éta bakal mimiti ngumpulkeun. Dina waktos anu sami, éta kedah disimpen kanggo waktos anu lami - puluhan taun. Ngan lajeng bakal mungkin dina mangsa nu bakal datang pikeun ngagambar conclusions dumasar kana sampel analitik badag.
Hiji alat pikeun deciphering runtuyan genetik ngahasilkeun ngeunaan 6 TB per poé. Sareng data anu dikumpulkeun kalayan bantosanna henteu hartosna ngahapus, nyaéta, sacara hypothetically, éta kedah disimpen salamina.
Tungtungna, jaringan generasi kalima sarua. Salian inpormasi anu dikirimkeun, jaringan sapertos kitu mangrupikeun generator data anu ageung: log kagiatan, rékaman telepon, hasil panengah tina interaksi mesin-ka-mesin, jsb.
Sadaya ieu ngabutuhkeun pamekaran pendekatan anyar sareng algoritma pikeun nyimpen sareng ngolah inpormasi. Sareng pendekatan sapertos kitu muncul.
Téknologi jaman anyar
Aya tilu kelompok solusi anu dirancang pikeun nyumponan sarat anyar pikeun sistem panyimpen inpormasi: ngenalkeun intelijen buatan, évolusi téknis média panyimpen sareng inovasi dina arsitéktur sistem. Hayu urang mimitian ku AI.
Dina solusi Huawei anyar, intelijen buatan dianggo dina tingkat panyimpenan sorangan, anu dilengkepan prosésor AI anu ngamungkinkeun sistem sacara mandiri nganalisis kaayaanana sareng ngaduga gagalna. Upami sistem panyimpen dihubungkeun sareng awan jasa anu gaduh kamampuan komputasi anu signifikan, intelijen buatan bakal tiasa ngolah langkung seueur inpormasi sareng ningkatkeun akurasi hipotesis na.
Salian gagal, AI sapertos tiasa ngaduga beban puncak kahareup sareng waktos sésana dugi ka béak kapasitas. Ieu ngamungkinkeun anjeun pikeun ngaoptimalkeun kinerja sareng skala sistem sateuacan aya kajadian anu teu dipikahoyong.
Ayeuna ngeunaan évolusi média panyimpen. Flash drive munggaran didamel nganggo téknologi SLC (Sél Tingkat Tunggal). Alat dumasar kana éta gancang, bisa dipercaya, stabil, tapi miboga kapasitas leutik sarta pohara mahal. Tumuwuhna volume sareng pangurangan harga dihontal ku konsési téknis anu tangtu, ku sabab éta ngirangan laju, réliabilitas sareng umur jasa drive. Tapi, tren henteu mangaruhan sistem panyimpen sorangan, anu, kusabab rupa-rupa trik arsitéktur, umumna janten langkung produktif sareng langkung dipercaya.
Tapi naha anjeun peryogi sistem panyimpenan All-Flash? Teu cukup ngan saukur ngaganti HDDs heubeul dina sistem geus operasi kalawan SSDs anyar faktor formulir sarua? Ieu diperlukeun guna éféktif ngagunakeun sagala sumberdaya nu anyar solid-state drive, nu ieu ngan teu mungkin dina sistem heubeul.
Huawei, contona, parantos ngembangkeun sababaraha téknologi pikeun ngarengsekeun masalah ieu, salah sahijina nyaéta , nu ngamungkinkeun pikeun ngaoptimalkeun interaksi "disk-controller" saloba mungkin.
Idéntifikasi calakan ngamungkinkeun pikeun nguraikeun data kana sababaraha aliran sareng ngatasi sababaraha fenomena anu teu dipikahoyong, sapertos (nulis amplifikasi). Dina waktos anu sami, algoritma pamulihan énggal, khususna , ngaronjat kagancangan rebuilding, ngurangan waktu -na pikeun jumlah sagemblengna teu signifikan.
Gagalna, overcrowding, ngumpulkeun sampah - faktor ieu ogé henteu deui mangaruhan kinerja sistem gudang berkat modifikasi husus ka controller.
Jeung block storages data ogé Nyiapkeun papanggih . Hayu urang ngelingan yén skéma Palasik pikeun ngatur aksés data digawé kawas kieu: processor diaksés controller RAID via beus PCI Express. Éta, kahareupna berinteraksi sareng disk mékanis via SCSI atanapi SAS. Pamakéan NVMe dina backend nyata nyepetkeun sakabéh prosés, tapi miboga hiji aral: drive kudu disambungkeun langsung ka processor dina urutan nyadiakeun eta kalawan aksés langsung ka memori.
Fase salajengna pangembangan téknologi anu urang tingali ayeuna nyaéta panggunaan NVMe-oF (NVMe over Fabrics). Sedengkeun pikeun téknologi blok Huawei, aranjeunna parantos ngadukung FC-NVMe (NVMe over Fiber Channel), sareng NVMe over RoCE (RDMA over Converged Ethernet) nuju jalan. Model tés cukup fungsional; aya sababaraha bulan deui sateuacan presentasi resmina. Catet yén sadaya ieu bakal muncul dina sistem anu disebarkeun, dimana "Ethernet lossless" bakal aya paménta anu ageung.
Hiji cara tambahan pikeun ngaoptimalkeun operasi gudang disebarkeun nya éta abandonment lengkep mirroring data. solusi Huawei euweuh pamakéan n salinan, sakumaha dina razia dawam 1, tur lengkep pindah ka (Erasure coding). Paket matematika khusus ngitung blok kontrol dina périodik anu tangtu, anu ngamungkinkeun anjeun mulangkeun data perantara upami kaleungitan.
Mékanisme deduplikasi sareng komprési janten wajib. Upami dina sistem panyimpen klasik kami dibatesan ku jumlah prosesor anu dipasang dina pengontrol, teras dina sistem panyimpen anu tiasa skala horisontal, unggal titik ngandung sadayana anu diperyogikeun: disk, mémori, prosesor sareng interkonéksi. Sumberdaya ieu cekap pikeun mastikeun yén deduplikasi sareng komprési gaduh dampak minimal dina kinerja.
Jeung ngeunaan métode optimasi hardware. Ieu mungkin pikeun ngurangan beban dina prosesor sentral kalayan bantuan chip dedicated tambahan (atawa blok dedicated dina processor sorangan), nu maénkeun peran. (TCP / IP Offload Engine) atanapi nyandak tugas matematika EC, deduplikasi sareng komprési.
pendekatan anyar pikeun neundeun data anu embodied dina arsitéktur disaggregated (disebarkeun). Sistem gudang terpusat boga pabrik server disambungkeun via Serat Channel ka kalawan loba arrays. Karugian tina pendekatan ieu nyaéta kasusah skala sareng mastikeun tingkat jasa anu dijamin (dina hal kinerja atanapi latency). Sistem Hyperconverged nganggo host anu sami pikeun nyimpen sareng ngolah inpormasi. Ieu méré wengkuan ampir taya pikeun skala, tapi merlukeun waragad luhur pikeun ngajaga integritas data.
Teu kawas duanana di luhur, a arsitéktur disaggregated ngakibatkeun ngabagi sistem kana lawon komputasi sarta sistem gudang horizontal. Ieu nyadiakeun mangpaat duanana arsitéktur sarta ngamungkinkeun skala ampir taya ukur unsur nu lacks kinerja.
Ti integrasi ka konvergénsi
Tugas klasik, relevansi anu ngan ukur ningkat dina 15 taun katukang, nyaéta kabutuhan sakaligus nyayogikeun panyimpen blok, aksés file, aksés ka objék, operasi tegalan data ageung, jsb. janten, contona, sistem cadangan dina pita magnét.
Dina tahap kahiji, ngan ukur manajemén jasa ieu tiasa ngahijikeun. Sistem panyimpen data hétérogén dihubungkeun sareng sababaraha parangkat lunak khusus, anu ku administrator nyebarkeun sumber tina kolam renang anu sayogi. Tapi saprak pools ieu miboga hardware béda, migrasi beban antara aranjeunna teu mungkin. Dina tingkat luhur integrasi, aggregation lumangsung dina tingkat gateway. Upami ngabagi file sayogi, éta tiasa dilayanan ngalangkungan protokol anu béda.
Métode konvergénsi anu paling canggih anu ayeuna sayogi pikeun urang ngalibatkeun nyiptakeun sistem hibrid universal. Persis naon anu urang kedah janten . aksés universal ngagunakeun sumberdaya hardware sarua, logis dibagi kana pools béda, tapi ngamungkinkeun pikeun migrasi beban. Sadaya ieu tiasa dilakukeun ku konsol manajemén tunggal. Ku cara kieu, urang tiasa nerapkeun konsép "hiji pusat data - hiji sistem panyimpen."
Biaya nyimpen inpormasi ayeuna nangtukeun seueur kaputusan arsitéktur. Sarta sanajan eta bisa aman nempatkeun di forefront, kiwari urang keur ngabahas "hirup" gudang kalayan aksés aktip, jadi kinerja ogé kudu dibawa kana rekening. Sipat penting séjén tina sistem distribusi generasi saterusna nyaéta unifikasi. Barina ogé, teu saurang ogé hayang boga sababaraha sistem disparate dikawasa ti konsol béda. Sadaya kualitas ieu aya dina séri énggal produk Huawei .
Sistem panyimpenan massal generasi anyar
OceanStor Pacific nyumponan syarat reliabilitas genep salapan (99,9999%) sareng tiasa dianggo pikeun nyiptakeun pusat data kelas HyperMetro. Kalayan jarak antara dua pusat data dugi ka 100 km, sistem nunjukkeun latensi tambahan 2 mdet, anu ngamungkinkeun pikeun ngawangun dumasar kana solusi anu tahan bencana, kalebet anu nganggo server kuorum.
Produk séri énggal nunjukkeun kabébasan protokol. Geus, OceanStor 100D ngarojong aksés block, aksés objék jeung aksés Hadoop. Aksés file ogé bakal dilaksanakeun dina mangsa nu bakal datang. Teu kedah nyimpen sababaraha salinan data upami aranjeunna tiasa dikaluarkeun ngaliwatan protokol anu béda.
Ieu bakal sigana, naon konsép "jaringan lossless" kudu ngalakukeun jeung sistem gudang? Kanyataanna nyaéta sistem panyimpen data anu disebarkeun diwangun dina dasar jaringan gancang anu ngadukung algoritma anu pas sareng mékanisme RoCE. Sistem intelijen buatan anu dirojong ku saklar kami ngabantosan ningkatkeun kagancangan jaringan sareng ngirangan latency. . Keuntungan dina pagelaran panyimpenan nalika ngaktipkeun AI Fabric tiasa ngahontal 20%.
Naon titik panyimpen anu disebarkeun OceanStor Pacific anyar? Solusi faktor formulir 5U kalebet 120 drive sareng tiasa ngagentos tilu titik klasik, anu nyayogikeun tabungan langkung ti dua kali dina rohangan rak. Ku henteu nyimpen salinan, efisiensi drive ningkat sacara signifikan (dugi ka +92%).
Kami biasa kanyataan yén gudang software-diartikeun nyaéta software husus dipasang dina server Palasik. Tapi ayeuna, pikeun ngahontal parameter optimal, solusi arsitéktur ieu ogé merlukeun titik husus. Éta diwangun ku dua server dumasar kana prosesor ARM anu ngatur sajumlah drive tilu inci.
Server ieu henteu cocog pikeun solusi hyperconverged. Anu mimiti, aya sababaraha aplikasi pikeun ARM, sareng kadua, sesah pikeun ngajaga kasaimbangan beban. Urang ngajukeun pindah ka gudang misah: klaster komputasi, digambarkeun ku server Palasik atanapi rak, beroperasi misah, tapi disambungkeun ka titik gudang OceanStor Pasifik, nu ogé ngalaksanakeun tugas langsung maranéhna. Sarta eta justifies sorangan.
Contona, hayu urang nyandak solusi gudang data badag Palasik kalawan sistem hyperconverged nu nempatan 15 rak server. Upami anjeun ngadistribusikaeun beban antara server komputasi anu misah sareng tempat panyimpen OceanStor Pacific, misahkeunana, jumlah rak anu diperyogikeun bakal dipotong satengah! Ieu ngirangan biaya operasi pusat data sareng ngirangan total biaya kapamilikan. Di dunya dimana volume inpormasi anu disimpen ningkat ku 30% per taun, kauntungan sapertos kitu henteu dialungkeun.
***
Anjeun tiasa kéngingkeun inpormasi langkung seueur ngeunaan solusi Huawei sareng skénario aplikasina dina kami atanapi ku ngahubungan langsung wawakil perusahaan.
sumber: www.habr.com