Ngayon ay pag-uusapan natin kung paano pinakamahusay na mag-imbak ng data sa isang mundo kung saan ang mga network ng ikalimang henerasyon, mga genome scanner at mga self-driving na kotse ay gumagawa ng mas maraming data sa isang araw kaysa sa lahat ng sangkatauhan na nabuo bago ang industriyal na rebolusyon.
Ang ating mundo ay bumubuo ng higit at higit pang impormasyon. Ang ilan sa mga ito ay panandalian at nawawala sa lalong madaling panahon na ito ay nakolekta. Ang isa ay dapat na nakaimbak nang mas mahaba, at ang isa ay ganap na idinisenyo "para sa mga siglo" - hindi bababa sa kung paano natin ito nakikita mula sa kasalukuyan. Ang mga daloy ng impormasyon ay tumira sa mga sentro ng data sa bilis na ang anumang bagong diskarte, anumang teknolohiya na idinisenyo upang matugunan ang walang katapusang "demand" na ito ay mabilis na nagiging lipas na.
40 taon ng distributed storage development
Ang unang network storage sa form na pamilyar sa amin ay lumabas noong 1980s. Marami sa inyo ang nakatagpo ng NFS (Network File System), AFS (Andrew File System) o Coda. Makalipas ang isang dekada, nagbago ang fashion at teknolohiya, at nagbigay-daan ang mga distributed file system sa clustered storage system batay sa GPFS (General Parallel File System), CFS (Clustered File Systems) at StorNext. Bilang batayan, ginamit ang mga block storage ng klasikal na arkitektura, kung saan ang isang solong file system ay nilikha gamit ang software layer. Ang mga ito at katulad na mga solusyon ay ginagamit pa rin, sumasakop sa kanilang angkop na lugar at medyo in demand.
Sa pagpasok ng milenyo, medyo nagbago ang distributed storage paradigm, at nanguna ang mga system na may SN (Shared-Nothing). Nagkaroon ng paglipat mula sa cluster storage patungo sa storage sa magkahiwalay na mga node, na, bilang panuntunan, ay mga klasikong server na may software na nagbibigay ng maaasahang storage; ang mga naturang prinsipyo ay binuo, sabihin, HDFS (Hadoop Distributed File System) at GFS (Global File System).
Mas malapit sa 2010, ang mga konseptong pinagbabatayan ng mga distributed storage system ay lalong nagsimulang ipakita sa ganap na komersyal na mga produkto, tulad ng VMware vSAN, Dell EMC Isilon, at aming . Sa likod ng mga nabanggit na platform ay hindi na isang komunidad ng mga mahilig, ngunit mga partikular na vendor na responsable para sa functionality, suporta, pagpapanatili ng serbisyo ng produkto at ginagarantiyahan ang karagdagang pag-unlad nito. Ang ganitong mga solusyon ay pinaka-in demand sa ilang mga lugar.
Mga operator ng telecom
Marahil ang isa sa mga pinakalumang mamimili ng mga distributed storage system ay mga operator ng telecom. Ipinapakita ng diagram kung aling mga grupo ng mga application ang gumagawa ng karamihan ng data. Ang OSS (Operations Support Systems), MSS (Management Support Services) at BSS (Business Support Systems) ay tatlong komplementaryong software layer na kinakailangan para sa paghahatid ng serbisyo sa mga subscriber, financial reporting sa provider, at operational support sa mga engineer ng operator.
Kadalasan, ang data ng mga layer na ito ay malakas na pinaghalo sa isa't isa, at upang maiwasan ang akumulasyon ng mga hindi kinakailangang kopya, ginagamit ang mga ibinahagi na imbakan na nag-iipon ng buong dami ng impormasyon na nagmumula sa isang gumaganang network. Ang mga imbakan ay pinagsama sa isang karaniwang pool, kung saan naa-access ang lahat ng mga serbisyo.
Ipinapakita ng aming mga kalkulasyon na ang paglipat mula sa klasiko patungo sa pagharang ng mga sistema ng imbakan ay nagbibigay-daan sa iyo na makatipid ng hanggang 70% ng badyet sa pamamagitan lamang ng pag-abandona sa mga nakalaang hi-end na sistema ng imbakan at paggamit ng mga kumbensyonal na klasikal na arkitektura server (karaniwan ay x86), na nagtatrabaho kasabay ng espesyal na software. Ang mga cellular operator ay nakakakuha ng mga naturang solusyon sa makabuluhang dami sa loob ng mahabang panahon. Sa partikular, ang mga operator ng Russia ay gumagamit ng mga naturang produkto mula sa Huawei nang higit sa anim na taon.
Oo, ang ilang mga gawain ay hindi maaaring gawin gamit ang mga distributed system. Halimbawa, na may tumaas na mga kinakailangan sa pagganap o pagiging tugma sa mas lumang mga protocol. Ngunit hindi bababa sa 70% ng data na pinoproseso ng operator ay maaaring ilagay sa isang distributed pool.
Sektor ng pagbabangko
Sa anumang bangko, maraming magkakaibang mga IT system, mula sa pagproseso hanggang sa isang awtomatikong sistema ng pagbabangko. Gumagana rin ang imprastraktura na ito sa isang malaking halaga ng impormasyon, habang ang karamihan sa mga gawain ay hindi nangangailangan ng mas mataas na pagganap at pagiging maaasahan ng mga sistema ng imbakan, tulad ng pag-unlad, pagsubok, automation ng mga proseso ng opisina, atbp. Dito, ang paggamit ng mga klasikong sistema ng imbakan ay posible , ngunit bawat taon ito ay mas mababa at hindi gaanong kumikita. Bilang karagdagan, sa kasong ito, walang kakayahang umangkop sa paggastos ng mga mapagkukunan ng imbakan, ang pagganap nito ay kinakalkula mula sa peak load.
Kapag gumagamit ng mga distributed storage system, ang kanilang mga node, na sa katunayan ay mga ordinaryong server, ay maaaring ma-convert anumang oras, halimbawa, sa isang server farm at magamit bilang isang computing platform.
Mga lawa ng data
Ang diagram sa itaas ay nagpapakita ng isang listahan ng mga karaniwang mamimili ng serbisyo. . Ang mga ito ay maaaring mga serbisyo ng e-government (halimbawa, "Gosuslugi"), mga negosyo na sumailalim sa digitalization, mga istrukturang pampinansyal, atbp. Lahat ng mga ito ay kailangang gumana sa malalaking volume ng magkakaibang impormasyon.
Ang pagpapatakbo ng mga klasikal na sistema ng imbakan para sa paglutas ng mga naturang problema ay hindi epektibo, dahil ang parehong mataas na pagganap ng pag-access upang harangan ang mga database at regular na pag-access sa mga aklatan ng mga na-scan na dokumento na nakaimbak bilang mga bagay ay kinakailangan. Dito, halimbawa, ang isang sistema ng mga order sa pamamagitan ng isang web portal ay maaaring itali. Upang ipatupad ang lahat ng ito sa isang klasikong platform ng imbakan, kakailanganin mo ng isang malaking hanay ng mga kagamitan para sa iba't ibang mga gawain. Ang isang pahalang na unibersal na sistema ng imbakan ay madaling masakop ang lahat ng naunang nakalistang mga gawain: kailangan mo lamang lumikha ng ilang mga pool dito na may iba't ibang mga katangian ng imbakan.
Tagabuo ng bagong impormasyon
Ang dami ng impormasyong nakaimbak sa mundo ay lumalaki ng humigit-kumulang 30% bawat taon. Magandang balita ito para sa mga nagtitinda ng imbakan, ngunit ano ang at magiging pangunahing pinagmumulan ng data na ito?
Sampung taon na ang nakalilipas, ang mga social network ay naging mga generator, na nangangailangan ng paglikha ng isang malaking bilang ng mga bagong algorithm, mga solusyon sa hardware, atbp. Ngayon ay may tatlong pangunahing mga driver ng paglago ng imbakan. Ang una ay cloud computing. Sa kasalukuyan, humigit-kumulang 70% ng mga kumpanya ang gumagamit ng mga serbisyo ng cloud sa isang paraan o iba pa. Ang mga ito ay maaaring mga email system, backup, at iba pang virtualized na entity.
Ang mga network ng ikalimang henerasyon ay nagiging pangalawang driver. Ito ay mga bagong bilis at bagong dami ng paglilipat ng data. Ayon sa aming mga pagtataya, ang malawakang paggamit ng 5G ay hahantong sa pagbaba ng demand para sa mga flash memory card. Hindi mahalaga kung gaano karaming memorya ang mayroon sa telepono, nagtatapos pa rin ito, at kung ang gadget ay may 100-megabit na channel, hindi na kailangang mag-imbak ng mga larawan nang lokal.
Ang ikatlong pangkat ng mga dahilan kung bakit lumalaki ang pangangailangan para sa mga sistema ng imbakan ay kinabibilangan ng mabilis na pag-unlad ng artificial intelligence, ang paglipat sa malaking data analytics at ang trend patungo sa unibersal na automation ng lahat ng posible.
Ang isang tampok ng "bagong trapiko" ay nito . Kailangan nating iimbak ang data na ito nang hindi tinukoy ang format nito sa anumang paraan. Ito ay kinakailangan lamang para sa kasunod na pagbabasa. Halimbawa, titingnan ng isang sistema ng pagmamarka ng bangko upang matukoy ang magagamit na laki ng pautang sa mga larawang nai-post mo sa mga social network, na tutukuyin kung gaano ka kadalas pumunta sa dagat at mga restaurant, at kasabay nito, pag-aaralan ang mga extract mula sa iyong mga medikal na dokumento na magagamit dito. Ang mga datos na ito, sa isang banda, ay komprehensibo, at sa kabilang banda, wala silang homogeneity.
Isang karagatan ng hindi nakabalangkas na data
Ano ang mga problema na dulot ng paglitaw ng "bagong data"? Ang una sa kanila, siyempre, ay ang dami ng impormasyon mismo at ang tinantyang panahon ng imbakan nito. Ang isang modernong autonomous na driverless na kotse lamang ay bumubuo ng hanggang 60TB ng data araw-araw mula sa lahat ng mga sensor at mekanismo nito. Upang bumuo ng mga bagong algorithm ng paggalaw, ang impormasyong ito ay dapat na maproseso sa loob ng parehong araw, kung hindi, magsisimula itong maipon. Kasabay nito, dapat itong maimbak nang napakatagal - mga dekada. Pagkatapos lamang ay posible na gumawa ng mga konklusyon batay sa malalaking sample ng analytical sa hinaharap.
Ang isang device para sa pag-decipher ng mga genetic sequence ay gumagawa ng mga 6 terabytes bawat araw. At ang data na nakolekta sa tulong nito ay hindi nagpapahiwatig ng pagtanggal, iyon ay, hypothetically, dapat silang maiimbak magpakailanman.
Panghuli, lahat ng parehong network ng ikalimang henerasyon. Bilang karagdagan sa mismong impormasyon na ipinadala, ang naturang network ay mismong isang malaking data generator: mga log ng aktibidad, mga talaan ng tawag, mga intermediate na resulta ng mga pakikipag-ugnayan ng machine-to-machine, atbp.
Ang lahat ng ito ay nangangailangan ng pagbuo ng mga bagong diskarte at algorithm para sa pag-iimbak at pagproseso ng impormasyon. At ang mga ganitong paraan ay umuusbong.
Mga teknolohiya ng bagong panahon
Tatlong grupo ng mga solusyon na idinisenyo upang makayanan ang mga bagong kinakailangan para sa mga sistema ng pag-iimbak ng impormasyon ay maaaring makilala: ang pagpapakilala ng artificial intelligence, ang teknikal na ebolusyon ng storage media, at mga inobasyon sa larangan ng arkitektura ng system. Magsimula tayo sa AI.
Sa mga bagong solusyon sa Huawei, ginagamit na ang artificial intelligence sa antas ng storage mismo, na nilagyan ng AI processor na nagbibigay-daan sa system na independiyenteng suriin ang estado nito at mahulaan ang mga pagkabigo. Kung ang storage system ay konektado sa isang cloud ng serbisyo na may makabuluhang kakayahan sa pag-compute, ang artificial intelligence ay maaaring magproseso ng higit pang impormasyon at mapabuti ang katumpakan ng mga hypotheses nito.
Bilang karagdagan sa mga pagkabigo, nahuhulaan ng naturang AI ang peak load sa hinaharap at ang natitirang oras hanggang sa maubos ang kapasidad. Nagbibigay-daan ito sa iyong i-optimize ang performance at sukatin ang system bago mangyari ang anumang hindi gustong mga kaganapan.
Ngayon tungkol sa ebolusyon ng mga carrier ng data. Ang mga unang flash drive ay ginawa gamit ang SLC (Single-Level Cell) na teknolohiya. Ang mga aparatong batay dito ay mabilis, maaasahan, matatag, ngunit may maliit na kapasidad at napakamahal. Ang pagtaas sa dami at pagbaba sa presyo ay nakamit sa pamamagitan ng ilang mga teknikal na konsesyon, dahil sa kung saan ang bilis, pagiging maaasahan at buhay ng mga drive ay nabawasan. Gayunpaman, ang trend ay hindi nakakaapekto sa mga sistema ng imbakan mismo, na, dahil sa iba't ibang mga trick sa arkitektura, sa pangkalahatan, ay naging mas produktibo at mas maaasahan.
Ngunit bakit kailangan mo ng All-Flash class storage system? Hindi ba sapat na palitan lamang ang mga lumang HDD sa isang tumatakbo nang system ng mga bagong SSD na may parehong form factor? Ito ay kinakailangan upang mahusay na magamit ang lahat ng mga mapagkukunan ng mga bagong SSD, na imposible lamang sa mas lumang mga system.
Ang Huawei, halimbawa, ay nakabuo ng isang bilang ng mga teknolohiya upang malutas ang problemang ito, isa na rito ay , na naging posible upang ma-optimize ang mga pakikipag-ugnayan ng disk-controller hangga't maaari.
Ginawang posible ng matalinong pagkakakilanlan na mabulok ang data sa ilang mga stream at makayanan ang isang bilang ng mga hindi kanais-nais na phenomena, tulad ng (isulat ang amplification). Kasabay nito, ang mga bagong algorithm sa pagbawi, sa partikular , pinataas ang bilis ng muling pagtatayo, na binabawasan ang oras nito sa ganap na hindi gaanong halaga.
Pagkabigo, pagsisikip, pagkolekta ng basura - ang mga salik na ito ay hindi na nakakaapekto sa pagganap ng sistema ng imbakan salamat sa espesyal na pagpipino ng mga controllers.
At ang mga tindahan ng data ng block ay naghahanda upang matugunan . Alalahanin na ang klasikong pamamaraan para sa pag-aayos ng pag-access ng data ay gumana tulad nito: na-access ng processor ang RAID controller sa pamamagitan ng PCI Express bus. Na, sa turn, ay nakipag-ugnayan sa mga mekanikal na disk sa pamamagitan ng SCSI o SAS. Ang paggamit ng NVMe sa backend ay makabuluhang pinabilis ang buong proseso, ngunit nagdala ng isang sagabal: ang mga drive ay kailangang direktang konektado sa processor upang mabigyan ito ng direktang pag-access sa memorya.
Ang susunod na yugto ng pag-unlad ng teknolohiya na nakikita natin ngayon ay ang paggamit ng NVMe-oF (NVMe over Fabrics). Tulad ng para sa mga teknolohiya ng Huawei block, sinusuportahan na nila ang FC-NVMe (NVMe over Fiber Channel), at NVMe over RoCE (RDMA over Converged Ethernet) ay paparating na. Ang mga modelo ng pagsubok ay medyo gumagana, ilang buwan ang natitira bago ang kanilang opisyal na pagtatanghal. Tandaan na ang lahat ng ito ay lilitaw din sa mga distributed system, kung saan ang "Ethernet na walang pagkawala" ay napakalaking demand.
Ang isang karagdagang paraan upang ma-optimize ang gawain ng mga ibinahagi na imbakan ay ang kumpletong pagtanggi sa pag-mirror ng data. Ang mga solusyon sa Huawei ay hindi na gumagamit ng n mga kopya, tulad ng sa karaniwang RAID 1, at ganap na lumipat sa mekanismo (Erasure coding). Kinakalkula ng isang espesyal na pakete ng matematika ang mga bloke ng kontrol na may isang tiyak na dalas, na nagbibigay-daan sa iyo upang maibalik ang intermediate na data sa kaso ng pagkawala.
Nagiging mandatory ang mga mekanismo ng deduplication at compression. Kung sa mga klasikal na sistema ng imbakan ay nalilimitahan tayo ng bilang ng mga processor na naka-install sa mga controllers, pagkatapos ay sa ipinamahagi na pahalang na scalable na mga sistema ng imbakan, ang bawat node ay naglalaman ng lahat ng kailangan mo: mga disk, memorya, mga processor at interconnect. Ang mga mapagkukunang ito ay sapat para sa deduplication at compression upang magkaroon ng kaunting epekto sa pagganap.
At tungkol sa mga pamamaraan ng pag-optimize ng hardware. Dito, posible na bawasan ang pagkarga sa mga sentral na processor sa tulong ng karagdagang dedikadong microcircuits (o dedikadong mga bloke sa processor mismo), na gumaganap ng papel (TCP/IP Offload Engine) o pagkuha sa mga gawain sa matematika ng EC, deduplication, at compression.
Ang mga bagong diskarte sa pag-iimbak ng data ay nakapaloob sa isang disaggregated (naipamahagi) na arkitektura. Sa mga sentralisadong sistema ng imbakan, mayroong isang pabrika ng server na konektado sa pamamagitan ng Fiber Channel sa na may maraming array. Ang mga kawalan ng diskarteng ito ay ang mga kahirapan sa pag-scale at pagbibigay ng garantisadong antas ng serbisyo (sa mga tuntunin ng pagganap o latency). Ang mga hyperconverged system ay gumagamit ng parehong mga host para sa parehong imbakan at pagproseso ng impormasyon. Nagbibigay ito ng halos walang limitasyong saklaw para sa pag-scale, ngunit nangangailangan ng mataas na gastos para sa pagpapanatili ng integridad ng data.
Hindi tulad ng pareho sa itaas, ang isang disaggregated na arkitektura ay nagpapahiwatig paghahati ng system sa isang compute factory at isang horizontal storage system. Nagbibigay ito ng mga pakinabang ng parehong mga arkitektura at nagbibigay-daan sa halos walang limitasyong pag-scale ng elemento lamang na ang pagganap ay hindi sapat.
Mula sa integrasyon hanggang sa convergence
Ang isang klasikong gawain, na ang kaugnayan nito ay lumago lamang sa nakalipas na 15 taon, ay ang pangangailangan na sabay na magbigay ng block storage, file access, access sa mga bagay, ang pagpapatakbo ng isang farm para sa malaking data, atbp. Ang icing sa cake ay maaaring maging, halimbawa, isang backup system sa magnetic tape.
Sa unang yugto, tanging ang pamamahala ng mga serbisyong ito ang maaaring mapag-isa. Ang magkakaibang mga sistema ng pag-iimbak ng data ay isinara sa ilang espesyal na software, kung saan ipinamahagi ng administrator ang mga mapagkukunan mula sa mga magagamit na pool. Ngunit dahil ang mga pool na ito ay naiiba sa hardware, imposible ang paglipat ng load sa pagitan ng mga ito. Sa mas mataas na antas ng pagsasama, naganap ang pagsasama-sama sa antas ng gateway. Kung mayroong nakabahaging pag-access sa file, maaari itong ibigay sa pamamagitan ng iba't ibang mga protocol.
Ang pinaka-advanced na paraan ng convergence na magagamit sa amin ngayon ay nagsasangkot ng paglikha ng isang unibersal na hybrid system. Ganyan dapat ang atin . Ginagamit ng unibersal na pag-access ang parehong mga mapagkukunan ng hardware, lohikal na nahahati sa iba't ibang pool, ngunit nagbibigay-daan para sa paglipat ng pag-load. Ang lahat ng ito ay maaaring gawin sa pamamagitan ng iisang management console. Sa ganitong paraan, nagawa naming ipatupad ang konsepto ng "isang data center - isang storage system."
Ang halaga ng pag-iimbak ng impormasyon ngayon ay tumutukoy sa maraming mga desisyon sa arkitektura. At bagama't maaari itong ligtas na ilagay sa unahan, tinatalakay namin ang "live" na imbakan na may aktibong pag-access ngayon, kaya dapat ding isaalang-alang ang pagganap. Ang isa pang mahalagang pag-aari ng mga susunod na henerasyong ipinamamahaging sistema ay ang pag-iisa. Pagkatapos ng lahat, walang gustong magkaroon ng ilang magkakaibang sistema na pinamamahalaan mula sa iba't ibang mga console. Ang lahat ng mga katangiang ito ay nakapaloob sa bagong serye ng mga produkto ng Huawei. .
Susunod na henerasyon ng mass storage
Natutugunan ng OceanStor Pacific ang anim na siyam (99,9999%) na kinakailangan sa pagiging maaasahan at maaaring magamit upang lumikha ng sentro ng data ng klase ng HyperMetro. Sa distansya sa pagitan ng dalawang data center na hanggang 100 km, ang mga system ay nagpapakita ng karagdagang pagkaantala na 2 ms, na ginagawang posible na bumuo ng anumang disaster-proof na solusyon batay sa mga ito, kabilang ang mga may quorum server.
Ang mga produkto ng bagong serye ay nagpapakita ng versatility sa mga tuntunin ng mga protocol. Sinusuportahan na ng OceanStor 100D ang block access, object access, at Hadoop access. Ipapatupad ang pag-access sa file sa malapit na hinaharap. Hindi na kailangang magtago ng maraming kopya ng data kung maibibigay ang mga ito sa pamamagitan ng iba't ibang protocol.
Mukhang, ano ang kinalaman ng konsepto ng "lossless network" sa storage? Ang katotohanan ay ang mga ibinahagi na sistema ng imbakan ay binuo batay sa isang mabilis na network na sumusuporta sa naaangkop na mga algorithm at mekanismo ng RoCE. Ang artificial intelligence system na sinusuportahan ng aming mga switch ay nakakatulong upang higit pang mapataas ang bilis ng network at bawasan ang latency. . Maaaring umabot sa 20% ang performance gain ng mga storage system kapag na-activate ang AI Fabric.
Ano ang bagong OceanStor Pacific distributed storage node? Ang 5U form factor solution ay may kasamang 120 drive at maaaring palitan ang tatlong klasikong node, higit sa pagdodoble ng rack space. Dahil sa pagtanggi na mag-imbak ng mga kopya, ang kahusayan ng mga drive ay tumataas nang malaki (hanggang sa + 92%).
Nakasanayan na namin ang katotohanan na ang imbakan na tinukoy ng software ay isang espesyal na software na naka-install sa isang klasikong server. Ngunit ngayon, upang makamit ang pinakamainam na mga parameter, ang solusyon sa arkitektura na ito ay nangangailangan din ng mga espesyal na node. Binubuo ito ng dalawang server batay sa mga processor ng ARM na namamahala ng hanay ng mga three-inch drive.
Ang mga server na ito ay hindi angkop para sa mga hyperconverged na solusyon. Una, kakaunti ang mga aplikasyon para sa ARM, at pangalawa, mahirap magpanatili ng balanse ng pagkarga. Iminumungkahi naming lumipat sa hiwalay na storage: isang computing cluster, na kinakatawan ng mga classic o rack server, ay gumagana nang hiwalay, ngunit nakakonekta sa OceanStor Pacific storage node, na gumaganap din ng kanilang mga direktang gawain. At binibigyang-katwiran nito ang sarili.
Halimbawa, kunin natin ang isang klasikong hyperconverged na malaking solusyon sa storage ng data na sumasakop sa 15 rack ng server. Kung ipapamahagi mo ang load sa pagitan ng mga indibidwal na OceanStor Pacific compute server at mga storage node, na pinaghihiwalay ang mga ito sa isa't isa, ang bilang ng mga kinakailangang rack ay mababawasan sa kalahati! Binabawasan nito ang gastos sa pagpapatakbo ng data center at binabawasan ang kabuuang halaga ng pagmamay-ari. Sa isang mundo kung saan ang dami ng nakaimbak na impormasyon ay lumalaki sa 30% bawat taon, ang mga naturang benepisyo ay hindi nakakalat.
***
Para sa higit pang impormasyon tungkol sa mga solusyon sa Huawei at ang kanilang mga sitwasyon sa aplikasyon, pakibisita ang aming o sa pamamagitan ng direktang pakikipag-ugnayan sa mga kinatawan ng kumpanya.
Pinagmulan: www.habr.com