Leo tutazungumzia jinsi bora ya kuhifadhi data katika ulimwengu ambapo mitandao ya kizazi cha tano, scanner za genome na magari ya kujitegemea hutoa data zaidi kwa siku kuliko ubinadamu wote uliozalishwa kabla ya mapinduzi ya viwanda.
Ulimwengu wetu unazalisha habari zaidi na zaidi. Baadhi ya sehemu yake ni ya muda mfupi na hupotea haraka kama inavyokusanywa. Nyingine inapaswa kuhifadhiwa kwa muda mrefu, na nyingine imeundwa hata "kwa karne nyingi" - angalau ndivyo tunavyoona kutoka kwa sasa. Mitiririko ya habari hukaa katika vituo vya data kwa kasi hivi kwamba mbinu yoyote mpya, teknolojia yoyote iliyoundwa kukidhi "hitaji" hili lisilo na mwisho hupitwa na wakati.
Miaka 40 ya maendeleo ya mifumo ya hifadhi iliyosambazwa
Hifadhi ya kwanza ya mtandao katika fomu tunayoifahamu ilionekana katika miaka ya 1980. Wengi wenu mmekutana na NFS (Mfumo wa Faili za Mtandao), AFS (Andrew File System) au Coda. Muongo mmoja baadaye, mitindo na teknolojia imebadilika, na mifumo ya faili iliyosambazwa imetoa nafasi kwa mifumo iliyounganishwa ya kuhifadhi kulingana na GPFS (Mfumo wa Jumla wa Faili Sambamba), CFS (Mifumo ya Faili Iliyounganishwa) na StorNext. Hifadhi ya kuzuia usanifu wa classical ilitumiwa kama msingi, juu ya ambayo mfumo mmoja wa faili uliundwa kwa kutumia safu ya programu. Suluhisho hizi na zinazofanana bado hutumiwa, zinachukua niche yao na zinahitajika sana.
Mwanzoni mwa milenia, dhana ya hifadhi iliyosambazwa ilibadilika kwa kiasi fulani, na mifumo yenye usanifu wa SN (Shared-Nothing) ilichukua nafasi za kuongoza. Kumekuwa na mpito kutoka kwa hifadhi ya nguzo hadi uhifadhi kwenye nodi za kibinafsi, ambazo, kama sheria, zilikuwa seva za kawaida zilizo na programu inayotoa uhifadhi wa kuaminika; Kwa kanuni kama hizo, sema, HDFS (Mfumo wa Faili uliosambazwa wa Hadoop) na GFS (Mfumo wa Faili Ulimwenguni) hujengwa.
Karibu na miaka ya 2010, dhana za mifumo ya hifadhi iliyosambazwa zilianza kuonyeshwa katika bidhaa kamili za kibiashara, kama vile VMware vSAN, Dell EMC Isilon na yetu. . Nyuma ya majukwaa yaliyotajwa hakuna tena jumuiya ya wapendaji, lakini wachuuzi mahususi ambao wanawajibika kwa utendakazi, usaidizi, na huduma ya bidhaa na kuhakikisha maendeleo yake zaidi. Suluhisho kama hizo zinahitajika sana katika maeneo kadhaa.
Waendeshaji wa mawasiliano ya simu
Labda mmoja wa watumiaji wa zamani zaidi wa mifumo ya uhifadhi iliyosambazwa ni waendeshaji wa mawasiliano ya simu. Mchoro unaonyesha ni vikundi vipi vya programu vinavyozalisha data nyingi. OSS (Mifumo ya Usaidizi wa Uendeshaji), MSS (Huduma za Usaidizi wa Usimamizi) na BSS (Mifumo ya Usaidizi wa Biashara) zinawakilisha safu tatu za programu wasilianifu zinazohitajika kutoa huduma kwa waliojisajili, kuripoti kifedha kwa mtoa huduma na usaidizi wa uendeshaji kwa wahandisi waendeshaji.
Mara nyingi, data ya tabaka hizi imechanganywa sana na kila mmoja, na ili kuepuka mkusanyiko wa nakala zisizohitajika, hifadhi iliyosambazwa hutumiwa, ambayo hukusanya kiasi kizima cha habari kutoka kwa mtandao wa uendeshaji. Hifadhi zimeunganishwa kwenye bwawa la kawaida, ambalo linapatikana kwa huduma zote.
Hesabu zetu zinaonyesha kuwa mabadiliko kutoka kwa mifumo ya kawaida ya kuhifadhi hadi kuzuia mifumo ya uhifadhi hukuruhusu kuokoa hadi 70% ya bajeti tu kwa kuachana na mifumo maalum ya uhifadhi wa hali ya juu na kutumia seva za usanifu wa kawaida (kawaida x86), kufanya kazi kwa kushirikiana na mabingwa. programu. Waendeshaji wa simu za mkononi wameanza kununua ufumbuzi huo kwa kiasi kikubwa. Hasa, waendeshaji wa Kirusi wamekuwa wakitumia bidhaa kama hizo kutoka kwa Huawei kwa zaidi ya miaka sita.
Ndiyo, idadi ya kazi haiwezi kukamilika kwa kutumia mifumo iliyosambazwa. Kwa mfano, kwa kuongezeka kwa mahitaji ya utendaji au uoanifu na itifaki za zamani. Lakini angalau 70% ya data iliyochakatwa na opereta inaweza kupatikana kwenye bwawa lililosambazwa.
Sekta ya benki
Katika benki yoyote kuna mifumo mingi tofauti ya IT, kuanzia usindikaji na kuishia na mfumo wa benki otomatiki. Miundombinu hii pia inafanya kazi kwa kiasi kikubwa cha habari, wakati kazi nyingi hazihitaji kuongezeka kwa utendaji na uaminifu wa mifumo ya kuhifadhi, kwa mfano, maendeleo, kupima, automatisering ya michakato ya ofisi, nk Hapa, matumizi ya mifumo ya hifadhi ya classic inawezekana, lakini kila mwaka ni kidogo na faida kidogo. Kwa kuongeza, katika kesi hii hakuna kubadilika katika matumizi ya rasilimali za mfumo wa kuhifadhi, utendaji ambao huhesabiwa kulingana na mzigo wa kilele.
Wakati wa kutumia mifumo ya uhifadhi iliyosambazwa, nodi zao, ambazo kwa kweli ni seva za kawaida, zinaweza kubadilishwa wakati wowote, kwa mfano, kuwa shamba la seva na kutumika kama jukwaa la kompyuta.
Maziwa ya data
Mchoro hapo juu unaonyesha orodha ya watumiaji wa kawaida wa huduma . Hizi zinaweza kuwa huduma za serikali mtandao (kwa mfano, "Huduma za Serikali"), makampuni ya biashara ya kidijitali, taasisi za fedha, n.k. Zote zinahitaji kufanya kazi kwa wingi wa taarifa tofauti.
Kutumia mifumo ya kawaida ya uhifadhi kutatua shida kama hizo hakufai, kwani inahitaji ufikiaji wa hali ya juu wa hifadhidata na ufikiaji wa mara kwa mara wa maktaba ya hati zilizochanganuliwa zilizohifadhiwa kama vitu. Kwa mfano, mfumo wa kuagiza kupitia lango la wavuti unaweza pia kuunganishwa hapa. Ili kutekeleza haya yote kwenye jukwaa la kuhifadhi classic, utahitaji seti kubwa ya vifaa kwa ajili ya kazi mbalimbali. Mfumo mmoja wa uhifadhi wa usawa wa ulimwengu wote unaweza kufunika kazi zote zilizoorodheshwa hapo awali: unahitaji tu kuunda mabwawa kadhaa na sifa tofauti za uhifadhi ndani yake.
Jenereta za habari mpya
Kiasi cha habari iliyohifadhiwa ulimwenguni inakua kwa karibu 30% kwa mwaka. Hii ni habari njema kwa wachuuzi wa hifadhi, lakini ni nini na kitakuwa chanzo kikuu cha data hii?
Miaka kumi iliyopita, mitandao ya kijamii ikawa jenereta kama hizo; hii ilihitaji kuundwa kwa idadi kubwa ya algorithms mpya, ufumbuzi wa vifaa, nk Sasa kuna madereva matatu kuu kwa ukuaji wa kiasi cha kuhifadhi. Ya kwanza ni kompyuta ya wingu. Hivi sasa, takriban 70% ya makampuni hutumia huduma za wingu kwa njia moja au nyingine. Hizi zinaweza kuwa mifumo ya barua pepe ya kielektroniki, nakala rudufu na vyombo vingine vilivyoboreshwa.
Dereva wa pili ni mitandao ya kizazi cha tano. Hizi ni kasi mpya na kiasi kipya cha uhamisho wa data. Kulingana na utabiri wetu, kuenea kwa 5G kutasababisha kushuka kwa mahitaji ya kadi za kumbukumbu za flash. Haijalishi ni kumbukumbu ngapi kwenye simu, bado inaisha, na ikiwa kifaa kina kituo cha megabit 100, hakuna haja ya kuhifadhi picha ndani ya nchi.
Kundi la tatu la sababu kwa nini mahitaji ya mifumo ya hifadhi yanaongezeka ni pamoja na maendeleo ya haraka ya akili bandia, mpito hadi uchanganuzi mkubwa wa data na mwelekeo kuelekea uwekaji otomatiki wa kila kitu kinachowezekana.
Kipengele cha "trafiki mpya" ni yake . Tunahitaji kuhifadhi data hii bila kufafanua umbizo lake kwa njia yoyote. Inahitajika tu kwa usomaji unaofuata. Kwa mfano, ili kubaini kiasi kinachopatikana cha mkopo, mfumo wa alama za benki utaangalia picha unazochapisha kwenye mitandao ya kijamii, kubaini ikiwa unaenda baharini mara nyingi na kwenye mikahawa, na wakati huo huo utasoma dondoo kutoka kwa hati zako za matibabu zinazopatikana. kwake. Takwimu hizi, kwa upande mmoja, ni za kina, lakini kwa upande mwingine, hazina homogeneity.
Bahari ya data isiyo na muundo
Je, kuibuka kwa "data mpya" kunahusisha matatizo gani? Ya kwanza kati yao, bila shaka, ni kiasi kikubwa cha habari na muda wa makadirio ya uhifadhi wake. Gari la kisasa lisilo na dereva pekee huzalisha hadi terabaiti 60 za data kila siku kutoka kwa vihisi na mitambo yake yote. Ili kuunda algorithms mpya ya harakati, habari hii lazima ishughulikiwe ndani ya siku hiyo hiyo, vinginevyo itaanza kujilimbikiza. Wakati huo huo, lazima ihifadhiwe kwa muda mrefu sana - miongo kadhaa. Hapo ndipo itawezekana katika siku zijazo kuteka hitimisho kulingana na sampuli kubwa za uchambuzi.
Kifaa kimoja cha kubainisha mpangilio wa kijeni hutoa takriban TB 6 kwa siku. Na data iliyokusanywa kwa msaada wake haimaanishi kufutwa kabisa, yaani, kwa nadharia, inapaswa kuhifadhiwa milele.
Hatimaye, mitandao hiyo hiyo ya kizazi cha tano. Mbali na habari halisi iliyopitishwa, mtandao kama huo yenyewe ni jenereta kubwa ya data: kumbukumbu za shughuli, rekodi za simu, matokeo ya kati ya mwingiliano wa mashine hadi mashine, nk.
Yote hii inahitaji maendeleo ya mbinu mpya na algorithms kwa kuhifadhi na usindikaji habari. Na mbinu kama hizo zinaibuka.
Teknolojia mpya za enzi
Kuna makundi matatu ya ufumbuzi iliyoundwa ili kukabiliana na mahitaji mapya ya mifumo ya kuhifadhi habari: kuanzishwa kwa akili ya bandia, mageuzi ya kiufundi ya vyombo vya habari vya kuhifadhi na ubunifu katika uwanja wa usanifu wa mfumo. Wacha tuanze na AI.
Katika suluhu mpya za Huawei, akili ya bandia hutumiwa katika kiwango cha hifadhi yenyewe, ambayo ina processor ya AI ambayo inaruhusu mfumo kuchambua kwa kujitegemea hali yake na kutabiri kushindwa. Ikiwa mfumo wa hifadhi umeunganishwa kwenye wingu la huduma ambalo lina uwezo mkubwa wa kompyuta, akili ya bandia itaweza kuchakata maelezo zaidi na kuongeza usahihi wa dhana zake.
Mbali na kushindwa, AI kama hiyo inaweza kutabiri mzigo wa kilele wa siku zijazo na wakati uliobaki hadi uwezo utakapomalizika. Hii hukuruhusu kuboresha utendakazi na kuongeza ukubwa wa mfumo kabla ya matukio yoyote yasiyofaa kutokea.
Sasa kuhusu mageuzi ya vyombo vya habari vya kuhifadhi. Anatoa flash za kwanza zilifanywa kwa kutumia teknolojia ya SLC (Single-Level Cell). Vifaa vilivyotokana na hilo vilikuwa vya haraka, vya kuaminika, vyema, lakini vilikuwa na uwezo mdogo na vilikuwa vya gharama kubwa sana. Ukuaji wa kiasi na upunguzaji wa bei ulipatikana kupitia makubaliano fulani ya kiufundi, kwa sababu ambayo kasi, kuegemea na maisha ya huduma ya anatoa zilipunguzwa. Walakini, hali hiyo haikuathiri mifumo ya uhifadhi yenyewe, ambayo, kwa sababu ya hila anuwai za usanifu, kwa ujumla ikawa yenye tija zaidi na ya kuaminika zaidi.
Lakini kwa nini ulihitaji mifumo ya hifadhi ya All-Flash? Haikutosha kuchukua nafasi ya HDD za zamani katika mfumo wa uendeshaji tayari na SSD mpya za fomu sawa? Hii ilihitajika ili kutumia kwa ufanisi rasilimali zote za anatoa mpya za serikali, ambayo haikuwezekana katika mifumo ya zamani.
Huawei, kwa mfano, imetengeneza teknolojia kadhaa za kutatua tatizo hili, mojawapo ni , ambayo ilifanya iwezekanavyo kuboresha mwingiliano wa "kidhibiti-diski" iwezekanavyo.
Utambulisho wa akili ulifanya iwezekane kutenganisha data katika mitiririko kadhaa na kukabiliana na matukio kadhaa yasiyofaa, kama vile. (kuandika amplification). Wakati huo huo, algorithms mpya ya kurejesha, hasa , iliongeza kasi ya kujenga upya, kupunguza muda wake kwa kiasi kidogo kabisa.
Kushindwa, msongamano, ukusanyaji wa takataka - mambo haya pia hayaathiri tena utendaji wa mfumo wa kuhifadhi shukrani kwa marekebisho maalum kwa watawala.
Na hifadhi za data za kuzuia pia zinajiandaa kukutana . Hebu tukumbuke kwamba mpango wa kawaida wa kupanga ufikiaji wa data ulifanya kazi kama hii: kichakataji kilifikia kidhibiti cha RAID kupitia basi ya PCI Express. Hiyo, kwa upande wake, iliingiliana na disks za mitambo kupitia SCSI au SAS. Matumizi ya NVMe kwenye backend kwa kiasi kikubwa iliharakisha mchakato mzima, lakini ilikuwa na drawback moja: anatoa zilipaswa kushikamana moja kwa moja na processor ili kutoa upatikanaji wa moja kwa moja kwa kumbukumbu.
Awamu inayofuata ya maendeleo ya teknolojia ambayo tunaona sasa ni matumizi ya NVMe-oF (NVMe over Fabrics). Kuhusu teknolojia za Huawei block, tayari zinaunga mkono FC-NVMe (NVMe over Fiber Channel), na NVMe over RoCE (RDMA over Converged Ethernet) iko njiani. Aina za majaribio zinafanya kazi kabisa; imesalia miezi kadhaa kabla ya uwasilishaji wao rasmi. Kumbuka kwamba yote haya yataonekana katika mifumo iliyosambazwa, ambapo "Ethernet isiyo na hasara" itakuwa na mahitaji makubwa.
Njia ya ziada ya kuboresha utendakazi wa hifadhi iliyosambazwa ilikuwa kuachwa kabisa kwa uakisi wa data. Suluhisho za Huawei hazitumii tena nakala za n, kama ilivyo kwa RAID 1 ya kawaida, na ubadilishe kabisa hadi (Futa msimbo). Mfuko maalum wa hisabati huhesabu vitalu vya udhibiti kwa upimaji fulani, ambayo inakuwezesha kurejesha data ya kati katika kesi ya kupoteza.
Utaratibu wa upunguzaji na ukandamizaji huwa wa lazima. Ikiwa katika mifumo ya uhifadhi wa kawaida tunazuiliwa na idadi ya wasindikaji waliowekwa kwenye vidhibiti, basi katika mifumo ya uhifadhi inayoweza kusambazwa kwa usawa, kila nodi ina kila kitu muhimu: diski, kumbukumbu, vichakataji na unganisho. Rasilimali hizi zinatosha kuhakikisha kuwa upunguzaji na mgandamizo una athari ndogo kwenye utendakazi.
Na kuhusu njia za uboreshaji wa vifaa. Hapa iliwezekana kupunguza mzigo kwenye wasindikaji wa kati kwa usaidizi wa chips za ziada za kujitolea (au vitalu vya kujitolea katika processor yenyewe), ambayo ina jukumu. (Injini ya Kupakia ya TCP/IP) au kuchukua majukumu ya hisabati ya EC, kurudisha nyuma na kubana.
Mbinu mpya za kuhifadhi data zimejumuishwa katika usanifu uliogawanywa (uliosambazwa). Mifumo ya hifadhi ya kati ina kiwanda cha seva iliyounganishwa kupitia Fiber Channel kwa na safu nyingi. Hasara za mbinu hii ni ugumu wa kuongeza na kuhakikisha kiwango cha uhakika cha huduma (kwa suala la utendaji au latency). Mifumo ya Hyperconverged hutumia seva pangishi kwa kuhifadhi na kuchakata maelezo. Hii inatoa kwa kweli upeo usio na kikomo wa kuongeza, lakini unajumuisha gharama kubwa za kudumisha uadilifu wa data.
Tofauti na yote mawili hapo juu, usanifu uliogawanywa unamaanisha kugawanya mfumo katika kitambaa cha kompyuta na mfumo wa hifadhi ya usawa. Hii hutoa faida za usanifu wote na inaruhusu uwekaji karibu usio na kikomo wa kipengele ambacho hakina utendakazi.
Kutoka kwa ushirikiano hadi muunganisho
Kazi ya kawaida, umuhimu ambao umekua zaidi ya miaka 15 iliyopita, ni hitaji la wakati huo huo kutoa uhifadhi wa block, ufikiaji wa faili, ufikiaji wa vitu, uendeshaji wa shamba kubwa la data, n.k. Icing kwenye keki pia inaweza. kuwa, kwa mfano, mfumo wa chelezo kwenye mkanda wa sumaku.
Katika hatua ya kwanza, ni usimamizi tu wa huduma hizi ungeweza kuunganishwa. Mifumo mingi ya kuhifadhi data iliunganishwa kwa programu maalum, ambayo msimamizi alisambaza rasilimali kutoka kwa vidimbwi vilivyopatikana. Lakini kwa kuwa mabwawa haya yalikuwa na vifaa tofauti, uhamiaji wa mzigo kati yao haukuwezekana. Katika kiwango cha juu cha ujumuishaji, mkusanyiko ulitokea kwenye kiwango cha lango. Ikiwa ushiriki wa faili ulipatikana, unaweza kutumwa kupitia itifaki tofauti.
Mbinu ya hali ya juu zaidi ya muunganisho inayopatikana kwetu kwa sasa inahusisha uundaji wa mfumo wa mseto wa ulimwengu wote. Ni nini hasa chetu kinapaswa kuwa . Ufikiaji wa jumla hutumia rasilimali sawa za maunzi, ambazo zimegawanywa kimantiki katika mabwawa tofauti, lakini kuruhusu uhamishaji wa mizigo. Haya yote yanaweza kufanywa kupitia koni moja ya usimamizi. Kwa njia hii, tuliweza kutekeleza dhana ya "kituo kimoja cha data - mfumo mmoja wa kuhifadhi."
Gharama ya kuhifadhi habari sasa huamua maamuzi mengi ya usanifu. Na ingawa inaweza kuwekwa mbele kwa usalama, leo tunajadili uhifadhi wa "moja kwa moja" na ufikiaji amilifu, kwa hivyo utendaji lazima uzingatiwe. Sifa nyingine muhimu ya mifumo iliyosambazwa ya kizazi kijacho ni umoja. Baada ya yote, hakuna mtu anataka kuwa na mifumo kadhaa tofauti kudhibitiwa kutoka kwa consoles tofauti. Sifa hizi zote zimejumuishwa katika mfululizo mpya wa bidhaa za Huawei .
Mfumo wa uhifadhi wa wingi wa kizazi kipya
OceanStor Pacific inakidhi mahitaji ya kutegemewa ya miaka sita (99,9999%) na inaweza kutumika kuunda vituo vya data vya darasa la HyperMetro. Kwa umbali kati ya vituo viwili vya data vya hadi kilomita 100, mifumo inaonyesha muda wa ziada wa 2 ms, ambayo inafanya uwezekano wa kujenga kwa misingi yao ufumbuzi wowote unaostahimili maafa, ikiwa ni pamoja na wale walio na seva za akidi.
Bidhaa mpya za mfululizo zinaonyesha matumizi mengi ya itifaki. Tayari, OceanStor 100D inasaidia ufikiaji wa kuzuia, ufikiaji wa kitu na ufikiaji wa Hadoop. Ufikiaji wa faili pia utatekelezwa katika siku za usoni. Hakuna haja ya kuhifadhi nakala nyingi za data ikiwa zinaweza kutolewa kupitia itifaki tofauti.
Inaonekana, dhana ya "mtandao usio na hasara" ina uhusiano gani na mifumo ya kuhifadhi? Ukweli ni kwamba mifumo ya uhifadhi wa data iliyosambazwa imejengwa kwa misingi ya mtandao wa haraka unaounga mkono algorithms sahihi na utaratibu wa RoCE. Mfumo wa upelelezi wa bandia unaotumika na swichi zetu husaidia kuongeza kasi ya mtandao na kupunguza muda wa kusubiri. . Faida katika utendakazi wa kuhifadhi wakati wa kuwezesha AI Fabric inaweza kufikia 20%.
Je, nodi mpya ya hifadhi iliyosambazwa ya OceanStor Pacific ni ipi? Suluhisho la fomu ya 5U ni pamoja na anatoa 120 na inaweza kuchukua nafasi ya nodes tatu za classic, ambayo hutoa akiba zaidi ya mara mbili katika nafasi ya rack. Kwa kutohifadhi nakala, ufanisi wa anatoa huongezeka kwa kiasi kikubwa (hadi +92%).
Tumezoea ukweli kwamba hifadhi iliyofafanuliwa na programu ni programu maalum iliyowekwa kwenye seva ya classic. Lakini sasa, ili kufikia vigezo vyema, ufumbuzi huu wa usanifu pia unahitaji nodes maalum. Inajumuisha seva mbili kulingana na vichakataji vya ARM ambavyo vinadhibiti safu ya viendeshi vya inchi tatu.
Seva hizi hazifai kwa suluhu zenye muunganisho mwingi. Kwanza, kuna maombi machache ya ARM, na pili, ni vigumu kudumisha usawa wa mzigo. Tunapendekeza kuhamia kwenye hifadhi tofauti: kikundi cha kompyuta, kinachowakilishwa na seva za kawaida au za rack, hufanya kazi tofauti, lakini imeunganishwa na nodi za hifadhi za OceanStor Pacific, ambazo pia hufanya kazi zao za moja kwa moja. Na inajihesabia haki.
Kwa mfano, hebu tuchukue suluhisho kubwa la kawaida la kuhifadhi data na mfumo wa hyperconverged ambao unachukua rafu 15 za seva. Ikiwa unasambaza mzigo kati ya seva tofauti za kompyuta na nodi za hifadhi za OceanStor Pacific, kuzitenganisha kutoka kwa kila mmoja, idadi ya racks zinazohitajika zitapunguzwa kwa nusu! Hii inapunguza gharama za uendeshaji wa kituo cha data na kupunguza jumla ya gharama ya umiliki. Katika ulimwengu ambapo kiasi cha habari iliyohifadhiwa inakua kwa 30% kwa mwaka, faida hizo hazitupwa kote.
***
Unaweza kupata habari zaidi kuhusu suluhisho za Huawei na hali zao za utumaji kwenye yetu au kwa kuwasiliana na wawakilishi wa kampuni moja kwa moja.
Chanzo: mapenzi.com