Jodi a nou pral pale sou ki jan pi bon pou estoke done nan yon mond kote rezo senkyèm jenerasyon, eskanè genomic ak machin oto-kondwi pwodwi plis done chak jou pase tout limanite te pwodwi anvan revolisyon endistriyèl la.
Mond nou an ap jenere plis ak plis enfòmasyon. Gen kèk pati nan li se pasajè epi yo pèdi osi vit ke li kolekte. Yon lòt ta dwe estoke pi lontan, e yon lòt menm fèt "pou syèk" - omwen se sa nou wè nan prezan an. Koule enfòmasyon yo etabli nan sant done yo nan yon vitès konsa ke nenpòt nouvo apwòch, nenpòt teknoloji ki fèt pou satisfè "demann" kontinuèl sa a byen vit vin demode.
40 ane nan devlopman nan sistèm depo distribiye
Premye depo rezo a nan fòm nou abitye ak parèt nan ane 1980 yo. Anpil nan nou te rankontre NFS (Network File System), AFS (Andrew File System) oswa Coda. Yon dekad apre, alamòd ak teknoloji chanje, epi sistèm fichye distribiye yo te bay sistèm depo gwoupe ki baze sou GPFS (General Parallel File System), CFS (Clustered File Systems) ak StorNext. Yo te itilize depo blòk nan achitekti klasik kòm yon baz, sou tèt yo te kreye yon sistèm dosye sèl lè l sèvi avèk yon kouch lojisyèl. Sa yo ak solisyon ki sanble yo toujou itilize, okipe Tanporèman nich yo epi yo byen nan demann.
Nan vire milenè a, paradigm nan depo distribiye chanje yon ti jan, ak sistèm ak achitekti SN (Shared-Nothing) te pran pozisyon dirijan yo. Te gen yon tranzisyon soti nan depo gwoup nan depo sou nœuds endividyèl, ki, kòm yon règ, yo te sèvè klasik ak lojisyèl ki bay depo serye; Sou prensip sa yo, di, HDFS (Hadoop Distributed File System) ak GFS (Global File System) yo bati.
Pi pre ane 2010 yo, konsèp ki baze sou sistèm depo distribiye yo te kòmanse reflete de pli zan pli nan pwodwi komèsyal plen, tankou VMware vSAN, Dell EMC Isilon ak nou an. . Dèyè platfòm mansyone yo pa gen okenn ankò yon kominote nan amater, men vandè espesifik ki responsab pou fonksyonalite a, sipò, ak sèvis nan pwodwi a ak garanti plis devlopman li yo. Solisyon sa yo pi plis nan demann nan plizyè zòn.
Operatè telekominikasyon yo
Petèt youn nan pi ansyen konsomatè yo nan sistèm depo distribiye yo se operatè telecom. Dyagram nan montre ki gwoup aplikasyon ki pwodui gwo kantite done yo. OSS (Sistèm Sipò pou Operasyon yo), MSS (Sèvis Sipò pou Jesyon) ak BSS (Sistèm Sipò pou Biznis yo) reprezante twa kouch lojisyèl konplemantè ki nesesè pou bay sèvis abònen yo, rapò finansye bay founisè a ak sipò operasyonèl pou enjenyè operatè yo.
Souvan, done yo nan kouch sa yo lou melanje youn ak lòt, ak nan lòd pou fè pou evite akimilasyon nan kopi nesesè, yo itilize depo distribiye, ki akimile tout kantite enfòmasyon ki soti nan rezo a opere. Depo yo konbine nan yon pisin komen, ki gen aksè nan tout sèvis yo.
Kalkil nou yo montre ke tranzisyon an soti nan sistèm depo klasik yo bloke sistèm depo pèmèt ou ekonomize jiska 70% nan bidjè a sèlman nan abandone dedye sistèm depo hi-end ak itilize sèvè konvansyonèl achitekti klasik (anjeneral x86), k ap travay ansanm ak espesyalize. lojisyèl. Operatè selilè yo te kòmanse achte solisyon sa yo nan gwo kantite. An patikilye, operatè Ris yo te itilize pwodwi sa yo soti nan Huawei pou plis pase sis ane.
Wi, yon kantite travay pa ka ranpli ak sistèm distribiye. Pou egzanp, ak kondisyon pèfòmans ogmante oswa konpatibilite ak pwotokòl ki pi gran yo. Men, omwen 70% nan done yo trete pa operatè a ka lokalize nan yon pisin distribye.
Banking
Nan nenpòt bank gen anpil diferan sistèm IT, kòmanse nan pwosesis ak fini ak yon sistèm bankè otomatik. Enfrastrikti sa a travay tou ak yon gwo kantite enfòmasyon, pandan ke pifò travay yo pa mande pou ogmante pèfòmans ak fyab nan sistèm depo, pou egzanp, devlopman, tès, automatisation nan pwosesis biwo, elatriye. Isit la, itilize nan sistèm depo klasik posib, men chak ane li pi piti ak mwens pwofitab. Anplis de sa, nan ka sa a pa gen okenn fleksibilite nan itilize nan resous sistèm depo, pèfòmans nan ki kalkile ki baze sou chaj pik.
Lè w ap itilize sistèm depo distribiye, nœuds yo, ki an reyalite sèvè òdinè, ka konvèti nenpòt ki lè, pou egzanp, nan yon fèm sèvè epi itilize kòm yon platfòm informatique.
Done lak
Dyagram ki anwo a montre yon lis konsomatè sèvis tipik yo . Sa yo ta ka sèvis e-gouvènman (pa egzanp, "Sèvis Gouvènman"), antrepriz dijitalize, enstitisyon finansye, elatriye. Tout nan yo bezwen travay ak volim gwo enfòmasyon eterojèn.
Sèvi ak sistèm depo klasik yo pou rezoud pwoblèm sa yo pa efikas, paske li mande tou de aksè pèfòmans-wo pou bloke baz done ak aksè regilye nan bibliyotèk nan dokiman analize ki estoke kòm objè. Pou egzanp, yon sistèm kòmande atravè yon pòtal entènèt kapab tou lye isit la. Pou aplike tout bagay sa yo sou yon platfòm depo klasik, w ap bezwen yon seri gwo ekipman pou plizyè travay. Yon sistèm depo orizontal inivèsèl ka byen kouvri tout travay ki nan lis yo deja: ou jis bezwen kreye plizyè pisin ak karakteristik depo diferan nan li.
Jeneratè nouvo enfòmasyon
Kantite enfòmasyon ki estoke nan mond lan ap grandi pa anviwon 30% chak ane. Sa a se yon bon nouvèl pou machann depo, men ki sa ki se epi ki pral sous prensipal la nan done sa a?
Dis ane de sa, rezo sosyal yo te vin jeneratè sa yo, sa te mande pou kreyasyon yon gwo kantite nouvo algoritm, solisyon pyès ki nan konpitè, elatriye Koulye a, gen twa chofè prensipal pou kwasans volim depo. Premye a se cloud computing. Kounye a, apeprè 70% nan konpayi yo sèvi ak sèvis nwaj nan yon fason oswa yon lòt. Sa yo ka sistèm lapòs elektwonik, kopi backup ak lòt antite virtualize.
Dezyèm chofè a se senkyèm jenerasyon rezo. Sa yo se nouvo vitès ak nouvo volim transfè done. Dapre prévisions nou yo, adopsyon toupatou nan 5G pral mennen nan yon gout nan demann pou kat memwa flash. Kèlkeswa kantite memwa ki genyen nan telefòn nan, li toujou fini, epi si Gadgets la gen yon kanal 100 megabit, pa gen okenn nesesite pou estoke foto lokalman.
Twazyèm gwoup rezon ki fè demann pou sistèm depo ap grandi gen ladan devlopman rapid nan entèlijans atifisyèl, tranzisyon an nan analiz done gwo ak tandans nan direksyon pou automatisation inivèsèl nan tout sa ki posib.
Yon karakteristik nan "nouvo trafik la" se li yo . Nou bezwen sere done sa yo san yo pa defini fòma li yo nan okenn fason. Li obligatwa sèlman pou lekti ki vin apre. Pa egzanp, pou detèmine kantite prè ki disponib, yon sistèm ki bay nòt bankè ap gade foto ou poste sou rezo sosyal yo, detèmine si ou souvan ale nan lanmè a ak nan restoran, epi an menm tan etidye ekstrè nan dokiman medikal ou ki disponib. pou li. Done sa yo, sou yon bò, yo konplè, men sou lòt men an, manke omojèn.
Oseyan done ki pa estriktire
Ki pwoblèm aparisyon "nouvo done" genyen? Premye a nan mitan yo, nan kou, se volim nan absoli nan enfòmasyon ak peryòd la estime nan depo li yo. Yon machin otonòm modèn san chofè pou kont li jenere jiska 60 terabyte done chak jou nan tout detèktè ak mekanis li yo. Pou devlope nouvo algoritm mouvman, enfòmasyon sa a dwe trete nan menm jou a, otreman li pral kòmanse akimile. An menm tan an, li dwe estoke pou yon tan trè long - dè dekad. Se sèlman lè sa a li pral posib nan lavni an tire konklizyon ki baze sou gwo echantiyon analyse.
Yon aparèy pou dechifre sekans jenetik pwodui apeprè 6 TB pa jou. Ak done yo kolekte avèk èd li yo pa vle di sipresyon nan tout, se sa ki, ipotetik, li ta dwe estoke pou tout tan.
Finalman, menm senkyèm jenerasyon rezo yo. Anplis de enfòmasyon aktyèl la transmèt, tankou yon rezo tèt li se yon gwo dèlko done: mòso bwa aktivite, dosye apèl, rezilta entèmedyè nan entèraksyon machin-a-machin, elatriye.
Tout bagay sa a mande pou devlopman nouvo apwòch ak algoritm pou estoke ak trete enfòmasyon. Ak apwòch sa yo ap parèt.
Nouvo teknoloji epòk
Gen twa gwoup solisyon ki fèt pou fè fas ak nouvo kondisyon pou sistèm depo enfòmasyon: entwodiksyon entèlijans atifisyèl, evolisyon teknik nan medya depo ak inovasyon nan domèn achitekti sistèm. Ann kòmanse ak AI.
Nan nouvo solisyon Huawei, yo itilize entèlijans atifisyèl nan nivo depo tèt li, ki ekipe ak yon processeur AI ki pèmèt sistèm nan analize kondisyon li yo poukont li epi predi echèk. Si sistèm depo a konekte ak yon nwaj sèvis ki gen anpil kapasite enfòmatik, entèlijans atifisyèl yo pral kapab trete plis enfòmasyon epi ogmante presizyon ipotèz li yo.
Anplis echèk, AI sa yo ka predi chaj pik nan lavni ak tan ki rete jiskaske kapasite yo fin itilize. Sa a pèmèt ou optimize pèfòmans ak echèl sistèm nan anvan nenpòt evènman endezirab rive.
Koulye a, sou evolisyon nan medya depo. Premye kondui flash yo te fèt ak teknoloji SLC (Single-Level Cell). Aparèy ki baze sou li yo te rapid, serye, ki estab, men yo te gen yon ti kapasite epi yo te trè chè. Kwasans volim ak rediksyon pri yo te reyalize atravè sèten konsesyon teknik, akòz ki vitès, fyab ak lavi sèvis nan kondwi yo te redwi. Men, tandans nan pa te afekte sistèm depo tèt yo, ki, akòz divès kalite ke trik nouvèl achitekti, jeneralman te vin pi pwodiktif ak plis serye.
Men, poukisa ou te bezwen sistèm depo All-Flash? Èske li pa t ase tou senpleman ranplase ansyen HDD yo nan yon sistèm opere ki deja ak nouvo SSD ki gen menm faktè fòm? Sa a te mande yo nan lòd yo efektivman itilize tout resous yo nan nouvo kondui eta solid yo, ki te tou senpleman enposib nan sistèm ki pi gran yo.
Huawei, pou egzanp, te devlope yon kantite teknoloji pou rezoud pwoblèm sa a, youn nan yo se , ki te fè li posib pou optimize entèraksyon "disk-kontwolè" otank posib.
Idantifikasyon entèlijan fè li posib pou dekonpoze done nan plizyè kouran epi fè fas ak yon kantite fenomèn endezirab, tankou (ekri anplifikasyon). An menm tan an, nouvo algoritm rekiperasyon an patikilye , ogmante vitès la nan rebati, diminye tan li nan kantite lajan konplètman ensiyifyan.
Echèk, twòp moun, koleksyon fatra - faktè sa yo tou pa afekte pèfòmans nan sistèm nan depo gras a modifikasyon espesyal nan contrôleur yo.
Ak depo done blòk yo tou prepare yo rankontre . Se pou nou sonje ke konplo klasik la pou òganize aksè done te travay konsa: processeur a jwenn aksè nan kontwolè RAID la atravè otobis la PCI Express. Sa, nan vire, kominike avèk disk mekanik atravè SCSI oswa SAS. Itilizasyon NVMe sou backend la te siyifikativman akselere pwosesis la tout antye, men li te gen yon sèl dezavantaj: kondui yo te dwe konekte dirèkteman ak processeur a yo nan lòd yo bay li ak aksè dirèk nan memwa.
Pwochen faz nan devlopman teknoloji ke nou wè kounye a se itilizasyon NVMe-oF (NVMe over Fabrics). Kòm pou teknoloji blòk Huawei, yo deja sipòte FC-NVMe (NVMe sou Fibre Channel), ak NVMe sou RoCE (RDMA sou Converged Ethernet) se sou wout la. Modèl tès yo byen fonksyonèl; gen plizyè mwa ki rete anvan prezantasyon ofisyèl yo. Remake byen ke tout bagay sa yo ap parèt nan sistèm distribiye, kote "Ethernet san pèt" yo pral nan gwo demann.
Yon lòt fason pou optimize operasyon depo distribiye te abandone konplè done miwa. Solisyon Huawei yo pa sèvi ak kopi n ankò, tankou nan RAID abityèl 1, ak konplètman chanje nan la (Efase kodaj). Yon pake matematik espesyal kalkile blòk kontwòl nan yon sèten peryodik, ki pèmèt ou retabli done entèmedyè nan ka ta gen pèt.
Mekanis deduplication ak konpresyon vin obligatwa. Si nan sistèm depo klasik nou limite pa kantite processeurs enstale nan kontwolè yo, Lè sa a, nan distribye sistèm depo orizontal évolutive, chak ne gen tout sa ki nesesè: disk, memwa, processeur ak entèkonekte. Resous sa yo ase pou asire ke deduplication ak konpresyon gen enpak minim sou pèfòmans.
Ak sou metòd optimize pyès ki nan konpitè. Isit la li te posib diminye chaj la sou processeurs santral avèk èd nan chips adisyonèl dedye (oswa blòk dedye nan processeur nan tèt li), ki jwe yon wòl. (TCP/IP Offload Engine) oswa pran sou travay yo matematik nan EC, deduplication ak konpresyon.
Nouvo apwòch nan depo done yo incorporée nan yon achitekti dezagregasyon (distribiye). Sistèm depo santralize gen yon faktori sèvè ki konekte atravè Fibre Channel ak anpil etalaj. Dezavantaj yo nan apwòch sa a se difikilte pou eskalade ak asire yon nivo garanti nan sèvis (an tèm de pèfòmans oswa latansi). Sistèm ipèkonvèje itilize menm lame yo pou tou de estoke ak trete enfòmasyon. Sa a bay pratikman san limit dimansyon pou dekale, men enplike gwo depans pou kenbe entegrite done yo.
Kontrèman ak tou de nan pi wo a, yon achitekti dezagregasyon implique divize sistèm nan nan yon twal informatique ak yon sistèm depo orizontal. Sa a bay benefis tou de achitekti ak pèmèt dekale prèske san limit nan sèlman eleman ki manke pèfòmans.
Soti nan entegrasyon rive nan dirèksyon
Yon travay klasik, enpòtans nan ki te sèlman grandi sou 15 ane ki sot pase yo, se bezwen an ansanm bay depo blòk, aksè dosye, aksè nan objè, operasyon an nan yon fèm done gwo, elatriye glas la sou gato a ta ka tou. dwe, pou egzanp, yon sistèm backup sou kasèt mayetik.
Nan premye etap la, sèlman jesyon sèvis sa yo te posib pou inifye. Sistèm depo done eterojèn yo te konekte ak kèk lojisyèl espesyalize, atravè ki administratè a distribye resous ki soti nan pisin ki disponib. Men, depi pisin sa yo te gen pyès ki nan konpitè diferan, migrasyon chaj ant yo te enposib. Nan yon pi wo nivo de entegrasyon, agrégation a te fèt nan nivo passerelle. Si pataje fichye te disponib, li ta ka sèvi atravè diferan pwotokòl.
Metòd dirèksyon ki pi avanse ki disponib kounye a pou nou enplike kreyasyon yon sistèm ibrid inivèsèl. Egzakteman sa nou ta dwe vin . Aksè inivèsèl sèvi ak resous pyès ki nan konpitè menm, lojikman divize an pisin diferan, men ki pèmèt migrasyon chaj. Tout bagay sa yo ka fè atravè yon konsole jesyon sèl. Nan fason sa a, nou te kapab aplike konsèp nan "yon sant done - yon sèl sistèm depo."
Pri a nan estoke enfòmasyon kounye a detèmine anpil desizyon achitekti. Ak byenke li ka san danje mete nan forefront an, jodi a nou ap diskite sou depo "viv" ak aksè aktif, kidonk pèfòmans yo dwe pran an kont tou. Yon lòt pwopriyete enpòtan nan pwochen jenerasyon sistèm distribiye se inifikasyon. Apre yo tout, pesonn pa vle gen plizyè sistèm disparate kontwole soti nan konsola diferan. Tout kalite sa yo incorporée nan seri nouvo pwodwi Huawei yo .
Sistèm depo mas nan nouvo jenerasyon an
OceanStor Pacific satisfè kondisyon fyab sis-nèf (99,9999%) epi yo ka itilize pou kreye sant done klas HyperMetro. Avèk yon distans ant de sant done ki rive jiska 100 km, sistèm yo demontre yon latansi adisyonèl 2 ms, ki fè li posib pou bati sou baz yo nenpòt solisyon ki reziste dezas, enkli sa yo ki gen sèvè kowòm.
Nouvo seri pwodwi yo demontre adaptabilite pwotokòl. Deja, OceanStor 100D sipòte aksè blòk, aksè objè ak aksè Hadoop. Aksè dosye yo pral aplike tou nan fiti prè. Pa gen okenn nesesite pou estoke plizyè kopi done si yo ka bay yo atravè diferan pwotokòl.
Li ta sanble, ki sa konsèp nan yon "rezo lossless" gen fè ak sistèm depo? Reyalite a se ke distribiye sistèm depo done yo bati sou baz la nan yon rezo vit ki sipòte algoritm ki apwopriye yo ak mekanis RoCE la. Sistèm entèlijans atifisyèl ki sipòte pa switch nou yo ede plis ogmante vitès rezo a epi redwi latansi. . Genyen nan pèfòmans depo lè aktive AI twal ka rive jwenn 20%.
Ki sa ki nouvo OceanStor Pacific distribye depo ne? Solisyon an faktè fòm 5U gen ladan 120 kondui epi li ka ranplase twa nœuds klasik, ki bay plis pase ekonomi de fwa nan espas etajè. Lè yo pa estoke kopi, efikasite kondui yo ogmante anpil (jiska +92%).
Nou abitye ak lefèt ke lojisyèl-defini depo se lojisyèl espesyal enstale sou yon sèvè klasik. Men kounye a, pou reyalize paramèt optimal, solisyon achitekti sa a mande tou nœuds espesyal. Li konsiste de de serveurs ki baze sou processeurs ARM ki jere yon seri kondui twa-pous.
Serveurs sa yo pa apwopriye pou solisyon hyperconverged. Premyèman, gen anpil aplikasyon pou ARM, ak dezyèmman, li difisil pou kenbe balans chaj. Nou pwopoze deplase nan depo separe: yon gwoup enfòmatik, reprezante pa sèvè klasik oswa etajè, opere separeman, men li konekte ak nœuds depo OceanStor Pacific, ki tou fè travay dirèk yo. Epi li jistifye tèt li.
Pou egzanp, ann pran yon solisyon depo done klasik ak yon sistèm hyperconverged ki okipe 15 etajè sèvè. Si ou distribye chay la ant sèvè enfòmatik separe ak nœuds depo OceanStor Pacific, separe yo youn ak lòt, kantite etajè ki nesesè yo pral mwatye! Sa diminye depans fonksyònman sant done yo epi redwi pri total de posesyon an. Nan yon mond kote volim nan enfòmasyon ki estoke ap grandi pa 30% chak ane, avantaj sa yo pa jete alantou.
***
Ou ka jwenn plis enfòmasyon sou solisyon Huawei ak senaryo aplikasyon yo sou nou an oswa lè w kontakte reprezantan konpayi yo dirèkteman.
Sous: www.habr.com