Bonjou, lektè Habr. Ak atik sa a nou louvri yon seri ki pral pale sou sistèm hyperconverged AERODISK vAIR ke nou devlope. Okòmansman, nou te vle di tout bagay sou tout bagay nan premye atik la, men sistèm nan se byen konplèks, kidonk nou pral manje elefan an nan pati.
Ann kòmanse istwa a ak istwa a nan kreyasyon an nan sistèm nan, fouye nan sistèm nan dosye ARDFS, ki se baz la nan vAIR, epi tou pale yon ti kras sou pwezante solisyon sa a sou mache Ris la.
Nan pwochen atik nou pral pale an plis detay sou diferan konpozan achitekti (grap, hypervisor, balans chaj, sistèm siveyans, elatriye), pwosesis la konfigirasyon, ogmante pwoblèm lisans, separeman montre tès aksidan ak, nan kou, ekri sou tès chaj ak dimensionnement. Nou pral konsakre tou yon atik separe nan vèsyon kominote a nan vAIR.
Èske Aerodisk se yon istwa sou sistèm depo? Oswa poukisa nou te kòmanse fè hyperconvergence an plas an premye?
Okòmansman, lide pou kreye pwòp ipèkonvèjans nou te vin jwenn nou yon kote alantou 2010. Nan tan sa a, pa te gen ni Aerodisk ni solisyon menm jan an (komèsyal bwat hyperconverged sistèm) sou mache a. Travay nou an te sa ki annapre yo: soti nan yon seri serveurs ak disk lokal yo, ini pa yon koneksyon atravè pwotokòl Ethernet la, li te nesesè yo kreye yon depo pwolonje ak lanse machin vityèl ak yon rezo lojisyèl la. Tout bagay sa a te dwe aplike san sistèm depo (paske pa te tou senpleman pa gen okenn lajan pou sistèm depo ak pyès ki nan konpitè li yo, epi nou pa t 'ankò envante pwòp sistèm depo nou yo).
Nou te eseye anpil solisyon sous louvri epi finalman rezoud pwoblèm sa a, men solisyon an te trè konplèks ak difisil pou repete. Anplis, solisyon sa a te nan kategori "Èske li travay? Pa manyen! Se poutèt sa, lè nou te rezoud pwoblèm sa a, nou pa t devlope plis lide pou transfòme rezilta travay nou an nan yon pwodwi konplè.
Apre ensidan sa a, nou te deplase lwen lide sa a, men nou toujou te gen santiman ke pwoblèm sa a te konplètman rezoud, ak benefis ki genyen nan yon solisyon konsa yo te plis pase evidan. Imedyatman, pwodwi yo lage HCI nan konpayi etranje sèlman konfime santiman sa a.
Se poutèt sa, nan mitan ane 2016, nou te retounen nan travay sa a kòm yon pati nan kreye yon pwodwi plen véritable. Lè sa a, nou pa t 'ankò gen okenn relasyon ak envestisè, kidonk nou te oblije achte yon kanpe devlopman pou pwòp pa nou lajan pa trè gwo. Lè nou te kolekte sèvè yo itilize ak switch sou Avito, nou te kòmanse travay.
Travay prensipal inisyal la se te kreye pwòp nou, byenke senp, men pwòp sistèm dosye nou an, ki te kapab otomatikman ak respire distribye done nan fòm lan nan blòk vityèl sou nyèm nimewo a nan gwoup nœuds, ki konekte pa yon entèrkonèksyon atravè Ethernet. An menm tan an, FS a ta dwe echèl byen ak fasil epi yo dwe endepandan de sistèm adjasan yo, i.e. dwe alyene de vAIR nan fòm lan nan "jis yon etablisman depo".
Premye konsèp vAIR
Nou fè espre abandone itilize solisyon sous louvri pare pou òganize depo lonje (ceph, gluster, ekla ak renmen an) an favè pwòp devlopman nou an, paske nou deja te gen anpil eksperyans pwojè ak yo. Natirèlman, solisyon sa yo tèt yo ekselan, epi anvan nou travay sou Aerodisk, nou aplike plis pase yon pwojè entegrasyon avèk yo. Men, se yon sèl bagay pou aplike yon travay espesifik pou yon sèl kliyan, tren anplwaye yo ak, petèt, achte sipò nan yon gwo machann, ak yon lòt bagay pou kreye yon pwodwi fasil replike ki pral itilize pou plizyè travay, ki nou, kòm yon. machann, ka menm konnen sou tèt nou nou pa pral. Pou dezyèm objektif la, pwodwi sous louvri ki deja egziste yo pa t apwopriye pou nou, kidonk nou deside kreye yon sistèm dosye distribye tèt nou.
Dezan pita, plizyè devlopè (ki konbine travay sou vAIR ak travay sou sistèm depo motè klasik la) te reyalize yon rezilta sèten.
Rive 2018, nou te ekri yon sistèm dosye senp epi konplete li ak pyès ki nan konpitè ki nesesè yo. Sistèm nan konbine disk fizik (lokal) ki soti nan diferan sèvè nan yon sèl pisin plat atravè yon entèrkonèksyon entèn ak "koupe" yo an blòk vityèl, Lè sa a, aparèy blòk ak diferan degre tolerans fay yo te kreye nan blòk yo vityèl, sou ki sa yo vityèl yo te kreye. ak egzekite lè l sèvi avèk machin yo hypervisor KVM.
Nou pa t deranje twòp ak non sistèm dosye a epi nou te rele l ARDFS (devine kisa li vle di))
Pwototip sa a te sanble bon (pa vizyèlman, nan kou, pa te gen okenn konsepsyon vizyèl ankò) epi li te montre bon rezilta an tèm de pèfòmans ak dekale. Apre premye rezilta reyèl la, nou te mete pwojè sa a an mouvman, òganize yon anviwònman devlopman konplè ak yon ekip separe ki te fè fas sèlman ak vAIR.
Jis nan tan sa a, achitekti jeneral solisyon an te gen matirite, ki pa gen ankò sibi gwo chanjman.
Plonje nan sistèm dosye ARDFS la
ARDFS se fondasyon vAIR, ki bay distribiye, ki toleran defo done nan tout gwoup la. Youn nan (men se pa sèlman) karakteristik diferan nan ARDFS se ke li pa sèvi ak okenn lòt sèvè dedye pou metadata ak jesyon. Sa a te orijinèlman vin ansent pou senplifye konfigirasyon an nan solisyon an ak pou fyab li yo.
Estrikti depo
Nan tout nœuds gwoup la, ARDFS òganize yon pisin ki lojik nan tout espas disk ki disponib. Li enpòtan pou w konprann ke yon pisin se poko done oswa espas fòma, men tou senpleman maketing, i.e. Nenpòt nœuds ki gen vAIR enstale, lè yo ajoute nan gwoup la, yo otomatikman ajoute nan pisin ARDFS pataje ak resous disk yo otomatikman vin pataje atravè tout gwoup la (epi yo disponib pou estoke done nan lavni). Apwòch sa a pèmèt ou ajoute ak retire nœuds sou vole a san okenn enpak grav sou sistèm ki deja kouri. Moun sa yo. sistèm nan trè fasil pou echèl "nan brik", ajoute oswa retire nœuds nan gwoup la si sa nesesè.
Disk vityèl (objè depo pou machin vityèl) yo ajoute sou tèt pisin ARDFS la, ki bati nan blòk vityèl ki gen 4 megabyte nan gwosè. Disk vityèl dirèkteman magazen done. Se konplo a tolerans fay tou mete nan nivo a disk vityèl.
Kòm ou ta ka deja devine, pou tolerans fay nan subsistèm ki gen kapasite a, nou pa sèvi ak konsèp nan RAID (Redundant array of independent Disks), men nou itilize RAIN (Redundant array of independent Nodes). Moun sa yo. Tolerans fay mezire, otomatik, ak jere ki baze sou nœuds yo, pa disk yo. Disk, nan kou, se tou yon objè depo, yo, tankou tout lòt bagay, yo kontwole, ou ka fè tout operasyon estanda ak yo, ki gen ladan rasanble yon RAID kenkayri lokal yo, men gwoup la opere espesyalman sou nœuds.
Nan yon sitiyasyon kote ou reyèlman vle ATAK (pa egzanp, yon senaryo ki sipòte echèk miltip sou ti grap), pa gen anyen ki anpeche w itilize kontwolè RAID lokal yo, ak bati depo lonje ak yon achitekti RAIN sou tèt. Senaryo sa a se byen vivan epi li sipòte pa nou, kidonk nou pral pale sou li nan yon atik sou senaryo tipik pou itilize vAIR.
Depo Tolerans Fòt Schemes
Ka gen de plan tolerans fay pou disk vityèl nan vAIR:
1) Faktè replikasyon oswa tou senpleman replikasyon - metòd tolerans fòt sa a se senp tankou yon baton ak yon kòd. Replikasyon synchrone fèt ant nœuds ak yon faktè 2 (2 kopi pou chak gwoup) oswa 3 (3 kopi, respektivman). RF-2 pèmèt yon disk vityèl kenbe tèt ak echèk nan yon ne nan gwoup la, men "manje" mwatye nan volim nan itil, ak RF-3 pral kenbe tèt ak echèk la nan 2 nœuds nan gwoup la, men rezève 2/3 nan la. volim itil pou bezwen li yo. Konplo sa a sanble anpil ak RAID-1, se sa ki, yon disk vityèl configuré nan RF-2 rezistan a echèk nenpòt yon sèl ne nan gwoup la. Nan ka sa a, tout bagay pral byen ak done yo e menm I / O a pa pral sispann. Lè ne ki tonbe a retounen nan sèvis, otomatik done rekiperasyon/synchronization ap kòmanse.
Anba la a se egzanp distribisyon done RF-2 ak RF-3 nan mòd nòmal ak nan yon sitiyasyon echèk.
Nou gen yon machin vityèl ak yon kapasite de 8MB nan done inik (itil), ki kouri sou 4 nœuds vAIR. Li klè ke an reyalite li se fasil ke pral gen tankou yon ti volim, men pou yon konplo ki reflete lojik nan operasyon ARDFS, egzanp sa a se pi konprann. AB yo se 4MB blòk vityèl ki gen done inik machin vityèl. RF-2 kreye de kopi blòk sa yo A1 + A2 ak B1 + B2, respektivman. Blòk sa yo "mete deyò" atravè nœuds, evite entèseksyon an nan menm done yo sou menm nœud la, se sa ki, kopi A1 pa pral lokalize sou menm ne ak kopi A2. Menm jan ak B1 ak B2.
Si youn nan nœuds yo echwe (pa egzanp, nœud No 3, ki gen yon kopi B1), kopi sa a otomatikman aktive sou nœud la kote pa gen okenn kopi kopi li (ki se, yon kopi B2).
Kidonk, disk la vityèl (ak VM a, kòmsadwa) ka fasil siviv echèk nan yon sèl ne nan konplo a RF-2.
Konplo replikasyon an, pandan y ap senp ak serye, soufri nan menm pwoblèm ak RAID1 - pa ase espas ka itilize.
2) kodaj efase oswa kodaj efase (li rele tou "kodaj redondants", "kodaj efase" oswa "kod redondance") egziste pou rezoud pwoblèm ki anwo a. EC se yon konplo redondance ki bay done segondè disponiblite ak pi ba espas disk anlè konpare ak replikasyon. Prensip fonksyònman mekanis sa a sanble ak RAID 5, 6, 6P.
Lè kodaj, pwosesis EC a divize yon blòk vityèl (4MB pa default) nan plizyè pi piti "moso done" depann sou konplo EC a (pa egzanp, yon konplo 2 + 1 divize chak blòk 4MB an 2 moso 2MB). Apre sa, pwosesis sa a jenere "moso parite" pou "moso done yo" ki pa pi gwo pase youn nan pati yo deja divize. Lè dekode, EC jenere moso ki manke yo lè li li done "siviv" yo atravè tout gwoup la.
Pou egzanp, yon disk vityèl ak yon konplo 2 + 1 EC, aplike sou 4 nœuds gwoup, pral fasil kenbe tèt ak echèk nan yon sèl ne nan gwoup la menm jan ak RF-2. Nan ka sa a, depans anlè yo pral pi ba, an patikilye, koyefisyan kapasite itil pou RF-2 se 2, ak pou EC 2 + 1 li pral 1,5.
Pou dekri li pi tou senpleman, sans lan se ke blòk la vityèl divize an 2-8 (poukisa soti nan 2 a 8, gade anba a) "moso", ak pou moso sa yo "moso" nan parite nan yon volim menm jan an kalkile.
Kòm yon rezilta, done ak egalite yo distribye respire atravè tout nœuds nan gwoup la. An menm tan an, menm jan ak replikasyon, ARDFS otomatikman distribye done atravè nœuds yon fason pou anpeche done ki idantik (kopi done ak parite yo) yo estoke sou menm nœud la, yo nan lòd yo elimine chans pou yo pèdi done akòz. nan lefèt ke done yo ak egalite yo pral toudenkou fini sou yon sèl ne depo ki echwe.
Anba a se yon egzanp, ak menm machin vityèl 8 MB ak 4 nœuds, men ak yon konplo EC 2 + 1.
Blòk A ak B yo divize an de moso 2 MB chak (de paske 2 + 1), se sa ki, A1 + A2 ak B1 + B2. Kontrèman ak yon kopi, A1 se pa yon kopi A2, li se yon blòk vityèl A, divize an de pati, menm bagay la tou ak blòk B. Nan total, nou jwenn de seri 4MB, chak nan yo ki gen de moso de-MB. Apre sa, pou chak nan seri sa yo, parite yo kalkile ak yon volim pa plis pase yon moso (sa vle di 2 MB), nou jwenn yon lòt + 2 moso nan parite (AP ak BP). Nan total nou gen 4 × 2 done + 2 × 2 parite.
Apre sa, moso yo "mete" nan mitan nœuds yo pou done yo pa kwaze ak parite yo. Moun sa yo. A1 ak A2 pa pral sou menm ne ak AP.
Nan evènman an nan yon echèk nan yon sèl ne (pa egzanp, tou twazyèm lan), blòk la tonbe B1 pral otomatikman retabli soti nan parite a BP, ki se ki estoke sou ne No 2, epi yo pral aktive sou ne a kote ki gen. pa gen okenn B-parite, i.e. moso nan BP. Nan egzanp sa a, sa a se ne No 1
Mwen sèten lektè a gen yon kesyon:
"Tout sa ou dekri yo te aplike depi lontan pa konpetitè yo ak nan solisyon sous louvri, ki diferans ki genyen ant aplikasyon ou nan EC nan ARDFS?"
Lè sa a, pral gen karakteristik enteresan nan ARDFS.
Efase kodaj ak yon konsantre sou fleksibilite
Okòmansman, nou te bay yon konplo EC X+Y san patipri fleksib, kote X egal a yon nimewo soti nan 2 a 8, ak Y egal a yon nimewo soti nan 1 a 8, men toujou mwens pase oswa egal a X. Yo bay konplo sa a. pou fleksibilite. Ogmante kantite moso done (X) nan ki blòk vityèl la divize pèmèt diminye depans anlè yo, se sa ki, ogmante espas ki ka itilize.
Ogmante kantite fragman parite (Y) ogmante fyab la nan disk la vityèl. Pi gwo valè Y a, plis nœuds nan gwoup la ka echwe. Natirèlman, ogmante volim nan egalite diminye kantite kapasite ka itilize, men sa a se yon pri pou peye pou fyab.
Depandans nan pèfòmans sou sikwi EC se prèske dirèk: plis "moso", pi ba a pèfòmans isit la, nan kou, yon View balanse nesesè.
Apwòch sa a pèmèt administratè yo configured depo lonje ak fleksibilite maksimòm. Nan pisin ARDFS la, ou ka itilize nenpòt plan tolerans fay ak konbinezon yo, ki, nan opinyon nou, se tou trè itil.
Anba a se yon tablo ki konpare plizyè (se pa tout posib) RF ak EC rapid.
Tablo a montre ke menm konbinezon ki pi "terry" EC 8+7, ki pèmèt pèt jiska 7 nœuds nan yon gwoup ansanm, "manje" mwens espas ki ka itilize (1,875 kont 2) pase replikasyon estanda, epi li pwoteje 7 fwa pi byen. , ki fè mekanis pwoteksyon sa a, byenke pi konplèks, pi plis atire nan sitiyasyon kote li nesesè asire maksimòm fyab nan kondisyon espas ki gen kapasite limite. An menm tan an, ou bezwen konprann ke chak "plis" nan X oswa Y pral yon pèfòmans adisyonèl anlè, kidonk nan triyang ki genyen ant fyab, ekonomi ak pèfòmans ou bezwen chwazi ak anpil atansyon. Pou rezon sa a, nou pral konsakre yon atik separe nan efase kodaj gwosè.
Fyab ak otonomi nan sistèm nan dosye
ARDFS kouri lokalman sou tout nœuds nan gwoup la epi senkronize yo lè l sèvi avèk pwòp mwayen li yo atravè koòdone Ethernet dedye. Pwen enpòtan an se ke ARDFS endepandamman senkronize non sèlman done yo, men tou metadata yo ki gen rapò ak depo. Pandan n ap travay sou ARDFS, nou te etidye ansanm yon kantite solisyon ki deja egziste epi nou te dekouvri ke anpil senkronize meta sistèm fichye a lè l sèvi avèk yon DBMS ekstèn distribiye, ke nou itilize tou pou senkronizasyon, men se sèlman konfigirasyon, pa metadata FS (sou sa a ak lòt subsistèm ki gen rapò). nan pwochen atik la).
Senkronize metadata FS lè l sèvi avèk yon DBMS ekstèn se, nan kou, yon solisyon k ap travay, men Lè sa a, konsistans nan done yo ki estoke sou ARDFS ta depann de DBMS ekstèn lan ak konpòtman li (e, franchman pale, li se yon dam kaprisyeuz), ki nan opinyon nou an move. Poukisa? Si metadata FS yo vin domaje, done FS li menm yo ka di tou "orevwa," se konsa nou deside pran yon chemen ki pi konplèks men serye.
Nou te fè sou-sistèm senkronizasyon metadata pou ARDFS tèt nou, epi li viv konplètman poukont yo nan subsistèm adjasan yo. Moun sa yo. okenn lòt subsistèm pa ka koripsyon done ARDFS. Nan opinyon nou an, sa a se fason ki pi serye ak kòrèk, men tan pral di si sa a se aktyèlman konsa. Anplis de sa, gen yon avantaj adisyonèl ak apwòch sa a. ARDFS ka itilize poukont vAIR, menm jan depo lonje, ke nou pral sètènman itilize nan pwodwi nan lavni.
Kòm yon rezilta, nan devlope ARDFS, nou te resevwa yon sistèm fichye fleksib ak serye ki bay yon chwa kote ou ka ekonomize sou kapasite oswa bay tout bagay moute sou pèfòmans, oswa fè depo ultra-fyab a yon pri rezonab, men diminye kondisyon pèfòmans.
Ansanm ak yon senp politik lisans ak yon modèl livrezon fleksib (ap gade pi devan, vAIR gen lisans pa node, epi li delivre swa kòm lojisyèl oswa kòm yon pake lojisyèl), sa pèmèt ou trè jisteman adapte solisyon an nan yon gran varyete kondisyon kliyan ak Lè sa a, fasil kenbe balans sa a.
Ki moun ki bezwen mirak sa a?
Nan yon bò, nou ka di ke gen deja jwè sou mache a ki gen solisyon serye nan domèn nan hyperconvergence, e sa a se kote nou yo aktyèlman tit. Li sanble ke deklarasyon sa a se verite, MEN ...
Nan lòt men an, lè nou ale nan jaden yo epi kominike ak kliyan, nou menm ak patnè nou yo wè ke sa a se pa nan tout ka a. Gen anpil travay pou hyperconvergence, nan kèk kote moun tou senpleman pa t 'konnen ke solisyon sa yo te egziste, nan lòt moun li te sanble chè, nan lòt moun te gen tès san siksè nan solisyon altènatif, ak nan lòt moun yo entèdi achte nan tout akòz sanksyon. An jeneral, jaden an te tounen unplowed, se konsa nou te ale nan ogmante tè jenn fi))).
Ki lè sistèm depo pi bon pase GCS?
Kòm nou travay ak mache a, yo souvan mande nou ki lè li pi bon yo sèvi ak yon konplo klasik ak sistèm depo, ak ki lè yo sèvi ak hyperconvergent? Anpil konpayi ki pwodui GCS (sitou sa yo ki pa gen sistèm depo nan pòtfolyo yo) di: "Sistèm depo yo ap vin demode, ipèkonvèje sèlman!" Sa a se yon deklarasyon fonse, men li pa totalman reflete reyalite.
An verite, mache depo a tout bon ap deplase nan direksyon hyperconvergence ak solisyon menm jan an, men toujou gen yon "men".
Premyèman, sant done ak enfrastrikti IT ki te konstwi selon konplo klasik ak sistèm depo yo pa ka fasil pou rebati, kidonk modènizasyon ak fini enfrastrikti sa yo se toujou yon eritaj pou 5-7 ane.
Dezyèmman, enfrastrikti ki aktyèlman ap konstwi pou pati ki plis (sa vle di Federasyon Larisi la) bati selon konplo klasik la lè l sèvi avèk sistèm depo, epi yo pa paske moun pa konnen sou hyperconvergence, men paske mache hyperconvergence a nouvo, solisyon ak estanda yo poko etabli, IT moun yo poko resevwa fòmasyon, yo gen ti eksperyans, men yo bezwen bati sant done isit la e kounye a. Ak tandans sa a pral dire pou yon lòt 3-5 ane (ak Lè sa a, yon lòt eritaj, gade pwen 1).
Twazyèmman, gen yon limit piman teknik nan reta adisyonèl ti nan 2 milisgond pou chak ekri (eksepte kachèt lokal la, nan kou), ki se pri a nan depo distribye.
Oke, se pou nou pa bliye sou itilizasyon gwo serveurs fizik ki renmen dekale vètikal nan subsistèm disk la.
Gen anpil travay nesesè ak popilè kote sistèm depo konpòte pi byen pase GCS. Isit la, nan kou, manifaktirè sa yo ki pa gen sistèm depo nan dosye pwodwi yo pa pral dakò ak nou, men nou yo pare yo diskite rezonab. Natirèlman, nou menm, kòm devlopè nan tou de pwodwi yo, pral definitivman konpare sistèm depo ak GCS nan youn nan piblikasyon fiti nou yo, kote nou pral klèman demontre ki pi bon nan ki kondisyon.
Ak ki kote solisyon hyperconverged ap travay pi byen pase sistèm depo?
Dapre pwen ki anwo yo, twa konklizyon evidan yo ka trase:
- Ki kote yon lòt 2 milisgond nan latansi pou anrejistreman, ki toujou rive nan nenpòt pwodwi (kounye a nou pa pale de sentetik, nanosgond yo ka montre sou sentetik), yo san kritik, ipèrkonvèjan se apwopriye.
- Ki kote chaj la soti nan gwo serveurs fizik yo ka tounen anpil ti vityèl ak distribye nan mitan nœuds, hyperconvergence pral travay tou byen la.
- Kote dekale orizontal se yon pi gwo priyorite pase dekale vètikal, GCS pral fè jis byen la tou.
Ki solisyon sa yo?
- Tout sèvis enfrastrikti estanda (sèvis anyè, lapòs, EDMS, sèvè fichye, ti oswa mwayen sistèm ERP ak BI, elatriye). Nou rele sa "enfòmatik jeneral".
- Enfrastrikti nan founisè nwaj yo, kote li nesesè byen vit ak ofisyèl orizontal elaji epi fasil "koupe" yon gwo kantite machin vityèl pou kliyan yo.
- Virtual Desktop Enfrastrikti (VDI), kote anpil ti machin vityèl itilizatè yo kouri epi tou dousman "flote" nan yon gwoup inifòm.
- Rezo filyal yo, kote chak branch bezwen yon estanda, enfrastrikti toleran, men ki pa chè nan 15-20 machin vityèl.
- Nenpòt distribye informatique (gwo sèvis done, pou egzanp). Ki kote chay la ale pa "an pwofondè", men "nan lajè".
- Anviwònman tès kote ti reta adisyonèl akseptab, men gen restriksyon bidjè, paske sa yo se tès yo.
Nan moman sa a, se pou travay sa yo nou fè AERODISK vAIR e se sou yo n ap konsantre nou (siksè jiskaprezan). Petèt sa a pral chanje byento, paske... mond lan pa kanpe.
Se konsa…
Sa a konplete premye pati nan yon seri gwo atik nan pwochen atik la nou pral pale sou achitekti solisyon an ak eleman yo itilize.
Nou akeyi kesyon, sijesyon ak diskisyon konstriktif.
Sous: www.habr.com