LizardFS 3.13.0-rc2 klasa skráarkerfi uppfærsla

Eftir árslanga stöðnun í þróun hófst aftur unnið að nýrri grein af bilunarþolnu dreifðu skráarkerfi LizardF 3.13 и birt annar útgáfuframbjóðandi. Nýlega hefur komið fram eigendaskipti fyrirtækisins sem þróar LizardFS, ný stjórn var tekin upp og verktaki skipt út. Undanfarin tvö ár hefur verkefnið verið afturkallað úr samfélaginu og ekki veitt nægilega athygli en nýja teymið ætlar að endurvekja fyrri tengsl við samfélagið og koma á nánum samskiptum við það. Verkefniskóðinn er skrifaður á C og C++ tungumálum og dreift af undir GPLv3 leyfi.

LizardFS er dreift klasaskráakerfi, sem gerir þér kleift að dreifa gögnum á mismunandi netþjóna, en veita aðgang að þeim í formi eins stórs skiptingar, sem unnið er með á svipaðan hátt og hefðbundin disksneið. Uppsett skipting með LizardFS styður POSIX skráareiginleika, ACL, lása, innstungur, rör, tækjaskrár, táknræna og harða tengla. Kerfið hefur ekki einn bilunarpunkt; allir íhlutir eru óþarfir. Samhliða gagnaaðgerðir eru studdar (nokkrir viðskiptavinir geta nálgast skrár samtímis).

Til að tryggja bilanaþol er gögnunum skipt í eftirmyndir, sem dreifast á mismunandi hnúta með offramboði (nokkrir afrit eru settir á mismunandi hnúta); ef hnútar eða drif bila heldur kerfið áfram að starfa án þess að tapa upplýsingum og endurdreifir gögnunum sjálfkrafa. að teknu tilliti til þeirra hnúta sem eftir eru. Til að stækka geymsluna er nóg að tengja nýja hnúta við hana án þess að stöðva vinnu vegna viðhalds (kerfið sjálft endurtekur hluta af gögnunum á nýja netþjóna og jafnar geymsluna með hliðsjón af nýju netþjónunum). Þú getur gert það sama til að minnka stærð klasans - þú getur einfaldlega slökkt á úreltum búnaði sem verið er að fjarlægja úr kerfinu.

Gögn og lýsigögn eru geymd sérstaklega. Til notkunar er mælt með því að setja upp tvo lýsigagnaþjóna sem starfa í master-slave ham, auk að minnsta kosti tveggja gagnageymsluþjóna (chunkserver). Að auki, til að taka öryggisafrit af lýsigögnum, er hægt að nota annálaþjóna til að geyma upplýsingar um breytingar á lýsigögnum og gera þér kleift að endurheimta virkni ef skemmdir verða á öllum núverandi lýsigagnaþjónum. Hverri skrá er skipt í kubba (klumpa), allt að 64 MB að stærð. Blokkum er dreift á geymsluþjóna í samræmi við valinn afritunarham: staðall (skýr ákvörðun um fjölda eintaka sem á að setja á mismunandi hnúta, þar á meðal í tengslum við einstakar möppur - fyrir mikilvæg gögn er hægt að fjölga afritum og fyrir minna mikilvæg gögn), XOR (RAID5) og EC (RAID6).

Geymsla getur stækkað í petabæta stærð. Notkunarsvið eru meðal annars geymslu, geymsla sýndarvélamynda, margmiðlunargagna, öryggisafrit, notkun sem DRC (Disaster Recovery Center) og sem geymsla í afkastamiklum tölvuklösum. LizardFS veitir mjög mikinn lestrarhraða fyrir skrár af hvaða stærð sem er, og við ritun sýnir það góðan árangur þegar skrifaðar eru heilar stórar og meðalstórar skrár, þegar ekki er stöðugt að breyta, mikil vinna með opnar skrár og einskiptisaðgerðir með a. fullt af litlum skrám.

LizardFS 3.13.0-rc2 klasa skráarkerfi uppfærsla

Meðal eiginleika FS er einnig hægt að taka eftir stuðningi við skyndimyndir, sem endurspeglar stöðu skráa á ákveðnum tíma, og innbyggðri útfærslu á „rusltunnu“ (skrám er ekki eytt strax og eru tiltækar fyrir bata í nokkurn tíma). Aðgangur að skipting er hægt að takmarka með IP tölu eða lykilorði (svipað og NFS). Það eru kvóta- og gæðastjórnunarkerfi sem gera þér kleift að takmarka stærð og bandbreidd fyrir ákveðna flokka notenda. Það er hægt að búa til landfræðilega dreifða geymsluaðstöðu þar sem hlutar þeirra eru staðsettir í mismunandi gagnaverum.

LizardFS verkefnið var stofnað árið 2013 sem gaffal MooseFS, og er aðallega frábrugðin afritunarstillingu sem byggir á Reed-Solomon villuleiðréttingarkóðum (líkt og raidzN), auknum ACL stuðningi, tilvist biðlara fyrir Windows vettvang, frekari hagræðingu (til dæmis þegar þú sameinar viðskiptavin og geymsluþjónn, blokkir, ef mögulegt er, eru sendar með núverandi hnút og lýsigögn eru vistuð í minni), sveigjanlegra uppsetningarkerfi, stuðningur við framlestur gagna, skráakvóta og innri endurvinnslu.

Áætlað er að LizardFS 3.13.0 komi út í lok desember. Helsta nýjung LizardFS 3.13 er notkun á samhljóða reiknirit til að tryggja bilanaþol (skipta um aðalþjóna ef bilun kemur upp) Raft (notar okkar eigin útfærslu á uRaft, sem áður var notað í verslunarvörur). Notkun uRaft einfaldar uppsetningu og dregur úr töfum á endurheimt bilunar, en krefst að minnsta kosti þriggja virka hnúta, þar af einn notaður fyrir ályktun.

Aðrar breytingar: nýr viðskiptavinur byggður á FUSE3 undirkerfinu, leysir vandamál með villuleiðréttingu, nfs-ganesha viðbótin hefur verið endurskrifuð á C tungumáli. Uppfærsla 3.13.0-rc2 lagar nokkrar mikilvægar villur sem gerðu fyrri prófunarútgáfur 3.13 útibúsins ónothæfar (lagfæringar fyrir 3.12 útibúið hafa ekki enn verið birtar og uppfærslan frá 3.12 til 3.13 leiðir enn til algjörs gagnataps).

Árið 2020 verður lögð áhersla á þróun
agama, nýr algjörlega endurskrifaður LizardFS kjarni, sem, samkvæmt þróunaraðilum, mun veita þrefalda aukningu á frammistöðu miðað við grein 3.12. Agama mun breytast í atburðadrifinn arkitektúr, ósamstilltur inntak/úttak byggður asio, vinna fyrst og fremst í notendarými (til að draga úr ósjálfstæði á skyndiminni kjarna). Að auki verður boðið upp á nýtt kembiforrit og greiningartæki fyrir netvirkni með stuðningi við sjálfvirka stillingu afkasta.

LizardFS viðskiptavinurinn mun bæta við fullum stuðningi við útgáfu útgáfu skrifaaðgerða, sem mun bæta áreiðanleika hörmungarbata, leysa vandamál sem koma upp þegar mismunandi viðskiptavinir deila aðgangi að sömu gögnum og gera ráð fyrir umtalsverðum framförum í frammistöðu. Viðskiptavinurinn verður fluttur yfir í sitt eigið net undirkerfi sem starfar í notendarými. Áætlað er að fyrsta virka frumgerð LizardFS byggð á Agama verði tilbúin á öðrum ársfjórðungi 2020. Á sama tíma lofa þeir að innleiða verkfæri til að samþætta LizardFS við Kubernetes pallinn.

Heimild: opennet.ru

Bæta við athugasemd