Përditësimi i sistemit të skedarëve të klasterit LizardFS 3.13.0-rc2

Pas një vit pushimi në zhvillim u rinovua punimi mbi degën e re të sistemit të skedarëve të shpërndarë me qëndrueshmëri LizardF 3.13 dhe u publikua kandidati i dytë në lëshimet. Së fundmi ndodhi ndryshimi i pronarëve të kompanisë që zhvillon LizardFS, u emërua një drejtim i ri dhe zhvilluesit u ndërruan. Dy vitet e fundit projekti u distancua nga komuniteti dhe nuk iu kushtua vëmendje e mjaftueshme, por ekipi i ri ka për qëllim të rikthejë marrëdhëniet e mëparshme me komunitetin dhe të krijojë një bashkëpunim të ngushtë me të. Kodi i projektit është shkruar në gjuhët C dhe C++ dhe shpërndahet në përputhje me licencën GPLv3.

LizardFS është një sistem skedarësh të shpërndarë, i cili lejon shpërndarjen e të dhënave në servera të ndryshëm, por paraqet qasje ndaj tyre në formën e një ndarjeje të madhe të vetme, puna me të cilën kryhet në përputhje me ndarjet tradicionale të diskut. Në ndarjen e montuar me LizardFS mbështeten atributet POSIX të skedarëve, ACL, bllokimet, soketet, kanalet, skedarët e pajisjeve, lidhjet simbolike dhe të forta. Sistemi nuk ka një pikë të vetme dështimi, të gjitha komponentët janë të rezervuar. Mbështetet paralelizimi i operacioneve me të dhëna (disa klientë mund të kenë qasje në skedarë njëkohësisht).

Për të siguruar qëndrueshmërinë, të dhënat ndahen në kopje, të cilat shpërndahen në nyje të ndryshme me rezervim (në nyje të ndryshme vendosen disa kopje), - në rast se ndodhin defekte në nyje ose ruajtje, sistemi vazhdon të funksionojë pa humbje informacioni dhe automatikisht ribashkon të dhënat duke marrë parasysh nyjet e mbetura. Për të zgjeruar ruajtjen, mjafton të lidhni nyje të reja pa ndaluar punën për mirëmbajtje (sistemi vetë replikon një pjesë të të dhënave në servera të rinj dhe e balancën ruajtjen duke marrë parasysh serverat e rinj). Në mënyrë të ngjashme, mund të veproni për të reduktuar përmasat e klasterit - thjesht mund të çaktivizoni pajisjet e vjetruara që dalin nga përdorimi.

Të dhënat dhe metadatet ruhen veçmas. Për punë rekomandohet të instaloni dy servera metadata që punojnë në modalitetin master-slave, si dhe të paktën dy servera të ruajtjes së të dhënave (chunkserver). Përveç kësaj, për rezervimin e metadatave mund të përdoren servera log që ruajnë informacionin mbi ndryshimet e metadatave dhe lejojnë rikthimin e funksionimit në rast se të gjithë serverat e metadatave dëmtohen. Secili skedar ndahet në blloqe (chunk) me madhësi deri në 64 MB. Blloqet shpërndahen në serverat e ruajtjes sipas modalitetit të zgjedhur të replikimit: standard (përcaktimi i qartë i numrit të kopjave për vendosje në nyje të ndryshme, duke përfshirë lidhjen me katalog të veçantë - për të dhënat e rëndësishme, numri i kopjave mund të rritet, ndërsa për ato jo të rëndësishme mund të ulet), XOR (RAID5) dhe EC (RAID6).

Ruajtja mund të skalojë deri në përmasa petabajt. Nga aplikacionet e përmendura janë ruajtja e arkivave, ruajtja e imazheve të makinave virtuale, të dhënave multimediatike, kopjeve rezervë, përdorimi si DRC (Qendër e Rikuperimit nga Fatkeqësitë) dhe si një ruajtje në klastere të llogaritjeve me performancë të lartë. LizardFS siguron një shpejtësi shumë të lartë të leximet të skedareve të çdo madhësie, ndërsa gjatë shkrimit tregon performancë të mirë kur shkruhen në mënyrë të plotë skedarë të mëdhenj dhe të mesëm, kur nuk ka modifikime të vazhdueshme, punë intensive me skedarë të hapur dhe operacione të përkohshme me një grup skedarësh të vegjël.

Mes veçorive të FS-së mund të theksohet gjithashtu mbështetje për snapshote, të cilat pasqyrojnë gjendjen e skedarëve në një kohë të caktuar, dhe implementimi i brendshëm i "kosharës" (skedarët nuk fshihen menjëherë dhe për një kohë të caktë janë të aksesueshëm për rikuperim). Q Access to the section can be restricted by IP address or password (similarly to NFS). There are mechanisms for quotas and service quality management that allow limiting size and bandwidth for certain user categories. The creation of geographically distributed storage systems is possible, whose segments are located in different data centers.

Projekti LizardFS u themelua në vitin 2013 si një fork MooseFS, dhe ndryshon, kryesisht, për shkak të pranisë së një regjimi replikimi të bazuar në kodet e korrigjimit të gabimeve të Reed-Solomon (analog raidzN), mbështetjes së zgjeruar të ACL, pranisë së klientit për platformën Windows, optimizimeve shtesë (për shembull, gjatë kombinimit të klientit dhe serverit të ruajtjes, blloqet në mundësi jepen nga nyja aktuale dhe metadatet ruhen në memorie), një sistemi më fleksibël të konfigurimit, mbështetjes për leximin e parashikueshëm të të dhënave, kuotave për katalogët dhe përpunimeve të brendshme.

Lëshimi i LizardFS 3.13.0 planifikohet të dalë në fund të dhjetorit. Noviteti kryesor i LizardFS 3.13 është përdorimi i një algoritmi për të siguruar qëndrueshmërinë (kalimi i master-serverëve në rast dështimi) përmes konsensusit. Raft (përdoret një realizim i veçantë i uRaft, i cili është përdorur më parë në produkte komerciale). Përdorimi i uRaft e bën më të thjeshtë konfigurimin dhe zvogëlon vonesat gjatë rikuperimit pas dështimit, por kërkon të paktën tre nodo funksionalë, një nga të cilat përdoret për kuorum.

Nga ndryshimet e tjera: një klient i ri mbi bazën e nën-sistemit FUSE3, zgjidhjet e problemeve me korrigjimin e gabimeve, dhe plugin-i nfs-ganesha është rishkruar në gjuhën C. Në përditësimin 3.13.0-rc2 janë rregulluar disa gabime kritike që e bënin përdorimin e lëshimeve të mëparshme të degës 3.13 të papranueshëm (rregullimet për degën 3.12 ende nuk janë publikuar dhe përditësimi nga 3.12 në 3.13 vazhdon të çojë në humbjen e plotë të të dhënave).

Në vitin 2020, puna do të përqendrohet në zhvillimin e
Agama, një bërthamë të re të plotë të rishkruar të LizardFS, e cila, sipas zhvilluesve, do të ofrojë një rritje të performancës tre herë më shumë në krahasim me degën 3.12. Në Agama do të realizohet kalimi në një arkitekturë të orientuar nga ngjarjet (event driven), input/output asinkron mbi bazën e asio, kryesisht duke punuar në hapësirën e përdoruesit (për të zvogëluar varësinë nga mekanizmat e keshit të bërthamës). Shtesë, do të ofrohet një nën-sistem i ri për debbuging dhe një analizues aktiviteti rrjeti me mbështetje për autoshkimin e performancës.

Në klientin LizardFS do të shtohet mbështetje e plotë për versionimin e operacioneve të shkrimit, e cila do të rrisë besueshmërinë e rikuperimit pas dështimit, do të zgjidhë problemet që ndodhin gjatë shpërndarjes së të dhënave nga klientë të ndryshëm dhe do të lejojë një rritje të konsiderueshme të performancës. Klienti do të kalojë në një nënstrukturë rrjetore të tijën, që funksionon në hapësirën e përdoruesit. Prototipi i parë funksional i LizardFS mbi bazën e Agama pritet të përgatitet gjatë tremujorit të dytë të vitit 2020. Në të njëjtën kohë, premtohet të realizohen mjete për integrimin e LizardFS me platformën Kubernetes.

Burimi: opennet.ru