Post jarlonga paŭzo en disvolviĝo laborante pri nova branĉo de la erar-tolerema distribuita dosiersistemo и dua eldonkandidato ĵus La firmao, kiu disvolvas LizardFS, ŝanĝis posedanton, kun nova estraro kaj programistoj. Dum la pasintaj du jaroj, la projekto distancigis sin de la komunumo kaj ne donis al ĝi la atenton, kiun ĝi meritas, sed la nova teamo intencas revivigi sian antaŭan rilaton kun la komunumo kaj establi proksiman interagadon. La kodo de la projekto estas skribita en C kaj C++ kaj sub la permesilo GPLv3.
LizardFS Distribuita dosiersistemo de aretoj, kiu permesas disigi datumojn tra pluraj serviloj sed aliri ilin kiel ununura, granda subdisko, simile al tradiciaj diskaj subdiskoj. Muntita subdisko kun LizardFS subtenas POSIX-dosieratributojn, ACL-ojn, ŝlosojn, ingojn, tubojn, aparatdosierojn, simbolajn ligilojn kaj fiksajn ligilojn. La sistemo ne havas ununuran punkton de paneo, kaj ĉiuj komponantoj estas redundaj. Paralelaj datumoperacioj estas subtenataj (pluraj klientoj povas aliri dosierojn samtempe).
Por certigi erartoleremon, datumoj estas dividitaj en kopiojn, kiuj estas distribuitaj tra malsamaj nodoj kun redundo (pluraj kopioj troviĝas sur malsamaj nodoj). En kazo de paneo de la nodo aŭ disko, la sistemo daŭre funkcias sen datenperdo kaj aŭtomate redistribuas datumojn surbaze de la ceteraj nodoj. Por pligrandigi la stokadon, simple konektu novajn nodojn al ĝi sen malfunkcio por bontenado (la sistemo aŭtomate replikas iujn el la datumoj al la novaj serviloj kaj rebalancas la stokadon surbaze de la novaj serviloj). Simila aliro povas esti uzata por redukti la grandecon de la areto - simple malkonekti malnoviĝintan ekipaĵon, kiu estas malmendata.
Datumoj kaj metadatenoj estas stokitaj aparte. Estas rekomendinde instali du metadatenajn servilojn funkciantajn en mastro-sklava reĝimo, kaj ankaŭ almenaŭ du datumstokajn servilojn (blokservilojn). Protokolserviloj ankaŭ povas esti uzataj por metadatena sekurkopio. Ili stokas informojn pri metadatenaj ŝanĝoj kaj ebligas reakiron en kazo de difekto al ĉiuj ekzistantaj metadatenaj serviloj. Ĉiu dosiero estas dividita en blokojn (blokojn) ĝis 64 MB grandaj. Blokoj estas distribuitaj tra stokaj serviloj laŭ la elektita replika reĝimo: norma (eksplicite difinante la nombron da kopioj lokotaj sur malsamajn nodojn, inkluzive de ligado al individuaj dosierujoj - la nombro da kopioj povas esti pliigita por gravaj datumoj kaj malpliigita por negravaj datumoj), XOR (RAID5), kaj EC (RAID6).
La stokado povas skaliĝi ĝis petabajtoj. Aplikoj inkluzivas arkivadon, stokadon de bildoj de virtualaj maŝinoj, multmediajn datumojn, sekurkopiojn, uzon kiel Katastrofan Reakiran Centron (DRC), kaj kiel stokadon en alt-efikecaj komputilaj aretoj. LizardFS liveras tre altajn legrapidojn por dosieroj de ajna grandeco, kaj montras bonan skriban rendimenton por tutaj grandaj kaj mezgrandaj dosieroj, kiam ne estas konstantaj modifoj, intensa laboro kun malfermitaj dosieroj, aŭ unufojaj operacioj kun multaj malgrandaj dosieroj.
Aliaj trajtoj de la dosiersistemo inkluzivas subtenon por momentfotoj, kiu reflektas la staton de dosieroj je specifa tempo, kaj enkonstruitan "reciklan ujon" (dosieroj ne estas tuj forigitaj kaj restas haveblaj por reakiro dum iu tempodaŭro). Aliro al la subdisko povas esti limigita per IP-adreso aŭ pasvorto (simile al NFS). Mekanismoj por administrado de kvotoj kaj kvalito de servo estas haveblaj por limigi la grandecon kaj bendlarĝon por certaj uzantkategorioj. Geografie distribuitaj stokadsistemoj povas esti kreitaj, kun segmentoj situantaj en malsamaj datumcentroj.
La projekto LizardFS estis fondita en 2013 kiel forko. , kaj diferencas ĉefe per la ĉeesto de replikada reĝimo bazita sur Reed-Solomon-erarkorektokodoj (analogaj al raidzN), plilongigita ACL-subteno, kaj la ĉeesto de kliento por la platformo Windows, pliaj optimumigoj (ekzemple, kiam oni kombinas klienton kaj stokservilon, blokoj estas servataj de la nuna nodo kiam ajn eblas, kaj metadatenoj estas konservitaj en kaŝmemoro), pli fleksebla agordosistemo, subteno por antaŭprenaj datenlegadoj, dosierujaj kvotoj, kaj interna reverkado.
LizardFS 3.13.0 estas planita por eldono fine de decembro. La ĉefa novigo de LizardFS 3.13 estas la uzo de interkonsenta algoritmo por certigi erartoleremon (ŝalti ĉefajn servilojn en kazo de paneo). (Uzas proprietan uRaft-efektivigon, antaŭe uzitan en komercaj produktoj.) Uzi uRaft simpligas la agordon kaj reduktas latentecon de reakiro post paneo, sed postulas almenaŭ tri funkciajn nodojn, unu el kiuj servas kiel kvorumo.
Aliaj ŝanĝoj inkluzivas novan klienton bazitan sur la FUSE3-subsistemo, cimo-korektojn, kaj reverkon de la nfs-ganesha kromprogramo en C. Ĝisdatigo 3.13.0-rc2 korektas plurajn kritikajn cimojn, kiuj neuzigis antaŭajn testajn eldonojn de la branĉo 3.13 (korektoj por la branĉo 3.12 ankoraŭ ne estas publikigitaj, kaj ĝisdatigo de 3.12 al 3.13 ankoraŭ rezultigas kompletan datenperdon).
En 2020, la laboro koncentriĝos pri disvolviĝo
, nova, tute reskribita LizardFS-kerno, kiu, laŭ la programistoj, provizos trioblan pliigon de rendimento kompare kun la branĉo 3.12. Agama prezentos transiron al okazaĵ-movita arkitekturo, nesinkrona I/O bazita sur , funkciante ĉefe en uzantospaco (por redukti dependecon de kernaj kaŝmemoraj mekanismoj). Plie, estos ofertitaj nova sencimiga subsistemo kaj analizilo de reta agado kun subteno por aŭtomata agordo de rendimento.
La kliento LizardFS estos plibonigita per plena subteno por skriba versiado, kio plibonigos la fidindecon de katastrofa reakiro, solvos problemojn, kiuj aperas kiam pluraj klientoj aliras la samajn datumojn, kaj signife plibonigos la rendimenton. La kliento estos migrita al sia propra uzanto-spaca retsubsistemo. La unua funkcianta prototipo de LizardFS bazita sur Agama estas planita por la dua kvaronjaro de 2020. Samtempe, integrigaj iloj por LizardFS kun la platformo Kubernetes estas promesitaj.
fonto: opennet.ru
