Apre yon ane ki dire tan nan devlopman ap travay sou yon nouvo branch nan yon sistèm fichye distribiye ki toleran fay и dezyèm kandida pou lage. Dènyèman chanjman nan pwopriyetè nan konpayi an devlope LizardFS, nouvo jesyon te adopte ak devlopè yo te ranplase. Pou de ane ki sot pase yo, pwojè a te retire nan kominote a epi li pa te peye ase atansyon sou li, men nouvo ekip la gen entansyon reviv relasyon anvan an ak kominote a epi etabli entèraksyon sere ak li. Kòd pwojè a ekri nan lang C ak C++ ak anba lisans GPLv3.
LizardFS yon sistèm fichye gwoup distribye, ki pèmèt ou distribye done atravè diferan sèvè, men bay aksè a yo nan fòm lan nan yon sèl gwo patisyon, ki se travay ak nan yon fason ki sanble ak patisyon ki gen kapasite tradisyonèl yo. Yon patisyon ki monte ak LizardFS sipòte atribi dosye POSIX, ACL, kadna, sipò, tiyo, dosye aparèy, lyen senbolik ak difisil. Sistèm nan pa gen yon sèl pwen echèk; tout eleman yo redondants. Paralelizasyon nan operasyon done yo sipòte (plizyè kliyan ka an menm tan jwenn aksè nan dosye).
Pou asire tolerans fòt, done yo divize an kopi, ki distribye atravè diferan nœuds ak redondance (plizyè kopi yo mete sou diferan nœuds); si nœuds oswa kondui echwe, sistèm nan kontinye opere san pèt enfòmasyon epi otomatikman redistribiye done yo. pran an kont nœuds ki rete yo. Pou elaji depo a, li ase pou konekte nouvo nœuds yo san yo pa sispann travay pou antretyen (sistèm nan tèt li repwodui yon pati nan done yo nan nouvo serveurs ak balanse depo a pran an kont nouvo serveurs yo). Ou ka fè menm bagay la tou pou redwi gwosè gwoup la - ou ka tou senpleman enfim ekipman demode ke yo retire nan sistèm nan.
Done ak metadata yo estoke separeman. Pou operasyon, li rekòmande enstale de sèvè metadata ki opere nan mòd mèt-esklav, osi byen ke omwen de sèvè depo done (chunkserver). Anplis de sa, nan backup metadata, yo ka itilize serveurs log pou estoke enfòmasyon sou chanjman nan metadata epi pèmèt ou retabli operasyon si yo ta gen domaj nan tout sèvè metadata ki egziste deja. Chak fichye divize an blòk (fraksyon), jiska 64 MB nan gwosè. Blòk yo distribye nan mitan sèvè depo an akò ak mòd replikasyon chwazi a: estanda (detèminasyon eksplisit sou kantite kopi yo dwe mete sou diferan nœuds, ki gen ladan an relasyon ak anyè endividyèl - pou done enpòtan yo ka ogmante kantite kopi, ak pou done ki pa enpòtan redwi), XOR (RAID5) ak EC (RAID6).
Depo ka echèl jiska gwosè petabyte. Domèn aplikasyon yo enkli achiv, depo imaj machin vityèl, done miltimedya, sovgad, itilizasyon kòm DRC (Disaster Recovery Center) ak kòm depo nan grap enfòmatik ki gen gwo pèfòmans. LizardFS bay vitès lekti trè wo pou fichye nenpòt gwosè, epi lè w ap ekri, li montre bon pèfòmans lè w ap ekri tout fichye gwo ak mwayen gwosè, lè pa gen okenn modifikasyon konstan, travay entansif ak dosye louvri, ak operasyon yon sèl fwa ak yon pakèt ti fichye.
Pami karakteristik sa yo nan FS la, yon moun ka tou sonje prezans nan sipò pou snapshots, ki reflete eta a nan dosye nan yon sèten tan, ak yon aplikasyon bati-an nan "binye a resikle" (fichye yo pa efase imedyatman epi yo disponib pou rekiperasyon pou kèk tan). Aksè nan yon patisyon ka limite pa adrès IP oswa modpas (menm jan ak NFS). Genyen kota ak kalite mekanis jesyon sèvis ki pèmèt ou limite gwosè ak bandwidth pou sèten kategori itilizatè. Li posib yo kreye enstalasyon depo jeyografik distribye, segman yo ki sitiye nan sant done diferan.
Pwojè LizardFS te fonde an 2013 kòm yon fouchèt , ak diferan sitou nan prezans yon mòd replikasyon ki baze sou kòd koreksyon erè Reed-Solomon (analòg ak raidzN), sipò ACL elaji, prezans nan yon kliyan pou platfòm Windows la, optimize adisyonèl (pa egzanp, lè konbine yon kliyan ak yon sèvè depo, blòk, si sa posib, yo voye ak ne aktyèl, ak metadata yo kachèt nan memwa), yon sistèm konfigirasyon pi fleksib, sipò pou done lekti davans, kota anyè ak rivork entèn yo.
LizardFS 3.13.0 pwograme pou lage nan fen Desanm. Inovasyon prensipal LizardFS 3.13 se itilizasyon yon algorithm konsansis pou asire tolerans fay (chanje sèvè mèt an ka ta gen echèk) (itilize pwòp aplikasyon nou an nan uRaft, ki te deja itilize nan pwodwi komèsyal yo). Sèvi ak uRaft senplifye konfigirasyon ak diminye reta rekiperasyon echèk, men mande pou omwen twa nœuds k ap travay, youn nan yo ki itilize pou kowòm.
Lòt chanjman: yon nouvo kliyan ki baze sou subsistèm FUSE3, rezoud pwoblèm ak koreksyon erè, yo te reekri Plugin nfs-ganesha nan lang C. Mizajou 3.13.0-rc2 korije plizyè ensèk kritik ki te fè degaje tès anvan yo nan branch 3.13 la pa ka itilize (ranje ranje pou branch 3.12 la poko pibliye, ak aktyalizasyon ki soti nan 3.12 a 3.13 toujou mennen nan pèt done konplè).
Nan 2020, travay pral konsantre sou devlopman
, yon nouvo nwayo LizardFS konplètman reekri, ki, dapre devlopè yo, pral bay yon ogmantasyon twa fwa nan pèfòmans konpare ak branch 3.12. Agama pral fè tranzisyon nan yon achitekti ki baze sou evènman, ki baze sou opinyon/sòti asenkron , travay prensipalman nan espas itilizatè (pou diminye depandans sou mekanis kachèt nwayo). Anplis de sa, yo pral ofri yon nouvo subsistèm debogaj ak yon analizè aktivite rezo ak sipò pou pèfòmans oto-akor.
Kliyan LizardFS a pral ajoute sipò konplè pou operasyon ekri vèsyon, ki pral amelyore fyab nan rekiperasyon dezas, rezoud pwoblèm ki parèt lè diferan kliyan pataje aksè a menm done yo, epi pèmèt amelyorasyon pèfòmans enpòtan. Kliyan an pral transfere nan subsystem pwòp rezo li yo opere nan espas itilizatè. Premye pwototip travay LizardFS ki baze sou Agama planifye pou l pare nan dezyèm sezon 2020 la. An menm tan an, yo pwomèt pou aplike zouti pou entegre LizardFS ak platfòm Kubernetes la.
Sous: opennet.ru