Ar ôl cyfnod tawel o flwyddyn mewn datblygiad gweithio ar gangen newydd o system ffeiliau ddosbarthedig sy'n goddef namau и ymgeisydd ail ryddhad. Yn ddiweddar newid perchnogion y cwmni sy'n datblygu LizardFS, mabwysiadwyd rheolaeth newydd a disodlwyd datblygwyr. Am y ddwy flynedd ddiwethaf, mae'r prosiect wedi'i dynnu'n ôl o'r gymuned ac nid yw wedi talu digon o sylw iddo, ond mae'r tîm newydd yn bwriadu adfywio'r berthynas flaenorol gyda'r gymuned a sefydlu rhyngweithio agos ag ef. Mae cod y prosiect wedi'i ysgrifennu mewn ieithoedd C a C++ a dan drwydded GPLv3.
Madfall system ffeiliau clwstwr ddosbarthedig, sy'n eich galluogi i ddosbarthu data ar draws gwahanol weinyddion, ond yn darparu mynediad iddynt ar ffurf un rhaniad mawr, y gweithir ag ef mewn ffordd debyg i raniadau disg traddodiadol. Mae rhaniad wedi'i osod gyda LizardFS yn cefnogi priodoleddau ffeil POSIX, ACLs, cloeon, socedi, pibellau, ffeiliau dyfais, cysylltiadau symbolaidd a chaled. Nid oes gan y system un pwynt methiant; mae'r holl gydrannau'n segur. Cefnogir paraleleiddio gweithrediadau data (gall nifer o gleientiaid gael mynediad at ffeiliau ar yr un pryd).
Er mwyn sicrhau goddefgarwch namau, rhennir y data yn atgynyrchiadau, sy'n cael eu dosbarthu ar draws gwahanol nodau gyda diswyddiad (gosodir sawl copi ar wahanol nodau); os bydd nodau neu yriannau'n methu, mae'r system yn parhau i weithredu heb golli gwybodaeth ac yn ailddosbarthu'r data yn awtomatig. gan gymryd i ystyriaeth y nodau sy'n weddill. Er mwyn ehangu'r storfa, mae'n ddigon i gysylltu nodau newydd ag ef heb atal gwaith ar gyfer cynnal a chadw (mae'r system ei hun yn ailadrodd rhan o'r data i weinyddion newydd ac yn cydbwyso'r storfa gan ystyried y gweinyddwyr newydd). Gallwch chi wneud yr un peth i leihau maint y clwstwr - gallwch chi analluogi'r offer darfodedig sy'n cael ei dynnu o'r system.
Mae data a metadata yn cael eu storio ar wahân. Ar gyfer gweithrediad, argymhellir gosod dau weinydd metadata sy'n gweithredu yn y modd meistr-gaethwas, yn ogystal ag o leiaf dau weinydd storio data (chunkserver). Yn ogystal, i wneud copi wrth gefn o fetadata, gellir defnyddio gweinyddwyr log i storio gwybodaeth am newidiadau mewn metadata a'ch galluogi i adfer gweithrediad os bydd difrod i'r holl weinyddion metadata presennol. Rhennir pob ffeil yn flociau (darnau), hyd at 64 MB mewn maint. Mae blociau'n cael eu dosbarthu ymhlith gweinyddwyr storio yn unol â'r modd atgynhyrchu a ddewiswyd: safonol (penderfyniad clir ar nifer y copïau i'w gosod ar wahanol nodau, gan gynnwys mewn perthynas â chyfeiriaduron unigol - ar gyfer data pwysig gellir cynyddu nifer y copïau, ac am llai o ddata dibwys), XOR ( RAID5 ) ac EC ( RAID6 ).
Gall storio gynyddu i feintiau petabyte. Mae meysydd cais yn cynnwys archifo, storio delweddau peiriant rhithwir, data amlgyfrwng, copïau wrth gefn, defnydd fel DRC (Canolfan Adfer Trychineb) ac fel storfa mewn clystyrau cyfrifiadura perfformiad uchel. Mae LizardFS yn darparu cyflymder darllen uchel iawn ar gyfer ffeiliau o unrhyw faint, ac wrth ysgrifennu, mae'n dangos perfformiad da wrth ysgrifennu ffeiliau mawr a chanolig cyfan, pan nad oes unrhyw addasiad cyson, gwaith dwys gyda ffeiliau agored, a gweithrediadau un-amser gyda a criw o ffeiliau bach.
Ymhlith nodweddion yr FS, gellir hefyd nodi presenoldeb cefnogaeth ar gyfer cipluniau, gan adlewyrchu cyflwr ffeiliau ar amser penodol, a gweithrediad adeiledig y “bin ailgylchu” (nid yw ffeiliau'n cael eu dileu ar unwaith ac maent ar gael ar gyfer adferiad am beth amser). Gall mynediad i raniad gael ei gyfyngu gan gyfeiriad IP neu gyfrinair (yn debyg i NFS). Mae yna fecanweithiau rheoli cwota ac ansawdd gwasanaeth sy'n eich galluogi i gyfyngu ar faint a lled band ar gyfer categorïau penodol o ddefnyddwyr. Mae'n bosibl creu cyfleusterau storio wedi'u dosbarthu'n ddaearyddol, y mae eu segmentau wedi'u lleoli mewn gwahanol ganolfannau data.
Sefydlwyd prosiect LizardFS yn 2013 fel fforc , ac yn wahanol yn bennaf ym mhresenoldeb modd atgynhyrchu yn seiliedig ar godau cywiro gwall Reed-Solomon (yn cyfateb i raidzN), cefnogaeth ACL estynedig, presenoldeb cleient ar gyfer platfform Windows, optimeiddiadau ychwanegol (er enghraifft, wrth gyfuno cleient a gweinydd storio, blociau, os yn bosibl, yn cael eu hanfon gyda nod cyfredol, a metadata yn cael ei storio yn y cof), system ffurfweddu fwy hyblyg, cefnogaeth ar gyfer darllen ymlaen llaw data, cwotâu cyfeiriadur ac ail-weithio mewnol.
Disgwylir i LizardFS 3.13.0 gael ei ryddhau ddiwedd mis Rhagfyr. Prif arloesedd LizardFS 3.13 yw defnyddio algorithm consensws i sicrhau goddefgarwch nam (newid prif weinyddion rhag ofn y bydd methiant) (yn defnyddio ein gweithrediad ein hunain o uRaft, a ddefnyddiwyd yn flaenorol mewn cynhyrchion masnachol). Mae defnyddio uRaft yn symleiddio cyfluniad ac yn lleihau oedi adfer methiant, ond mae angen o leiaf dri nod gweithio, a defnyddir un ohonynt ar gyfer cworwm.
Newidiadau eraill: cleient newydd yn seiliedig ar is-system FUSE3, datrys problemau gyda chywiro gwallau, mae'r ategyn nfs-ganesha wedi'i ailysgrifennu yn iaith C. Mae diweddariad 3.13.0-rc2 yn trwsio nifer o fygiau critigol a wnaeth datganiadau prawf blaenorol o'r gangen 3.13 yn annefnyddiadwy (nid yw atebion ar gyfer cangen 3.12 wedi'u cyhoeddi eto, ac mae'r diweddariad o 3.12 i 3.13 yn dal i arwain at golli data yn llwyr).
Yn 2020, bydd y gwaith yn canolbwyntio ar ddatblygu
, cnewyllyn LizardFS newydd wedi'i ailysgrifennu'n llwyr, a fydd, yn ôl y datblygwyr, yn darparu cynnydd triphlyg mewn perfformiad o'i gymharu â changen 3.12. Bydd Agama yn trosglwyddo i bensaernïaeth sy'n cael ei gyrru gan ddigwyddiad, yn seiliedig ar fewnbwn / allbwn anghydamserol , gweithio'n bennaf mewn gofod defnyddwyr (i leihau dibyniaeth ar fecanweithiau caching cnewyllyn). Yn ogystal, bydd is-system dadfygio newydd a dadansoddwr gweithgaredd rhwydwaith gyda chefnogaeth ar gyfer tiwnio perfformiad yn awtomatig yn cael eu cynnig.
Bydd y cleient LizardFS yn ychwanegu cefnogaeth lawn ar gyfer gweithrediadau ysgrifennu fersiwn, a fydd yn gwella dibynadwyedd adferiad mewn trychineb, datrys problemau sy'n codi pan fydd gwahanol gleientiaid yn rhannu mynediad i'r un data, ac yn caniatáu ar gyfer gwelliannau perfformiad sylweddol. Bydd y cleient yn cael ei drosglwyddo i'w is-system rhwydwaith ei hun sy'n gweithredu yn y gofod defnyddiwr. Bwriedir i'r prototeip gweithredol cyntaf o LizardFS yn seiliedig ar Agama fod yn barod yn ail chwarter 2020. Ar yr un pryd, maent yn addo gweithredu offer ar gyfer integreiddio LizardFS â llwyfan Kubernetes.
Ffynhonnell: opennet.ru