LizardFS 3.13.0-rc2 cluster fitxategi-sistemaren eguneratzea

Garapenean urtebeteko barealdi baten ostean berriro hasi zen akats-tolerantea den fitxategi-sistema banatu baten adar berri batean lanean MuskerraF 3.13 ΠΈ argitaratuko bigarren kaleratzeko hautagaia. Duela gutxi gertatu da LizardFS garatzen duen enpresaren jabeak aldatzea, kudeaketa berria onartu zen eta garatzaileak ordezkatu ziren. Azken bi urteotan, proiektua komunitatetik atera da eta ez dio behar besteko arreta jarri, baina talde berriak komunitatearekin izandako harremana berreskuratu eta harekin harreman estua ezartzeko asmoa du. Proiektuaren kodea C eta C++ lengoaietan idatzita dago eta arabera banatuta GPLv3 lizentziapean.

LizardFS da kluster-fitxategi-sistema banatua, datuak zerbitzari desberdinetan banatzeko aukera ematen duena, baina partizio handi bakar baten moduan sarbidea ematen duena, disko-partizio tradizionalen antzera lan egiten duena. LizardFS-rekin muntatutako partizio batek POSIX fitxategi-atributuak, ACL-ak, blokeoak, entxufeak, hodiak, gailu-fitxategiak, esteka sinbolikoak eta gogorrak onartzen ditu. Sistemak ez du hutsegite puntu bakar bat; osagai guztiak erredundanteak dira. Datu-eragiketen paralelismoa onartzen da (hainbat bezerok aldi berean fitxategietara sar daitezke).

Akatsen tolerantzia bermatzeko, datuak errepliketan banatzen dira, eta horiek erredundantzia duten nodo ezberdinetan banatzen dira (hainbat kopia nodo desberdinetan jartzen dira); nodoek edo unitateek huts egiten badute, sistemak informaziorik galdu gabe funtzionatzen jarraitzen du eta automatikoki birbanatzen ditu datuak. gainerako nodoak kontuan hartuta. Biltegiratzea zabaltzeko, nahikoa da hari nodo berriak konektatzea mantentze-lanak gelditu gabe (sistemak berak datuen zati bat zerbitzari berrietara erreplikatzen du eta biltegiratzea orekatzen du zerbitzari berriak kontuan hartuta). Gauza bera egin dezakezu klusterraren tamaina murrizteko; besterik gabe, sistematik kentzen ari diren ekipamendu zaharkituak desgaitu ditzakezu.

Datuak eta metadatuak bereizita gordetzen dira. Funtzionamendurako, maisu-esklabo moduan funtzionatzen duten bi metadatu zerbitzari instalatzea gomendatzen da, baita gutxienez bi datu biltegiratze zerbitzari (chunkserver). Gainera, metadatuen babeskopiak egiteko, erregistro-zerbitzariak metadatuen aldaketei buruzko informazioa gordetzeko eta lehendik dauden metadatuen zerbitzari guztietan kalteak gertatuz gero funtzionamendua berrezartzeko erabil daitezke. Fitxategi bakoitza blokeetan (zatitan) banatzen da, gehienez 64 MB-ko tamaina. Blokeak biltegiratze-zerbitzarien artean banatzen dira hautatutako erreplika-moduaren arabera: estandarra (nodo desberdinetan jarri beharreko kopia kopuruaren zehaztapena esplizitua, direktorio indibidualei dagokienez barne - datu garrantzitsuetarako kopia kopurua handitu daiteke, eta garrantzirik gabeko datuak murriztu), XOR (RAID5 ) eta EC (RAID6).

Biltegiratzea petabyte-ko tamainara igo daiteke. Aplikazio-eremuak artxibatzea, makina birtualen irudiak biltegiratzea, multimedia-datuak, babeskopiak, DRC (Disaster Recovery Center) gisa erabiltzea eta errendimendu handiko konputazio-klusteretan biltegiratze gisa daude. LizardFS-k irakurketa-abiadura oso altua eskaintzen du edozein tamainatako fitxategientzat, eta idaztean, errendimendu ona erakusten du tamaina handiko eta ertaineko fitxategi osoak idaztean, etengabeko aldaketarik ez dagoenean, irekitako fitxategiekin lan intentsiboa eta behin-behineko eragiketa batekin. fitxategi txiki sorta.

LizardFS 3.13.0-rc2 cluster fitxategi-sistemaren eguneratzea

FS-ren ezaugarrien artean, argazkien laguntzaren presentzia ere nabarmen daiteke, fitxategien egoera une jakin batean islatzen duena eta "birziklapen-ontziaren" inplementazio integratua (fitxategiak ez dira berehala ezabatzen eta eskuragarri daude. denbora pixka bat berreskuratzea). Partizio baterako sarbidea IP helbidearen edo pasahitzaren arabera mugatu daiteke (NFS-en antzekoa). Kuota eta zerbitzuen kalitatea kudeatzeko mekanismoak daude, erabiltzaile-kategoria jakin batzuen tamaina eta banda-zabalera mugatzea ahalbidetzen dutenak. Geografikoki banatutako biltegiratze-instalazioak sortzea posible da, eta horien segmentuak datu-zentro desberdinetan kokatuta daude.

LizardFS proiektua 2013an sortu zen sardexka gisa MooseFS, eta desberdina da batez ere Reed-Solomon akatsen zuzenketa-kodeetan oinarritutako erreplika-modu baten presentzian (raidzN-ren analogoa), ACL euskarria zabaldua, Windows plataformarako bezero baten presentzia, optimizazio gehigarriak (adibidez, bezero bat eta konbinatzean. biltegiratze zerbitzari bat, blokeak, ahal bada, uneko nodoarekin bidaltzen dira, eta metadatuak memorian cachean gordetzen dira), konfigurazio sistema malguagoa, datuak irakurtzeko laguntza, direktorio-kuotak eta barne birlanketa.

LizardFS 3.13.0 abenduaren amaieran kaleratuko da. LizardFS 3.13-ren berrikuntza nagusia akatsen tolerantzia bermatzeko adostasun algoritmo bat erabiltzea da (hutsean zerbitzari nagusiak aldatzea) baltsa (lehen produktu komertzialetan erabiltzen zen uRaft-en inplementazio propioa erabiltzen du). uRaft erabiltzeak konfigurazioa errazten du eta akatsak berreskuratzeko atzerapenak murrizten ditu, baina gutxienez hiru lan-nodo behar ditu, eta horietako bat quorumerako erabiltzen da.

Beste aldaketa batzuk: FUSE3 azpisisteman oinarritutako bezero berri bat, akatsak zuzentzeko arazoak konponduz, nfs-ganesha plugina C hizkuntzan berridatzi da. 3.13.0-rc2 eguneraketak 3.13 adarraren aurreko probako bertsioak erabilezin bihurtu zituzten hainbat akats kritiko konpontzen ditu (3.12 adarraren konponketak oraindik ez dira argitaratu, eta 3.12tik 3.13ra eguneratzeak datu-galera osoa dakar oraindik).

2020an, lana garatzeko bideratuko da
agama, guztiz berridatzitako LizardFS kernel berria, garatzaileen arabera, errendimendua hirukoitza handituko duena 3.12 adarrarekin alderatuta. Agama gertakarietan oinarritutako arkitektura batera igaroko da, sarrera/irteera asinkronoan oinarrituta asio, erabiltzaileen espazioan lan egiten dute batez ere (nukleoaren cache-mekanismoekiko menpekotasuna murrizteko). Horrez gain, arazketa-azpisistema berri bat eta sareko jardueren analizatzaile bat eskainiko dira, errendimendua automatikoki doitzeko laguntzarekin.

LizardFS bezeroak bertsioa idazteko eragiketetarako laguntza osoa gehituko du, hondamendien berreskurapenaren fidagarritasuna hobetuko du, bezero ezberdinek datu berdinetarako sarbidea partekatzen dutenean sortzen diren arazoak konponduko ditu eta errendimendu hobekuntza nabarmenak ahalbidetuko ditu. Bezeroa bere sare-azpisistemara transferituko da erabiltzailearen espazioan funtzionatzen duena. Agaman oinarritutako LizardFS-ren lehen prototipoa 2020ko bigarren hiruhilekoan prest egotea aurreikusten da. Aldi berean, LizardFS Kubernetes plataformarekin integratzeko tresnak ezarriko dituztela agintzen dute.

Iturria: opennet.ru

Gehitu iruzkin berria