Sanggeus sataun-lila lull dina pangwangunan dianggo dina cabang anyar sistem file disebarkeun toleran-lepat и calon release kadua. Nembe perobahan pamilik perusahaan ngembang LizardFS, manajemén anyar diadopsi sareng pamekar diganti. Salila dua taun katukang, proyék éta parantos ditarik tina komunitas sareng henteu nengetan anu cekap, tapi tim énggal badé nyegerkeun hubungan saméméhna sareng masarakat sareng ngadamel interaksi anu caket sareng éta. Kodeu proyék ditulis dina basa C sareng C ++ sareng handapeun lisénsi GPLv3.
KadalFS sistem file klaster disebarkeun, nu ngidinan Anjeun pikeun ngadistribusikaeun data sakuliah server béda, tapi nyadiakeun aksés ka aranjeunna dina bentuk partisi badag tunggal, nu digarap ku cara nu sarupa jeung partitions disk tradisional. Partisi anu dipasang sareng LizardFS ngadukung atribut file POSIX, ACL, konci, soket, pipa, file alat, tautan simbolis sareng keras. Sistim nu teu boga hiji titik gagal; sakabéh komponén anu kaleuleuwihan. Parallelization operasi data dirojong (sababaraha klien sakaligus bisa ngakses file).
Pikeun mastikeun kasabaran sesar, data dibagi kana réplika, anu disebarkeun dina titik-titik anu béda-béda kalayan redundansi (sababaraha salinan disimpen dina titik anu béda); upami titik atanapi drive gagal, sistem terus beroperasi tanpa kaleungitan inpormasi sareng sacara otomatis nyebarkeun deui data. nyokot kana akun titik sésana. Pikeun dilegakeun gudang, éta cukup pikeun nyambungkeun titik anyar ka dinya tanpa lirén gawé pikeun pangropéa (sistem sorangan réplikasi bagian tina data ka server anyar jeung balances gudang nyokot kana akun server anyar). Anjeun tiasa ngalakukeun hal anu sami pikeun ngirangan ukuran kluster - anjeun ngan saukur tiasa nganonaktipkeun alat-alat anu leungit tina sistem.
Data sareng metadata disimpen sacara misah. Pikeun operasi, disarankeun pikeun masang dua server metadata anu beroperasi dina modeu master-slave, kitu ogé sahenteuna dua server panyimpen data (chunkserver). Salaku tambahan, pikeun cadangan metadata, log server tiasa dianggo pikeun nyimpen inpormasi ngeunaan parobahan dina metadata sareng ngamungkinkeun anjeun mulangkeun operasi upami aya karusakan kana sadaya pangladén metadata anu aya. Unggal file dibagi kana blok (sakumpulan), nepi ka 64 MB ukuranana. Blok disebarkeun diantara server panyimpen saluyu sareng modeu réplikasi anu dipilih: standar (penetapan eksplisit tina jumlah salinan anu bakal disimpen dina titik anu béda, kalebet dina hubungan diréktori individu - pikeun data penting jumlah salinan tiasa ningkat, sareng pikeun data teu penting ngurangan), XOR (RAID5) jeung EC (RAID6).
Panyimpen tiasa skala dugi ka ukuran petabyte. Wewengkon aplikasi ngawengku arsip, neundeun gambar mesin virtual, data multimédia, cadangan, dipaké salaku DRC (Puseur Pamulihan Bencana) jeung salaku gudang di-kinerja tinggi komputasi klaster. LizardFS nyayogikeun kacepetan maca anu luhur pisan pikeun file anu ukuranana mana waé, sareng nalika nyerat, éta nunjukkeun prestasi anu saé nalika nyerat sadayana file ageung sareng sedeng, nalika henteu aya modifikasi konstan, padamelan anu intensif sareng file anu kabuka, sareng operasi sakali-waktos kalayan a kebat file leutik.
Diantara fitur FS, urang ogé tiasa nyatet ayana dukungan pikeun snapshots, ngagambarkeun kaayaan file dina waktos anu tangtu, sareng palaksanaan "recycle bin" anu diwangun (file henteu langsung dihapus sareng sayogi pikeun recovery pikeun sawatara waktu). Aksés ka partisi tiasa diwatesan ku alamat IP atanapi kecap akses (sarupa sareng NFS). Aya kuota sareng kualitas mékanisme manajemén jasa anu ngamungkinkeun anjeun ngawates ukuran sareng rubakpita pikeun sababaraha kategori pangguna. Kasebut nyaéta dimungkinkeun pikeun nyiptakeun fasilitas panyimpen anu disebarkeun sacara geografi, bagéan anu aya di pusat data anu béda.
Proyék LizardFS diadegkeun dina 2013 salaku garpu , sarta béda utamana ku ayana mode réplikasi dumasar kana kode koreksi kasalahan Reed-Solomon (analog jeung raidzN), rojongan ACL dimekarkeun, ayana klien pikeun platform Windows, optimizations tambahan (contona, nalika ngagabungkeun hiji klien tur a server gudang, blok, lamun mungkin, dikirim kalawan titik ayeuna, sarta metadata ieu sindangan dina mémori), sistem konfigurasi leuwih fleksibel, rojongan pikeun data baca-hareup, kuota diréktori sarta rework internal.
LizardFS 3.13.0 dijadwalkeun dileupaskeun dina ahir Désémber. Inovasi utama LizardFS 3.13 nyaéta ngagunakeun algoritma konsensus pikeun mastikeun kasabaran kasalahan (ngalihkeun server master upami gagal) (ngagunakeun palaksanaan kami sorangan tina uRaft, anu saacanna dianggo dina produk komérsial). Ngagunakeun uRaft simplifies konfigurasi sarta ngurangan reureuh recovery gagalna, tapi merlukeun sahanteuna tilu titik gawé, salah sahiji nu dipaké pikeun quorum.
Parobihan sanésna: klien énggal dumasar kana subsistem FUSE3, ngarengsekeun masalah koréksi kasalahan, plugin nfs-ganesha parantos ditulis deui dina basa C. Pembaruan 3.13.0-rc2 ngalereskeun sababaraha bug kritis anu ngadamel sékrési tés sateuacana tina cabang 3.13 henteu tiasa dianggo (perbaikan pikeun cabang 3.12 henteu acan diterbitkeun, sareng pembaruan tina 3.12 ka 3.13 masih ngakibatkeun leungitna data lengkep).
Dina 2020, karya bakal difokuskeun ngembangkeun
, kernel LizardFS anu lengkep ditulis ulang, anu, numutkeun pamekar, bakal nyayogikeun paningkatan tilu kali lipat dibandingkeun sareng cabang 3.12. Agama bakal transisi ka arsitéktur acara-disetir, Asynchronous input / output dumasar , dianggo utamana dina spasi pamaké (pikeun ngurangan gumantungna kana mékanisme cache kernel). Salaku tambahan, subsistem debugging anyar sareng analisa kagiatan jaringan kalayan dukungan pikeun tuning otomatis kinerja bakal ditawarkeun.
Klién LizardFS bakal nambihan dukungan lengkep pikeun operasi nyerat versi, anu bakal ningkatkeun réliabilitas pamulihan bencana, ngarengsekeun masalah anu timbul nalika klien anu béda ngabagi aksés kana data anu sami, sareng ngamungkinkeun perbaikan kinerja anu signifikan. Klién bakal dialihkeun ka subsistem jaringan sorangan anu beroperasi dina rohangan pangguna. Prototipe kerja munggaran LizardFS dumasar kana Agama direncanakeun siap dina kuartal kadua 2020. Dina waktos anu sami, aranjeunna janji bakal nerapkeun alat pikeun ngahijikeun LizardFS sareng platform Kubernetes.
sumber: opennet.ru