LizardFS 3.13.0-rc2 klaster fayl sistemi yeniləməsi

Bir il davam edən inkişafdan sonra davam etdi nasazlığa dözümlü paylanmış fayl sisteminin yeni filialı üzərində işləyir LizardF 3.13 и nəşr olundu ikinci buraxılış namizədi. Bu yaxınlarda meydana gəldi LizardFS-i inkişaf etdirən şirkətin sahiblərinin dəyişdirilməsi, yeni idarəetmə qəbul edildi və tərtibatçılar dəyişdirildi. Son iki ildir ki, layihə icmadan geri çəkilib və ona kifayət qədər diqqət yetirilməyib, lakin yeni komanda icma ilə əvvəlki münasibətləri canlandırmaq və onunla sıx əlaqə yaratmaq niyyətindədir. Layihə kodu C və C++ dillərində yazılmışdır və yayılır GPLv3 lisenziyası altında.

Kərtənkələ edir müxtəlif serverlər arasında məlumatları yaymağa imkan verən, lakin ənənəvi disk bölmələrinə bənzər şəkildə işləyən vahid böyük bölmə şəklində onlara girişi təmin edən paylanmış klaster fayl sistemi. LizardFS ilə quraşdırılmış bölmə POSIX fayl atributlarını, ACL-ləri, kilidləri, yuvaları, boruları, cihaz fayllarını, simvolik və sərt keçidləri dəstəkləyir. Sistemdə bir uğursuzluq nöqtəsi yoxdur, bütün komponentlər lazımsızdır. Məlumat əməliyyatlarının paralelləşdirilməsi dəstəklənir (bir neçə müştəri eyni vaxtda fayllara daxil ola bilər).

Arızaya dözümlülüyü təmin etmək üçün məlumatlar ehtiyatla müxtəlif qovşaqlarda paylanan replikalara bölünür (bir neçə nüsxə müxtəlif qovşaqlara yerləşdirilir); qovşaqlar və ya disklər uğursuz olarsa, sistem məlumat itkisi olmadan işləməyə davam edir və məlumatları avtomatik olaraq yenidən paylayır. qalan qovşaqları nəzərə alaraq. Yaddaşı genişləndirmək üçün texniki xidmət üçün işi dayandırmadan ona yeni qovşaqları qoşmaq kifayətdir (sistem özü məlumatların bir hissəsini yeni serverlərə təkrarlayır və yeni serverləri nəzərə alaraq yaddaşı balanslaşdırır). Siz klasterin ölçüsünü azaltmaq üçün eyni şeyi edə bilərsiniz - sadəcə sistemdən çıxarılan köhnəlmiş avadanlıqları söndürə bilərsiniz.

Məlumat və metadata ayrıca saxlanılır. Əməliyyat üçün master-slave rejimində işləyən iki metadata serverini, həmçinin ən azı iki məlumat saxlama serverini (chunkserver) quraşdırmaq tövsiyə olunur. Əlavə olaraq, metaməlumatların ehtiyat nüsxəsini çıxarmaq üçün log serverləri metaməlumatlardakı dəyişikliklər haqqında məlumatı saxlamaq üçün istifadə edilə bilər və bütün mövcud metadata serverlərinin zədələnməsi halında əməliyyatı bərpa etməyə imkan verir. Hər bir fayl ölçüsü 64 MB-a qədər bloklara (parçalara) bölünür. Bloklar saxlama serverləri arasında seçilmiş təkrarlama rejiminə uyğun olaraq paylanır: standart (müxtəlif qovşaqlarda yerləşdiriləcək nüsxələrin sayının açıq şəkildə müəyyən edilməsi, o cümlədən fərdi qovluqlara münasibətdə - vacib məlumatlar üçün nüsxələrin sayı artırıla bilər və əhəmiyyətsiz məlumatlar azaldı), XOR (RAID5 ) və EC (RAID6).

Saxlama petabayt ölçülərinə qədər böyüyə bilər. Tətbiq sahələrinə arxivləşdirmə, virtual maşın şəkillərinin saxlanması, multimedia məlumatlarının, ehtiyat nüsxələrin çıxarılması, DRC (Fəlakətlərin Bərpa Mərkəzi) kimi və yüksək performanslı hesablama qruplarında saxlama kimi istifadə daxildir. LizardFS istənilən ölçülü fayllar üçün çox yüksək oxu sürəti təmin edir və yazarkən bütün böyük və orta ölçülü faylları yazarkən, daimi modifikasiya olmadıqda, açıq fayllarla intensiv işləmək və birdəfəlik əməliyyatlar zamanı yaxşı performans göstərir. kiçik fayllar dəstəsi.

LizardFS 3.13.0-rc2 klaster fayl sistemi yeniləməsi

FS-nin xüsusiyyətləri arasında, müəyyən bir zamanda faylların vəziyyətini əks etdirən snapshotlar üçün dəstəyin və "zibil qutusunun" quraşdırılmış tətbiqini də qeyd etmək olar (fayllar dərhal silinmir və istifadə üçün mövcuddur). bir müddət bərpa). Bölməyə giriş IP ünvanı və ya parol (NFS-ə bənzər) ilə məhdudlaşdırıla bilər. Müəyyən kateqoriya istifadəçilər üçün ölçü və bant genişliyini məhdudlaşdırmağa imkan verən xidmət idarəetmə mexanizmlərinin kvota və keyfiyyəti mövcuddur. Seqmentləri müxtəlif məlumat mərkəzlərində yerləşən coğrafi olaraq paylanmış saxlama qurğuları yaratmaq mümkündür.

LizardFS layihəsi 2013-cü ildə çəngəl kimi yaradılmışdır MooseFS, və əsasən Reed-Solomon səhv düzəltmə kodlarına (raidzN-in analoqu) əsaslanan təkrarlama rejiminin olması, genişləndirilmiş ACL dəstəyi, Windows platforması üçün müştərinin olması, əlavə optimallaşdırmalar (məsələn, müştərini birləşdirərkən və yaddaş serveri, bloklar, mümkünsə, cari node ilə göndərilir və metadata yaddaşda saxlanılır), daha çevik konfiqurasiya sistemi, məlumatların qabaqcadan oxunması, kataloq kvotaları və daxili yenidən iş üçün dəstək.

LizardFS 3.13.0-ın dekabrın sonunda buraxılması planlaşdırılır. LizardFS 3.13-ün əsas yeniliyi nasazlıqlara qarşı dözümlülüyünü təmin etmək üçün konsensus alqoritminin istifadəsidir (nasaz olduqda master serverlərin dəyişdirilməsi) Raft (əvvəllər kommersiya məhsullarında istifadə olunan uRaf-ın öz tətbiqimizdən istifadə edir). uRaf-dan istifadə konfiqurasiyanı asanlaşdırır və uğursuzluğun bərpası üçün gecikmələri azaldır, lakin ən azı üç iş qovşağı tələb edir, onlardan biri kvorum üçün istifadə olunur.

Digər dəyişikliklər: səhvlərin düzəldilməsi ilə bağlı problemləri həll edən FUSE3 alt sistemi əsasında yeni müştəri, nfs-ganesha plagini C dilində yenidən yazılmışdır. 3.13.0-rc2 yeniləməsi 3.13 filialının əvvəlki sınaq buraxılışlarını yararsız hala gətirən bir neçə kritik səhvi düzəldir (3.12 filialı üçün düzəlişlər hələ dərc olunmayıb və 3.12-dən 3.13-ə qədər olan yeniləmə hələ də tam məlumat itkisinə səbəb olur).

2020-ci ildə iş inkişafa yönəldiləcək
Ağamə, yeni tamamilə yenidən yazılmış LizardFS nüvəsi, tərtibatçıların fikrincə, budaq 3.12 ilə müqayisədə performansda üç dəfə artım təmin edəcək. Agama hadisələrə əsaslanan, asinxron giriş/çıxışa əsaslanan arxitekturaya keçəcək asio, ilk növbədə istifadəçi məkanında işləyin (kernel keşləmə mexanizmlərindən asılılığı azaltmaq üçün). Bundan əlavə, yeni sazlama alt sistemi və performansın avtomatik tənzimlənməsi dəstəyi ilə şəbəkə fəaliyyəti analizatoru təklif olunacaq.

LizardFS müştərisi fəlakətin bərpasının etibarlılığını artıracaq, müxtəlif müştərilərin eyni məlumatlara çıxışını paylaşdıqda yaranan problemləri həll edəcək və əhəmiyyətli performans təkmilləşdirmələrinə imkan verən versiyaların yazılması əməliyyatları üçün tam dəstək əlavə edəcək. Müştəri istifadəçi məkanında fəaliyyət göstərən öz şəbəkə alt sisteminə köçürüləcək. Agama əsasında LizardFS-in ilk işçi prototipinin 2020-ci ilin ikinci rübündə hazır olması planlaşdırılır. Eyni zamanda, LizardFS-ni Kubernetes platforması ilə inteqrasiya etmək üçün alətlər tətbiq etməyə söz verirlər.

Mənbə: opennet.ru

Добавить комментарий