Geliştirmede bir yıl süren durgunluğun ardından hataya dayanıklı dağıtılmış dosya sisteminin yeni bir dalı üzerinde çalışmak и ikinci sürüm adayı. Son zamanlarda LizardFS'yi geliştiren şirketin sahipleri değişti, yeni yönetim benimsendi ve geliştiriciler değiştirildi. Son iki yıldır proje topluluktan çekilmiş ve yeterince ilgi görmemiş ancak yeni ekip, toplulukla daha önce var olan ilişkiyi canlandırmayı ve onunla yakın etkileşim kurmayı amaçlıyor. Proje kodu C ve C++ dillerinde yazılmıştır ve GPLv3 lisansı altında.
Kertenkele Verileri farklı sunuculara dağıtmanıza olanak tanıyan, ancak bunlara geleneksel disk bölümlerine benzer şekilde çalışan tek bir büyük bölüm biçiminde erişim sağlayan dağıtılmış bir küme dosya sistemi. LizardFS ile monte edilmiş bir bölüm, POSIX dosya niteliklerini, ACL'leri, kilitleri, yuvaları, kanalları, cihaz dosyalarını, sembolik ve sabit bağlantıları destekler. Sistemin tek bir arıza noktası yoktur; tüm bileşenler yedeklidir. Veri işlemlerinin paralelleştirilmesi desteklenir (birkaç istemci aynı anda dosyalara erişebilir).
Hata toleransını sağlamak için veriler, yedekli olarak farklı düğümlere dağıtılan kopyalara bölünür (birkaç kopya farklı düğümlere yerleştirilir; düğümler veya sürücüler arızalanırsa, sistem bilgi kaybı olmadan çalışmaya devam eder ve verileri otomatik olarak yeniden dağıtır); kalan düğümleri dikkate alarak. Depolamayı genişletmek için, bakım için çalışmayı durdurmadan yeni düğümleri ona bağlamak yeterlidir (sistem, verilerin bir kısmını yeni sunuculara kopyalar ve depolamayı yeni sunucuları dikkate alarak dengeler). Kümenin boyutunu azaltmak için de aynısını yapabilirsiniz; sistemden kaldırılan eski ekipmanı kolayca devre dışı bırakabilirsiniz.
Veriler ve meta veriler ayrı olarak depolanır. Çalıştırma için, ana-bağımlı modda çalışan iki meta veri sunucusunun yanı sıra en az iki veri depolama sunucusunun (yığın sunucusu) kurulması önerilir. Ek olarak, meta verileri yedeklemek için, meta verilerdeki değişikliklerle ilgili bilgileri depolamak ve mevcut tüm meta veri sunucularının hasar görmesi durumunda işlemi geri yüklemenize olanak sağlamak için günlük sunucuları kullanılabilir. Her dosya, boyutu 64 MB'a kadar olan bloklara (parçalara) bölünmüştür. Bloklar, seçilen çoğaltma moduna uygun olarak depolama sunucuları arasında dağıtılır: standart (bireysel dizinlerle ilişkili olanlar da dahil olmak üzere farklı düğümlere yerleştirilecek kopya sayısının açık tanımı - önemli veriler için kopya sayısı artırılabilir ve önemsiz veriler azaltıldı), XOR (RAID5 ) ve EC (RAID6).
Depolama petabayt boyutlarına kadar ölçeklenebilir. Uygulama alanları arasında arşivleme, sanal makine görüntülerinin depolanması, multimedya verileri, yedeklemeler, DRC (Felaket Kurtarma Merkezi) olarak kullanım ve yüksek performanslı bilgi işlem kümelerinde depolama olarak yer alır. LizardFS, her boyuttaki dosyalar için çok yüksek okuma hızı sağlar ve yazarken, büyük ve orta boyutlu dosyaların tamamını yazarken, sürekli değişiklik olmadığında, açık dosyalarla yoğun çalışma ve tek seferlik işlemlerde iyi performans gösterir. bir sürü küçük dosya.
FS'nin özellikleri arasında, dosyaların belirli bir andaki durumunu yansıtan anlık görüntüler için desteğin varlığı ve "geri dönüşüm kutusu" nun yerleşik bir uygulaması (dosyalar hemen silinmez ve kullanılabilir) de not edilebilir. bir süreliğine iyileşme). Bir bölüme erişim, IP adresi veya parolayla (NFS'ye benzer şekilde) sınırlandırılabilir. Belirli kullanıcı kategorileri için boyutu ve bant genişliğini sınırlamanıza olanak tanıyan kota ve hizmet kalitesi yönetimi mekanizmaları vardır. Segmentleri farklı veri merkezlerinde bulunan, coğrafi olarak dağıtılmış depolama tesisleri oluşturmak mümkündür.
LizardFS projesi 2013 yılında bir çatal olarak kuruldu. ve temel olarak Reed-Solomon hata düzeltme kodlarına (raidzN'ye benzer) dayalı bir çoğaltma modunun varlığı, genişletilmiş ACL desteği ve platform için bir istemcinin bulunmasıyla farklılık gösterir. WindowsEk optimizasyonlar (örneğin, bir istemci ve bir depolama sunucusunu birleştirirken, bloklar mümkün olduğunca mevcut düğümden sunulur ve meta veriler bellekte önbelleğe alınır), daha esnek bir yapılandırma sistemi, öncelikli veri okuma desteği, dizin kotaları ve dahili yeniden işleme.
LizardFS 3.13.0'ın Aralık ayı sonunda piyasaya sürülmesi planlanıyor. LizardFS 3.13'ün ana yeniliği, hata toleransını sağlamak için bir fikir birliği algoritmasının kullanılmasıdır (arıza durumunda ana sunucuların değiştirilmesi) (daha önce ticari ürünlerde kullanılan uRaft'ın kendi uygulamamızı kullanır). uRaft'ın kullanılması kurulumu basitleştirir ve bir arızadan kurtarma sırasındaki gecikmeleri azaltır, ancak biri çekirdek için kullanılan en az üç çalışma düğümü gerektirir.
Diğer değişiklikler: FUSE3 alt sistemini temel alan yeni bir istemci, hata düzeltmeyle sorunları çözen nfs-ganesha eklentisi C dilinde yeniden yazıldı. 3.13.0-rc2 Güncellemesi, 3.13 dalının önceki test sürümlerini kullanılamaz hale getiren birkaç kritik hatayı düzeltir (3.12 dalı için düzeltmeler henüz yayınlanmamıştır ve 3.12'den 3.13'e yapılan güncelleme hala tam veri kaybına yol açmaktadır).
2020 yılında çalışmalar geliştirmeye odaklanacak
Tamamen yeniden yazılmış yeni bir LizardFS çekirdeği olan ve geliştiricilere göre, şube 3.12'ye kıyasla performansta üç kat artış sağlayacak. Agama, eşzamansız giriş/çıkış tabanlı, olay odaklı bir mimariye geçiş yapacak , öncelikle kullanıcı alanında çalışır (çekirdek önbelleğe alma mekanizmalarına bağımlılığı azaltmak için). Ek olarak, yeni bir hata ayıklama alt sistemi ve performansın otomatik ayarlanmasını destekleyen bir ağ etkinliği analizörü de sunulacak.
LizardFS istemcisi, felaket kurtarmanın güvenilirliğini artıracak, farklı istemciler aynı verilere erişimi paylaştığında ortaya çıkan sorunları çözecek ve önemli performans iyileştirmelerine izin verecek şekilde sürüm oluşturma yazma işlemlerine tam destek ekleyecektir. İstemci, kullanıcı alanında çalışan kendi ağ alt sistemine aktarılacaktır. Agama tabanlı LizardFS'nin ilk çalışan prototipinin 2020 yılının ikinci çeyreğinde hazır olması planlanıyor. Aynı zamanda LizardFS'yi Kubernetes platformuna entegre etmek için araçlar uygulamaya söz veriyorlar.
Kaynak: opennet.ru
