Bir DRAM ve flash bellek şirketi olan Micron Technology, yeni depolama motoru (Heterojen Bellek Depolama Motoru), NAND flash (X100, TLC, QLC 3D NAND) veya kalıcı belleğe (NVDIMM) dayalı SSD sürücülerinde kullanım özellikleri dikkate alınarak tasarlanmıştır. Motor, diğer uygulamalara gömülmek üzere bir kitaplık olarak tasarlanmıştır ve verilerin anahtar/değer biçiminde işlenmesini destekler. HSE kodu C dilinde yazılmıştır ve Apache 2.0 altında lisanslanmıştır.
Motorun uygulama alanları arasında NoSQL DBMS'de düşük seviyeli veri depolama, Ceph ve Scality RING gibi yazılım depoları (SDS, Yazılım Tanımlı Depolama), büyük miktarda veriyi (Büyük Veri) işlemeye yönelik platformlar yer almaktadır. , yüksek performanslı bilgi işlem sistemleri (HPC), nesnelerin interneti cihazları (IoT) ve makine öğrenimi sistemlerine yönelik çözümler.
HSE yalnızca maksimum performans için değil, aynı zamanda çeşitli SSD sınıflarında uzun ömür için de optimize edilmiştir. Hibrit depolama modeliyle yüksek çalışma hızı elde edilir; en alakalı veriler RAM'de önbelleğe alınır, bu da sürücüye erişim sayısını azaltır. Yeni bir motoru üçüncü taraf projelerine entegre etmenin bir örneği olarak HSE'yi kullanmak üzere çevrilmiş, belge odaklı DBMS MongoDB'nin bir sürümü.
Teknolojik olarak HSE ek bir çekirdek modülüne dayanır Katı hal sürücüleri için, yeteneklerini ve özelliklerini dikkate alarak, temelde farklı performans ve dayanıklılık özellikleri elde etmenize olanak tanıyan özel bir nesne depolama arayüzü uygulayan. Mpool aynı zamanda HSE ile aynı anda açık olan ancak bağımsız bir altyapı projesine ayrılmış olan Micron Technology'nin bir geliştirmesidir. Mpool kullanımı üstlenir и , ancak şu anda yalnızca geleneksel SSD'leri desteklemektedir.
Paketi kullanarak performans testi (Yahoo Cloud Serving Benchmark), 2 KB veri bloklarını işlerken 1 TB depolama kullanıldığında performansta önemli bir artış gösterdi. Okuma ve yazma işlemlerinin eşit dağılımı ile testte özellikle önemli bir performans artışı gözlemlenir (grafikteki "A" testi).
Örneğin, HSE motorlu MongoDB'nin standart WiredTiger motorlu versiyondan yaklaşık 8 kat daha hızlı olduğu ve RocksDB DBMS'nin HSE motorundan 6 kattan fazla daha hızlı olduğu ortaya çıktı. Mükemmel performans, %95 okuma işlemlerini ve %5 değiştirme veya ekleme işlemlerini içeren testlerde de görülebilir (grafiklerde "B" ve "D" testleri). Yalnızca okuma işlemlerini içeren Test C, yaklaşık %40'lık bir kazanç göstermektedir. RocksDB tabanlı bir çözümle karşılaştırıldığında, yazma işlemleri sırasında SSD sürücülerin hayatta kalma oranındaki artışın 7 kat olduğu tahmin ediliyor.
HSE'nin temel özellikleri:
- Verilerin anahtar/değer biçiminde işlenmesine yönelik standart ve genişletilmiş operatörler için destek;
- İşlemler için tam destek ve anlık görüntülerin oluşturulması yoluyla depolama dilimlerini izole etme yeteneği (anlık görüntüler aynı zamanda bağımsız koleksiyonları tek bir depolama alanında tutmak için de kullanılabilir);
- Anlık görüntü tabanlı görünümlerde veriler arasında geçiş yapmak için imleçleri kullanma yeteneği;
- Tek bir depolamada karma yük türleri için optimize edilmiş veri modeli;
- Depolama güvenilirliğini yönetmek için esnek mekanizmalar;
- Özelleştirilebilir veri düzenleme şemaları (depolamada bulunan farklı bellek türleri arasında dağıtım);
- Herhangi bir uygulamaya dinamik olarak bağlanabilen C API'sine sahip bir kitaplık;
- Terabaytlarca veriye ve depolamadaki yüz milyarlarca anahtara ölçeklendirme yeteneği;
- Binlerce paralel işlemin verimli işlenmesi;
- Standart alternatif çözümlerle karşılaştırıldığında çeşitli iş yükü türleri için üretimde önemli artış, daha az gecikme ve artan yazma/okuma performansı;
- Performansı ve dayanıklılığı optimize etmek için farklı sınıflardaki SSD sürücüleri tek bir depolamada kullanma yeteneği.
Kaynak: opennet.ru