S3 nesne depolama komutu Nesne depolama seçerken hangi kriterlerin önemli olduğuna dair bir makale tercüme etti. Aşağıda yazarın bakış açısından metin yer almaktadır.
Nesne depolama söz konusu olduğunda insanlar genellikle tek bir şeyi düşünür: TB/GB başına fiyat. Elbette bu metrik önemli ancak yaklaşımı tek taraflı hale getiriyor ve nesne depolamayı arşiv depolama aracıyla eşitliyor. Ayrıca bu yaklaşım, kurumsal teknoloji yığını için nesne depolamanın önemini azaltır.
Nesne depolamayı seçerken beş özelliğe dikkat etmelisiniz:
- performans;
- ölçeklenebilirlik;
- S3 uyumlu;
- başarısızlıklara tepki;
- bütünlük.
Bu beş özellik, maliyetle birlikte nesne depolamaya yönelik yeni ölçümlerdir. Hepsine bakalım.
Proizvoditelnost
Geleneksel nesne depoları performanstan yoksundur. Hizmet sağlayıcılar düşük fiyatlar uğruna sürekli olarak fedakarlıkta bulundular. Ancak modern nesne depolamada işler farklıdır.
Çeşitli depolama sistemleri Hadoop'un hızına yaklaşıyor, hatta onu aşıyor. Okuma ve yazma hızları için modern gereksinimler: Sabit sürücüler için 10 GB/sn'den, NVMe için 35 GB/sn'ye kadar.
Bu verim Spark, Presto, Tensorflow, Teradata, Vertica, Splunk ve analiz yığınındaki diğer modern bilgi işlem çerçeveleri için yeterlidir. MPP veritabanlarının nesne depolama için yapılandırılıyor olması, bunların birincil depolama olarak giderek daha fazla kullanıldığını gösteriyor.
Depolama sisteminiz ihtiyaç duyduğunuz hızı sağlamıyorsa verileri kullanamaz ve ondan değer elde edemezsiniz. Verileri nesne deposundan bellek içi işleme yapısına alsanız bile, verileri belleğe ve bellekten aktarmak için yine de bant genişliğine ihtiyacınız olacaktır. Eski nesne depolarında yeterli miktarda yok.
Kilit nokta şu: Yeni performans ölçütü gecikme değil aktarım hızıdır. Büyük ölçekte veriler için gereklidir ve modern veri altyapısında normdur.
Karşılaştırmalar performansı belirlemenin iyi bir yolu olsa da, uygulamayı ortamda çalıştırmadan önce doğru bir şekilde ölçülemez. Ancak bundan sonra darboğazın tam olarak nerede olduğunu söyleyebilirsiniz: yazılımda, disklerde, ağda veya bilgi işlem düzeyinde.
ölçeklenebilirlik
Ölçeklenebilirlik, bir ad alanına sığan petabayt sayısını ifade eder. Satıcıların iddia ettiği şey kolay ölçeklenebilirliktir, söylemedikleri şey ise ölçeklendikçe devasa monolitik sistemlerin kırılgan, karmaşık, kararsız ve pahalı hale geldiğidir.
Ölçeklenebilirliğin yeni ölçüsü, hizmet verebileceğiniz ad alanlarının veya istemcilerin sayısıdır. Bu ölçüm doğrudan depolama yapı taşlarının küçük olduğu ancak milyarlarca birime ölçeklendiği hiperölçekleyicilerden alınmıştır. Genel olarak bu bir bulut ölçümüdür.
Yapı taşları küçük olduğunda güvenlik, erişim kontrolü, politika yönetimi, yaşam döngüsü yönetimi ve kesintiye neden olmayan güncellemeler için optimize edilmeleri daha kolaydır. Ve sonuçta üretkenliği sağlayın. Yapı bloğunun boyutu, arıza bölgesinin kontrol edilebilirliğinin bir fonksiyonudur; bu da son derece dirençli sistemlerin nasıl inşa edildiğini gösterir.
Çoklu kiracılığın birçok özelliği vardır. Boyut, kuruluşların veri ve uygulamalara nasıl erişim sağladığından bahsederken, aynı zamanda uygulamaların kendisine ve onları birbirlerinden izole etmenin ardındaki mantığa da gönderme yapıyor.
Çoklu istemciye modern bir yaklaşımın özellikleri:
- Kısa sürede müşteri sayısı birkaç yüzden birkaç milyona çıkabilir.
- Müşteriler birbirlerinden tamamen izole edilmiştir. Bu, aynı yazılımın farklı sürümlerini çalıştırmalarına ve nesneleri farklı yapılandırmalara, izinlere, özelliklere, güvenlik ve bakım düzeylerine sahip olarak saklamalarına olanak tanır. Yeni sunuculara, güncellemelere ve coğrafyalara ölçeklenirken bu gereklidir.
- Depolama elastik olarak ölçeklenebilir ve kaynaklar talep üzerine sağlanır.
- Her işlem bir API tarafından kontrol edilir ve insan müdahalesi olmadan otomatikleştirilir.
- Yazılım konteynerlerde barındırılabilir ve Kubernetes gibi standart düzenleme sistemlerini kullanabilir.
S3 uyumlu
Amazon S3 API, nesne depolamaya yönelik fiili standarttır. Her nesne depolama yazılımı satıcısı bununla uyumlu olduğunu iddia eder. S3 ile uyumluluk ikilidir: ya tam olarak uygulanır ya da uygulanmaz.
Uygulamada, nesne depolamayı kullanırken bir şeylerin ters gittiği yüzlerce veya binlerce uç senaryosu vardır. Özellikle özel mülk yazılım ve hizmet sağlayıcılarından. Ana kullanım durumları doğrudan arşivleme veya yedeklemedir, dolayısıyla API'yi çağırmak için birkaç neden vardır ve kullanım durumları homojendir.
Açık kaynaklı yazılımın önemli avantajları vardır. Uygulamaların, işletim sistemlerinin ve donanım mimarilerinin boyutu ve çeşitliliği göz önüne alındığında çoğu uç senaryoyu kapsar.
Tüm bunlar uygulama geliştiricileri için önemlidir, bu nedenle uygulamayı depolama sağlayıcılarıyla test etmeye değer. Açık kaynak süreci kolaylaştırır; uygulamanız için hangi platformun doğru olduğunu anlamak daha kolaydır. Sağlayıcı, depolamaya tek bir giriş noktası olarak kullanılabilir, bu da ihtiyaçlarınızı karşılayacağı anlamına gelir.
Açık kaynak şu anlama gelir: uygulamalar bir satıcıya bağlı değildir ve daha şeffaftır. Bu, uzun bir uygulama yaşam döngüsü sağlar.
Açık kaynak ve S3 hakkında birkaç not daha.
Büyük bir veri uygulaması çalıştırıyorsanız S3 SELECT, performansı ve verimliliği büyük ölçüde artırır. Bunu, yalnızca ihtiyacınız olan nesneleri depolama alanından almak için SQL kullanarak yapar.
Kilit nokta, paket bildirimlerinin desteklenmesidir. Paket bildirimleri, hizmet olarak sunulan herhangi bir mikro hizmet mimarisinin önemli bir bileşeni olan sunucusuz bilgi işlemi kolaylaştırır. Nesne depolamanın etkili bir şekilde bulut depolama olduğu göz önüne alındığında, nesne depolama bulut tabanlı uygulamalar tarafından kullanıldığında bu yetenek kritik hale gelir.
Son olarak S3 uygulamasının Amazon S3 sunucu tarafı şifreleme API'lerini desteklemesi gerekir: SSE-C, SSE-S3, SSE-KMS. Daha da iyisi, S3 gerçekten güvenli olan kurcalamaya karşı korumayı destekler.
Arızalara yanıt
Muhtemelen sıklıkla gözden kaçırılan bir ölçüm, sistemin arızaları nasıl ele aldığıdır. Arızalar çeşitli nedenlerle meydana gelir ve nesne depolama bunların hepsini karşılamalıdır.
Mesela tek bir hata noktası var, bunun metriği sıfır.
Ne yazık ki birçok nesne depolama sistemi, kümenin düzgün çalışması için etkinleştirilmesi gereken özel düğümler kullanır. Bunlar, ad düğümlerini veya meta veri sunucularını içerir; bu, tek bir hata noktası oluşturur.
Birden fazla arıza noktasının olduğu durumlarda bile, yıkıcı arızalara dayanma yeteneği çok önemlidir. Diskler arızalanır, sunucular arızalanır. Anahtar, arızayı normal bir durum olarak ele alacak şekilde tasarlanmış bir yazılım oluşturmaktır. Bir disk veya düğüm arızalanırsa, bu tür yazılımlar değişiklik yapılmadan çalışmaya devam edecektir.
Veri silinmesine ve veri bozulmasına karşı yerleşik koruma, sahip olduğunuz eşlik blokları kadar disk veya düğümü (genellikle disklerin yarısını) kaybetmenizi sağlar. Ancak o zaman yazılım veri döndüremez.
Arıza nadiren yük altında test edilir, ancak böyle bir test gereklidir. Bir yük arızasının simüle edilmesi, arızadan sonra ortaya çıkan toplam maliyetleri gösterecektir.
Tutarlılık
%100 tutarlılık puanına katı tutarlılık da denir. Tutarlılık herhangi bir depolama sisteminin önemli bir bileşenidir, ancak güçlü tutarlılık nadirdir. Örneğin, Amazon S3 ListObject tam anlamıyla tutarlı değildir; yalnızca sonunda tutarlıdır.
Kesin tutarlılık ile kastedilen nedir? Onaylanmış bir PUT işlemini takip eden tüm işlemler için aşağıdakiler gerçekleşmelidir:
- Güncellenen değer herhangi bir düğümden okunurken görülebilir.
- Güncelleştirme, düğüm hatası yedekliliğine karşı korunur.
Bu, kaydın ortasında fişi çekerseniz hiçbir şeyin kaybolmayacağı anlamına gelir. Sistem hiçbir zaman bozuk veya güncelliğini yitirmiş verileri döndürmez. Bu, işlem uygulamalarından yedekleme ve kurtarmaya kadar birçok senaryoda önemli olan yüksek bir çıtadır.
Sonuç
Bunlar, performansın, tutarlılığın, ölçeklenebilirliğin, hata etki alanlarının ve S3 uyumluluğunun bulut uygulamaları ve büyük veri analitiği için yapı taşları olduğu günümüz organizasyonlarındaki kullanım kalıplarını yansıtan yeni nesne depolama ölçümleridir. Modern veri yığınları oluştururken fiyata ek olarak bu listeyi kullanmanızı öneririm.
Mail.ru Bulut Çözümleri nesne depolaması hakkında: .
Okumak için başka ne var:
- .
- .
- .
Kaynak: habr.com