Giriş
Depolama alanı satın almanın zamanı geldi. Hangisini almalı, kimi dinlemeli? Satıcı A, satıcı B hakkında konuşur ve ardından bunun tersini söyleyen ve satıcı D'ye tavsiyede bulunan entegratör C vardır. Böyle bir durumda, özellikle moda olan tüm yeni satıcılar ve SDS ve hiper yakınsama söz konusu olduğunda deneyimli bir depolama mimarının bile başı dönecektir. Bugün.
Peki, tüm bunları nasıl çözersiniz ve sonunda aptal durumuna düşmezsiniz? Biz ( Anton Zhbankov ve Evgeniy Elizarov) bunun hakkında sade Rusça konuşmaya çalışalım.
Makalenin pek çok benzerliği var ve aslında “depolama sistemlerinin seçimi ve depolama teknolojilerinin incelenmesi açısından. Kısaca genel teoriye bakacağız ancak bu makaleyi de okumanızı öneririz.
Neden
Yeni bir kişinin bir foruma veya Depolama Tartışmaları gibi özel bir sohbete gelip şu soruyu sorduğu bir durumu sıklıkla görebilirsiniz: "burada bana iki depolama seçeneği sunuyorlar - ABC SuperStorage S600 ve XYZ HyperOcean 666v4, ne önerirsiniz?" ?”
Ve hazırlıksız bir kişi için tamamen Çince olan korkunç ve anlaşılmaz özelliklerin uygulanmasında kimin hangi özelliklere sahip olduğu konusunda kafa karışıklığı başlıyor.
Dolayısıyla, ticari tekliflerdeki spesifikasyonları karşılaştırmadan çok önce kendinize sormanız gereken anahtar ve ilk soru NEDEN? Bu depolama sistemine neden ihtiyaç duyuldu?
Cevap beklenmedik olacak ve verileri depolamak Tony Robbins tarzı olacak. Teşekkürler kaptan! Ancak bazen ayrıntıları karşılaştırmaya o kadar dalıyoruz ki, tüm bunları neden yaptığımızı unutuyoruz.
Yani bir veri depolama sisteminin görevi, VERİYİ belirli bir performansla depolamak ve ona erişim sağlamaktır. Verilerle başlayacağız.
Veri
Veri tipi
Ne tür verileri depolamayı planlıyoruz? Pek çok depolama sistemini değerlendirme dışı bırakabilecek çok önemli bir soru. Örneğin, videoları ve fotoğrafları depolamayı planlıyorsunuz. Küçük bloklar halinde rastgele erişim için tasarlanmış sistemleri veya sıkıştırma/tekilleştirme konusunda özel özelliklere sahip sistemleri hemen çizebilirsiniz. Bunlar tek kelimeyle mükemmel sistemler olabilir, kötü bir şey söylemek istemiyoruz. Ancak bu durumda, güçleri ya zayıflayacak (video ve fotoğraflar sıkıştırılmayacak) ya da sistemin maliyetini önemli ölçüde artıracak.
Tersine, eğer amaçlanan kullanım yoğun işlemsel bir DBMS ise, saniyede gigabayt aktarım kapasitesine sahip mükemmel multimedya akış sistemleri kötü bir seçim olacaktır.
Veri hacmi
Ne kadar veri depolamayı planlıyoruz? Nicelik her zaman niteliğe dönüşür; özellikle veri hacminin katlanarak arttığı günümüzde bu asla unutulmamalıdır. Petabayt sınıfı sistemler artık nadir değildir, ancak petabayt kapasitesi ne kadar büyük olursa, sistem ne kadar spesifik hale gelirse, küçük ve orta ölçekli rastgele erişim sistemlerinin olağan işlevselliği de o kadar az erişilebilir olacaktır. Bu önemsizdir çünkü blok erişim istatistik tabloları tek başına denetleyicilerdeki mevcut RAM miktarından daha büyük hale gelir. Sıkıştırma/katmanlamadan bahsetmiyorum bile. Diyelim ki sıkıştırma algoritmasını daha güçlü bir algoritmaya geçirip 20 petabyte veriyi sıkıştırmak istiyoruz. Ne kadar sürecek: altı ay mı, bir yıl mı?
Öte yandan, 500 GB veriyi depolamanız ve işlemeniz gerekiyorsa neden uğraşasınız ki? Yalnızca 500. Bu boyuttaki ev tipi SSD'lerin (düşük DWPD'li) hiçbir maliyeti yoktur. Neden bir Fiber Kanal fabrikası kurup dökme demir köprüye eşdeğer maliyetli üst düzey harici depolama sistemleri satın alasınız ki?
Toplamın yüzde kaçı sıcak veridir? Veri hacmi açısından yük ne kadar dengesiz? Sıcak veri miktarının toplamla karşılaştırıldığında çok küçük olması durumunda, katmanlı depolama teknolojisinin veya Flash Önbelleğin çok yararlı olabileceği yer burasıdır. Veya tam tersi, genellikle akışlı sistemlerde (video gözetimi, bazı analiz sistemleri) bulunan, tüm hacim boyunca eşit bir yük ile bu tür teknolojiler hiçbir şey sağlamayacak ve yalnızca sistemin maliyetini/karmaşıklığını artıracaktır.
IC
Verinin diğer tarafı ise veriyi kullanan bilgi sistemidir. Bir IS'nin verileri devralan bir dizi gereksinimi vardır. IS hakkında daha fazla bilgi için bkz. “Sanallaştırılmış Veri Merkezi Tasarımı.”
Dayanıklılık/Kullanılabilirlik Gereksinimleri
Hata toleransı / veri kullanılabilirliği gereksinimleri, bunları kullanan IS'den devralınır ve üç sayıyla ifade edilir - RPO, OTR, kullanılabilirlik.
Durumu — verilerin onlarla çalışmak için mevcut olduğu belirli bir süre boyunca yapılan paylaşım. Genellikle 9 sayısıyla ifade edilir. Örneğin, yılda iki dokuz, kullanılabilirliğin %99 olduğu anlamına gelir, aksi takdirde yılda 95 saat kullanılamamaya izin verilir. Üç dokuz - yılda 9,5 saat.
RPO / RTO toplam göstergeler değil, kullanılabilirliğin aksine her olay (kaza) için göstergelerdir.
RPO — bir kaza sırasında kaybedilen veri miktarı (saat olarak). Örneğin, yedeklemeler günde bir kez yapılıyorsa RPO = 24 saattir. Onlar. Bir felaket ve depolama sisteminin tamamen kaybedilmesi durumunda, veriler (yedekleme anından itibaren) 24 saate kadar kaybolabilir. Örneğin IS için belirlenen RPO'ya dayanarak yedekleme düzenlemeleri yazılır. Ayrıca RPO'ya dayanarak ne kadar senkronize/asenkron veri replikasyonunun gerekli olduğunu anlayabilirsiniz.
OTR — bir felaketten sonra hizmeti (veri erişimi) geri yükleme zamanı. Verilen RTO değerine göre metropol kümesinin gerekli olup olmadığını veya tek yönlü çoğaltmanın yeterli olup olmadığını anlayabiliriz. Üst düzey sınıf çoklu denetleyicili bir depolama sistemine mi ihtiyacınız var?
Performans gereklilikleri
Bu çok açık bir soru olmasına rağmen, zorlukların çoğunun ortaya çıktığı yer burasıdır. Halihazırda bir tür altyapıya sahip olup olmamanıza bağlı olarak gerekli istatistikleri toplamanın yolları oluşturulacaktır.
Zaten bir depolama sisteminiz var ve yenisini arıyorsunuz ya da genişletmek için başka bir depolama sistemi satın almak istiyorsunuz. Burada her şey basit. Halihazırda hangi hizmetlere sahip olduğunuzu ve yakın gelecekte hangilerini uygulamayı planladığınızı anlıyorsunuz. Mevcut hizmetlere dayanarak performans istatistiklerini toplama olanağına sahipsiniz. Mevcut IOPS sayısına ve mevcut gecikmeye karar verin - bu göstergeler nelerdir ve görevleriniz için yeterli mi? Bu hem veri depolama sisteminin kendisinden hem de ona bağlı ana bilgisayarlardan yapılabilir.
Üstelik sadece mevcut yüke değil, belirli bir süreye (tercihen bir aya) bakmanız gerekiyor. Gün içindeki maksimum zirvelerin ne olduğunu, yedeklemenin ne tür bir yük oluşturduğunu vb. görün. Depolama sisteminiz veya yazılımınız size bu verilerin eksiksiz bir setini sağlamıyorsa, en popüler depolama sistemleri ve anahtarların çoğuyla çalışabilen ve size ayrıntılı performans istatistikleri sağlayabilen ücretsiz RRD aracını kullanabilirsiniz. Ayrıca, belirli sanal makineler için bu depolama sistemiyle çalışan ana bilgisayarlardaki yüke veya bu ana bilgisayarda tam olarak neyin çalıştığına da bakmaya değer.
Birimdeki ve bu birimde bulunan veri deposundaki gecikmeler oldukça farklıysa, SAN ağınıza dikkat etmeniz gerektiğini, onunla ilgili sorun olma ihtimalinin yüksek olduğunu ve yeni bir tane satın almadan önce ayrıca belirtmekte fayda var. Sistem, bu konuyu incelemeye değer çünkü mevcut sistemin performansını artırma olasılığı çok yüksek.
Sıfırdan altyapı kuruyorsunuz ya da yükünün farkında olmadığınız yeni bir hizmet için sistem satın alıyorsunuz. Birkaç seçenek vardır: Yükü bulmaya ve tahmin etmeye çalışmak için özel kaynaklar üzerinden meslektaşlarınızla iletişim kurun, benzer hizmetleri uygulama konusunda deneyimi olan ve yükü sizin için hesaplayabilecek bir entegratörle iletişime geçin. Üçüncü seçenek (genellikle en zoru, özellikle evde yazılan veya nadir uygulamalarla ilgiliyse), sistem geliştiricilerinden performans gereksinimlerini bulmaya çalışmaktır.
Ve lütfen unutmayın, pratik uygulama açısından en doğru seçenek, mevcut ekipman üzerinde pilot uygulama yapılması veya bir satıcı/entegratör tarafından test edilmek üzere sağlanan ekipmandır.
Özel gereksinimler
Özel gereksinimler, verilerin doğrudan işlenmesi ve sağlanmasına yönelik performans, hata toleransı ve işlevsellik gereksinimlerinin kapsamına girmeyen her şeydir.
Bir veri depolama sistemi için en basit özel gereksinimlerden biri "başkasına devredilebilir depolama ortamı" olarak adlandırılabilir. Ve bu veri depolama sisteminin bir teyp kitaplığı veya yedek kopyanın üzerine döküldüğü basit bir teyp sürücüsü içermesi gerektiği hemen anlaşılıyor. Daha sonra özel eğitimli bir kişi bandı imzalar ve gururla özel bir kasaya taşır.
Özel bir gereksinimin başka bir örneği, korumalı darbeye dayanıklı tasarımdır.
Nerede
Belirli bir depolama sistemi seçiminde ikinci ana bileşen, bu depolama sisteminin NEREDE yer alacağına ilişkin bilgilerdir. Coğrafya veya iklim koşullarından başlayıp personelle biten.
Müşteri
Bu depolama sistemi kimin için planlanıyor? Sorunun aşağıdaki nedenleri var:
Devlet müşterisi/ticari.
Ticari müşterinin herhangi bir kısıtlaması yoktur ve kendi iç düzenlemeleri dışında ihale yapma zorunluluğu bile yoktur.
Devlet müşterisi ise farklı bir konudur. 44 Federal Kanun ve diğer zevkler ile ihalelere ve teknik şartnamelere itiraz edilebilir.
Müşteri yaptırım altındadır
Buradaki soru çok basit; seçim yalnızca belirli bir müşteriye sunulan tekliflerle sınırlıdır.
İç düzenlemeler / satıcılar / satın alınmasına izin verilen modeller
Soru da son derece basit ama hatırlamanız gerekiyor.
Fiziksel olarak nerede
Bu bölümde konaklama tesislerindeki coğrafya, iletişim kanalları ve mikro iklim ile ilgili tüm konuları ele alıyoruz.
personel
Bu depolama sistemiyle kim çalışacak? Bu, depolama sisteminin kendisinin yapabileceklerinden daha az önemli değildir.
A satıcısının depolama sistemi ne kadar umut verici, harika ve harika olursa olsun, personel yalnızca B satıcısıyla nasıl çalışılacağını biliyorsa ve A ile daha fazla satın alma ve devam eden işbirliği için herhangi bir plan yoksa, muhtemelen onu kurmanın pek bir anlamı yoktur.
Ve tabii ki sorunun diğer tarafı, belirli bir coğrafi konumda doğrudan şirkette ve potansiyel olarak işgücü piyasasında eğitimli personelin ne kadar mevcut olduğudur. Bölgeler için, basit arayüzlere sahip veya yönetimi uzaktan merkezileştirme yeteneğine sahip depolama sistemlerini seçmek çok anlamlı olabilir. Aksi takdirde, bir noktada dayanılmaz derecede acı verici hale gelebilir. İnternet, dünün öğrencisi olan yeni bir çalışanın tüm ofisi yok edecek şekilde nasıl yapılandırdığına dair hikayelerle dolu.
çevre
Ve elbette önemli bir soru da bu depolama sisteminin hangi ortamda çalışacağıdır.
- Güç kaynağı/soğutma ne olacak?
- Hangi bağlantı
- Nereye kurulacak?
- Ve böylece.
Çoğu zaman bu sorular hafife alınır ve özellikle dikkate alınmaz, ancak bazen her şeyi tersine çevirebilecek sorulardır.
Ne
SATICI
Bugün itibarıyla (2019 ortası), Rusya depolama pazarı 5 kategoriye ayrılabilir:
- En üst bölüm, en basitinden son teknolojiye kadar geniş bir disk rafı yelpazesine sahip köklü şirketlerdir (HPE, DellEMC, Hitachi, NetApp, IBM / Lenovo)
- İkinci bölüm - sınırlı ürün yelpazesine sahip şirketler, niş oyuncular, ciddi SDS satıcıları veya yeni gelenler (Fujitsu, Datacore, Infinidat, Huawei, Pure, vb.)
- Üçüncü bölüm - düşük seviye niş çözümler, ucuz SDS, ceph ve diğer açık projelere dayalı gelişmiş ürünler (Infortrend, Starwind, vb.)
- SOHO segmenti - ev/küçük ofis düzeyindeki küçük ve ultra küçük depolama sistemleri (Synology, QNAP, vb.)
- İthal ikameli depolama sistemleri - bu, hem yeniden etiketlenmiş etiketlere sahip birinci bölümün donanımını hem de ikincinin nadir temsilcilerini içerir (RAIDIX, onlara ikincisini önceden vereceğiz), ancak esas olarak bu üçüncü bölümdür (Aerodisk, Baum, Depo, vb.)
Bölme oldukça keyfidir ve üçüncü veya SOHO segmentinin kötü olduğu ve kullanılamayacağı anlamına gelmez. Açıkça tanımlanmış bir veri seti ve yük profiline sahip belirli projelerde çok iyi çalışabilirler ve fiyat/kalite oranı açısından ilk bölümün çok ötesine geçebilirler. Öncelikle hedeflerinize, büyüme beklentilerinize ve gerekli işlevselliğe karar vermeniz önemlidir; daha sonra Synology size sadakatle hizmet edecek ve saçlarınız yumuşak ve ipeksi hale gelecektir.
Satıcı seçerken önemli faktörlerden biri mevcut ortamdır. Halihazırda kaç tane depolama sisteminiz var ve mühendislerinizin hangi depolama sistemleriyle çalışabileceği. Başka bir satıcıya, başka bir temas noktasına ihtiyacınız var mı, tüm yükü yavaş yavaş A satıcısından B satıcısına taşıyacak mısınız?
Gerekenin ötesinde varlıklar üretilmemelidir.
iSCSI/FC/Dosya
Erişim protokolleri konusunda mühendisler arasında bir fikir birliği yok ve tartışma, mühendislik tartışmalarından çok teolojik tartışmalara benziyor. Ancak genel olarak aşağıdaki noktalara dikkat edilebilir:
FCoE canlıdan çok ölü.
FC ve iSCSI. FC'nin 2019'da veri erişimi için özel bir fabrika olan IP depolamaya göre en önemli avantajlarından biri, özel bir IP ağı ile dengeleniyor. FC'nin IP ağlarına göre küresel bir avantajı yoktur ve IP, büyük bir bankanın ana bankacılık sistemi için ağır DBMS sistemlerine kadar her türlü yük seviyesinde depolama sistemleri oluşturmak için kullanılabilir. Öte yandan, FC'nin ölümü birkaç yıldır kehanet ediliyor, ancak bir şeyler bunu sürekli engelliyor. Örneğin bugün, depolama pazarındaki bazı oyuncular aktif olarak NVMEoF standardını geliştiriyor. FCoE'nin kaderini paylaşıp paylaşmayacağını zaman gösterecek.
dosya erişimi ayrıca dikkate değer bir şey değil. NFS/CIFS, üretkenlik ortamlarında iyi performans gösterir ve doğru tasarlanırsa blok protokollerinden daha fazla şikayeti yoktur.
Hibrit / Tüm Flaş Dizisi
Klasik depolama sistemleri 2 tipte gelir:
- AFA (All Flash Array) - SSD kullanımı için optimize edilmiş sistemler.
- Hibrit - hem HDD'yi hem de SSD'yi veya bunların bir kombinasyonunu kullanmanıza olanak tanır.
Temel farkları, desteklenen depolama verimliliği teknolojileri ve maksimum performans düzeyidir (yüksek IOPS ve düşük gecikme). Her iki sistem de (çoğu modelde, alt segmenti saymazsak) hem blok hem de dosya cihazı olarak çalışabilir. Desteklenen işlevsellik sistemin düzeyine bağlıdır ve daha genç modeller için çoğunlukla minimum düzeye indirilir. Yalnızca bir bütün olarak tüm hattın yeteneklerini değil, belirli bir modelin özelliklerini incelerken buna dikkat etmeye değer. Ayrıca elbette işlemci, bellek miktarı, önbellek, bağlantı noktası sayısı ve türleri vb. gibi teknik özellikleri de sistemin düzeyine bağlıdır. Yönetim açısından bakıldığında, AFA'lar hibrit (disk) sistemlerden yalnızca SSD sürücülerle çalışma mekanizmalarının uygulanmasında farklılık gösterir ve hibrit bir sistemde SSD kullansanız bile, bu hiçbir şekilde yapabileceğiniz anlamına gelmez. AFA sistemi düzeyinde performans düzeyine ulaşmak. Ayrıca çoğu durumda hibrit sistemlerde hat içi verimli depolama mekanizmaları devre dışı bırakılır ve bunların dahil edilmesi performans kaybına yol açar.
Özel depolama sistemleri
Öncelikle operasyonel veri işlemeye odaklanan genel amaçlı depolama sistemlerine ek olarak, alışılagelmiş olanlardan (düşük gecikme süresi, yüksek IOPS) temelde farklı temel ilkelere sahip özel depolama sistemleri de vardır:
Medya.
Bu sistemler büyük medya dosyalarını depolamak ve işlemek için tasarlanmıştır. Solunum gecikme pratikte önemsiz hale gelir ve birçok paralel akışta geniş bantta veri gönderip alma yeteneği ön plana çıkar.
Yedeklemeler için depolama sistemlerini tekilleştirme.
Yedek kopyalar, normal koşullar altında nadir görülen (ortalama yedek kopya dünkü kopyadan %1-2 oranında farklılık gösterir) birbirlerine benzerlikleriyle ayırt edildiklerinden, bu sistem sınıfı, üzerlerine kaydedilen verileri oldukça küçük bir aralıkta son derece verimli bir şekilde paketler. fiziksel medya sayısı. Örneğin bazı durumlarda veri sıkıştırma oranları 200'e 1'e ulaşabilmektedir.
Nesne depolama sistemleri.
Bu depolama sistemleri alışılagelmiş blok erişim hacimlerine ve dosya paylaşımlarına sahip değildir ve en önemlisi devasa bir veritabanına benzerler. Böyle bir sistemde depolanan bir nesneye erişim, benzersiz bir tanımlayıcı veya meta veriler (örneğin, oluşturulma tarihi XX-XX-XXXX ile YY-YY-YYYY arasında olan tüm JPEG formatındaki nesneler) tarafından gerçekleştirilir.
Uyumluluk sistemi.
Bugün Rusya'da çok yaygın değiller ama bahsetmeye değer. Bu tür depolama sistemlerinin amacı, veri depolamanın güvenlik politikalarına veya düzenleyici gereksinimlere uygunluğunu garanti etmektir. Bazı sistemler (örneğin EMC Centera) veri silinmesini yasaklayan bir işlev uygulamaktadır; anahtar çevrilip sistem bu moda girer girmez, ne yönetici ne de başkası önceden kaydedilmiş verileri fiziksel olarak silemez.
Tescilli teknolojiler
flaş önbelleği
Flash Önbellek, flash belleği ikinci düzey önbellek olarak kullanmaya yönelik tüm özel teknolojilerin ortak adıdır. Bir flaş önbellek kullanıldığında, depolama sistemi genellikle manyetik disklerden sabit bir yük sağlayacak şekilde hesaplanır ve en yüksek değer önbellek tarafından sunulur.
Bu durumda yük profilini ve depolama birimleri bloklarına erişimin yerelleştirme derecesini anlamak gerekir. Flash önbellek, yüksek düzeyde yerelleştirilmiş sorgulara sahip iş yüklerine yönelik bir teknolojidir ve tekdüze olarak yüklenen birimler (analitik sistemleri gibi) için pratik olarak uygulanamaz.
Piyasada iki flash önbellek uygulaması mevcuttur:
- Sadece oku. Bu durumda, yalnızca okunan veriler önbelleğe alınır ve yazma işlemi doğrudan disklere gider. NetApp gibi bazı üreticiler, depolama sistemlerine yazmanın zaten optimal olduğuna ve önbelleğin hiç yardımcı olmayacağına inanıyor.
- Okuma yazma. Yalnızca okuma değil, yazma da önbelleğe alınır; bu, akışı arabelleğe almanıza ve RAID Cezasının etkisini azaltmanıza olanak tanır ve sonuç olarak, daha az optimal yazma mekanizmasına sahip depolama sistemleri için genel performansı artırır.
katmanlama
Çok seviyeli depolama (yorucu), SSD ve HDD gibi farklı performans seviyelerine sahip seviyeleri tek bir disk havuzunda birleştirmeye yönelik bir teknolojidir. Veri bloklarına erişimde belirgin bir eşitsizlik olması durumunda, sistem veri bloklarını otomatik olarak dengeleyebilecek, yüklü olanları yüksek performans seviyesine, soğuk olanları ise tam tersine daha yavaş bir seviyeye taşıyabilecek.
Alt ve orta sınıfların hibrit sistemleri, verilerin belirli bir programa göre seviyeler arasında hareket ettiği çok seviyeli depolamayı kullanır. Aynı zamanda en iyi modeller için çok seviyeli depolama bloğunun boyutu 256 MB'tır. Bu özellikler, birçok kişinin yanlışlıkla inandığı gibi, katmanlı depolama teknolojisini üretkenliği artırmaya yönelik bir teknoloji olarak görmemize izin vermiyor. Düşük ve orta sınıf sistemlerde çok seviyeli depolama, belirgin yük eşitsizliği olan sistemler için depolama maliyetlerini optimize etmeye yönelik bir teknolojidir.
Enstantane fotoğraf
Depolama sistemlerinin güvenilirliği hakkında ne kadar konuşursak konuşalım, donanım sorunlarına bağlı olmayan birçok veri kaybı olasılığı vardır. Bu, virüsler, bilgisayar korsanları veya verilerin kasıtsız olarak silinmesi/bozulması olabilir. Bu nedenle üretim verilerinin yedeklenmesi mühendisin işinin ayrılmaz bir parçasıdır.
Anlık görüntü, bir birimin belirli bir andaki anlık görüntüsüdür. Sanallaştırma, veritabanları vb. gibi çoğu sistemle çalışırken. Verileri yedek bir kopyaya kopyalayacağımız böyle bir anlık görüntü almamız gerekiyor, IS'miz ise bu birim ile güvenli bir şekilde çalışmaya devam edebilecek. Ancak tüm anlık görüntülerin eşit derecede yararlı olmadığını hatırlamakta fayda var. Farklı satıcıların mimarileriyle ilgili anlık görüntüler oluşturma konusunda farklı yaklaşımları vardır.
CoW (Yazarken Kopyala). Bir veri bloğu yazmaya çalıştığınızda, orijinal içeriği özel bir alana kopyalanır ve ardından yazma işlemi normal şekilde devam eder. Bu, anlık görüntünün içindeki verilerin bozulmasını önler. Doğal olarak, tüm bu "parazit" veri manipülasyonları, depolama sistemi üzerinde ek yüke neden olur ve bu nedenle benzer uygulamalara sahip satıcılar, bir düzineden fazla anlık görüntünün kullanılmasını ve bunların yüksek yüklü birimlerde hiç kullanılmamasını önermez.
RoW (Yazma Üzerine Yönlendirme). Bu durumda orijinal birim doğal olarak donar ve bir veri bloğu yazmaya çalışırken depolama sistemi verileri boş alandaki özel bir alana yazar ve bu bloğun meta veri tablosundaki konumunu değiştirir. Bu, yeniden yazma işlemlerinin sayısını azaltmanıza olanak tanır, bu da sonuçta performanstaki düşüşü ortadan kaldırır ve anlık görüntüler ve bunların sayısı üzerindeki kısıtlamaları kaldırır.
Anlık görüntüler uygulamalarla ilgili olarak da iki türdür:
Uygulama tutarlılığı. Anlık görüntü oluşturma anında depolama sistemi, tüketicinin işletim sistemindeki bir aracıyı çeker; bu aracı, disk önbelleklerini zorla bellekten diske aktarır ve uygulamayı bunu yapmaya zorlar. Bu durumda anlık görüntüden geri yükleme yapılırken veriler tutarlı olacaktır.
Kilitlenme tutarlı. Bu durumda böyle bir şey olmaz ve anlık görüntü olduğu gibi oluşturulur. Böyle bir anlık görüntüden kurtarma durumunda, resim, gücün aniden kapatılması ve bir miktar veri kaybının mümkün olması, önbelleklerde kalması ve diske asla ulaşmaması durumunda ne olacağıyla aynıdır. Bu tür anlık görüntülerin uygulanması daha kolaydır ve uygulamalarda performans düşüşüne neden olmaz, ancak daha az güvenilirdir.
Depolama sistemlerinde anlık görüntülere neden ihtiyaç duyulur?
- Doğrudan depolama sisteminden aracısız yedekleme
- Gerçek verilere dayalı test ortamları oluşturun
- Dosya depolama sistemleri söz konusu olduğunda, hiper yönetici yerine depolama sistemi anlık görüntüleri kullanılarak VDI ortamları oluşturmak için kullanılabilir.
- Yedekleme frekansından önemli ölçüde daha yüksek bir frekansta planlanmış anlık görüntüler oluşturarak düşük RPO'lar sağlayın
Klonlama
Birim klonlama - anlık görüntülerle benzer prensipte çalışır, ancak yalnızca verileri okumak için değil, aynı zamanda onunla tam olarak çalışmak için de kullanılır. Fiziksel bir kopya yapmadan, hacmimizin tam bir kopyasını, içindeki tüm verilerle birlikte alabiliyoruz, bu da yerden tasarruf sağlayacak. Genellikle birim klonlama, Test&Dev'de veya IS'nizdeki bazı güncellemelerin işlevselliğini kontrol etmek istiyorsanız kullanılır. Klonlama, bunu disk kaynakları açısından mümkün olduğunca hızlı ve ekonomik bir şekilde yapmanızı sağlayacaktır, çünkü Yalnızca değiştirilen veri blokları yazılacaktır.
Çoğaltma / Günlük Tutma
Çoğaltma, başka bir fiziksel depolama sisteminde verinin kopyasını oluşturmaya yönelik bir mekanizmadır. Tipik olarak her satıcının yalnızca kendi hattında çalışan özel bir teknolojisi vardır. Ancak VMware vSphere Replication gibi hipervizör düzeyinde çalışanlar da dahil olmak üzere üçüncü taraf çözümler de var.
Tescilli teknolojilerin işlevselliği ve kullanım kolaylığı genellikle evrensel olanlardan çok daha üstündür, ancak örneğin NetApp'ten HP MSA'ya bir kopya yapmak gerektiğinde bunların uygulanamaz olduğu ortaya çıkar.
Çoğaltma iki alt türe ayrılır:
Senkron. Senkron çoğaltma durumunda yazma işlemi hemen ikinci depolama sistemine gönderilir ve uzak depolama sistemi onaylayana kadar yürütme onaylanmaz. Bu nedenle erişim gecikmesi artar, ancak verilerin tam bir ayna kopyasına sahibiz. Onlar. Ana depolama sisteminin kaybı durumunda RPO = 0.
asenkron. Yazma işlemleri yalnızca ana depolama sisteminde gerçekleştirilir ve hemen onaylanırken aynı zamanda uzak depolama sistemine toplu aktarım için bir arabellekte biriktirilir. Bu tür çoğaltma, daha az değerli veriler veya düşük bant genişliğine veya yüksek gecikmeye sahip kanallar (100 km'nin üzerindeki mesafeler için tipiktir) için uygundur. Buna göre RPO = paket gönderme frekansı.
Çoğu zaman kopyalamayla birlikte bir mekanizma da vardır. Kerestecilik disk işlemleri. Bu durumda loglama için özel bir alan ayrılır ve kayıt işlemleri belirli bir zaman derinliğinde veya logun hacmiyle sınırlı olarak depolanır. EMC RecoverPoint gibi belirli tescilli teknolojiler için, belirli yer işaretlerini belirli bir günlük girişine bağlamanıza olanak tanıyan sistem yazılımıyla entegrasyon mevcuttur. Bu sayede bir birimin durumunu yalnızca 23 Nisan 11 saat 59 saniye 13 milisaniyeye değil, “DROP ALL TABLES; İŞLEMEK."
Metro kümesi
Metro kümesi, iki depolama sistemi arasında, dışarıdan bu çift tek bir depolama sistemi gibi görünecek şekilde çift yönlü eşzamanlı çoğaltma oluşturmanıza olanak tanıyan bir teknolojidir. Metro mesafelerinde (100 km'den az) coğrafi olarak ayrılmış kollara sahip kümeler oluşturmak için kullanılır.
Sanallaştırma ortamındaki kullanım örneğini temel alan metrocluster, aynı anda iki veri merkezinden kayıt için erişilebilen sanal makinelerle bir veri deposu oluşturmanıza olanak tanır. Bu durumda hipervizör düzeyinde, bu veri deposuna bağlı, farklı fiziksel veri merkezlerindeki ana bilgisayarlardan oluşan bir küme oluşturulur. Bu, aşağıdakileri yapmanıza olanak tanır:
- Veri merkezlerinden birinin ölümünden sonra kurtarma sürecinin tam otomasyonu. Herhangi bir ek fon olmadan, ölen veri merkezinde çalışan tüm VM'ler, kalan veri merkezinde otomatik olarak yeniden başlatılacaktır. RTO = yüksek kullanılabilirlik kümesi zaman aşımı (VMware için 15 saniye) + işletim sistemini yükleme ve hizmetleri başlatma süresi.
- Felaketten kaçınma veya Rusça'da felaketlerden kaçınma. Veri merkezi 1'de güç kaynağı çalışması planlanıyorsa, iş başlamadan önce tüm önemli yükü önceden kesintisiz olarak veri merkezi 2'ye taşıma fırsatımız olur.
sanallaştırma
Depolama sanallaştırması teknik olarak başka bir depolama sistemindeki birimlerin disk olarak kullanılmasıdır. Bir depolama sanallaştırıcısı, başka birinin birimini tüketiciye kendisininmiş gibi aktarabilir, aynı anda onu başka bir depolama sistemine yansıtabilir, hatta harici birimlerden bir RAID oluşturabilir.
Depolama sanallaştırma sınıfındaki klasik temsilciler EMC VPLEX ve IBM SVC'dir. Ve elbette sanallaştırma işlevine sahip depolama sistemleri - NetApp, Hitachi, IBM / Lenovo Storwize.
Neden ihtiyaç duyulabilir?
- Depolama sistemi düzeyinde yedeklilik. Birimler arasında bir ayna oluşturulur ve bir yarısı HP 3Par'da, diğeri NetApp'te olabilir. Ve sanallaştırıcı EMC'den.
- Verileri farklı üreticilerin depolama sistemleri arasında minimum kesinti süresiyle taşıyın. Verilerin silinecek eski 3Par'dan yeni Dell'e taşınması gerektiğini varsayalım. Bu durumda tüketicilerin 3Par ile bağlantısı kesilerek hacimler VPLEX kapsamında aktarılarak tekrar tüketicilere sunulmaktadır. Hacimde en ufak bir değişiklik olmadığı için çalışmalar devam ediyor. Sesi yeni Dell'e yansıtma işlemi arka planda başlar ve tamamlandıktan sonra yansıtma bozulur ve 3Par devre dışı bırakılır.
- Metropol kümelerinin organizasyonu.
Sıkıştırma/tekilleştirme
Sıkıştırma ve tekilleştirme, depolama sisteminizde disk alanından tasarruf etmenize olanak tanıyan teknolojilerdir. Prensipte tüm verilerin sıkıştırmaya ve/veya tekilleştirmeye tabi olmadığını, bazı veri türlerinin daha iyi sıkıştırıldığını ve tekilleştirildiğini, bazılarının ise tam tersini hemen belirtmekte fayda var.
2 tür sıkıştırma ve tekilleştirme vardır:
Çizgide — veri bloklarının sıkıştırılması ve tekilleştirilmesi, bu veriler diske yazılmadan önce gerçekleşir. Böylece sistem yalnızca bloğun hash değerini hesaplar ve bunu tabloda mevcut olanlarla karşılaştırır. Birincisi, diske yazmaktan daha hızlıdır ve ikincisi, fazladan disk alanı israf etmiyoruz.
Çivi - bu işlemler disklerde önceden kaydedilmiş veriler üzerinde gerçekleştirildiğinde. Buna göre veriler önce diske yazılır ve ancak bundan sonra hash hesaplanır ve gereksiz bloklar silinerek disk kaynakları serbest bırakılır.
Satıcıların çoğunun her iki türü de kullandığını söylemekte fayda var; bu da onların bu süreçleri optimize etmelerine ve dolayısıyla verimliliklerini artırmalarına olanak tanıyor. Çoğu depolama satıcısının veri kümelerinizi analiz etmenize olanak tanıyan yardımcı programları vardır. Bu yardımcı programlar depolama sisteminde uygulanan mantığa göre çalışır, dolayısıyla tahmini verimlilik düzeyi aynı olacaktır. Ayrıca birçok satıcının, belirli (veya tüm) veri türleri için en azından aynı derecede iyi performans vaat eden performans garantisi programlarına sahip olduğunu unutmayın. Ve bu programı ihmal etmemelisiniz, çünkü belirli bir sistemin verimlilik katsayısını dikkate alarak görevleriniz için sistemi hesaplayarak hacimden tasarruf edebilirsiniz. Bu programların AFA sistemleri için tasarlandığını da dikkate almakta fayda var, ancak klasik sistemlerdeki HDD'lerden daha küçük hacimli SSD'lerin satın alınması sayesinde bu, maliyetlerini düşürecek ve bir disk sisteminin maliyetine eşit değilse o zaman oldukça yaklaşın.
model
Ve işte doğru soruya geliyoruz.
"Bana iki depolama seçeneği sunuyorlar: ABC SuperStorage S600 ve XYZ HyperOcean 666v4, ne önerirsiniz?"
"Burada bana iki depolama seçeneği sunuyorlar - ABC SuperStorage S600 ve XYZ HyperOcean 666v4, ne önerirsiniz?"
Hedef yük, üretim/test/geliştirme döngülerine sahip karma VMware sanal makineleridir. Test = üretken. Her biri 150 TB, en yüksek performansı 80 IOPS 000kb blok %8 rastgele erişim 50/80 okuma-yazma. Geliştirme için 20 TB, 300 IOPS yeterli, 50 rastgele, 000 yazma.
Metrocluster'da üretkenlik muhtemelen RPO = 15 dakika RTO = 1 saat, eşzamansız çoğaltmada geliştirme RPO = 3 saat, tek sitede test.
50 TB'lık bir DBMS olacak, loglama onlar için iyi olur.
Her yerde Dell sunucularımız var, eski Hitachi depolama sistemleri, zar zor başa çıkıyorlar, hacim ve performans açısından yükü %50 artırmayı planlıyoruz.”
Dedikleri gibi, doğru formüle edilmiş bir soru, cevabın% 80'ini içerir.
ek bilgi
Yazarlara göre ek olarak ne okumalısınız?
kitaplar
- Olifer ve Olifer “Bilgisayar ağları”. Kitap, IP / Ethernet depolama sistemleri için veri aktarım ortamının nasıl çalıştığını sistemleştirmeye ve belki de daha iyi anlamaya yardımcı olacaktır.
- “EMC Bilgi Depolama ve Yönetimi.” Depolama sistemlerinin temelleri, nedenleri, nasılları ve nedenleriyle ilgili mükemmel bir kitap.
Forumlar ve sohbetler
Genel tavsiyeler
Fiyatlar
Şimdi, fiyatlara gelince - genel olarak, depolama sistemleri için fiyatlar varsa, bunlar genellikle her müşterinin bireysel indirim aldığı Liste fiyatlarıdır. İndirimin boyutu çok sayıda parametreden oluşur, bu nedenle distribütöre sormadan şirketinizin nihai fiyatının ne olacağını tahmin etmek imkansızdır. Ancak aynı zamanda, son zamanlarda, örneğin normal bilgisayar mağazalarında düşük kaliteli modeller görünmeye başladı. veya . Burada ilgilendiğiniz sistemi, herhangi bir bilgisayar bileşeni gibi sabit bir fiyata hemen satın alabilirsiniz.
Ancak TB/$ üzerinden doğrudan bir karşılaştırmanın doğru olmadığını hemen belirtmek isterim. Bu açıdan yaklaşırsak, o zaman en ucuz çözüm, tam teşekküllü, çift denetleyicili bir depolama sisteminin sağladığı esnekliği veya güvenilirliği sağlamayacak basit bir JBOD + sunucusu olacaktır. Bu, JBOD'un iğrenç ve pis bir numara olduğu anlamına gelmez, sadece bu çözümü nasıl ve hangi amaçlarla kullanacağınızı bir kez daha çok net bir şekilde anlamanız gerekir. JBOD'da kırılacak hiçbir şeyin olmadığını, yalnızca bir arka panelin olduğunu sıklıkla duyabilirsiniz. Ancak arka planlar da bazen başarısız olur. Her şey er ya da geç bozulur.
Toplam
Sistemleri sadece fiyatla ya da sadece performansla değil, tüm göstergelerin toplamı ile karşılaştırmak gerekir.
HDD'yi yalnızca HDD'ye ihtiyacınız olduğundan eminseniz satın alın. Düşük yükler ve sıkıştırılamaz veri türleri için, aksi takdirde, çoğu satıcının şu anda sahip olduğu (ve gerçekten Rusya'da bile çalışıyorlar) SSD depolama verimliliği garanti programlarına dönmeye değer, ancak bunların hepsi yerleştirilecek uygulamalara ve verilere bağlıdır. bu depolama sisteminde.
Ucuza gitmeyin. Bazen bunlar, Evgeniy Elizarov'un makalelerinde anlattığı pek çok hoş olmayan anı gizler. . Ve sonuçta bu ucuzluk size geri tepebilir. Unutmayın - "cimri iki kere öder."
Kaynak: www.habr.com