Bugün, beşinci nesil ağların, genom tarayıcıların ve sürücüsüz arabaların, sanayi devriminden önce tüm insanlığın ürettiğinden daha fazla veriyi günde ürettiği bir dünyada veriyi en iyi şekilde nasıl depolayabileceğimizden bahsedeceğiz.
Dünyamız giderek daha fazla bilgi üretiyor. Bir kısmı ise geçicidir ve toplandığı kadar çabuk kaybolur. Bir diğeri daha uzun süre saklanmalı ve hatta bir diğeri "yüzyıllarca" tasarlanmalı - en azından şu andan itibaren gördüğümüz şey bu. Bilgi akışları veri merkezlerine öyle bir hızla yerleşiyor ki, bu sonsuz “talebi” karşılamak için tasarlanan her yeni yaklaşım, her teknoloji hızla geçerliliğini yitiriyor.
Dağıtılmış depolama sistemlerinin 40 yıllık gelişimi
Aşina olduğumuz formdaki ilk ağ depolaması 1980'lerde ortaya çıktı. Birçoğunuz NFS (Ağ Dosya Sistemi), AFS (Andrew Dosya Sistemi) veya Coda ile karşılaştınız. On yıl sonra moda ve teknoloji değişti ve dağıtılmış dosya sistemleri yerini GPFS (Genel Paralel Dosya Sistemi), CFS (Kümelenmiş Dosya Sistemleri) ve StorNext'e dayalı kümelenmiş depolama sistemlerine bıraktı. Temel olarak klasik mimarinin blok depolaması kullanılmış, bunun üzerine bir yazılım katmanı kullanılarak tek bir dosya sistemi oluşturulmuştur. Bu ve benzeri çözümler hala kullanılıyor, nişlerini işgal ediyor ve oldukça talep görüyor.
Milenyumun başında dağıtılmış depolama paradigması bir miktar değişti ve SN (Paylaşılan Hiçbir Şey) mimarisine sahip sistemler lider konumları aldı. Küme depolamasından, kural olarak güvenilir depolama sağlayan yazılıma sahip klasik sunucular olan bireysel düğümlerdeki depolamaya geçiş oldu; Örneğin, HDFS (Hadoop Dağıtılmış Dosya Sistemi) ve GFS (Küresel Dosya Sistemi) bu tür ilkeler üzerine inşa edilmiştir.
2010'lu yıllara yaklaştıkça, dağıtılmış depolama sistemlerinin altında yatan kavramlar, VMware vSAN, Dell EMC Isilon ve bizim gibi tam teşekküllü ticari ürünlere giderek daha fazla yansımaya başladı. . Bahsedilen platformların arkasında artık bir meraklı topluluğu değil, ürünün işlevselliğinden, desteğinden ve servisinden sorumlu olan ve ürünün daha da geliştirilmesini garanti eden belirli satıcılar var. Bu tür çözümler en çok çeşitli alanlarda talep görmektedir.
Telekom operatörleri
Belki de dağıtılmış depolama sistemlerinin en eski tüketicilerinden biri telekom operatörleridir. Diyagram, hangi uygulama gruplarının büyük miktarda veri ürettiğini gösterir. OSS (Operasyon Destek Sistemleri), MSS (Yönetim Destek Hizmetleri) ve BSS (İş Destek Sistemleri), abonelere hizmet, sağlayıcıya finansal raporlama ve operatör mühendislerine operasyonel destek sağlamak için gereken üç tamamlayıcı yazılım katmanını temsil eder.
Çoğu zaman, bu katmanların verileri birbiriyle yoğun bir şekilde karıştırılır ve gereksiz kopyaların birikmesini önlemek için, işletim ağından gelen tüm bilgi miktarını biriktiren dağıtılmış depolama kullanılır. Depolar, tüm hizmetlerin erişebildiği ortak bir havuzda birleştirilmiştir.
Hesaplamalarımız, klasik depolama sistemlerinden blok depolama sistemlerine geçişin, yalnızca özel üst düzey depolama sistemlerini terk ederek ve uzmanlaşmış sunucularla birlikte çalışan geleneksel klasik mimariye sahip sunucuları (genellikle x70) kullanarak bütçenin %86'ine kadar tasarruf etmenize olanak sağladığını gösteriyor. yazılım. Hücresel operatörler uzun zamandır bu tür çözümleri büyük miktarlarda satın almaya başladılar. Özellikle Rus operatörler altı yılı aşkın süredir Huawei'nin bu tür ürünlerini kullanıyor.
Evet, bazı görevler dağıtılmış sistemler kullanılarak tamamlanamaz. Örneğin, artan performans gereksinimleri veya eski protokollerle uyumluluk. Ancak operatör tarafından işlenen verilerin en az %70'i dağıtılmış bir havuzda bulunabilir.
Bankacılık alanı
Herhangi bir bankada, işlemeden otomatik bankacılık sistemine kadar birçok farklı BT sistemi vardır. Bu altyapı aynı zamanda büyük miktarda bilgiyle de çalışır, ancak çoğu görev, örneğin ofis süreçlerinin geliştirilmesi, test edilmesi, otomasyonu vb. gibi depolama sistemlerinin performansının ve güvenilirliğinin arttırılmasını gerektirmez. Burada klasik depolama sistemlerinin kullanımı mümkündür, ancak her yıl giderek daha az karlı hale geliyor. Ayrıca bu durumda performansı tepe yüke göre hesaplanan depolama sistemi kaynaklarının kullanımında herhangi bir esneklik söz konusu değildir.
Dağıtılmış depolama sistemlerini kullanırken, aslında sıradan sunucular olan düğümleri herhangi bir zamanda örneğin bir sunucu grubuna dönüştürülebilir ve bir bilgi işlem platformu olarak kullanılabilir.
Veri gölleri
Yukarıdaki şemada tipik hizmet tüketicilerinin bir listesi gösterilmektedir . Bunlar e-devlet hizmetleri (örneğin “Devlet Hizmetleri”), dijitalleştirilmiş işletmeler, finansal kurumlar vb. olabilir. Bunların hepsinin büyük miktarda heterojen bilgiyle çalışması gerekir.
Bu tür sorunları çözmek için klasik depolama sistemlerini kullanmak, hem blok veritabanlarına yüksek performanslı erişim hem de nesneler olarak depolanan taranmış belge kitaplıklarına düzenli erişim gerektirdiğinden etkisizdir. Örneğin, bir web portalı aracılığıyla bir sipariş sistemi de buraya bağlanabilir. Tüm bunları klasik bir depolama platformunda uygulamak için çeşitli görevlere yönelik geniş bir ekipman setine ihtiyacınız olacak. Yatay bir evrensel depolama sistemi, daha önce listelenen tüm görevleri pekala kapsayabilir: içinde farklı depolama özelliklerine sahip birkaç havuz oluşturmanız yeterlidir.
Yeni bilgi üretenler
Dünyada depolanan bilgi miktarı her yıl yaklaşık %30 oranında artıyor. Bu, depolama satıcıları için iyi bir haber, ancak bu verilerin ana kaynağı nedir ve ne olacak?
On yıl önce sosyal ağlar bu tür jeneratörler haline geldi, bu çok sayıda yeni algoritmanın, donanım çözümünün vb. oluşturulmasını gerektiriyordu. Artık depolama hacimlerinin büyümesinin üç ana itici gücü var. Birincisi bulut bilişim. Şu anda şirketlerin yaklaşık %70’i öyle ya da böyle bulut hizmetlerini kullanıyor. Bunlar elektronik posta sistemleri, yedek kopyalar ve diğer sanallaştırılmış varlıklar olabilir.
İkinci etken ise beşinci nesil ağlardır. Bunlar yeni hızlar ve yeni veri aktarım hacimleridir. Tahminlerimize göre 5G'nin yaygınlaşması flash hafıza kartlarına olan talebin azalmasına yol açacak. Telefonda ne kadar hafıza olursa olsun yine de tükeniyor ve gadget'ın 100 megabitlik bir kanalı varsa fotoğrafları yerel olarak saklamaya gerek yok.
Depolama sistemlerine olan talebin artmasının üçüncü nedenleri arasında yapay zekanın hızlı gelişimi, büyük veri analitiğine geçiş ve mümkün olan her şeyin evrensel otomasyonuna yönelik eğilim yer alıyor.
“Yeni trafiğin” bir özelliği de . Bu veriyi hiçbir şekilde formatını tanımlamadan saklamamız gerekiyor. Yalnızca sonraki okumalar için gereklidir. Örneğin, kullanılabilir kredi tutarını belirlemek için bir bankacılık puanlama sistemi, sosyal ağlarda yayınladığınız fotoğraflara bakacak, sık sık denize ve restoranlara gidip gitmediğinizi belirleyecek ve aynı zamanda mevcut tıbbi belgelerinizden alıntıları inceleyecektir. ona. Bu veriler bir yandan kapsamlıdır ancak diğer yandan homojenlikten yoksundur.
Yapılandırılmamış veri okyanusu
“Yeni verilerin” ortaya çıkması ne gibi sorunları beraberinde getiriyor? Bunlardan ilki elbette bilginin büyük hacmi ve tahmini saklama süresidir. Modern, sürücüsüz, otonom bir araba, tek başına, tüm sensörlerinden ve mekanizmalarından her gün 60 terabayta kadar veri üretiyor. Yeni hareket algoritmaları geliştirmek için bu bilgilerin aynı gün içinde işlenmesi gerekiyor, aksi takdirde birikmeye başlayacak. Aynı zamanda çok uzun bir süre - onlarca yıl - saklanması gerekir. Ancak o zaman gelecekte büyük analitik örneklere dayanarak sonuçlar çıkarmak mümkün olacaktır.
Genetik dizilerin şifresini çözmeye yönelik bir cihaz günde yaklaşık 6 TB üretiyor. Ve onun yardımıyla toplanan veriler hiçbir şekilde silinmesi anlamına gelmez, yani varsayımsal olarak sonsuza kadar saklanması gerekir.
Son olarak aynı beşinci nesil ağlar. İletilen gerçek bilgiye ek olarak, böyle bir ağın kendisi de büyük bir veri üreticisidir: etkinlik kayıtları, çağrı kayıtları, makineler arası etkileşimlerin ara sonuçları vb.
Bütün bunlar, bilginin depolanması ve işlenmesi için yeni yaklaşımların ve algoritmaların geliştirilmesini gerektirir. Ve bu tür yaklaşımlar ortaya çıkıyor.
Yeni çağ teknolojileri
Bilgi depolama sistemlerine yönelik yeni gereksinimlerle başa çıkmak üzere tasarlanan üç çözüm grubu vardır: yapay zekanın tanıtılması, depolama ortamının teknik gelişimi ve sistem mimarisi alanındaki yenilikler. AI ile başlayalım.
Yeni Huawei çözümlerinde, sistemin durumunu bağımsız olarak analiz etmesine ve arızaları tahmin etmesine olanak tanıyan bir AI işlemciyle donatılmış depolama düzeyinde yapay zeka kullanılıyor. Depolama sisteminin önemli bilgi işlem yeteneklerine sahip bir hizmet bulutuna bağlanması durumunda yapay zeka daha fazla bilgi işleyebilecek ve hipotezlerinin doğruluğunu artırabilecektir.
Arızalara ek olarak, bu tür yapay zeka gelecekteki en yüksek yükü ve kapasite tükenene kadar kalan süreyi tahmin edebilir. Bu, istenmeyen olaylar meydana gelmeden önce performansı optimize etmenize ve sistemi ölçeklendirmenize olanak tanır.
Şimdi depolama ortamının evrimi hakkında. İlk flash sürücüler SLC (Tek Seviyeli Hücre) teknolojisi kullanılarak yapıldı. Buna dayalı cihazlar hızlı, güvenilir ve stabildi ancak kapasitesi küçüktü ve çok pahalıydı. Hacim artışı ve fiyat düşüşü, bazı teknik tavizler yoluyla sağlandı; bunun sonucunda sürücülerin hızı, güvenilirliği ve hizmet ömrü azaldı. Bununla birlikte, bu eğilim, çeşitli mimari hileler nedeniyle genel olarak hem daha üretken hem de daha güvenilir hale gelen depolama sistemlerini etkilemedi.
Peki neden All-Flash depolama sistemlerine ihtiyaç duydunuz? Zaten işletim sistemindeki eski HDD'leri aynı form faktörüne sahip yeni SSD'lerle değiştirmek yeterli değil miydi? Eski sistemlerde kesinlikle imkansız olan yeni katı hal sürücülerin tüm kaynaklarını etkin bir şekilde kullanmak için bu gerekliydi.
Örneğin Huawei bu sorunu çözmek için bir dizi teknoloji geliştirdi; bunlardan biri Bu da "disk-denetleyici" etkileşimlerini mümkün olduğunca optimize etmeyi mümkün kıldı.
Akıllı tanımlama, verileri çeşitli akışlara ayırmayı ve aşağıdakiler gibi bir dizi istenmeyen olayla başa çıkmayı mümkün kıldı: (amplifikasyonu yazın). Aynı zamanda, özellikle yeni kurtarma algoritmaları , yeniden inşa hızını arttırdı ve süresini tamamen önemsiz miktarlara indirdi.
Arıza, aşırı kalabalık, çöp toplama - bu faktörler, denetleyicilerde yapılan özel değişiklikler sayesinde artık depolama sisteminin performansını da etkilememektedir.
Blok veri depoları da buluşmaya hazırlanıyor . Veri erişimini organize etmeye yönelik klasik şemanın şu şekilde çalıştığını hatırlayalım: İşlemci, RAID denetleyicisine PCI Express veri yolu üzerinden erişiyordu. Bu da SCSI veya SAS aracılığıyla mekanik disklerle etkileşime giriyordu. Arka uçta NVMe kullanımı tüm süreci önemli ölçüde hızlandırdı ancak bir dezavantajı vardı: Belleğe doğrudan erişim sağlamak için sürücülerin doğrudan işlemciye bağlanması gerekiyordu.
Teknoloji geliştirmenin şu anda görmekte olduğumuz bir sonraki aşaması, NVMe-oF'nin (NVMe over Fabrics) kullanımıdır. Huawei blok teknolojilerine gelince, halihazırda FC-NVMe'yi (Fiber Kanal üzerinden NVMe) destekliyorlar ve RoCE üzerinden NVMe (Yakınsanmış Ethernet üzerinden RDMA) yolda. Test modelleri oldukça işlevsel, resmi sunumlarına birkaç ay kaldı. Tüm bunların, "kayıpsız Ethernet"in büyük talep göreceği dağıtılmış sistemlerde ortaya çıkacağını unutmayın.
Dağıtılmış depolamanın çalışmasını optimize etmenin ek bir yolu da veri yansıtmanın tamamen terk edilmesiydi. Huawei çözümleri artık olağan RAID 1'de olduğu gibi n kopya kullanmıyor ve tamamen RAID XNUMX'e geçiyor (Silme kodlaması). Özel bir matematik paketi, kontrol bloklarını belirli bir periyodiklikle hesaplar ve bu, kayıp durumunda ara verileri geri yüklemenize olanak tanır.
Veri tekilleştirme ve sıkıştırma mekanizmaları zorunlu hale geliyor. Klasik depolama sistemlerinde denetleyicilere takılı işlemci sayısıyla sınırlıysak, yatay olarak dağıtılmış ölçeklenebilir depolama sistemlerinde her düğüm gerekli her şeyi içerir: diskler, bellek, işlemciler ve ara bağlantı. Bu kaynaklar tekilleştirme ve sıkıştırmanın performans üzerinde minimum etkiye sahip olmasını sağlamak için yeterlidir.
Ve donanım optimizasyon yöntemleri hakkında. Burada, rol oynayan ek özel yongaların (veya işlemcinin kendisindeki özel blokların) yardımıyla merkezi işlemciler üzerindeki yükü azaltmak mümkün oldu. (TCP/IP Aktarım Motoru) veya EC, veri tekilleştirme ve sıkıştırmanın matematiksel görevlerini üstlenmek.
Veri depolamaya yönelik yeni yaklaşımlar, ayrıştırılmış (dağıtılmış) bir mimaride somutlaştırılmaktadır. Merkezi depolama sistemlerinde Fiber Kanal üzerinden bağlanan bir sunucu fabrikası bulunur. çok sayıda diziyle. Bu yaklaşımın dezavantajları, ölçeklendirmenin ve garantili bir hizmet düzeyi sağlamanın (performans veya gecikme açısından) zorluğudur. Hiper birleşik sistemler, bilgilerin hem saklanması hem de işlenmesi için aynı ana bilgisayarları kullanır. Bu, ölçeklendirme için neredeyse sınırsız bir kapsam sağlar ancak veri bütünlüğünü korumak için yüksek maliyetler gerektirir.
Yukarıdakilerin her ikisinin de aksine, ayrıştırılmış bir mimari, sistemi bir bilgi işlem yapısına ve yatay bir depolama sistemine bölmek. Bu, her iki mimarinin de faydalarını sağlar ve yalnızca performanstan yoksun olan öğenin neredeyse sınırsız ölçeklendirilmesine olanak tanır.
Entegrasyondan yakınsamaya
Önemi ancak son 15 yılda artan klasik bir görev, eşzamanlı olarak blok depolama, dosya erişimi, nesnelere erişim, büyük veri çiftliğinin işletimi vb. sağlama ihtiyacıdır. Pastanın üzerine krema da eklenebilir. örneğin manyetik bant üzerinde bir yedekleme sistemi olabilir.
İlk aşamada yalnızca bu hizmetlerin yönetimini birleştirmek mümkün oldu. Heterojen veri depolama sistemleri, yöneticinin kaynakları mevcut havuzlardan dağıttığı bazı özel yazılımlara bağlandı. Ancak bu havuzların donanımları farklı olduğundan aralarında yük geçişi mümkün olmuyordu. Daha yüksek bir entegrasyon düzeyinde toplama, ağ geçidi düzeyinde gerçekleşti. Dosya paylaşımı mevcut olsaydı farklı protokoller üzerinden sunulabilirdi.
Şu anda elimizde bulunan en gelişmiş yakınsama yöntemi, evrensel bir hibrit sistemin oluşturulmasını içermektedir. Tam olarak bizimkinin olması gereken şey . Evrensel erişim, mantıksal olarak farklı havuzlara bölünmüş aynı donanım kaynaklarını kullanır ancak yük geçişine izin verir. Bütün bunlar tek bir yönetim konsolu aracılığıyla yapılabilir. Bu sayede “tek veri merkezi – tek depolama sistemi” konseptini hayata geçirmeyi başardık.
Bilgi depolamanın maliyeti artık birçok mimari kararı belirliyor. Her ne kadar güvenli bir şekilde ön plana çıkarılabilse de, bugün aktif erişime sahip "canlı" depolamayı tartışıyoruz, dolayısıyla performansın da dikkate alınması gerekiyor. Yeni nesil dağıtık sistemlerin bir diğer önemli özelliği ise birleştirmedir. Sonuçta hiç kimse birden fazla farklı sistemin farklı konsollardan kontrol edilmesini istemez. Tüm bu nitelikler yeni Huawei ürün serisinde somutlaşıyor .
Yeni nesil toplu depolama sistemi
OceanStor Pacific altı dokuzluk güvenilirlik gereksinimlerini (%99,9999) karşılar ve HyperMetro sınıfı veri merkezleri oluşturmak için kullanılabilir. İki veri merkezi arasındaki mesafe 100 km'ye kadar olan sistemler, 2 ms'lik ek gecikme süresi sergiliyor ve bu da çekirdek sunucular da dahil olmak üzere felakete dayanıklı tüm çözümlerin temel alınarak oluşturulmasını mümkün kılıyor.
Yeni seri ürünler protokol çok yönlülüğünü ortaya koyuyor. OceanStor 100D halihazırda blok erişimini, nesne erişimini ve Hadoop erişimini desteklemektedir. Yakın gelecekte dosya erişimi de uygulanacaktır. Farklı protokoller aracılığıyla verilebiliyorsa, verilerin birden fazla kopyasını saklamaya gerek yoktur.
Görünüşe göre "kayıpsız ağ" kavramının depolama sistemleriyle ne ilgisi var? Gerçek şu ki, dağıtılmış veri depolama sistemleri, uygun algoritmaları ve RoCE mekanizmasını destekleyen hızlı bir ağ temelinde inşa edilmiştir. Anahtarlarımız tarafından desteklenen yapay zeka sistemi, ağ hızının daha da artırılmasına ve gecikmenin azaltılmasına yardımcı olur. . AI Fabric etkinleştirildiğinde depolama performansındaki kazanç %20'ye ulaşabilir.
Yeni OceanStor Pacific dağıtılmış depolama düğümü nedir? 5U form faktörü çözümü 120 sürücü içerir ve üç klasik düğümün yerini alabilir; bu da raf alanından iki kattan fazla tasarruf sağlar. Kopyaların saklanmaması sayesinde sürücülerin verimliliği önemli ölçüde artar (%+92'ye kadar).
Yazılım tanımlı depolamanın klasik bir sunucuya yüklenen özel bir yazılım olduğu gerçeğine alışkınız. Ancak artık optimum parametrelere ulaşmak için bu mimari çözüm aynı zamanda özel düğümler de gerektiriyor. Bir dizi üç inçlik sürücüyü yöneten ARM işlemcilerini temel alan iki sunucudan oluşur.
Bu sunucular hiper bütünleşik çözümler için uygun değildir. Birincisi, ARM için oldukça fazla uygulama var ve ikincisi, yük dengesini korumak zor. Ayrı depolamaya geçmeyi öneriyoruz: klasik veya raf sunucuları tarafından temsil edilen bir bilgi işlem kümesi ayrı çalışır, ancak aynı zamanda doğrudan görevlerini de yerine getiren OceanStor Pacific depolama düğümlerine bağlıdır. Ve bu kendini haklı çıkarıyor.
Örneğin, 15 sunucu rafını kaplayan hiper bütünleşik sisteme sahip klasik bir büyük veri depolama çözümünü ele alalım. Yükü ayrı bilgi işlem sunucuları ve OceanStor Pacific depolama düğümleri arasında dağıtıp bunları birbirinden ayırırsanız, gerekli raf sayısı yarıya inecektir! Bu, veri merkezi işletme maliyetlerini azaltır ve toplam sahip olma maliyetini azaltır. Depolanan bilgi hacminin her yıl %30 oranında arttığı bir dünyada, bu tür avantajlar bir kenara atılmıyor.
***
Huawei çözümleri ve uygulama senaryoları hakkında daha fazla bilgiyi sitemizden alabilirsiniz. veya doğrudan şirket temsilcileriyle iletişime geçerek.
Kaynak: habr.com