Трендови на индустријата во масовното складирање

Денес ќе зборуваме за тоа како најдобро да се складираат податоци во свет каде што мрежите од петтата генерација, скенерите за геном и самоуправувачките автомобили произведуваат повеќе податоци дневно отколку целото човештво генерирано пред индустриската револуција.

Нашиот свет генерира се повеќе и повеќе информации. Некој дел од него е минлив и се губи толку брзо колку што се собира. Друго треба да се чува подолго, а друго е дизајнирано „со векови“ - барем тоа е она што го гледаме од сегашноста. Информациските текови се сместуваат во центрите за податоци со таква брзина што секој нов пристап, која било технологија дизајнирана да ја задоволи оваа бескрајна „побарувачка“ брзо станува застарена.

40 години развој на дистрибуирани системи за складирање

Првото мрежно складирање во форма со која сме запознаени се појави во 1980-тите. Многумина од вас наидоа на NFS (мрежен датотечен систем), AFS (Андру датотечен систем) или Coda. Една деценија подоцна, модата и технологијата се променија, а дистрибуираните датотечни системи им го отстапија местото на кластерираните системи за складирање базирани на GPFS (General Parallel File System), CFS (Clustered File Systems) и StorNext. Како основа се користеше блок складирање на класичната архитектура, на врвот на кој беше креиран единствен датотечен систем со користење на софтверски слој. Овие и слични решенија сè уште се користат, ја заземаат нивната ниша и се доста барани.

На крајот на милениумот, парадигмата за дистрибуирано складирање донекаде се промени и системите со архитектура SN (Shared-Nothing) ги зазедоа водечките позиции. Имаше транзиција од кластерско складирање до складирање на поединечни јазли, кои, по правило, беа класични сервери со софтвер што обезбедуваше сигурно складирање; На такви принципи, да речеме, се изградени HDFS (Hadoop Distributed File System) и GFS (Global File System).

Поблиску до 2010-тите, концептите во основата на дистрибуираните системи за складирање сè повеќе почнаа да се рефлектираат во полноправни комерцијални производи, како што се VMware vSAN, Dell EMC Isilon и нашите Huawei OceanStor. Зад споменатите платформи повеќе не постои заедница на ентузијасти, туку конкретни продавачи кои се одговорни за функционалноста, поддршката и услугата на производот и гарантираат негов понатамошен развој. Ваквите решенија се најбарани во неколку области.

Телеком оператори

Можеби еден од најстарите потрошувачи на дистрибуирани системи за складирање се телеком операторите. Дијаграмот покажува кои групи на апликации го произведуваат најголемиот дел од податоците. OSS (Оперативни системи за поддршка), MSS (Услуги за поддршка на менаџментот) и BSS (системи за деловна поддршка) претставуваат три комплементарни софтверски слоеви потребни за да се обезбеди услуга на претплатниците, финансиско известување до давателот и оперативна поддршка на инженерите на операторите.

Често, податоците од овие слоеви силно се мешаат едни со други, а за да се избегне акумулација на непотребни копии, се користи дистрибуирано складирање, кое ја акумулира целата количина на информации што доаѓаат од оперативната мрежа. Складиштата се комбинираат во заеднички базен, до кој пристапуваат сите сервиси.

Нашите пресметки покажуваат дека транзицијата од класични системи за складирање на блокирани системи за складирање ви овозможува да заштедите до 70% од буџетот само со напуштање на наменските системи за складирање hi-end и користење на конвенционални сервери за класична архитектура (обично x86), кои работат заедно со специјализирани софтвер. Мобилните оператори одамна почнаа да купуваат вакви решенија во големи количини. Конкретно, руските оператори користат такви производи од Huawei повеќе од шест години.

Да, голем број задачи не може да се завршат со помош на дистрибуирани системи. На пример, со зголемени барања за перформанси или компатибилност со постари протоколи. Но, најмалку 70% од податоците обработени од операторот може да се лоцираат во дистрибуиран базен.

Банкарскиот сектор

Во секоја банка има многу различни ИТ системи, почнувајќи од обработка и завршувајќи со автоматизиран банкарски систем. Оваа инфраструктура работи и со огромно количество информации, додека повеќето задачи не бараат зголемени перформанси и доверливост на системите за складирање, на пример, развој, тестирање, автоматизација на канцелариски процеси итн. Овде е можна употреба на класични системи за складирање. но секоја година е се помалку профитабилен. Дополнително, во овој случај не постои флексибилност во користењето на ресурсите на системот за складирање, чија изведба се пресметува врз основа на максималното оптоварување.

При користење на дистрибуирани системи за складирање, нивните јазли, кои се всушност обични сервери, може да се конвертираат во секое време, на пример, во фарма за сервери и да се користат како компјутерска платформа.

Дата езера

Дијаграмот погоре покажува листа на типични потрошувачи на услуги езерото на податоци. Тоа може да бидат услуги за е-влада (на пример, „Владини услуги“), дигитализирани претпријатија, финансиски институции итн. Сите тие треба да работат со голем обем на хетерогени информации.

Користењето класични системи за складирање за решавање на ваквите проблеми е неефективно, бидејќи бара и пристап со високи перформанси до блок бази на податоци и редовен пристап до библиотеките на скенирани документи складирани како објекти. На пример, тука може да се поврзе и систем за нарачки преку веб-портал. За да го имплементирате сето ова на класична платформа за складирање, ќе ви треба голем сет на опрема за различни задачи. Еден хоризонтален универзален систем за складирање може добро да ги покрие сите претходно наведени задачи: само треба да креирате неколку базени со различни карактеристики за складирање во него.

Генератори на нови информации

Количината на информации складирани во светот расте за околу 30% годишно. Ова е добра вест за продавачите на складишта, но кој е и ќе биде главниот извор на овие податоци?

Пред десет години, социјалните мрежи станаа такви генератори, што бараше создавање на голем број нови алгоритми, хардверски решенија итн. Сега постојат три главни двигатели за растот на обемот на складирање. Првиот е cloud computing. Во моментов, приближно 70% од компаниите користат облак услуги на еден или друг начин. Овие можат да бидат системи за електронска пошта, резервни копии и други виртуелизирани ентитети.
Вториот двигател се мрежите од петтата генерација. Ова се нови брзини и нови количини на пренос на податоци. Според нашите прогнози, широкото усвојување на 5G ќе доведе до пад на побарувачката за флеш мемориски картички. Колку и да има меморија во телефонот, таа сепак се снемува, а доколку гаџетот има 100-мегабитен канал, нема потреба од локално складирање на фотографии.

Третата група причини зошто расте побарувачката за системи за складирање го вклучува брзиот развој на вештачката интелигенција, транзицијата кон аналитика на големи податоци и трендот кон универзална автоматизација на сè што е можно.

Карактеристика на „новиот сообраќај“ е неговата недостаток на структура. Треба да ги складираме овие податоци без да го дефинираме нивниот формат на кој било начин. Потребно е само за последователно читање. На пример, за да се одреди расположливиот износ на заемот, банкарскиот систем за бодување ќе ги погледне фотографиите што ги објавувате на социјалните мрежи, ќе утврди дали често одите на море и во ресторани, а во исто време ќе ги проучува извадоците од достапните медицински документи на тоа. Овие податоци, од една страна, се сеопфатни, но од друга страна немаат хомогеност.

Океан од неструктурирани податоци

Какви проблеми носи појавата на „нови податоци“? Првиот меѓу нив, се разбира, е огромниот обем на информации и проценетиот период на нивното складирање. Само модерен автономен автомобил без возач генерира до 60 терабајти податоци секој ден од сите негови сензори и механизми. За да се развијат нови алгоритми за движење, оваа информација мора да се обработи во истиот ден, во спротивно ќе почне да се акумулира. Во исто време, мора да се чува многу долго - децении. Само тогаш ќе може во иднина да се извлекуваат заклучоци врз основа на големи аналитички примероци.

Еден уред за дешифрирање на генетски секвенци произведува околу 6 ТБ дневно. И податоците собрани со негова помош воопшто не подразбираат бришење, односно хипотетички треба да се чуваат засекогаш.

Конечно, истите мрежи од петта генерација. Покрај вистинските пренесени информации, самата таква мрежа е огромен генератор на податоци: дневници за активности, записи за повици, средни резултати од интеракции машина-машина итн.

Сето ова бара развој на нови пристапи и алгоритми за складирање и обработка на информации. И таквите пристапи се појавуваат.

Технологии од новата ера

Постојат три групи решенија дизајнирани да се справат со новите барања за системи за складирање информации: воведување на вештачка интелигенција, техничка еволуција на медиумот за складирање и иновации во областа на системската архитектура. Да почнеме со вештачка интелигенција.

Во новите решенија на Huawei, вештачката интелигенција се користи на ниво на самиот склад, кој е опремен со процесор со вештачка интелигенција кој му овозможува на системот самостојно да ја анализира својата состојба и да предвиди неуспеси. Доколку системот за складирање е поврзан со сервисен облак кој има значителни пресметковни способности, вештачката интелигенција ќе може да обработи повеќе информации и да ја зголеми точноста на своите хипотези.

Покрај неуспесите, таквата вештачка интелигенција може да го предвиди идното максимално оптоварување и преостанатото време до исцрпување на капацитетот. Ова ви овозможува да ги оптимизирате перформансите и да го зголемите системот пред да се појават какви било несакани настани.

Сега за еволуцијата на медиумите за складирање. Првите флеш драјвови беа направени со помош на технологијата SLC (Single-Level Cell). Уредите базирани на него беа брзи, сигурни, стабилни, но имаа мал капацитет и беа многу скапи. Растот на обемот и намалувањето на цената беа постигнати преку одредени технички отстапки, поради што беа намалени брзината, доверливоста и работниот век на погоните. Сепак, трендот не влијаеше на самите системи за складирање, кои, поради различни архитектонски трикови, генерално станаа и попродуктивни и посигурни.

Но, зошто ви требаа сите Flash системи за складирање? Зарем не беше доволно едноставно да ги замените старите HDD-и во веќе оперативниот систем со нови SSD-дискови со ист облик? Ова беше потребно за ефикасно користење на сите ресурси на новите погони со цврста состојба, што беше едноставно невозможно во постарите системи.

Huawei, на пример, има развиено голем број технологии за решавање на овој проблем, а една од нив е FlashLink, што овозможи да се оптимизираат интеракциите „диск-контролор“ што е можно повеќе.

Интелигентната идентификација овозможи да се разложат податоците на неколку текови и да се справат со голем број непожелни појави, како на пр. WA (напиши засилување). Во исто време, особено нови алгоритми за обновување RAID 2.0+, ја зголеми брзината на обновата, намалувајќи го своето време на сосема незначителни количини.

Неуспех, пренатрупаност, собирање ѓубре - овие фактори, исто така, повеќе не влијаат на перформансите на системот за складирање благодарение на специјалните модификации на контролорите.

И блок складиштата на податоци, исто така, се подготвуваат да се сретнат NVMe. Да потсетиме дека класичната шема за организирање пристап до податоци функционираше вака: процесорот пристапуваше до контролорот RAID преку магистралата PCI Express. Тоа, пак, комуницираше со механички дискови преку SCSI или SAS. Употребата на NVMe на задниот дел значително го забрза целиот процес, но имаше еден недостаток: дисковите мораа да бидат директно поврзани со процесорот за да му овозможат директен пристап до меморијата.

Следната фаза од развојот на технологијата што ја гледаме сега е употребата на NVMe-oF (NVMe преку Ткаенини). Што се однесува до блок технологиите на Huawei, тие веќе поддржуваат FC-NVMe (NVMe преку Fiber Channel), а NVMe преку RoCE (RDMA преку конвергентен етернет) е на пат. Тест моделите се доста функционални, остануваат уште неколку месеци до нивната официјална презентација. Забележете дека сето ова ќе се појави во дистрибуирани системи, каде што „Етернет без загуби“ ќе биде во голема побарувачка.

Дополнителен начин за оптимизирање на работата на дистрибуираното складирање беше целосното напуштање на пресликувањето на податоците. Решенијата на Huawei повеќе не користат n копии, како во вообичаениот RAID 1, и целосно се префрлаат на EC (Кодирање за бришење). Посебен математички пакет пресметува контролни блокови со одредена периодичност, што ви овозможува да ги вратите средните податоци во случај на загуба.

Механизмите за дедупликација и компресија стануваат задолжителни. Ако во класичните системи за складирање сме ограничени со бројот на процесори инсталирани во контролорите, тогаш во дистрибуирани хоризонтално скалабилни системи за складирање, секој јазол содржи сè што е потребно: дискови, меморија, процесори и интерконекција. Овие ресурси се доволни за да се осигура дека дедупликацијата и компресијата имаат минимално влијание врз перформансите.

И за методите за оптимизација на хардверот. Овде беше можно да се намали оптоварувањето на централните процесори со помош на дополнителни посветени чипови (или посветени блокови во самиот процесор), кои играат улога ПЕТ (TCP/IP Offload Engine) или преземање на математички задачи на EC, дедупликација и компресија.

Новите пристапи за складирање податоци се отелотворени во расчленета (дистрибуирана) архитектура. Централизираните системи за складирање имаат фабрика за сервери поврзана преку Fiber Channel САН со многу низи. Недостатоците на овој пристап се тешкотијата на скалирање и обезбедување на гарантирано ниво на услуга (во однос на перформансите или латентноста). Хиперконвергираните системи ги користат истите домаќини и за складирање и за обработка на информации. Ова дава практично неограничен простор за скалирање, но повлекува високи трошоци за одржување на интегритетот на податоците.

За разлика од двете од горенаведените, се подразбира разделена архитектура делејќи го системот на компјутерска ткаенина и хоризонтален систем за складирање. Ова ги обезбедува придобивките од двете архитектури и овозможува речиси неограничено скалирање само на елементот на кој му недостасуваат перформанси.

Од интеграција до конвергенција

Класична задача, чија релевантност се зголеми само во изминатите 15 години, е потребата истовремено да се обезбеди блок складирање, пристап до датотеки, пристап до објекти, работа на фарма за големи податоци итн. Шлагот на тортата исто така може да биде, на пример, резервен систем на магнетна лента.

Во првата фаза, само управувањето со овие услуги можеше да се обедини. Хетерогени системи за складирање податоци беа поврзани со некој специјализиран софтвер, преку кој администраторот дистрибуираше ресурси од достапните базени. Но, бидејќи овие базени имаа различен хардвер, миграцијата на товарот меѓу нив беше невозможна. На повисоко ниво на интеграција, агрегирањето се случи на ниво на портата. Ако споделувањето датотеки беше достапно, тоа може да се сервира преку различни протоколи.

Најнапредниот метод на конвергенција кој моментално ни е достапен вклучува создавање на универзален хибриден систем. Токму она што треба да стане нашата OceanStor 100D. Универзалниот пристап ги користи истите хардверски ресурси, логично поделени на различни базени, но овозможуваат миграција на товарот. Сето ова може да се направи преку една конзола за управување. На овој начин, успеавме да го имплементираме концептот „еден центар за податоци - еден систем за складирање“.

Трошоците за складирање на информации сега одредуваат многу архитектонски одлуки. И иако може безбедно да се стави во првите редови, денес разговараме за складирање „во живо“ со активен пристап, па затоа мора да се земат предвид и перформансите. Друга важна особина на дистрибуираните системи од следната генерација е обединувањето. На крајот на краиштата, никој не сака да има неколку различни системи контролирани од различни конзоли. Сите овие квалитети се отелотворени во новата серија производи на Huawei OceanStor Пацифик.

Систем за масовно складирање на новата генерација

OceanStor Pacific ги исполнува барањата за доверливост шест и девет (99,9999%) и може да се користи за создавање центри за податоци од класата HyperMetro. Со растојание помеѓу два центри за податоци до 100 km, системите демонстрираат дополнителна латентност од 2 ms, што овозможува врз нивна основа да се изградат какви било решенија отпорни на катастрофи, вклучително и оние со сервери за кворум.

Производите од новата серија покажуваат разновидност на протоколот. Веќе, OceanStor 100D поддржува пристап до блок, пристап до објекти и пристап до Hadoop. Во блиска иднина ќе се имплементира и пристап до датотеки. Нема потреба да се складираат повеќе копии на податоци доколку тие можат да се издаваат преку различни протоколи.

Се чини, каква врска има концептот на „мрежа без загуби“ со системите за складирање? Факт е дека дистрибуираните системи за складирање податоци се изградени врз основа на брза мрежа која ги поддржува соодветните алгоритми и механизмот RoCE. Системот за вештачка интелигенција поддржан од нашите прекинувачи помага дополнително да се зголеми брзината на мрежата и да се намали доцнењето. Ткаенина со вештачка интелигенција. Добивката во перформансите за складирање при активирање на AI Fabric може да достигне 20%.

Кој е новиот дистрибуиран јазол за складирање OceanStor Pacific? Решението со формален фактор 5U вклучува 120 погони и може да замени три класични јазли, што обезбедува повеќе од двојна заштеда во просторот на решетката. Со нечување копии, ефикасноста на погоните значително се зголемува (до +92%).

Навикнати сме на фактот дека складирањето дефинирано со софтвер е специјален софтвер инсталиран на класичен сервер. Но, сега, за да се постигнат оптимални параметри, ова архитектонско решение бара и посебни јазли. Се состои од два сервери базирани на ARM процесори кои управуваат со низа од три-инчни дискови.

Овие сервери не се погодни за хиперконвергирани решенија. Прво, има доста апликации за ARM, а второ, тешко е да се одржува рамнотежа на оптоварување. Предлагаме да се префрлиме на одделно складирање: компјутерскиот кластер, претставен со класични сервери или сервери, работи одделно, но е поврзан со јазлите за складирање на OceanStor Pacific, кои исто така ги извршуваат своите директни задачи. И тоа се оправдува.

На пример, да земеме класично решение за складирање на големи податоци со хиперконвергиран систем кој зафаќа 15 серверски лавици. Ако го дистрибуирате оптоварувањето помеѓу одделни компјутерски сервери и јазлите за складирање на OceanStor Pacific, одвојувајќи ги еден од друг, бројот на потребните полици ќе се преполови! Ова ги намалува оперативните трошоци на центарот за податоци и ги намалува вкупните трошоци за сопственост. Во свет каде што обемот на складирани информации расте за 30% годишно, таквите предности не се фрлаат наоколу.

***

Можете да добиете повеќе информации за решенијата на Huawei и нивните сценарија за примена на нашата Онлајн или со директно контактирање на претставниците на компанијата.

Извор: www.habr.com