Индустријски трендови у масовном складиштењу

Данас ћемо разговарати о томе како најбоље складиштити податке у свету у којем мреже пете генерације, скенери генома и аутомобили који се сами возе производе више података дневно него што је читаво човечанство генерисало пре индустријске револуције.

Наш свет генерише све више информација. Неки део је пролазан и губи се онолико брзо колико се сакупи. Други треба да се чува дуже, а други је чак дизајниран „вековима“ - барем то видимо из садашњости. Токови информација се таложе у центрима података таквом брзином да сваки нови приступ, било која технологија дизајнирана да задовољи ову бескрајну „тражњу“ брзо постаје застарела.

40 година развоја дистрибуираних система за складиштење података

Прво мрежно складиште у облику који нам је познато појавило се 1980-их. Многи од вас су наишли на НФС (мрежни систем датотека), АФС (Ендрев фајл систем) или Цода. Деценију касније, мода и технологија су се промениле, а дистрибуирани системи датотека уступили су место груписаним системима за складиштење заснованим на ГПФС (Генерал Параллел Филе Систем), ЦФС (Цлустеред Филе Системс) и СторНект. Као основа коришћена је блок меморија класичне архитектуре, на чијем је врху креиран један систем датотека помоћу софтверског слоја. Ова и слична решења се и даље користе, заузимају своју нишу и прилично су тражена.

На прелазу миленијума, парадигма дистрибуираног складиштења се донекле променила и системи са СН (Схаред-Нотхинг) архитектуром су заузели водеће позиције. Дошло је до преласка са складиштења кластера на складиште на појединачним чворовима, који су, по правилу, били класични сервери са софтвером који обезбеђује поуздано складиштење; На таквим принципима, рецимо, изграђени су ХДФС (Хадооп Дистрибутед Филе Систем) и ГФС (Глобал Филе Систем).

Ближе 2010-им, концепти који леже у основи дистрибуираних система складиштења су све више почели да се одражавају у пуноправним комерцијалним производима, као што су ВМваре вСАН, Делл ЕМЦ Исилон и наш Хуавеи ОцеанСтор. Иза наведених платформи више не стоји заједница ентузијаста, већ специфични продавци који су одговорни за функционалност, подршку и сервис производа и гарантују његов даљи развој. Таква решења су најтраженија у неколико области.

Телеком оператери

Можда један од најстаријих потрошача дистрибуираних система за складиштење података су телеком оператери. Дијаграм показује које групе апликација производе највећи део података. ОСС (Оператион Суппорт Системс), МСС (Манагемент Суппорт Сервицес) и БСС (Бусинесс Суппорт Системс) представљају три комплементарна софтверска слоја потребна за пружање услуга претплатницима, финансијско извештавање провајдеру и оперативну подршку инжењерима оператера.

Често су подаци ових слојева јако помешани једни са другима, а како би се избегло нагомилавање непотребних копија, користи се дистрибуирано складиште које акумулира целокупну количину информација које долазе из оперативне мреже. Складишта су комбинована у заједнички базен, коме приступају све службе.

Наши прорачуни показују да прелазак са класичних система за складиштење на блок системе за складиштење омогућава вам да уштедите до 70% буџета само напуштањем наменских хи-енд система за складиштење и коришћењем конвенционалних сервера класичне архитектуре (обично к86), радећи у комбинацији са специјализованим софтвер. Мобилни оператери су одавно почели да купују таква решења у великим количинама. Конкретно, руски оператери користе такве производе компаније Хуавеи више од шест година.

Да, одређени број задатака се не може обавити коришћењем дистрибуираних система. На пример, са повећаним захтевима за перформансе или компатибилношћу са старијим протоколима. Али најмање 70% података које обрађује оператер може се налазити у дистрибуираном скупу.

Банкарски сектор

У свакој банци постоји много различитих ИТ система, почев од обраде до аутоматизованог банкарског система. Ова инфраструктура такође ради са огромном количином информација, док већина задатака не захтева повећање перформанси и поузданости система за складиштење података, на пример развој, тестирање, аутоматизација канцеларијских процеса итд. Овде је могућа употреба класичних система за складиштење података, али је сваке године све мање исплативо. Поред тога, у овом случају нема флексибилности у коришћењу ресурса система за складиштење, чији се учинак израчунава на основу вршног оптерећења.

Када се користе дистрибуирани системи за складиштење података, њихови чворови, који су у ствари обични сервери, могу се у било ком тренутку конвертовати, на пример, у фарму сервера и користити као рачунарска платформа.

Језера података

Горњи дијаграм приказује листу типичних корисника услуга дата лаке. То могу бити услуге е-управе (на пример, „државне услуге“), дигитализована предузећа, финансијске институције, итд. Сви они морају да раде са великим количинама хетерогених информација.

Коришћење класичних система складиштења за решавање оваквих проблема је неефикасно, јер захтева и приступ високих перформанси блок базама података и редован приступ библиотекама скенираних докумената који се чувају као објекти. На пример, овде се може повезати и систем наручивања преко веб портала. Да бисте све ово имплементирали на класичној платформи за складиштење, биће вам потребан велики сет опреме за различите задатке. Један хоризонтални универзални систем складиштења може добро да покрије све претходно наведене задатке: само треба да креирате неколико базена са различитим карактеристикама складиштења у њему.

Генератори нових информација

Количина информација које се чувају у свету расте за око 30% годишње. Ово је добра вест за продавце складишта, али шта је и шта ће бити главни извор ових података?

Пре десет година друштвене мреже су постале такви генератори, што је захтевало креирање великог броја нових алгоритама, хардверских решења итд. Сада постоје три главна покретача за раст обима складишта. Први је рачунарство у облаку. Тренутно, око 70% компанија на овај или онај начин користи услуге у облаку. То могу бити системи електронске поште, резервне копије и други виртуелизовани ентитети.
Други покретач су мреже пете генерације. То су нове брзине и нови обим преноса података. Према нашим прогнозама, широко усвајање 5Г ће довести до пада потражње за флеш меморијским картицама. Без обзира на то колико меморије има у телефону, она и даље понестаје, а ако гаџет има канал од 100 мегабита, нема потребе за складиштењем фотографија локално.

Трећа група разлога зашто потражња за системима за складиштење података расте укључује брзи развој вештачке интелигенције, прелазак на аналитику великих података и тренд ка универзалној аутоматизацији свега што је могуће.

Карактеристика „новог саобраћаја“ је његова недостатак структуре. Морамо да ускладиштимо ове податке без дефинисања њиховог формата на било који начин. Потребан је само за накнадно читање. На пример, да би одредио расположиви износ кредита, банкарски бодовни систем ће прегледати фотографије које постављате на друштвене мреже, утврдити да ли често идете на море и у ресторане, а истовремено ће проучити изводе из ваших доступних медицинских докумената на то. Ови подаци су, с једне стране, свеобухватни, али им, с друге стране, недостаје хомогеност.

Океан неструктурираних података

Које проблеме доноси појава „нових података“? Први међу њима је, наравно, сама количина информација и процењени период њиховог чувања. Само модеран аутономни аутомобил без возача генерише до 60 терабајта података сваког дана од свих својих сензора и механизама. Да би се развили нови алгоритми кретања, ове информације морају бити обрађене у току истог дана, иначе ће почети да се акумулирају. Истовремено, мора се чувати веома дуго - деценијама. Тек тада ће се у будућности моћи доносити закључци на основу великих аналитичких узорака.

Један уређај за дешифровање генетских секвенци производи око 6 ТБ дневно. А подаци прикупљени уз његову помоћ уопште не подразумевају брисање, односно хипотетички их треба чувати заувек.

Коначно, исте мреже пете генерације. Поред стварно пренетих информација, сама таква мрежа је огроман генератор података: евиденције активности, евиденције позива, међурезултати интеракција између машина итд.

Све ово захтева развој нових приступа и алгоритама за чување и обраду информација. И такви приступи се појављују.

Технологије нове ере

Постоје три групе решења дизајнираних да се носе са новим захтевима за системе за складиштење информација: увођење вештачке интелигенције, техничка еволуција медија за складиштење података и иновације у области архитектуре система. Почнимо са АИ.

У новим Хуавеи решењима, вештачка интелигенција се користи на нивоу самог складишта, које је опремљено АИ процесором који омогућава систему да самостално анализира своје стање и предвиди кварове. Ако је систем за складиштење повезан са сервисним облаком који има значајне рачунарске могућности, вештачка интелигенција ће моћи да обради више информација и повећа тачност својих хипотеза.

Поред кварова, такав АИ може предвидети будуће вршно оптерећење и време преостало до исцрпљивања капацитета. Ово вам омогућава да оптимизујете перформансе и скалирате систем пре него што дође до било каквих нежељених догађаја.

Сада о еволуцији медија за складиштење. Први флеш дискови су направљени помоћу технологије СЛЦ (Сингле-Левел Целл). Уређаји засновани на њему били су брзи, поуздани, стабилни, али су имали мали капацитет и били су веома скупи. Раст обима и смањење цена постигнути су одређеним техничким уступцима, због чега је смањена брзина, поузданост и век трајања погона. Ипак, тренд није утицао на саме системе за складиштење, који су, због разних архитектонских трикова, генерално постали и продуктивнији и поузданији.

Али зашто су вам били потребни Алл-Фласх системи за складиштење? Зар није било довољно једноставно заменити старе ХДД-ове у већ оперативном систему новим ССД-овима истог облика? Ово је било потребно да би се ефикасно искористили сви ресурси нових ССД уређаја, што је било једноставно немогуће у старијим системима.

Хуавеи је, на пример, развио бројне технологије за решавање овог проблема, од којих је једна ФласхЛинк, што је омогућило да се максимално оптимизују интеракције „диск-контролер“.

Интелигентна идентификација је омогућила разлагање података у неколико токова и суочавање са бројним непожељним појавама, као нпр. WA (написати појачање). У исто време, посебно нови алгоритми за опоравак РАИД 2.0+, повећао брзину обнове, смањивши њено време на потпуно безначајне количине.

Квар, пренатрпаност, сакупљање смећа - ови фактори такође више не утичу на перформансе система за складиштење захваљујући посебним модификацијама контролера.

И блок складишта података се такође припремају за сусрет НВМе. Подсетимо се да је класична шема за организовање приступа подацима функционисала овако: процесор је приступио РАИД контролеру преко ПЦИ Екпресс магистрале. То је, заузврат, ступило у интеракцију са механичким дисковима преко СЦСИ или САС. Употреба НВМе-а на позадинском делу значајно је убрзала цео процес, али је имала један недостатак: дискови су морали да буду директно повезани са процесором да би му омогућили директан приступ меморији.

Следећа фаза развоја технологије коју сада видимо је употреба НВМе-оФ (НВМе овер Фабрицс). Што се тиче Хуавеи блок технологија, оне већ подржавају ФЦ-НВМе (НВМе овер Фибре Цханнел), а НВМе овер РоЦЕ (РДМА овер Цонвергед Етхернет) је на путу. Тестни модели су прилично функционални, остало је неколико месеци до њиховог званичног представљања. Имајте на уму да ће се све ово појавити у дистрибуираним системима, где ће „Етернет без губитака“ бити веома тражен.

Додатни начин за оптимизацију рада дистрибуираног складишта био је потпуно напуштање пресликавања података. Хуавеи решења више не користе н копија, као у уобичајеном РАИД 1, и потпуно прелазе на EC (Ерасуре цоде). Посебан математички пакет израчунава контролне блокове са одређеном периодичношћу, који вам омогућавају да вратите међуподатке у случају губитка.

Механизми дедупликације и компресије постају обавезни. Ако смо у класичним системима за складиштење ограничени бројем процесора инсталираних у контролерима, онда у дистрибуираним хоризонтално скалабилним системима за складиштење сваки чвор садржи све што је потребно: дискове, меморију, процесоре и интерконекцију. Ови ресурси су довољни да обезбеде да дедупликација и компресија имају минималан утицај на перформансе.

И о методама оптимизације хардвера. Овде је било могуће смањити оптерећење централних процесора уз помоћ додатних наменских чипова (или наменских блокова у самом процесору), који играју улогу НОЖНИ ПРСТ (ТЦП/ИП Оффлоад Енгине) или преузимање математичких задатака ЕЦ, дедупликације и компресије.

Нови приступи складиштењу података оличени су у дисагрегираној (дистрибуираној) архитектури. Централизовани системи за складиштење имају фабрику сервера која је повезана преко Фибре Цханнел-а на САН са пуно низова. Недостаци овог приступа су тешкоћа скалирања и обезбеђивања гарантованог нивоа услуге (у смислу перформанси или кашњења). Хиперконвергирани системи користе исте хостове и за складиштење и за обраду информација. Ово даје практично неограничен обим за скалирање, али подразумева високе трошкове за одржавање интегритета података.

За разлику од оба горенаведена, дезагрегирана архитектура имплицира подела система на рачунарску тканину и хоризонтални систем складиштења. Ово пружа предности обе архитектуре и омогућава скоро неограничено скалирање само елемента коме недостају перформансе.

Од интеграције до конвергенције

Класичан задатак, чија је релевантност само порасла у последњих 15 година, јесте потреба да се истовремено обезбеди блок складиштење, приступ фајловима, приступ објектима, рад велике фарме података, итд. Шлаг на торту би такође могао бити, на пример, резервни систем на магнетној траци.

У првој фази могло би се објединити само управљање овим службама. Хетерогени системи за складиштење података били су повезани са неким специјализованим софтвером, преко којег је администратор дистрибуирао ресурсе из доступних пулова. Али пошто су ови скупови имали различит хардвер, миграција оптерећења између њих је била немогућа. На вишем нивоу интеграције, агрегација се десила на нивоу мрежног пролаза. Ако је дељење датотека било доступно, могло би се сервирати путем различитих протокола.

Најнапреднији метод конвергенције који нам је тренутно доступан укључује стварање универзалног хибридног система. Управо оно што наши треба да постану ОцеанСтор 100Д. Универзални приступ користи исте хардверске ресурсе, логично подељене у различите групе, али омогућава миграцију оптерећења. Све ово се може урадити преко једне управљачке конзоле. На овај начин смо успели да имплементирамо концепт „један центар података – један систем за складиштење“.

Трошкови складиштења информација сада одређују многе архитектонске одлуке. И иако се може безбедно ставити у први план, данас разговарамо о „живом“ складиштењу са активним приступом, тако да се перформансе такође морају узети у обзир. Још једно важно својство дистрибуираних система следеће генерације је унификација. На крају крајева, нико не жели да има неколико различитих система контролисаних са различитих конзола. Сви ови квалитети су оличени у новој серији Хуавеи производа ОцеанСтор Пацифиц.

Систем за масовно складиштење нове генерације

ОцеанСтор Пацифиц испуњава захтеве за поузданост шест-девет (99,9999%) и може се користити за креирање центара података класе ХиперМетро. Са растојањем између два дата центра до 100 км, системи показују додатну латенцију од 2 мс, што омогућава да се на њиховој основи граде било која решења отпорна на катастрофе, укључујући и она са кворум серверима.

Нова серија производа показује свестраност протокола. ОцеанСтор 100Д већ подржава блок приступ, приступ објектима и Хадооп приступ. Приступ фајловима ће такође бити имплементиран у блиској будућности. Нема потребе за складиштењем више копија података ако се могу издати путем различитих протокола.

Чини се, какве везе концепт „мреже без губитака“ има са системима за складиштење? Чињеница је да су дистрибуирани системи за складиштење података изграђени на бази брзе мреже која подржава одговарајуће алгоритме и РоЦЕ механизам. Систем вештачке интелигенције који подржавају наши прекидачи помаже у даљем повећању брзине мреже и смањењу кашњења. АИ Фабриц. Добитак у перформансама складиштења када се активира АИ Фабриц може да достигне 20%.

Шта је нови ОцеанСтор Пацифиц дистрибуирани чвор за складиштење? Решење 5У форм фактор укључује 120 драјвова и може да замени три класична чвора, што обезбеђује више него двоструку уштеду у простору рек-а. Ако се копије не чувају, ефикасност уређаја се значајно повећава (до +92%).

Навикли смо на чињеницу да је софтверски дефинисано складиште посебан софтвер инсталиран на класичном серверу. Али сада, да би се постигли оптимални параметри, ово архитектонско решење захтева и посебне чворове. Састоји се од два сервера заснована на АРМ процесорима који управљају низом дискова од три инча.

Ови сервери нису погодни за хиперконвергентна решења. Прво, постоји доста апликација за АРМ, а друго, тешко је одржавати баланс оптерећења. Предлажемо прелазак на одвојено складиште: рачунарски кластер, представљен класичним или рацк серверима, ради одвојено, али је повезан са ОцеанСтор Пацифиц чворовима за складиштење, који такође обављају своје директне задатке. И оправдава се.

На пример, узмимо класично решење за складиштење великих података са хиперконвергираним системом који заузима 15 серверских рекова. Ако распоредите оптерећење између одвојених рачунарских сервера и ОцеанСтор Пацифиц чворова за складиштење, одвајајући их један од другог, број потребних рекова ће се преполовити! Ово смањује оперативне трошкове дата центра и смањује укупне трошкове власништва. У свету у коме обим ускладиштених информација расте за 30% годишње, такве предности се не бацају.

***

Више информација о Хуавеи решењима и њиховим сценаријима примене можете добити на нашој страници Онлине или директно контактирањем представника компаније.

Извор: ввв.хабр.цом