Некада су заузимали врх ланца исхране. Хиљадама година. А онда се догодило незамисливо: небо су прекрили облаци, и они су престали да постоје. На другом крају света десили су се догађаји који су променили климу: повећала се облачност. Диносауруси су постали превелики и преспори: њихови покушаји да преживе били су осуђени на пропаст. Врхунски предатори владали су Земљом 100 милиона година, постајући све већи и јачи. Еволуирали су у оно што је изгледало као савршено биће на врху ланца исхране, али универзум је изненада променио лице наше планете.
Иронично, управо су облаци збрисали диносаурусе пре 66 милиона година. На исти начин, облаци данас уништавају класичне системе за складиштење података на врху ланца исхране. У оба случаја, проблем нису били сами облаци, већ способност прилагођавања свету који се мења. У случају диносауруса, све се догодило брзо: деструктивни ефекат облака се десио у року од неколико дана или недеља од пада метеорита (или вулканске ерупције – избор теорије је на вама). У случају класичних складишта података, процес траје годинама, али је, наравно, неповратан.
Тријаски период: доба великог гвожђа и појава миграторних примена
И шта се десило? Постојећи екосистем је укључивао системе за складиштење улазног и средњег нивоа, системе на нивоу предузећа и директно прикључено складиште (ДАС). Ове категорије су одредили аналитичари и имале су сопствене тржишне количине, индикаторе трошкова, поузданости, перформанси и скалабилности. А онда се догодило нешто чудно.
Појава виртуелних машина значила је да више апликација може да ради истовремено на једном серверу, вероватно код више власника – промена која је одмах довела у питање будућност директног складиштења података. Тада су власници највећих хиперскаларних инфраструктура (хиперскалери): Фацебоок, Гугл, еБаи, итд., уморни од плаћања огромних сума новца за системе за складиштење, развили сопствене апликације које су обезбедиле доступност података на редовним серверима уместо великог „хардверског“ складишта. система. Затим је Амазон представио нешто чудно тржишту под називом Симпле Стораге Сервице, или С3. Не блок, не фајл, већ нешто фундаментално ново: постало је немогуће купити систем, постало је могуће купити само услугу. Чекај мало, која је то сјајна светлост видљива на небу? Још један астероид?
Јура: ера „довољно добрих саура“
Ушли смо у фазу развоја складиштења са идеологијом „довољно добро“. Корисници складишта, приметивши шта су хиперскалери урадили, почели су да доводе у питање праведност десет или чак сто пута додатних трошкова у вези са хардвером који су плаћали за своје корпоративне системе за складиштење. Низови средњег нивоа почели су да освајају тржишни удео од врхунских система. Производи као што су показао брз раст. ЕМЦ Симметрик, некада доминантни низ пословне класе, и даље је држао одређену територију, али се брзо смањивао. Многи корисници су почели да мигрирају своје податке на АВС.
С друге стране, иноватори за складиштење података почели су да позајмљују идеје од хиперскалера, користећи технологије дистрибуираних хоризонтално скалабилних система - идеологија супротна вертикалном скалирању. Очекује се да ће нови софтвер за складиштење моћи да ради на редовним серверима, баш као и хиперскалери. Не више од 10-100 пута цене саме опреме. У теорији, можете користити било који сервер - избор зависи од ваших преференција. Почела је ера софтверски дефинисаног складиштења (СДС): облаци су заклањали небо, температуре су пале, а популација предатора на врхунцу је почела да опада.
Период креде: почетак еволуције софтверски дефинисаних система за складиштење података
Први дани софтверски дефинисаног складиштења били су опојни. Много је обећано, али је мало испуњено. Истовремено, дошло је до важног технолошког помака: флеш меморија је постала модерна алтернатива спининг руст-у (ХДД). Ово је био период многих покретања складишта и новца ризичног капитала лаког за руковање. Све би било сјајно да нема једног проблема: складиштење података захтева озбиљно разматрање. Испоставило се да купци воле своје податке. Ако му изгубе приступ или се нађе неколико лоших битова у терабајтима података, веома се брину и брину. Већина стартапа није преживела. Купци су добили цоол функционалност, али није све било добро са основним алатима. Лош рецепт.
Кенозојски период: доминирају акумулациони масиви
Мало људи прича о томе шта се догодило после, јер то није баш интересантно - купци настављају да купују исте класичне низове за складиштење. Наравно, они који су своје апликације пребацили у облаке, такође су тамо преместили своје податке. Али за огромну већину купаца који не желе у потпуности да се пребаце на облак или уопште не желе да се пребаце, исти Хевлетт Пацкард Ентерприсе је наставио да нуди класичне низове.
Налазимо се у 2019. години, па зашто још увек постоји више милијарди долара вредан посао складиштења заснован на И2К технологији? Зато што раде! Једноставно речено, захтеви критичних апликација нису били реализовани од стране производа креираних на таласу хипе-а. Производи као што је ХПЕ 3ПАР остали су најбоља опција за пословне кориснике, а нова еволуција ХПЕ 3ПАР архитектуре је – ово само потврђује.
Заузврат, могућности софтверски дефинисаних система складиштења су биле одличне: хоризонтална скалабилност, употреба стандардних сервера... Али цена за то је била: нестабилна доступност, непредвидиве перформансе и специфична правила скалабилности.
Сложеност захтева купаца је у томе што они никада не постају једноставнији. Нико неће рећи да је губитак интегритета података или продужено време застоја прихватљиво. Зато је архитектура која истовремено испуњава захтеве савремених центара података који се брзо развијају и, у потрази за компромисом, није лишена кључних карактеристика система за складиштење података пословне класе, толико важна за системе за складиштење података.
Терцијарни период: појава нових облика живота
Покушајмо да схватимо како је један од придошлица на тржишту складиштења - Датера - успео да се носи са тако тешком мешавином историјски утврђених и нових захтева за системе складиштења. Пре свега, кроз имплементацију архитектуре усмерене на решавање горе описане дилеме. Немогуће је модификовати застарелу архитектуру да би се одговорило на изазове модерног центра података, баш као што је немогуће модификовати просечну софтверски дефинисану архитектуру складиштења да би се испунили захтеви система пословне класе: диносауруси нису постали сисари због температуре испустио.
Изградња решења које испуњава захтеве за складиштење на нивоу предузећа, уз истовремено искориштавање агилности модерног центра података није лак задатак, али је управо то оно што је Датера намеравала да уради. Стручњаци за Датера раде на овоме пет година и пронашли су рецепт за „кување“ софтверски дефинисаног складишта у пословној класи.
Главна потешкоћа са којом се Датера сусрела је била да је морала да користи логички оператор „АНД“ уместо много једноставнијег „ИЛИ“. Конзистентна доступност, И предвидљиве перформансе, И архитектонска скалабилност, И оркестрација као код, И стандардизовани хардвер, И спровођење политике, И флексибилност, И управљање засновано на аналитици, „И” безбедност, „И” интеграција са отвореним екосистемима. Логички оператор „АНД“ је један знак дужи од „ИЛИ“ - ово је главна разлика.
Квартарни период: савремени центри података и изненадне климатске промене предодређују развој софтверски дефинисаних система за складиштење података
Дакле, како је Датера створила архитектуру која испуњава захтеве традиционалног складиштења података у предузећима, а истовремено испуњава захтеве модерног дата центра? Све се опет своди на онај досадни „АНД“ оператор.
Није имало смисла рјешавати појединачне захтјеве један по један. Збир таквих елемената неће постати јединствена целина. Као иу сваком сложеном систему, важно је било пажљиво разматрање читавог комплекса уравнотежених компромиса. Приликом развоја, стручњаци Датере су се руководили три главна принципа:
- управљање специфичним за апликацију;
- јединствени механизам за обезбеђивање флексибилности података;
- високе перформансе због смањених режијских трошкова.
Заједничка карактеристика ових принципа је једноставност. Лако управљајте својим системом, лако управљајте подацима помоћу једног, елегантног механизма и испоручите предвидљиве (и високе) перформансе уз смањење трошкова. Зашто је једноставност толико важна? Паметни професионалци у свету складиштења података знају да се испуњавање захтева за складиштењем данашњег динамичког центра података не може постићи само грануларним управљањем, вишеструким алатима за управљање подацима и хипероптимизацијом за побољшање перформанси. Комплекс таквих техника нам је већ познат као систем за складиштење диносауруса.
Познавање ових принципа добро је послужило Датери. Архитектура коју су развили има, с једне стране, доступност, перформансе и скалабилност модерног система за складиштење података пословне класе, ас друге стране, флексибилност и брзину неопходне за модеран софтверски дефинисан центар података.
Доступност Датера у Русији
Датера је глобални технолошки партнер компаније Хевлетт Пацкард Ентерприсе. Датера производи су тестирани на компатибилност и перформансе са различитим моделима сервера .
Више о архитектури Датера можете сазнати на КСНУМКС октобар.
Извор: ввв.хабр.цом