🥇Нова метрика складиштења објеката

Летећа тврђава од Неле-Диела

Команда за складиштење С3 објеката Маил.ру Цлоуд Стораге превео чланак о томе који су критеријуми важни при избору складишта објеката. Следи текст из угла аутора.

Када је у питању складиштење објеката, људи обично размишљају само о једној ствари: цени по ТБ/ГБ. Наравно, ова метрика је важна, али чини приступ једностраним и изједначава складиштење објеката са алатом за складиштење архиве. Осим тога, овај приступ смањује важност складиштења објеката за стек технологије предузећа.

Приликом одабира складиштења предмета, обратите пажњу на пет карактеристика:

перформансе;
прилагодљивост;
С3 цомпатибле;
одговор на неуспехе;
интегритет.

Ових пет карактеристика су нове метрике за складиштење објеката, заједно са трошковима. Погледајмо их све.

Перформансе

Традиционалним продавницама објеката недостају перформансе. Провајдери услуга су то стално жртвовали у потрази за ниским ценама. Међутим, са модерним складиштењем предмета ствари стоје другачије.

Различити системи за складиштење приступају или чак премашују брзину Хадооп-а. Савремени захтеви за брзину читања и писања: од 10 ГБ/с за чврсте дискове, до 35 ГБ/с за НВМе.

Ова пропусност је довољна за Спарк, Престо, Тенсорфлов, Терадата, Вертица, Сплунк и друге модерне рачунарске оквире у аналитичком стеку. Чињеница да се МПП базе података конфигуришу за складиштење објеката сугерише да се све више користи као примарно складиште.

Ако ваш систем складиштења не обезбеђује брзину која вам је потребна, не можете да користите податке и извучете вредност из њих. Чак и ако преузмете податке из складишта објеката у структуру за обраду у меморији, и даље ће вам требати пропусни опсег за пренос података у и из меморије. Продавнице старих објеката немају довољно тога.

Ово је кључна тачка: нова метрика учинка је пропусност, а не кашњење. Потребан је за податке у великом обиму и норма је у модерној инфраструктури података.

Иако су референтне вредности добар начин за одређивање перформанси, оне се не могу прецизно измерити пре покретања апликације у окружењу. Тек након тога можете рећи где је тачно уско грло: у софтверу, дисковима, мрежи или на рачунарском нивоу.

Прилагодљивост

Скалабилност се односи на број петабајта који се уклапају у један именски простор. Оно што произвођачи тврде да је лака скалабилност, оно што не кажу је да како се скалирају, масивни монолитни системи постају крхки, сложени, нестабилни и скупи.

Нова метрика за скалабилност је број именских простора или клијената које можете да опслужујете. Метрика је преузета директно од хиперскалера, где су блокови за складиштење мали, али су у размерама на милијарде јединица. Генерално, ово је метрика облака.

Када су грађевински блокови мали, лакше их је оптимизовати за безбедност, контролу приступа, управљање политикама, управљање животним циклусом и ажурирања која не ометају. И на крају обезбедити продуктивност. Величина градивног блока је функција управљивости региона отказа, на који се начин граде високо отпорни системи.

Вишестанарство има многе карактеристике. Иако димензија говори о томе како организације обезбеђују приступ подацима и апликацијама, она се такође односи на саме апликације и логику која стоји иза њиховог изоловања једне од других.

Карактеристике савременог приступа више клијената:

За кратко време број клијената може порасти са неколико стотина на неколико милиона.
Клијенти су потпуно изоловани једни од других. Ово им омогућава да покрећу различите верзије истог софтвера и чувају објекте са различитим конфигурацијама, дозволама, функцијама, нивоима безбедности и одржавања. Ово је неопходно приликом скалирања на нове сервере, ажурирања и географске локације.
Складиштење је еластично скалабилно, ресурси су обезбеђени на захтев.
Сваком операцијом управља АПИ и аутоматизована је без људске интервенције.
Софтвер се може хостовати у контејнерима и користити стандардне системе оркестрације као што је Кубернетес.

С3 компатибилан

Амазон С3 АПИ је де факто стандард за складиштење објеката. Сваки продавац софтвера за складиштење објеката тврди да је компатибилан са њим. Компатибилност са С3 је бинарна: или је у потпуности имплементиран или није.

У пракси, постоје стотине или хиљаде сценарија на ивици где нешто крене наопако када се користи складиштење објеката. Посебно од добављача власничког софтвера и услуга. Његови главни случајеви употребе су директно архивирање или резервна копија, тако да постоји неколико разлога за позивање АПИ-ја, случајеви употребе су хомогени.

Софтвер отвореног кода има значајне предности. Покрива већину ивичних сценарија, с обзиром на величину и разноликост апликација, оперативних система и хардверских архитектура.

Све ово је важно за програмере апликација, па је вредно тестирати апликацију са добављачима складишта. Отворени код чини процес лакшим — лакше је разумети која је платформа права за вашу апликацију. Провајдер се може користити као јединствена тачка уласка у складиште, што значи да ће задовољити ваше потребе.

Отворени код значи: апликације нису везане за добављача и транспарентније су. Ово обезбеђује дуг животни циклус апликације.

И још неколико напомена о отвореном коду и С3.

Ако користите апликацију за велике податке, С3 СЕЛЕЦТ побољшава перформансе и ефикасност за ред величине. То ради користећи СКЛ за преузимање само оних објеката који су вам потребни из складишта.

Кључна тачка је подршка за буцкет нотификације. Буцкет обавештења олакшавају рачунарство без сервера, важну компоненту сваке микросервисне архитектуре која се испоручује као услуга. С обзиром да је складиштење објеката у ствари складиште у облаку, ова могућност постаје критична када складиште објеката користе апликације засноване на облаку.

Коначно, имплементација С3 мора да подржава АПИ-је за шифровање Амазон С3 на страни сервера: ССЕ-Ц, ССЕ-С3, ССЕ-КМС. Још боље, С3 подржава заштиту од неовлашћеног приступа која је заиста безбедна.

Одговор на неуспехе

метрика која се вероватно често занемарује је начин на који систем управља кваровима. Грешке се дешавају из разних разлога, а складиштење објеката мора да их све носи.

На пример, постоји једна тачка неуспеха, метрика овога је нула.

Нажалост, многи системи за складиштење објеката користе посебне чворове који морају бити омогућени да би кластер исправно функционисао. Ово укључује чворове имена или сервере метаподатака – ово ствара једну тачку грешке.

Чак и тамо где постоји више тачака неуспеха, способност да се издржи катастрофални неуспех је најважнија. Дискови отказују, сервери отказују. Кључно је креирати софтвер дизајниран да се носи са кваром као нормалним стањем. Ако диск или чвор поквари, такав софтвер ће наставити да ради без промена.

Уграђена заштита од брисања података и деградације података осигурава да можете изгубити онолико дискова или чворова колико имате паритетних блокова — обично половину дискова. Тек тада софтвер неће моћи да врати податке.

Квар се ретко тестира под оптерећењем, али је такво тестирање неопходно. Симулација квара оптерећења ће показати укупне трошкове настале након квара.

Доследност

Резултат доследности од 100% се такође назива строга доследност. Конзистентност је кључна компонента сваког система складиштења, али јака доследност је ретка. На пример, Амазон С3 ЛистОбјецт није стриктно конзистентан, конзистентан је само на крају.

Шта се подразумева под строгом доследношћу? За све операције које следе након потврђене ПУТ операције, мора се десити следеће:

Ажурирана вредност је видљива када се чита са било ког чвора.
Ажурирање је заштићено од редундантности квара чвора.

То значи да ако повучете утикач усред снимања, ништа неће бити изгубљено. Систем никада не враћа оштећене или застареле податке. Ово је висока трака која је важна у многим сценаријима, од трансакцијских апликација до прављења резервних копија и опоравка.

Закључак

Ово су нове метрике за складиштење објеката које одражавају обрасце коришћења у данашњим организацијама, где су перформансе, доследност, скалабилност, домени грешака и компатибилност са С3 основни елементи за апликације у облаку и аналитику великих података. Препоручујем да користите ову листу поред цене када правите модерне стекове података.

О складиштењу објеката Маил.ру Цлоуд Солутионс: С3 архитектура. 3 године еволуције Маил.ру Цлоуд Стораге.

Шта још читати:

Извор: ввв.хабр.цом

Нова метрика складиштења објеката