🥇Нова метрика за складирање објекти

Летечка тврдина од Неле-Дил

S3 команда за складирање на објекти Mail.ru Облак складирање преведе статија за тоа кои критериуми се важни при изборот на складирање на предмети. Следува текстот од перспектива на авторот.

Кога станува збор за складирање на предмети, луѓето обично размислуваат само за една работа: цена по TB/GB. Се разбира, оваа метрика е важна, но го прави пристапот едностран и го поистоветува складирањето на објекти со алатка за складирање архиви. Плус, овој пристап ја намалува важноста на складирање на објекти за оџакот на технологија на претпријатието.

При изборот на складирање на предмети, треба да обрнете внимание на пет карактеристики:

перформанси;
приспособливост;
S3 компатибилен;
одговор на неуспеси;
интегритет.

Овие пет карактеристики се нови метрики за складирање на предмети, заедно со трошоците. Ајде да ги погледнеме сите.

Перформанси

Продавниците за традиционални предмети немаат перформанси. Давателите на услуги постојано го жртвуваа во потрага по ниски цени. Меѓутоа, со модерното складирање на предмети работите се поинакви.

Различни системи за складирање се приближуваат или дури ја надминуваат брзината на Hadoop. Современи барања за брзина на читање и пишување: од 10 GB/s за хард дискови, до 35 GB/s за NVMe.

Оваа пропусната моќ е доволна за Spark, Presto, Tensorflow, Teradata, Vertica, Splunk и други модерни компјутерски рамки во аналитичкиот оџак. Фактот дека MPP базите на податоци се конфигурираат за складирање на објекти сугерира дека се повеќе се користи како примарна складиште.

Ако вашиот систем за складирање не ја обезбедува брзината што ви треба, не можете да ги користите податоците и да извлечете вредност од нив. Дури и ако преземате податоци од складирање на објекти во структура за обработка во меморијата, сепак ќе ви треба пропусен опсег за да ги пренесете податоците до и од меморијата. Продавниците за стари предмети немаат доволно од тоа.

Ова е клучната точка: новата метрика на перформанси е пропусната моќ, а не доцнењето. Потребен е за податоци во обем и е норма во модерната инфраструктура за податоци.

Иако реперите се добар начин за одредување на перформансите, тие не можат точно да се измерат пред да ја стартувате апликацијата во околината. Само после него можете да кажете каде точно е тесното грло: во софтвер, дискови, мрежа или на компјутерско ниво.

Приспособливост

Приспособливоста се однесува на бројот на петабајти што се вклопуваат во еден именски простор. Она што продавачите го тврдат е лесна приспособливост, она што тие не го велат е дека како што се зголемуваат, масивните монолитни системи стануваат кревки, сложени, нестабилни и скапи.

Новата метрика за приспособливост е бројот на именски простори или клиенти што можете да ги опслужувате. Метриката е преземена директно од хиперскалери, каде што градежните блокови за складирање се мали, но во обем до милијарди единици. Во принцип, ова е метрика на облак.

Кога градежните блокови се мали, полесно е да се оптимизираат за безбедност, контрола на пристап, управување со политики, управување со животниот циклус и ажурирања што не предизвикуваат нарушување. И на крајот да се обезбеди продуктивност. Големината на градежниот блок е во функција на контролирањето на регионот на неуспех, што е начинот на кој се градат високо еластичните системи.

Мулти-закупот има многу карактеристики. Иако димензијата зборува за тоа како организациите обезбедуваат пристап до податоци и апликации, таа исто така се однесува на самите апликации и логиката зад нивното изолирање една од друга.

Карактеристики на модерен пристап кон повеќе клиенти:

За кратко време, бројот на клиенти може да порасне од неколку стотици на неколку милиони.
Клиентите се целосно изолирани едни од други. Ова им овозможува да извршуваат различни верзии на истиот софтвер и да складираат објекти со различни конфигурации, дозволи, карактеристики, нивоа на безбедност и одржување. Ова е неопходно при скалирање на нови сервери, ажурирања и географски области.
Складирањето е еластично скалабилно, ресурсите се обезбедуваат на барање.
Секоја операција е контролирана од API и е автоматизирана без човечка интервенција.
Софтверот може да биде хостиран во контејнери и да користи стандардни системи за оркестрација како што е Kubernetes.

Компатибилен со S3

Amazon S3 API е де факто стандард за складирање на објекти. Секој продавач на софтвер за складирање на предмети тврди дека е компатибилен со него. Компатибилноста со S3 е бинарна: или е целосно имплементирана или не е.

Во пракса, постојат стотици или илјадници сценарија на работ каде што нешто тргне наопаку кога се користи складирање на објекти. Особено од добавувачи на неслободен софтвер и услуги. Нејзините главни случаи на употреба се директно архивирање или резервна копија, така што има неколку причини за повикување на API, случаите за употреба се хомогени.

Софтверот со отворен код има значителни предности. Ги опфаќа повеќето сценарија на работ, со оглед на големината и разновидноста на апликациите, оперативните системи и хардверските архитектури.

Сето ова е важно за развивачите на апликации, па затоа вреди да ја тестирате апликацијата со давателите на складирање. Отворениот код го олеснува процесот - полесно е да се разбере која платформа е соодветна за вашата апликација. Давателот може да се користи како единствена точка за влез во складиштето, што значи дека ќе ги задоволи вашите потреби.

Со отворен код значи: апликациите не се врзани за продавач и се потранспарентни. Ова обезбедува долг животен циклус на апликација.

И уште неколку белешки за отворен код и S3.

Ако користите апликација за големи податоци, S3 SELECT ги подобрува перформансите и ефикасноста по ред на големина. Тоа го прави со користење на SQL за да ги поврати само објектите што ви се потребни од складирањето.

Клучната точка е поддршката за известувања за кофа. Известувањата со кофа го олеснуваат пресметувањето без сервер, важна компонента на секоја микросервис архитектура што се испорачува како услуга. Имајќи предвид дека складирањето на објекти е ефективно складирање во облак, оваа способност станува критична кога складирањето на објекти се користи од апликации базирани на облак.

Конечно, имплементацијата на S3 мора да ги поддржува API-те за шифрирање на серверот на Amazon S3: SSE-C, SSE-S3, SSE-KMS. Уште подобро, S3 поддржува заштита од манипулации што е навистина безбедна.

Одговор на неуспеси

Метрика што веројатно често се занемарува е како системот се справува со неуспесите. Неуспесите се случуваат поради различни причини и складирањето на предмети мора да се справи со сите нив.

На пример, постои една точка на неуспех, метриката за ова е нула.

За жал, многу системи за складирање на објекти користат специјални јазли кои мора да бидат овозможени за правилно функционирање на кластерот. Тие вклучуваат јазли за имиња или сервери за метаподатоци - ова создава единствена точка на неуспех.

Дури и таму каде што има повеќе точки на неуспех, способноста да се издржи катастрофалниот неуспех е најважна. Дисковите не успеваат, серверите пропаѓаат. Клучот е да се создаде софтвер дизајниран да се справи со неуспехот како нормална состојба. Ако некој диск или јазол не успее, таквиот софтвер ќе продолжи да работи без промени.

Вградената заштита од бришење и деградација на податоците гарантира дека можете да изгубите онолку дискови или јазли колку што имате блокови за паритет - обично половина од дисковите. Само тогаш софтверот нема да може да враќа податоци.

Неуспехот ретко се тестира под оптоварување, но таквото тестирање е потребно. Симулирањето на дефект на оптоварување ќе ги прикаже вкупните трошоци направени по дефектот.

Конзистентност

Оценката за конзистентност од 100% се нарекува и строга конзистентност. Конзистентноста е клучна компонента на секој систем за складирање, но силната конзистентност е ретка. На пример, Amazon S3 ListObject не е строго конзистентен, тој е конзистентен само на крајот.

Што се подразбира под строга конзистентност? За сите операции по потврдена операција PUT, мора да се случи следново:

Ажурираната вредност е видлива кога се чита од кој било јазол.
Ажурирањето е заштитено од вишок на неуспех на јазол.

Ова значи дека ако го повлечете приклучокот на средина на снимање, ништо нема да се изгуби. Системот никогаш не враќа оштетени или застарени податоци. Ова е висока лента што е важна во многу сценарија, од трансакциски апликации до резервна копија и обновување.

Заклучок

Ова се нови метрики за складирање на објекти кои ги рефлектираат шемите на користење во денешните организации, каде што перформансите, конзистентноста, приспособливоста, домените на грешки и компатибилноста на S3 се градежни блокови за облак апликациите и аналитиката на големи податоци. Препорачувам да ја користите оваа листа како додаток на цената при градење на модерни стекови со податоци.

За складирање на објекти на Mail.ru Cloud Solutions: S3 архитектура. 3 години еволуција на Mail.ru Cloud Storage.

Што друго да прочитате:

Извор: www.habr.com

Нова метрика за складирање на објекти