S3 objektų saugojimo komanda išvertė straipsnį apie tai, kokie kriterijai yra svarbūs renkantis objektų saugyklą. Toliau pateikiamas tekstas iš autoriaus perspektyvos.
Kalbant apie objektų saugojimą, žmonės paprastai galvoja tik apie vieną dalyką: kainą už TB/GB. Žinoma, ši metrika yra svarbi, tačiau ji daro požiūrį į vienpusį ir prilygina objektų saugojimą archyvo saugojimo įrankiui. Be to, šis metodas sumažina objektų saugojimo svarbą įmonės technologijų kaminui.
Renkantis objektų saugyklą, turėtumėte atkreipti dėmesį į penkias savybes:
- spektaklis;
- mastelio keitimas;
- Suderinamas su S3;
- atsakas į gedimus;
- vientisumas.
Šios penkios charakteristikos yra nauja objektų saugojimo metrika kartu su kaina. Pažvelkime į juos visus.
Našumas
Tradicinėse objektų parduotuvėse trūksta našumo. Paslaugų teikėjai nuolat tai aukodavo siekdami žemų kainų. Tačiau su šiuolaikine daiktų saugojimu viskas yra kitaip.
Įvairios saugojimo sistemos priartėja prie „Hadoop“ greičio arba netgi ją viršija. Šiuolaikiniai reikalavimai skaitymo ir rašymo greičiui: nuo 10 GB/s kietiesiems diskams, iki 35 GB/s NVMe.
Tokio pralaidumo pakanka „Spark“, „Presto“, „Tensorflow“, „Teradata“, „Vertica“, „Splunk“ ir kitoms šiuolaikinėms analizės stekuose esančioms skaičiavimo sistemoms. Tai, kad MPP duomenų bazės konfigūruojamos objektų saugojimui, rodo, kad ji vis dažniau naudojama kaip pagrindinė saugykla.
Jei jūsų saugojimo sistema neužtikrina reikiamo greičio, negalite naudoti duomenų ir išgauti iš jų vertės. Net jei nuskaitysite duomenis iš objektų saugyklos į atmintyje esančią apdorojimo struktūrą, jums vis tiek reikės pralaidumo duomenims perkelti į atmintį ir iš jos. Pasenusiose objektų parduotuvėse jo neužtenka.
Tai yra pagrindinis dalykas: nauja našumo metrika yra pralaidumas, o ne delsa. Jis reikalingas duomenims dideliu mastu ir yra šiuolaikinės duomenų infrastruktūros norma.
Nors gairės yra geras būdas nustatyti našumą, jų negalima tiksliai išmatuoti prieš paleidžiant programą aplinkoje. Tik po jo galite pasakyti, kur tiksliai yra kliūtis: programinėje įrangoje, diskuose, tinkle ar skaičiavimo lygiu.
Mastelis
Mastelio keitimas reiškia petabaitų, telpančių vienoje vardų srityje, skaičių. Pardavėjai teigia, kad yra lengvas mastelio keitimas, tačiau jie nesako, kad didinant mastelį didžiulės monolitinės sistemos tampa trapios, sudėtingos, nestabilios ir brangios.
Nauja mastelio metrika yra vardų erdvių arba klientų, kuriuos galite aptarnauti, skaičius. Metrika paimta tiesiai iš hiperskalerių, kur saugojimo blokai yra maži, bet siekia milijardus vienetų. Apskritai tai yra debesų metrika.
Kai kūrimo blokai yra maži, juos lengviau optimizuoti siekiant užtikrinti saugumą, prieigos valdymą, politikos valdymą, gyvavimo ciklo valdymą ir netrukdančius naujinimus. Ir galiausiai užtikrinti produktyvumą. Statinio bloko dydis priklauso nuo gedimo srities valdomumo, ty kaip sukuriamos labai atsparios sistemos.
Daugiabučiai nuomai turi daug savybių. Nors dimensija kalba apie tai, kaip organizacijos suteikia prieigą prie duomenų ir programų, jis taip pat reiškia pačias programas ir jų atskyrimo viena nuo kitos logiką.
Šiuolaikinio požiūrio į kelis klientus ypatybės:
- Per trumpą laiką klientų skaičius gali išaugti nuo kelių šimtų iki kelių milijonų.
- Klientai yra visiškai izoliuoti vienas nuo kito. Tai leidžia jiems paleisti skirtingas tos pačios programinės įrangos versijas ir saugoti objektus su skirtingomis konfigūracijomis, leidimais, funkcijomis, saugos ir priežiūros lygiais. Tai būtina keičiant mastelį į naujus serverius, naujinimus ir geografines vietas.
- Saugykla elastingai plečiasi, ištekliai tiekiami pagal poreikį.
- Kiekviena operacija yra valdoma API ir yra automatizuota be žmogaus įsikišimo.
- Programinė įranga gali būti talpinama konteineriuose ir naudoti standartines orkestravimo sistemas, tokias kaip Kubernetes.
Suderinamas su S3
„Amazon S3“ API yra faktinis objektų saugojimo standartas. Kiekvienas objektų saugojimo programinės įrangos pardavėjas teigia, kad yra suderinamas su ja. Suderinamumas su S3 yra dvejetainis: arba jis visiškai įgyvendintas, arba ne.
Praktiškai yra šimtai ar tūkstančiai kraštutinių scenarijų, kai naudojant objektų saugyklą kažkas negerai. Ypač iš patentuotos programinės įrangos ir paslaugų teikėjų. Pagrindiniai jo naudojimo atvejai yra tiesioginis archyvavimas arba atsarginių kopijų kūrimas, todėl priežasčių skambinti API yra nedaug, naudojimo atvejai yra vienarūšiai.
Atvirojo kodo programinė įranga turi didelių pranašumų. Ji apima daugumą kraštutinių scenarijų, atsižvelgiant į programų, operacinių sistemų ir aparatinės įrangos dydį ir įvairovę.
Visa tai svarbu programų kūrėjams, todėl verta išbandyti programą su saugyklos tiekėjais. Atvirasis šaltinis palengvina procesą – lengviau suprasti, kuri platforma tinka jūsų programai. Teikėjas gali būti naudojamas kaip vienas įėjimo į saugyklą taškas, tai reiškia, kad jis atitiks jūsų poreikius.
Atvirasis šaltinis reiškia: programos nėra susietos su pardavėju ir yra skaidresnės. Tai užtikrina ilgą taikymo ciklą.
Ir dar keletas pastabų apie atvirąjį kodą ir S3.
Jei naudojate didelių duomenų programą, S3 SELECT padidina našumą ir efektyvumą. Tai daroma naudodama SQL, kad iš saugyklos gautų tik jums reikalingus objektus.
Svarbiausias dalykas yra pranešimų apie grupę palaikymas. Segmentiniai pranešimai palengvina skaičiavimą be serverio – svarbią bet kokios mikro paslaugų architektūros, kuri teikiama kaip paslauga, komponentą. Atsižvelgiant į tai, kad objektų saugykla iš tikrųjų yra saugykla debesyje, ši galimybė tampa labai svarbi, kai objektų saugyklą naudoja debesyje pagrįstos programos.
Galiausiai, S3 diegimas turi palaikyti Amazon S3 serverio pusės šifravimo API: SSE-C, SSE-S3, SSE-KMS. Dar geriau, S3 palaiko tikrai saugią apsaugą nuo klastojimo.
Reagavimas į nesėkmes
Metrika, kuri tikriausiai dažnai nepaisoma, yra tai, kaip sistema tvarko gedimus. Gedimai įvyksta dėl įvairių priežasčių, o objektų saugykla turi sutvarkyti visas jas.
Pavyzdžiui, yra vienas gedimo taškas, jo metrika yra nulis.
Deja, daugelis objektų saugojimo sistemų naudoja specialius mazgus, kurie turi būti įjungti, kad klasteris tinkamai veiktų. Tai apima vardų mazgus arba metaduomenų serverius – tai sukuria vieną gedimo tašką.
Net ir ten, kur yra daug gedimų, gebėjimas atlaikyti katastrofišką gedimą yra itin svarbus. Diskai sugenda, serveriai sugenda. Svarbiausia yra sukurti programinę įrangą, skirtą gedimams spręsti kaip įprastai. Jei diskas ar mazgas sugenda, tokia programinė įranga ir toliau veiks be pakeitimų.
Integruota apsauga nuo duomenų ištrynimo ir duomenų pablogėjimo užtikrina, kad galite prarasti tiek diskų ar mazgų, kiek turite pariteto blokų – paprastai pusę diskų. Tik tada programinė įranga negalės grąžinti duomenų.
Gedimas retai tikrinamas esant apkrovai, tačiau toks patikrinimas yra privalomas. Imituojant apkrovos gedimą bus parodytos visos po gedimo patirtos išlaidos.
Nuoseklumas
100% nuoseklumo balas taip pat vadinamas griežtu nuoseklumu. Nuoseklumas yra pagrindinis bet kurios saugojimo sistemos komponentas, tačiau stiprus nuoseklumas yra retas. Pavyzdžiui, Amazon S3 ListObject nėra griežtai nuoseklus, jis yra nuoseklus tik pabaigoje.
Ką reiškia griežtas nuoseklumas? Atliekant visas operacijas po patvirtintos PUT operacijos, turi būti:
- Atnaujinta reikšmė matoma skaitant iš bet kurio mazgo.
- Atnaujinimas apsaugotas nuo mazgo gedimo dubliavimo.
Tai reiškia, kad jei įrašymo viduryje ištrauksite kištuką, nieko neprarasite. Sistema niekada nepateikia sugadintų ar pasenusių duomenų. Tai aukšta juosta, kuri yra svarbi daugelyje scenarijų – nuo operacijų programų iki atsarginės kopijos ir atkūrimo.
išvada
Tai nauja objektų saugojimo metrika, kuri atspindi naudojimo modelius šiandieninėse organizacijose, kur našumas, nuoseklumas, mastelio keitimas, gedimų sritys ir S3 suderinamumas yra debesų programų ir didelių duomenų analizės elementai. Rekomenduoju naudoti šį sąrašą, neskaitant kainos, kuriant šiuolaikinius duomenų krūvelius.
Apie Mail.ru Cloud Solutions objektų saugyklą: .
Ką dar skaityti:
- .
- .
- .
Šaltinis: www.habr.com