Tim objektne S3 pohrane prevela je članak o tome koji su kriteriji važni pri odabiru objektne pohrane. Slijedi tekst s gledišta autora.
Kada se govori o objektnoj pohrani, većina ljudi obično razmišlja samo o jednoj karakteristici — cijeni po TB/GB. Naravno, ova metrika je važna, ali ona čini pristup jednostranim i snižava objekt niti na alat za arhiviranje. Takav pristup također smanjuje važnost objektne pohrane unutar tehnološkog stoga poduzeća.
Pri odabiru objektne pohrane, treba obratiti pozornost na pet karakteristika:
- performanse;
- skalabilnost;
- kompatibilnost s S3;
- reakcija na kvarove;
- cjelovitost.
Ove pet karakteristika su nove metrike objektne pohrane, uz cijenu. Razmotrimo ih sve.
Performanse
Tradicionalne objektne pohrane ne odlikuju se velikim performansama. Pružatelji usluga su konstantno žrtvovali performanse u potrazi za niskim cijenama. No, s modernim objektim pohranama je to drugačije.
Brzina raznih pohrana približava se Hadoop-u ili čak ga premašuje. Moderne zahtjeve za brzinom čitanja i pisanja: od 10 GB/s — za tvrd diskove, do 35 GB/s — za NVMe.
Takva propusnost dovoljna je za Spark, Presto, Tensorflow, Teradata, Vertica, Splunk i druge moderne računalne okvire u analitičkom stogu. Činjenica da se MPP baze podataka postavljaju na objektne pohrane ukazuje na to da se sve više koriste kao glavne pohrane.
Ako vaš sustav pohrane ne osigurava potrebnu brzinu, ne možete koristiti podatke i izvući vrijednosti iz njih. Čak i ako izvlačite podatke iz objektne pohrane u strukturu obrade u memoriji, i dalje će vam trebati propusnost za prijenos podataka u memoriju i iz nje. U zastarjelim objektim pohranama nema dovoljno propusnosti.
Ovo je ključna točka: nova mjera performansi — propusnost, a ne kašnjenje. Potrebna je za skalabilne podatke, i to je norma u modernoj infrastrukturi podataka.
Iako su performanse testiranja dobar način za određivanje performansi, nije ih moguće precizno izmjeriti prije pokretanja aplikacije u okruženju. Tek nakon toga se može reći gdje je točno usko grlo: u softveru, diskovima, mreži ili na razini računalne obrade.
Skalabilnost
Pod skalabilnošću se podrazumijeva količina petabajta koja se može smjestiti u jedan prostor imenskih oznaka. Pružatelji usluga govore o lakoj skalabilnosti, ali prešućuju da, kako se skalira, masivne monolitne sustave postaju krhkima, složenima, nestabilnima i skupima.
Novi pokazatelj skalabilnosti jest broj prostora imenskih oznaka ili klijenata koje možete opslužiti. Metrija se uzima iz hyperscalera, gdje su građevni blokovi pohrane mali, ali skalabilni do milijardi jedinica. Općenito, ovo je oblačna metrika.
Kada su standardni blokovi male veličine, lakše ih je optimizirati, što znači osigurati sigurnost, kontrolu pristupa, upravljanje politikama, životnim ciklusom i nadogradnjama bez prekida rada. I na kraju, osigurati performanse. Veličina građevnog bloka funkcija je upravljivosti područja otkaza, tako se grade visoko otporniji sustavi.
Multiklijentnost ima brojne karakteristike. Iako parametar govori o tome kako organizacije omogućuju pristup podacima i aplikacijama, također se odnosi na same aplikacije i logiku njihove izolacije jedna od druge.
Karakteristike suvremenog pristupa multiklijentnosti:
- U vrlo kratkom vremenu broj klijenata može porasti s nekoliko stotina na nekoliko milijuna.
- Klijenti su potpuno izolirani jedni od drugih. To im omogućava pokretanje različitih verzija istog softvera i pohranu objekata s raznim konfiguracijama, dozvolama, funkcijama, razinama sigurnosti i održavanja. Ovo je potrebno prilikom skaliranja novih poslužitelja, nadogradnji i geografskih regija.
- Pohrana se elastično skalira, resursi se pružaju na zahtjev.
- Svaka operacija upravlja se putem API-ja i automatizira bez ljudske intervencije.
- Softver se može smjestiti u kontejnere i koristiti standardne sustave orkestracije, poput Kubernetes-a.
Kompatibilnost sa S3
Amazon S3 API — zapravo standard za objektnu pohranu. Svaki pružatelj softvera za objektnu pohranu tvrdi da je kompatibilan s njim. Kompatibilnost s S3 je binarna: ili je potpuno implementirana ili nije.
U praksi može postojati stotine i tisuće graničnih scenarija kada dođe do problema pri korištenju objektnog skladišta. To je osobito slučaj s pružateljima vlasničkog softvera i usluga. Njegovi glavni scenariji upotrebe su izravno arhiviranje ili sigurnosno kopiranje, stoga ima malo razloga za pozivanje API-ja, a varijante korištenja su homogeni.
Značajne prednosti donosi softver otvorenog koda. On pokriva većinu graničnih scenarija, uzimajući u obzir veličinu i raznolikost aplikacija, operativnih sustava i hardverskih arhitektura.
Sve to je važno za programere aplikacija, stoga je važno testirati rad aplikacije s pružateljima skladišta. Otvoreni izvor olakšava proces — lakše je razumjeti koja platforma odgovara vašoj aplikaciji. Pružatelj može poslužiti kao jedinstvena točka ulaza u skladišta — što znači da će zadovoljiti vaše potrebe.
Otvoreni izvor znači: aplikacije nisu vezane uz pružatelja i su transparentnije. To osigurava dug životni ciklus aplikacije.
I još nekoliko napomena o otvorenom kodu i S3.
Ako pokrećete aplikaciju za rad s velikim podacima, S3 SELECT drastično poboljšava performanse i učinkovitost. To se postiže korištenjem SQL-a za izvlačenje iz skladišta samo onih objekata koji su vam potrebni.
Ključna točka — podrška za obavijesti o spremnicima. Obavijesti o spremnicima pojednostavljuju bezserverna računanja — važna komponenta svake mikroservisne arhitekture koja se pruža kao usluga. S obzirom na to da je objektno skladište zapravo oblačno skladište, ova mogućnost postaje presudna kada se objektno skladište koristi u oblačnim aplikacijama.
Na kraju, implementacija S3 treba podržavati Amazon S3 API sučelja za enkripciju na strani poslužitelja: SSE-C, SSE-S3, SSE-KMS. Čak je i bolje ako S3 podržava zaštitu od neovlaštenog pristupa koja je doista sigurnosna.
Reakcija na kvarove
Jedan od pokazatelja koji se vjerojatno često zanemaruje jest kako sustav upravlja kvarovima. Kvarovi se događaju iz raznih razloga, a objektno pohranjivanje mora ih sve obraditi.
Na primjer, postoji jedinstvena točka kvara, a metrika toga je nula.
Nažalost, mnogi sustavi pohrane objekata koriste posebne čvorove koji moraju biti aktivirani za ispravno djelovanje klastera. To uključuje imenovane čvorove ili poslužitelje metapodataka — što stvara jedinstvenu točku kvara.
Čak i tamo gdje su predviđene višestruke točke kvara, ključno je imati sposobnost izdržati katastrofalne kvarove. Diskovi otkazuju, poslužitelji otkazuju. Ključna točka je razvoj softvera osmišljenog za obradu kvarova kao normalnog stanja. Kada diska ili čvor otkaže, takav softver nastavlja raditi bez promjena.
Ugrađena zaštita od brisanja i degradacije podataka osigurava: možete izgubiti koliko god diskova ili čvorova imate blokova pariteta — obično polovicu diskova. Samo tada softver ne može vraćati podatke.
Kvar se rijetko provjerava pod opterećenjem, no takva provjera je obvezna. Simulacija kvara pod opterećenjem pokazat će ukupne troškove nastale nakon kvara.
Dosljednost
Pokazatelj dosljednosti od 100% također se naziva strogom dosljednošću. Dosljednost je ključna komponenta svakog sustava pohrane, no stroga dosljednost se rijetko susreće. Na primjer, Amazon S3 ListObject nije strogo dosljedan, on je dosljedan samo na kraju.
Što se podrazumijeva pod strogom dosljednošću? Za sve operacije nakon potvrđene operacije PUT mora se izvršiti sljedeće:
- Ažurirana vrijednost vidljiva je prilikom čitanja s bilo kojeg čvora.
- Ažuriranje je zaštićeno rezerviranjem od kvara čvora.
To znači: ako iskopčate utikač usred zapisivanja, ništa se ne gubi. Sustav nikada ne vraća oštećene ili zastarjele podatke. To je visoka mjera koja je važna za mnoge scenarije: od transakcijskih aplikacija do izrade sigurnosnih kopija i ponovnog uspostavljanja.
Zaključak
Ovo su nove metrike objektnog spremišta koje odražavaju modele korištenja u modernim organizacijama, gdje su performanse, konzistentnost, skalabilnost, domene neuspjeha i kompatibilnost s S3 - osnovni građevinski blokovi za cloud aplikacije i analitiku velikih podataka. Preporučujem korištenje ovog popisa uz cijenu prilikom izrade modernih data stekova.
O objektom spremištu Mail.ru Cloud Solutions: .
Što još pročitati:
- .
- .
- .
Izvor: habr.com
