S3 naredba za pohranu objekta preveo članak o tome koji su kriteriji važni pri odabiru skladišta predmeta. Slijedi tekst iz perspektive autora.
Kada je u pitanju pohrana objekata, ljudi obično razmišljaju samo o jednoj stvari: cijeni po TB/GB. Naravno, ova metrika je važna, ali čini pristup jednostranim i izjednačava pohranu objekta s alatom za pohranu arhive. Osim toga, ovaj pristup smanjuje važnost pohrane objekata za tehnološki skup poduzeća.
Prilikom odabira skladišta predmeta obratite pozornost na pet karakteristika:
- izvođenje;
- skalabilnost;
- S3 kompatibilan;
- odgovor na neuspjehe;
- integritet.
Ovih pet karakteristika su nove metrike za pohranu objekata, zajedno s cijenom. Pogledajmo ih sve.
Performanse
Tradicionalnim trgovinama predmeta nedostaje performansa. Pružatelji usluga stalno su ga žrtvovali u potrazi za niskim cijenama. Međutim, s modernim skladištenjem predmeta stvari stoje drugačije.
Različiti sustavi za pohranu približavaju se ili čak premašuju brzinu Hadoopa. Moderni zahtjevi za brzinama čitanja i pisanja: od 10 GB/s za tvrde diskove, do 35 GB/s za NVMe.
Ova propusnost dovoljna je za Spark, Presto, Tensorflow, Teradata, Vertica, Splunk i druge moderne računalne okvire u skupu analitike. Činjenica da se MPP baze podataka konfiguriraju za pohranu objekata sugerira da se sve više koristi kao primarna pohrana.
Ako vaš sustav za pohranu podataka ne pruža potrebnu brzinu, ne možete koristiti podatke i iz njih izvlačiti vrijednost. Čak i ako dohvatite podatke iz pohrane objekata u strukturu obrade u memoriji, i dalje će vam trebati propusnost za prijenos podataka u i iz memorije. Naslijeđene pohrane objekata nemaju ga dovoljno.
Ovo je ključna točka: nova metrika izvedbe je propusnost, a ne latencija. Potreban je za velike količine podataka i norma je u modernoj podatkovnoj infrastrukturi.
Iako su referentne vrijednosti dobar način za određivanje performansi, one se ne mogu točno izmjeriti prije pokretanja aplikacije u okruženju. Tek nakon toga možete reći gdje je točno usko grlo: u softveru, diskovima, mreži ili na razini računalstva.
Skalabilnost
Skalabilnost se odnosi na broj petabajta koji stane u jedan prostor imena. Ono što dobavljači tvrde je laka skalabilnost, ali ono što ne kažu je da kako se skaliraju, masivni monolitni sustavi postaju krhki, složeni, nestabilni i skupi.
Nova metrika za skalabilnost je broj prostora imena ili klijenata koje možete poslužiti. Mjerni podatak je preuzet izravno iz hiperskalera, gdje su gradivni blokovi za pohranu mali, ali se skaliraju na milijarde jedinica. Općenito, ovo je metrika oblaka.
Kada su građevni blokovi mali, lakše ih je optimizirati za sigurnost, kontrolu pristupa, upravljanje pravilima, upravljanje životnim ciklusom i ažuriranja bez prekida rada. I u konačnici osigurati produktivnost. Veličina građevnog bloka je funkcija upravljivosti područja kvara, što je način na koji se grade vrlo otporni sustavi.
Višestanarstvo ima mnoge karakteristike. Iako dimenzija govori o tome kako organizacije pružaju pristup podacima i aplikacijama, ona se također odnosi na same aplikacije i logiku koja stoji iza njihove izolacije jedne od druge.
Karakteristike suvremenog pristupa multi-klijentima:
- U kratkom vremenu broj klijenata može narasti od nekoliko stotina do nekoliko milijuna.
- Klijenti su potpuno izolirani jedni od drugih. To im omogućuje pokretanje različitih verzija istog softvera i pohranjivanje objekata s različitim konfiguracijama, dopuštenjima, značajkama, razinama sigurnosti i održavanja. Ovo je neophodno pri skaliranju na nove poslužitelje, ažuriranja i geografska područja.
- Pohrana je elastično skalabilna, resursi se daju na zahtjev.
- Svaku operaciju kontrolira API i automatizirana je bez ljudske intervencije.
- Softver se može nalaziti u spremnicima i koristiti standardne sustave orkestracije kao što je Kubernetes.
S3 kompatibilan
Amazon S3 API je de facto standard za pohranu objekata. Svaki dobavljač softvera za pohranjivanje objekata tvrdi da je kompatibilan s njim. Kompatibilnost sa S3 je binarna: ili je u potpunosti implementirana ili nije.
U praksi postoje stotine ili tisuće rubnih scenarija u kojima nešto pođe po zlu prilikom korištenja pohrane objekata. Osobito od pružatelja vlasničkog softvera i usluga. Njegovi glavni slučajevi upotrebe su izravno arhiviranje ili sigurnosno kopiranje, tako da postoji nekoliko razloga za pozivanje API-ja, slučajevi upotrebe su homogeni.
Softver otvorenog koda ima značajne prednosti. Pokriva većinu rubnih scenarija, s obzirom na veličinu i raznolikost aplikacija, operativnih sustava i hardverskih arhitektura.
Sve je to važno za programere aplikacija, stoga se isplati testirati aplikaciju kod pružatelja usluga pohrane. Otvoreni izvor čini proces lakšim—lakše je razumjeti koja je platforma prava za vašu aplikaciju. Davatelj se može koristiti kao jedinstvena točka ulaska u pohranu, što znači da će zadovoljiti vaše potrebe.
Otvoreni kod znači: aplikacije nisu vezane uz dobavljača i transparentnije su. To osigurava dug životni ciklus aplikacije.
I još nekoliko napomena o otvorenom kodu i S3.
Ako koristite aplikaciju s velikim podacima, S3 SELECT poboljšava performanse i učinkovitost za jedan red veličine. To čini pomoću SQL-a za dohvaćanje samo onih objekata koji su vam potrebni iz pohrane.
Ključna točka je podrška za obavijesti o spremnicima. Bucket obavijesti olakšavaju računalstvo bez poslužitelja, važnu komponentu svake arhitekture mikroservisa koja se isporučuje kao usluga. S obzirom na to da je pohrana objekata zapravo pohrana u oblaku, ova mogućnost postaje kritična kada pohranu objekata koriste aplikacije temeljene na oblaku.
Konačno, implementacija S3 mora podržavati API-je za enkripciju na strani poslužitelja Amazon S3: SSE-C, SSE-S3, SSE-KMS. Još bolje, S3 podržava zaštitu od neovlaštenog otvaranja koja je uistinu sigurna.
Odgovor na neuspjehe
Mjerilo koje se vjerojatno često zanemaruje je kako sustav rješava kvarove. Kvarovi se događaju iz raznih razloga, a pohrana objekata mora ih sve riješiti.
Na primjer, postoji jedna točka kvara, metrika toga je nula.
Nažalost, mnogi sustavi za pohranu objekata koriste posebne čvorove koji moraju biti omogućeni da bi klaster ispravno funkcionirao. To uključuje čvorove imena ili poslužitelje metapodataka - ovo stvara jednu točku kvara.
Čak i tamo gdje postoji više točaka kvara, sposobnost izdržavanja katastrofalnog kvara je najvažnija. Diskovi kvare, serveri kvare. Ključ je u izradi softvera dizajniranog za rukovanje kvarom kao normalnim stanjem. Ako disk ili čvor otkaže, takav će softver nastaviti raditi bez promjena.
Ugrađena zaštita od brisanja i degradacije podataka osigurava da možete izgubiti onoliko diskova ili čvorova koliko imate paritetnih blokova—obično polovicu diskova. Tek tada softver neće moći vratiti podatke.
Kvar se rijetko ispituje pod opterećenjem, ali je takvo ispitivanje potrebno. Simulacija kvara opterećenja pokazat će ukupne troškove nastale nakon kvara.
Dosljednost
Rezultat dosljednosti od 100% naziva se i stroga dosljednost. Dosljednost je ključna komponenta svakog sustava za pohranu, ali snažna dosljednost je rijetka. Na primjer, Amazon S3 ListObject nije strogo dosljedan, dosljedan je samo na kraju.
Što se podrazumijeva pod strogom dosljednošću? Za sve operacije nakon potvrđene PUT operacije mora se dogoditi sljedeće:
- Ažurirana vrijednost vidljiva je prilikom čitanja s bilo kojeg čvora.
- Ažuriranje je zaštićeno od redundancije kvara čvora.
To znači da ako povučete utikač usred snimanja, ništa se neće izgubiti. Sustav nikada ne vraća oštećene ili zastarjele podatke. Ovo je visoka letvica koja je važna u mnogim scenarijima, od transakcijskih aplikacija do sigurnosnog kopiranja i oporavka.
Zaključak
Ovo su nove metrike za pohranu objekata koje odražavaju obrasce korištenja u današnjim organizacijama, gdje su izvedba, dosljednost, skalabilnost, domene grešaka i S3 kompatibilnost građevni blokovi za aplikacije u oblaku i analitiku velikih podataka. Preporučujem korištenje ovog popisa uz cijenu pri izgradnji modernih skupova podataka.
O pohrani objekata Mail.ru Cloud Solutions: .
Što još pročitati:
- .
- .
- .
Izvor: www.habr.com