🥇Metrik panyimpenan obyek anyar

Flying Fortress dening Nele-Diel

Tim Panyimpen Obyek S3 Panyimpenan Cloud Mail.ru nerjemahake artikel babagan kritéria apa sing penting nalika milih panyimpenan obyek. Teks luwih lanjut atas jenenge penulis.

Nalika nerangake panyimpenan obyek, wong cenderung mikir mung siji metrik: biaya saben TB / GB. Nalika metrik iki penting, iku uga ndadekake pendekatan siji-sisi lan padha karo panyimpenan obyek kanggo alat panyimpenan arsip. Kajaba iku, pendekatan iki nyuda pentinge panyimpenan obyek menyang tumpukan teknologi perusahaan.

Nalika milih panyimpenan obyek, ana limang ciri sing kudu ditimbang:

kinerja;
skalabilitas;
S3 kompatibel;
nanggepi kegagalan;
integritas.

Lima karakteristik iki minangka metrik anyar saka panyimpenan obyek, bebarengan karo biaya. Ayo padha ndeleng kabeh.

Produktivitas

Panyimpenan obyek tradisional ora dikenal kanthi kinerja. Panyedhiya layanan tansah kurban kanggo nguber prices murah. Nanging, karo panyimpenan obyek modern, iku beda.

Kacepetan macem-macem panyimpenan nyedhaki utawa malah ngluwihi Hadoop. Syarat modern kanggo kacepetan maca lan nulis: saka 10 GB / s kanggo hard drive nganti 35 GB / s kanggo NVMe.

Throughput iki cukup kanggo Spark, Presto, Tensorflow, Teradata, Vertica, Splunk lan kerangka komputasi modern liyane ing tumpukan analytics. Kasunyatan yen basis data MPP dikonfigurasi kanggo panyimpenan obyek nuduhake yen saya akeh digunakake minangka panyimpenan utama.

Yen sistem panyimpenan ora cukup cepet, sampeyan ora bisa nggunakake data lan extract nilai saka iku. Sanajan sampeyan ngekstrak data saka panyimpenan obyek menyang struktur pangolahan ing memori, sampeyan isih butuh bandwidth kanggo nransfer data mlebu lan metu saka memori. Sistem panyimpenan obyek warisan ora cukup.

Iki minangka titik utama: metrik kinerja anyar yaiku throughput, dudu latensi. Dibutuhake kanggo data sing bisa diukur, lan minangka norma ing infrastruktur data modern.

Lan nalika benchmark minangka cara sing apik kanggo nemtokake kinerja, ora bisa ngukur kanthi akurat nganti aplikasi kasebut mlaku ing lingkungan. Mung banjur sampeyan bisa nemtokake manawa bottleneck ana ing piranti lunak, disk, jaringan, utawa komputasi.

Skalabilitas

Skalabilitas ditetepake minangka jumlah petabyte sing cocog karo spasi jeneng siji. Vendor ngaku gampang skalabilitas, nanging sing ora dicritakake yaiku nalika sampeyan skala, sistem monolitik sing gedhe banget dadi rapuh, rumit, ora stabil, lan larang.

Metrik skalabilitas anyar yaiku jumlah ruang jeneng utawa penyewa sing bisa sampeyan lakoni. Metrik kasebut dijupuk langsung saka hyperscalers, ing ngendi blok bangunan panyimpenan cilik nanging ukurane nganti milyaran unit. Sejatine, iku metrik awan.

Nalika blok bangunan cilik, luwih gampang dioptimalake, yaiku, nyedhiyakake keamanan, kontrol akses, manajemen kebijakan, manajemen siklus urip, lan nganyari sing ora ngganggu. Lan pungkasanipun, kinerja. Ukuran blok bangunan minangka fungsi saka manajemen domain kegagalan, lan iki minangka sistem sing tahan banting.

Multi-tenancy nduweni akeh ciri. Nalika parameter nuduhake carane organisasi nyedhiyakake akses menyang data lan aplikasi, iku uga nuduhake aplikasi dhewe lan logika ngisolasi saka saben liyane.

Karakteristik pendekatan modern kanggo manajemen multi-klien:

Ing wektu sing cendhak, jumlah klien bisa tuwuh saka pirang-pirang atus nganti pirang-pirang yuta.
Klien rampung diisolasi saka saben liyane. Iki ngidini wong bisa mbukak macem-macem versi piranti lunak sing padha lan nyimpen obyek kanthi konfigurasi, ijin, fitur, tingkat keamanan, lan tingkat layanan sing beda. Iki perlu nalika skala server anyar, upgrade, lan geografi.
Panyimpenan bisa diukur kanthi elastis, sumber daya kasedhiya yen dikarepake.
Saben operasi didhukung API lan otomatis tanpa campur tangan manungsa.
Piranti lunak bisa diselehake ing wadhah lan nggunakake sistem orkestrasi standar kayata Kubernetes.

Kompatibilitas karo S3

Amazon S3 API minangka standar de facto kanggo panyimpenan obyek. Saben vendor piranti lunak panyimpenan obyek claims kompatibilitas karo. Kompatibilitas S3 minangka binar: bisa ditindakake kanthi lengkap, utawa ora.

Ing laku, ana atusan utawa ewu kasus pinggiran ngendi soko dadi salah nalika nggunakake panyimpenan obyek. Utamane kanggo piranti lunak lan panyedhiya layanan. Kasus panggunaan utamane yaiku pengarsipan utawa serep langsung, saengga ana sawetara alasan kanggo nelpon API, kasus panggunaan homogen.

Piranti lunak open source nduweni kaluwihan sing signifikan. Iki kalebu paling akeh skenario pinggiran, amarga ukuran lan macem-macem aplikasi, sistem operasi, lan arsitektur hardware.

Kabeh iki penting kanggo pangembang aplikasi, mula sampeyan kudu nyoba kinerja aplikasi karo panyedhiya panyimpenan. Open source nyederhanakake proses - luwih gampang ngerti platform endi sing cocog kanggo aplikasi sampeyan. Panyedhiya bisa digunakake minangka titik entri siji kanggo panyimpenan, tegese bakal nyukupi kabutuhan sampeyan.

Open source tegese: aplikasi ora disambungake menyang vendor lan luwih transparan. Iki njamin siklus urip dawa saka aplikasi.

Cathetan liyane babagan open source lan S3.

Yen sampeyan nggunakake aplikasi data gedhe, S3 SELECT nambah kinerja lan efisiensi kanthi urutan gedhene kanthi nggunakake SQL kanggo njupuk mung obyek sing dibutuhake saka panyimpenan.

Kuncine yaiku dhukungan kanggo kabar ember. Kabar bucket nggampangake komputasi tanpa server, komponen penting saka arsitektur microservice sing dikirim minangka layanan. Amarga panyimpenan obyek minangka panyimpenan maya kanthi efektif, kemampuan iki dadi kritis nalika aplikasi awan nggunakake panyimpenan obyek.

Pungkasan, implementasi S3 kudu ndhukung API enkripsi sisih server Amazon S3: SSE-C, SSE-S3, SSE-KMS. Luwih apik, S3 kudu ndhukung proteksi tamper sing pancen aman.

Reaksi kanggo kegagalan

Metrik sing bisa uga asring diabaikan yaiku kepiye sistem nangani kegagalan. Gagal kedadeyan amarga macem-macem alasan, lan panyimpenan obyek kudu ditangani kabeh.

Contone, yen ana siji titik kegagalan, metrik kanggo iki nol.

Sayange, akeh sistem panyimpenan obyek nggunakake simpul khusus sing kudu diaktifake supaya kluster bisa mlaku kanthi bener, kayata jeneng simpul utawa server metadata, sing nggawe siji titik kegagalan.

Malah ing ngendi sawetara titik kegagalan dituju, kemampuan kanggo nahan kegagalan bencana iku paling penting. Drive gagal, server gagal. Tombol iku kanggo mbangun piranti lunak sing dirancang kanggo nangani gagal minangka negara normal. Yen drive utawa simpul gagal, piranti lunak bakal terus digunakake tanpa modifikasi.

Proteksi sing dibangun kanggo ngrusak lan degradasi data njamin sampeyan bisa kelangan akeh disk utawa simpul amarga sampeyan duwe blok paritas - biasane setengah disk - lan mung piranti lunak kasebut ora bisa mbalekake data kasebut.

Gagal arang dites ing beban, nanging iku kudu. Simulasi kegagalan ing beban bakal nuduhake biaya kumulatif sing ditindakake sawise kegagalan kasebut.

Konsistensi

Skor konsistensi 100% uga diarani konsistensi ketat. Konsistensi minangka komponen utama saka sistem panyimpenan, nanging konsistensi sing ketat arang banget. Contone, Amazon S3 ListObject ora konsisten, mung konsisten ing pungkasan.

Apa tegese konsistensi sing ketat? Kanggo kabeh operasi sawise operasi PUT dikonfirmasi, ing ngisor iki kudu bener:

Nilai sing dianyari katon nalika maca saka simpul apa wae.
Nganyari dilindhungi saka kegagalan simpul kanthi redundansi.

Iki tegese yen sampeyan narik plug ing tengah nulis, boten ilang. Sistem kasebut ora nate ngasilake data sing rusak utawa ketinggalan jaman. Iki minangka bar dhuwur sing penting kanggo akeh skenario, saka aplikasi transaksional nganti serep lan pemulihan.

kesimpulan

Iki minangka metrik panyimpenan obyek anyar sing nggambarake pola panggunaan ing organisasi modern, ing ngendi kinerja, konsistensi, skalabilitas, domain kesalahan, lan kompatibilitas S3 minangka blok bangunan aplikasi awan lan analytics data gedhe. Aku nyaranake nggunakake dhaptar iki saliyane rega nalika mbangun tumpukan data modern.

Babagan panyimpenan obyek Mail.ru Cloud Solutions: S3 Arsitektur. 3 Taun Evolusi Panyimpenan Cloud Mail.ru.

Apa maneh sing kudu diwaca:

Source: www.habr.com