Paréntah gudang obyék S3 narjamahkeun artikel ngeunaan naon kriteria penting lamun milih hiji gudang obyék. Di handap ieu téks ti sudut pandang pangarang.
Lamun datang ka neundeun obyék, jalma ilaharna ngan mikir ngeunaan hiji hal: harga per TB / GB. Tangtosna, métrik ieu penting, tapi éta ngajantenkeun pendekatan hiji sisi sareng sami sareng neundeun obyék sareng alat panyimpen arsip. Tambih Deui, pendekatan ieu ngirangan pentingna neundeun obyék pikeun tumpukan téknologi perusahaan.
Nalika milih neundeun barang, anjeun kedah nengetan lima ciri:
- kinerja;
- skalabilitas;
- S3 cocog;
- respon kana gagalna;
- integritas.
Lima ciri ieu mangrupikeun métrik énggal pikeun neundeun obyék, sareng biaya. Hayu urang tingali aranjeunna sadayana.
kakuwatan keur ngasilkeun
Toko obyék tradisional kakurangan kinerja. Panyadia jasa terus-terusan ngorbankeunana pikeun ngudag harga anu murah. Sanajan kitu, kalawan gudang objék modern hal anu béda.
Rupa-rupa sistem panyimpen ngadeukeutan atanapi bahkan ngaleuwihan laju Hadoop. syarat modern pikeun maca jeung nulis speeds: ti 10 GB / s pikeun hard drive, nepi ka 35 GB / s pikeun NVMe.
throughput Ieu cukup pikeun Spark, Presto, Tensorflow, Teradata, Vertica, Splunk jeung frameworks komputasi modern lianna dina tumpukan analytics. Kanyataan yén pangkalan data MPP dikonpigurasikeun pikeun neundeun objék nunjukkeun yén éta beuki dianggo salaku panyimpenan primér.
Upami sistem panyimpen anjeun henteu nyayogikeun kacepetan anu anjeun peryogikeun, anjeun moal tiasa nganggo data sareng nimba nilai tina éta. Sanaos anjeun nyandak data tina panyimpenan obyék kana struktur pamrosésan dina mémori, anjeun tetep peryogi rubakpita pikeun mindahkeun data ka sareng ti mémori. Toko obyék warisan henteu cekap.
Ieu mangrupikeun titik konci: métrik kinerja énggal nyaéta throughput, sanés latency. Diperlukeun pikeun data dina skala sareng mangrupikeun norma dina infrastruktur data modern.
Sanaos tolok ukur mangrupikeun cara anu saé pikeun nangtukeun kinerja, éta henteu tiasa diukur sacara akurat sateuacan ngajalankeun aplikasi di lingkungan. Ngan saatosna anjeun tiasa nyarios dimana persisna bottleneck: dina parangkat lunak, disk, jaringan atanapi dina tingkat komputasi.
Skalabilitas
Skalabilitas nujul kana jumlah petabytes nu pas kana hiji ngaranspasi. Anu diklaim vendor nyaéta skalabilitas anu gampang, anu henteu aranjeunna nyarioskeun nyaéta nalika aranjeunna skala, sistem monolitik masif janten rapuh, rumit, teu stabil, sareng mahal.
Métrik anyar pikeun skalabilitas nyaéta jumlah ruang ngaran atanapi klien anu anjeun tiasa layani. Métrik dicokot langsung tina hyperscalers, dimana blok wangunan gudang leutik tapi skala ka milyaran unit. Sacara umum, ieu métrik awan.
Nalika blok wangunan leutik, aranjeunna gampang dioptimalkeun pikeun kaamanan, kontrol aksés, manajemén kawijakan, manajemén lifecycle, sarta apdet non-disruptive. Sarta pamustunganana mastikeun produktivitas. Ukuran blok wangunan mangrupikeun fungsi tina kadali daérah gagal, nyaéta kumaha sistem anu tahan pisan diwangun.
Multi-tenancy gaduh seueur ciri. Nalika diménsi nyarioskeun kumaha organisasi nyayogikeun aksés kana data sareng aplikasi, éta ogé ngarujuk kana aplikasi sorangan sareng logika anu ngasingkeunana.
Ciri tina pendekatan modern pikeun multi-klien:
- Dina waktu anu singget, jumlah klien bisa tumuwuh tina sababaraha ratus nepi ka sababaraha juta.
- Klién sagemblengna terasing tina unggal lianna. Hal ieu ngamungkinkeun aranjeunna ngajalankeun versi béda tina software sarua jeung nyimpen objék kalawan konfigurasi béda, idin, fitur, kaamanan jeung tingkat pangropéa. Ieu diperlukeun nalika skala ka server anyar, apdet, sarta géografi.
- Panyimpenan sacara élastis, sumber daya disayogikeun upami diperyogikeun.
- Unggal operasi dikawasa ku API sareng otomatis tanpa campur tangan manusa.
- Parangkat lunak tiasa di-host dina wadah sareng nganggo sistem orkestrasi standar sapertos Kubernetes.
S3 cocog
Amazon S3 API nyaéta standar de facto pikeun neundeun objék. Unggal ngical paralatan panyimpen obyék ngaklaim kasaluyuan sareng éta. Kasaluyuan sareng S3 nyaéta binér: boh éta pinuh dilaksanakeun atanapi henteu.
Dina prakna, aya ratusan atanapi rébuan skénario tepi dimana aya anu salah nalika nganggo neundeun obyék. Utamana ti panyadia parangkat lunak sareng jasa proprietary. Kasus pamakean utami nyaéta arsip atanapi cadangan langsung, janten aya sababaraha alesan pikeun nyauran API, kasus pamakean homogen.
Parangkat lunak open source ngagaduhan kaunggulan anu signifikan. Ieu nyertakeun paling skenario ujung, tinangtu ukuran sarta rupa-rupa aplikasi, sistem operasi, sarta arsitéktur hardware.
Sadaya ieu penting pikeun pamekar aplikasi, ku kituna patut nguji aplikasi sareng panyadia panyimpen. Open source ngagampangkeun prosésna - langkung gampang ngartos platform mana anu cocog pikeun aplikasi anjeun. panyadia nu bisa dipaké salaku titik tunggal asupna kana gudang, hartina éta bakal minuhan kabutuhan Anjeun.
Open source hartosna: aplikasi henteu dihijikeun ka padagang sareng langkung transparan. Ieu ensures a lifecycle aplikasi panjang.
Sareng sababaraha catetan deui ngeunaan open source sareng S3.
Upami anjeun ngajalankeun aplikasi data ageung, S3 SELECT ningkatkeun kinerja sareng efisiensi ku urutan gedéna. Hal ieu dilakukeun ku ngagunakeun SQL pikeun nyandak ngan ukur objék anu anjeun peryogikeun tina panyimpenan.
Titik konci nyaéta dukungan pikeun béwara ember. Bewara ember ngagampangkeun komputasi tanpa server, komponén penting tina arsitéktur microservice anu dikirimkeun salaku jasa. Nunjukkeun yen gudang obyék téh éféktif gudang awan, kamampuhan ieu jadi kritis lamun gudang obyék dipaké ku aplikasi dumasar-awan.
Tungtungna, palaksanaan S3 kedah ngadukung API énkripsi sisi server Amazon S3: SSE-C, SSE-S3, SSE-KMS. Malah leuwih hadé, S3 ngarojong panyalindungan tamper nu sabenerna aman.
Tanggapan kagagalan
Métrik anu sigana sering ditingali nyaéta kumaha sistem nahan kagagalan. Kagagalan lumangsung pikeun rupa-rupa alesan, jeung neundeun objék kudu nanganan kabeh.
Salaku conto, aya hiji titik gagal, métrik ieu nol.
Hanjakalna, seueur sistem panyimpen obyék nganggo titik khusus anu kedah diaktipkeun pikeun kluster tiasa dianggo leres. Ieu kalebet node nami atanapi server metadata - ieu nyiptakeun hiji titik gagal.
Malah dimana aya sababaraha titik kagagalan, kamampuhan pikeun tahan kagagalan catastrophic téh pangpentingna. Disk gagal, server gagal. Koncina nyaéta nyiptakeun parangkat lunak anu dirancang pikeun nanganan kagagalan salaku kaayaan normal. Upami disk atanapi node gagal, parangkat lunak sapertos kitu bakal terus dianggo tanpa parobihan.
Diwangun-di panyalindungan ngalawan erasure data sarta degradasi data ensures yén anjeun bisa leungit saloba disk atawa titik sakumaha anjeun boga blok parity-biasana satengah disk. Ngan lajeng software bakal moal bisa mulangkeun data.
Gagalna jarang diuji dina beban, tapi tés sapertos kitu wajib. Simulasi gagalna beban bakal nunjukkeun total biaya anu ditanggung saatos gagalna.
Konsistensi
Skor konsistensi 100% disebut ogé konsistensi ketat. Konsistensi mangrupakeun komponén konci tina sagala sistem gudang, tapi konsistensi kuat jarang. Contona, Amazon S3 ListObject teu mastikeun konsisten, éta ngan konsisten dina tungtungna.
Naon anu dimaksud ku konsistensi ketat? Pikeun sadaya operasi saatos operasi PUT anu dikonfirmasi, ieu kedah lumangsung:
- Nilai anu diropéa katingali nalika maca tina titik mana waé.
- Pembaruan ditangtayungan tina redundansi gagalna titik.
Ieu ngandung harti yén lamun narik colokan di tengah rekaman a, euweuh bakal leungit. Sistim nu pernah balik data ruksak atawa tinggaleun jaman. Ieu mangrupikeun bar anu luhur anu penting dina seueur skenario, tina aplikasi transaksional dugi ka cadangan sareng pamulihan.
kacindekan
Ieu mangrupikeun métrik panyimpen objék énggal anu ngagambarkeun pola pamakean dina organisasi ayeuna, dimana kinerja, konsistensi, skalabilitas, domain kasalahan sareng kasaluyuan S3 mangrupikeun blok wangunan pikeun aplikasi awan sareng analitik data gedé. Abdi nyarankeun ngagunakeun daptar ieu salian harga nalika ngawangun tumpukan data modern.
Ngeunaan neundeun objék Mail.ru Cloud Solutions: .
Naon deui anu dibaca:
- .
- .
- .
sumber: www.habr.com