Perintah penyimpanan objek S3 menterjemah artikel tentang kriteria yang penting semasa memilih storan objek. Berikut adalah teks dari perspektif penulis.
Apabila bercakap tentang storan objek, orang biasanya hanya memikirkan satu perkara: harga setiap TB/GB. Sudah tentu, metrik ini penting, tetapi ia menjadikan pendekatan itu berat sebelah dan menyamakan storan objek dengan alat storan arkib. Selain itu, pendekatan ini mengurangkan kepentingan penyimpanan objek untuk timbunan teknologi perusahaan.
Apabila memilih storan objek, anda harus memberi perhatian kepada lima ciri:
- prestasi;
- kebolehskalaan;
- S3 serasi;
- tindak balas kepada kegagalan;
- integriti.
Lima ciri ini ialah metrik baharu untuk penyimpanan objek, bersama-sama dengan kos. Mari kita lihat mereka semua.
Produktiviti
Stor objek tradisional kurang prestasi. Pembekal perkhidmatan sentiasa mengorbankannya demi mengejar harga yang rendah. Walau bagaimanapun, dengan penyimpanan objek moden perkara adalah berbeza.
Pelbagai sistem storan mendekati atau melebihi kelajuan Hadoop. Keperluan moden untuk kelajuan baca dan tulis: daripada 10 GB/s untuk cakera keras, sehingga 35 GB/s untuk NVMe.
Daya pemprosesan ini mencukupi untuk Spark, Presto, Tensorflow, Teradata, Vertica, Splunk dan rangka kerja pengkomputeran moden yang lain dalam tindanan analitik. Hakikat bahawa pangkalan data MPP sedang dikonfigurasikan untuk storan objek menunjukkan bahawa ia semakin digunakan sebagai storan utama.
Jika sistem storan anda tidak memberikan kelajuan yang anda perlukan, anda tidak boleh menggunakan data dan mengekstrak nilai daripadanya. Walaupun anda mendapatkan semula data daripada storan objek ke dalam struktur pemprosesan dalam memori, anda masih memerlukan lebar jalur untuk memindahkan data ke dan dari memori. Kedai objek lama tidak mencukupi.
Ini ialah perkara utama: metrik prestasi baharu ialah daya pemprosesan, bukan kependaman. Ia diperlukan untuk data pada skala dan merupakan norma dalam infrastruktur data moden.
Walaupun penanda aras adalah cara yang baik untuk menentukan prestasi, ia tidak boleh diukur dengan tepat sebelum menjalankan aplikasi dalam persekitaran. Hanya selepas itu anda boleh mengatakan di mana sebenarnya kesesakan itu: dalam perisian, cakera, rangkaian atau pada peringkat pengkomputeran.
Kebolehskalaan
Kebolehskalaan merujuk kepada bilangan petabait yang sesuai dengan satu ruang nama. Apa yang didakwa oleh vendor ialah kebolehskalaan yang mudah, apa yang mereka tidak katakan ialah apabila mereka berskala, sistem monolitik besar-besaran menjadi rapuh, kompleks, tidak stabil dan mahal.
Metrik baharu untuk kebolehskalaan ialah bilangan ruang nama atau pelanggan yang boleh anda sediakan. Metrik diambil terus daripada hyperscalers, di mana blok bangunan storan adalah kecil tetapi berskala kepada berbilion-bilion unit. Secara umum, ini ialah metrik awan.
Apabila blok binaan kecil, ia lebih mudah untuk dioptimumkan untuk keselamatan, kawalan akses, pengurusan dasar, pengurusan kitaran hayat dan kemas kini tanpa gangguan. Dan akhirnya memastikan produktiviti. Saiz blok bangunan adalah fungsi kebolehkawalan rantau kegagalan, iaitu bagaimana sistem berdaya tahan tinggi dibina.
Penyewaan berbilang mempunyai banyak ciri. Walaupun dimensi bercakap tentang cara organisasi menyediakan akses kepada data dan aplikasi, ia juga merujuk kepada aplikasi itu sendiri dan logik di sebalik mengasingkannya daripada satu sama lain.
Ciri-ciri pendekatan moden untuk berbilang pelanggan:
- Dalam masa yang singkat, bilangan pelanggan boleh berkembang daripada beberapa ratus kepada beberapa juta.
- Pelanggan benar-benar terasing antara satu sama lain. Ini membolehkan mereka menjalankan versi berbeza perisian yang sama dan menyimpan objek dengan konfigurasi, kebenaran, ciri, keselamatan dan tahap penyelenggaraan yang berbeza. Ini perlu apabila menskalakan ke pelayan baharu, kemas kini dan geografi.
- Storan boleh berskala secara elastik, sumber disediakan atas permintaan.
- Setiap operasi dikawal oleh API dan diautomasikan tanpa campur tangan manusia.
- Perisian boleh dihoskan dalam bekas dan menggunakan sistem orkestrasi standard seperti Kubernetes.
S3 serasi
API Amazon S3 ialah standard de facto untuk penyimpanan objek. Setiap vendor perisian storan objek mendakwa keserasian dengannya. Keserasian dengan S3 adalah binari: sama ada ia dilaksanakan sepenuhnya atau tidak.
Dalam amalan, terdapat beratus-ratus atau beribu-ribu senario kelebihan apabila berlaku masalah apabila menggunakan storan objek. Terutamanya daripada pembekal perisian dan perkhidmatan proprietari. Kes penggunaan utamanya ialah pengarkiban langsung atau sandaran, jadi terdapat beberapa sebab untuk memanggil API, kes penggunaan adalah homogen.
Perisian sumber terbuka mempunyai kelebihan yang ketara. Ia merangkumi kebanyakan senario kelebihan, memandangkan saiz dan kepelbagaian aplikasi, sistem pengendalian dan seni bina perkakasan.
Semua ini penting untuk pembangun aplikasi, jadi ia patut menguji aplikasi dengan pembekal storan. Sumber terbuka menjadikan proses lebih mudahβlebih mudah untuk memahami platform yang sesuai untuk aplikasi anda. Pembekal boleh digunakan sebagai satu titik kemasukan ke dalam storan, bermakna ia akan memenuhi keperluan anda.
Sumber terbuka bermaksud: aplikasi tidak terikat kepada vendor dan lebih telus. Ini memastikan kitaran hayat aplikasi yang panjang.
Dan beberapa lagi nota tentang sumber terbuka dan S3.
Jika anda menjalankan aplikasi data besar, S3 SELECT meningkatkan prestasi dan kecekapan mengikut susunan magnitud. Ia melakukan ini dengan menggunakan SQL untuk mendapatkan hanya objek yang anda perlukan dari storan.
Perkara utama ialah sokongan untuk pemberitahuan baldi. Pemberitahuan baldi memudahkan pengkomputeran tanpa pelayan, komponen penting bagi mana-mana seni bina perkhidmatan mikro yang dihantar sebagai perkhidmatan. Memandangkan storan objek adalah storan awan secara berkesan, keupayaan ini menjadi kritikal apabila storan objek digunakan oleh aplikasi berasaskan awan.
Akhir sekali, pelaksanaan S3 mesti menyokong API penyulitan sebelah pelayan Amazon S3: SSE-C, SSE-S3, SSE-KMS. Lebih baik lagi, S3 menyokong perlindungan gangguan yang benar-benar selamat.
Tindak balas terhadap kegagalan
Metrik yang mungkin sering diabaikan ialah cara sistem mengendalikan kegagalan. Kegagalan berlaku atas pelbagai sebab dan storan objek mesti mengendalikan semuanya.
Sebagai contoh, terdapat satu titik kegagalan, metrik ini adalah sifar.
Malangnya, banyak sistem storan objek menggunakan nod khas yang mesti didayakan untuk kluster berfungsi dengan baik. Ini termasuk nod nama atau pelayan metadata - ini mewujudkan satu titik kegagalan.
Walaupun terdapat banyak titik kegagalan, keupayaan untuk menahan kegagalan bencana adalah yang paling penting. Cakera gagal, pelayan gagal. Kuncinya adalah untuk mencipta perisian yang direka untuk mengendalikan kegagalan sebagai keadaan biasa. Jika cakera atau nod gagal, perisian tersebut akan terus berfungsi tanpa perubahan.
Perlindungan terbina dalam terhadap pemadaman data dan degradasi data memastikan anda boleh kehilangan seberapa banyak cakera atau nod kerana anda mempunyai blok paritiβbiasanya separuh daripada cakera. Hanya selepas itu perisian tidak dapat mengembalikan data.
Kegagalan jarang diuji di bawah beban, tetapi ujian sedemikian adalah wajib. Mensimulasikan kegagalan beban akan menunjukkan jumlah kos yang ditanggung selepas kegagalan.
Konsisten
Skor konsistensi 100% juga dipanggil konsistensi ketat. Konsistensi ialah komponen utama mana-mana sistem storan, tetapi konsistensi yang kuat jarang berlaku. Sebagai contoh, Amazon S3 ListObject tidak konsisten sepenuhnya, ia hanya konsisten pada akhirnya.
Apakah yang dimaksudkan dengan konsistensi yang ketat? Untuk semua operasi selepas operasi PUT yang disahkan, perkara berikut mesti berlaku:
- Nilai yang dikemas kini kelihatan apabila membaca dari mana-mana nod.
- Kemas kini dilindungi daripada redundansi kegagalan nod.
Ini bermakna jika anda menarik palam di tengah-tengah rakaman, tiada apa yang akan hilang. Sistem tidak pernah mengembalikan data yang rosak atau lapuk. Ini ialah bar tinggi yang penting dalam banyak senario, daripada aplikasi transaksi kepada sandaran dan pemulihan.
Kesimpulan
Ini ialah metrik storan objek baharu yang mencerminkan corak penggunaan dalam organisasi hari ini, di mana prestasi, konsistensi, kebolehskalaan, domain ralat dan keserasian S3 merupakan bahan binaan untuk aplikasi awan dan analitik data besar. Saya mengesyorkan menggunakan senarai ini sebagai tambahan kepada harga semasa membina tindanan data moden.
Mengenai storan objek Mail.ru Cloud Solutions: .
Apa lagi yang perlu dibaca:
- .
- .
- .
Sumber: www.habr.com