S3 ob'ektni saqlash buyrug'i ob'ektni saqlashni tanlashda qanday mezonlar muhimligi haqidagi maqolani tarjima qildi. Quyida muallif nuqtai nazaridan matn keltirilgan.
Ob'ektni saqlash haqida gap ketganda, odamlar odatda faqat bitta narsa haqida o'ylashadi: TB/GB uchun narx. Albatta, bu ko'rsatkich muhim, lekin u yondashuvni bir tomonlama qiladi va ob'ektni saqlashni arxivni saqlash vositasi bilan tenglashtiradi. Bundan tashqari, bu yondashuv korxona texnologiyalari stek uchun ob'ektni saqlash muhimligini kamaytiradi.
Ob'ektni saqlashni tanlashda siz besh xususiyatga e'tibor berishingiz kerak:
- ishlash;
- masshtablilik;
- S3 mos;
- muvaffaqiyatsizliklarga javob berish;
- yaxlitlik.
Ushbu besh xususiyat xarajat bilan birga ob'ektni saqlash uchun yangi ko'rsatkichlardir. Keling, ularning barchasini ko'rib chiqaylik.
unumdorlik
An'anaviy ob'ektlar do'konlari unumdorlikka ega emas. Xizmat ko'rsatuvchi provayderlar doimo arzon narxlarga intilish uchun uni qurbon qilishdi. Biroq, zamonaviy ob'ektlarni saqlash bilan narsalar boshqacha.
Har xil saqlash tizimlari Hadoop tezligiga yaqinlashadi yoki hatto undan ham oshib ketadi. O'qish va yozish tezligiga qo'yiladigan zamonaviy talablar: qattiq disklar uchun 10 Gb/s dan, NVMe uchun 35 Gb/s gacha.
Ushbu o'tkazuvchanlik Spark, Presto, Tensorflow, Teradata, Vertica, Splunk va analitik stekdagi boshqa zamonaviy hisoblash tizimlari uchun etarli. MPP ma'lumotlar bazalarining ob'ektni saqlash uchun konfiguratsiya qilinayotganligi uning asosiy xotira sifatida tobora ko'proq foydalanilayotganidan dalolat beradi.
Agar sizning saqlash tizimingiz kerakli tezlikni ta'minlamasa, siz ma'lumotlardan foydalana olmaysiz va undan qiymat chiqara olmaysiz. Agar siz ob'ektni saqlashdan ma'lumotlarni xotirada qayta ishlash tuzilmasida qabul qilsangiz ham, ma'lumotlarni xotiraga va xotiradan o'tkazish uchun sizga tarmoqli kengligi kerak bo'ladi. Eski ob'yektlar do'konlarida u etarli emas.
Bu asosiy nuqta: yangi ishlash ko'rsatkichi kechikish emas, balki o'tkazish qobiliyatidir. Bu miqyosdagi ma'lumotlar uchun talab qilinadi va zamonaviy ma'lumotlar infratuzilmasida norma hisoblanadi.
Ko'rsatkichlar samaradorlikni aniqlashning yaxshi usuli bo'lsa-da, dasturni muhitda ishga tushirishdan oldin uni aniq o'lchash mumkin emas. Shundan keyingina siz to'siq qayerda ekanligini aytishingiz mumkin: dasturiy ta'minotda, disklarda, tarmoqda yoki hisoblash darajasida.
Miqyosi
Masshtablilik bir nom maydoniga mos keladigan petabaytlar sonini bildiradi. Sotuvchilarning ta'kidlashicha, oson miqyoslilik, ular aytmagan narsa shundaki, ular miqyosda katta monolit tizimlar mo'rt, murakkab, beqaror va qimmat bo'lib qoladi.
Kengaytirishning yangi ko'rsatkichi - bu xizmat ko'rsatishingiz mumkin bo'lgan nomlar yoki mijozlar soni. Ko'rsatkich to'g'ridan-to'g'ri giperskalerlardan olingan, bu erda saqlash bloklari kichik, ammo milliardlab birliklarga miqyosda. Umuman olganda, bu bulutli ko'rsatkich.
Qurilish bloklari kichik bo'lsa, ularni xavfsizlik, kirishni boshqarish, siyosatni boshqarish, hayot aylanishini boshqarish va buzilmaydigan yangilanishlar uchun optimallashtirish osonroq bo'ladi. Va nihoyat, mahsuldorlikni ta'minlang. Qurilish blokining o'lchami buzilish hududining boshqarilishi funktsiyasidir, ya'ni yuqori chidamli tizimlar qurilgan.
Ko'p ijaraga olish ko'plab xususiyatlarga ega. O'lchov tashkilotlarning ma'lumotlar va ilovalarga qanday kirishni ta'minlayotgani haqida gapirsa-da, u ilovalarning o'zi va ularni bir-biridan ajratish mantiqiga ham tegishli.
Ko'p mijozga zamonaviy yondashuvning xususiyatlari:
- Qisqa vaqt ichida mijozlar soni bir necha yuzdan bir necha milliongacha o'sishi mumkin.
- Mijozlar bir-biridan butunlay ajratilgan. Bu ularga bir xil dasturiy ta'minotning turli versiyalarini ishga tushirish va turli konfiguratsiyalar, ruxsatlar, xususiyatlar, xavfsizlik va texnik xizmat ko'rsatish darajalariga ega ob'ektlarni saqlash imkonini beradi. Bu yangi serverlar, yangilanishlar va geografiyalarga o'tishda zarur.
- Saqlash elastik ravishda kengaytirilishi mumkin, resurslar talab bo'yicha taqdim etiladi.
- Har bir operatsiya API tomonidan boshqariladi va inson aralashuvisiz avtomatlashtiriladi.
- Dasturiy ta'minot konteynerlarda joylashtirilishi va Kubernetes kabi standart orkestrlash tizimlaridan foydalanishi mumkin.
S3 mos keladi
Amazon S3 API ob'ektni saqlash uchun amalda standart hisoblanadi. Har bir ob'ektni saqlash dasturiy ta'minoti sotuvchisi u bilan mosligini da'vo qiladi. S3 bilan moslik ikkilikdir: yoki u to'liq amalga oshiriladi yoki yo'q.
Amalda, ob'ektni saqlashdan foydalanganda nimadir noto'g'ri bo'lgan yuzlab yoki minglab chekka stsenariylar mavjud. Ayniqsa, xususiy dasturiy ta'minot va xizmatlar provayderlaridan. Uning asosiy foydalanish holatlari to'g'ridan-to'g'ri arxivlash yoki zaxiralashdir, shuning uchun APIni chaqirish uchun bir nechta sabablar mavjud, foydalanish holatlari bir hil.
Ochiq kodli dasturiy ta'minot muhim afzalliklarga ega. Ilovalar, operatsion tizimlar va apparat arxitekturasining hajmi va xilma-xilligini hisobga olgan holda, u eng chekka stsenariylarni qamrab oladi.
Bularning barchasi dastur ishlab chiquvchilari uchun muhim, shuning uchun dasturni saqlash provayderlari bilan sinab ko'rishga arziydi. Ochiq manba jarayonni osonlashtiradi β ilovangiz uchun qaysi platforma toβgβri ekanligini tushunish osonroq. Provayderdan saqlashga yagona kirish nuqtasi sifatida foydalanish mumkin, ya'ni u sizning ehtiyojlaringizni qondiradi.
Ochiq manba degani: ilovalar sotuvchiga bog'lanmagan va shaffofroq. Bu dasturning uzoq umr aylanishini ta'minlaydi.
Va ochiq manba va S3 haqida yana bir nechta eslatma.
Agar siz katta maΚΌlumotlar dasturini ishlatayotgan boΚ»lsangiz, S3 SELECT unumdorlik va samaradorlikni kattalik darajasiga koΚ»ra yaxshilaydi. Buni saqlashdan faqat kerakli ob'ektlarni olish uchun SQL yordamida amalga oshiradi.
Asosiy nuqta paqir bildirishnomalarini qo'llab-quvvatlashdir. Paqir bildirishnomalari xizmat sifatida taqdim etiladigan har qanday mikroservis arxitekturasining muhim komponenti bo'lgan serversiz hisoblashni osonlashtiradi. Ob'ektni saqlash samarali bulutli saqlash ekanligini hisobga olsak, ob'ektni saqlash bulutga asoslangan ilovalar tomonidan foydalanilganda bu imkoniyat juda muhim bo'ladi.
Va nihoyat, S3 ilovasi Amazon S3 server tomonidagi shifrlash API-larini qo'llab-quvvatlashi kerak: SSE-C, SSE-S3, SSE-KMS. Bundan ham yaxshiroq, S3 haqiqatan ham xavfsiz bo'lgan buzishdan himoya qilishni qo'llab-quvvatlaydi.
Muvaffaqiyatsizliklarga javob
Ko'pincha e'tibordan chetda qoladigan ko'rsatkich bu tizimning nosozliklarni qanday hal qilishidir. Muvaffaqiyatsizliklar turli sabablarga ko'ra yuzaga keladi va ob'ektni saqlash ularning barchasini hal qilishi kerak.
Misol uchun, bitta muvaffaqiyatsizlik nuqtasi bor, bu ko'rsatkich nolga teng.
Afsuski, ko'pgina ob'ektlarni saqlash tizimlari klasterning to'g'ri ishlashi uchun yoqilgan bo'lishi kerak bo'lgan maxsus tugunlardan foydalanadi. Bularga nom tugunlari yoki metadata serverlari kiradi - bu bitta nosozlik nuqtasini yaratadi.
Hatto bir nechta muvaffaqiyatsizlik nuqtalari mavjud bo'lsa ham, halokatli muvaffaqiyatsizlikka dosh berish qobiliyati eng muhim hisoblanadi. Disklar muvaffaqiyatsiz, serverlar muvaffaqiyatsiz. Asosiysi, nosozlikni normal holat sifatida hal qilish uchun mo'ljallangan dasturiy ta'minotni yaratish. Agar disk yoki tugun ishlamay qolsa, bunday dastur o'zgarishsiz ishlashda davom etadi.
Ma'lumotlarni o'chirish va ma'lumotlarning yomonlashishiga qarshi o'rnatilgan himoya sizning paritet bloklaringiz bo'lsa, shuncha disk yoki tugunni yo'qotishingizni ta'minlaydi - odatda disklarning yarmi. Shundagina dasturiy ta'minot ma'lumotlarni qaytara olmaydi.
Nosozlik yuk ostida kamdan-kam hollarda sinovdan o'tkaziladi, ammo bunday sinov talab qilinadi. Yukdagi nosozlikni taqlid qilish nosozlikdan keyin qilingan umumiy xarajatlarni ko'rsatadi.
Muvofiqlik
100% muvofiqlik balli qat'iy izchillik deb ham ataladi. Mustahkamlik har qanday saqlash tizimining asosiy komponentidir, ammo kuchli mustahkamlik kamdan-kam uchraydi. Misol uchun, Amazon S3 ListObject qat'iy izchil emas, u faqat oxirida izchil bo'ladi.
Qattiq izchillik deganda nima tushuniladi? Tasdiqlangan PUT operatsiyasidan keyingi barcha operatsiyalar uchun quyidagilar amalga oshirilishi kerak:
- Yangilangan qiymat har qanday tugundan o'qiyotganda ko'rinadi.
- Yangilash tugunning ishdan chiqishidan himoyalangan.
Bu shuni anglatadiki, agar siz yozuvning o'rtasida vilkadan tortsangiz, hech narsa yo'qolmaydi. Tizim hech qachon buzilgan yoki eskirgan ma'lumotlarni qaytarmaydi. Bu tranzaksiya ilovalaridan tortib zaxira va tiklashgacha bo'lgan ko'plab stsenariylarda muhim bo'lgan yuqori bar.
xulosa
Bular bugungi tashkilotlarda foydalanish modellarini aks ettiruvchi yangi ob'ektni saqlash ko'rsatkichlari bo'lib, unumdorlik, izchillik, miqyoslilik, nosozlik domenlari va S3 muvofiqligi bulutli ilovalar va katta ma'lumotlar tahlili uchun qurilish bloklari hisoblanadi. Men zamonaviy ma'lumotlar stacklarini qurishda narxga qo'shimcha ravishda ushbu ro'yxatdan foydalanishni tavsiya qilaman.
Mail.ru Cloud Solutions ob'ektlarini saqlash haqida: .
Yana nimani o'qish kerak:
- .
- .
- .
Manba: www.habr.com