Dunyo ob'ektni saqlashning birinchi prototipini 1996 yilda ko'rdi. 10 yil ichida Amazon Web Services Amazon S3-ni ishga tushiradi va dunyo muntazam ravishda tekis manzil maydoni bilan aqldan ozishni boshlaydi. Meta-ma'lumotlar bilan ishlash va uning yuk ostida pasaymasdan o'lchash qobiliyati tufayli ob'ektni saqlash tezda bulutli ma'lumotlarni saqlash xizmatlarining ko'pchiligi uchun standartga aylandi va bu nafaqat. Yana bir muhim xususiyat shundaki, u arxivlar va shunga o'xshash kamdan-kam ishlatiladigan fayllarni saqlash uchun juda mos keladi. Ma'lumotlarni saqlash bilan shug'ullanadigan har bir kishi xursand bo'ldi va yangi texnologiyani qo'llarida kiyib oldi.
Ammo odamlarning mish-mishlari ob'ektni saqlash faqat katta bulutlar haqida mish-mishlarga to'la edi va agar sizga la'nati kapitalistlarning echimlari kerak bo'lmasa, unda o'zingizniki qilish juda qiyin bo'ladi. O'z bulutingizni joylashtirish haqida allaqachon ko'p narsa yozilgan, ammo S3-mos keladigan echimlarni yaratish haqida etarli ma'lumot yo'q.
Shuning uchun, bugun biz βBu CEPH va kattaroq fayl emas, balki kattalar kabi boΚ»lishi uchunβ qanday variantlar borligini aniqlaymiz, ulardan birini oΚ»rnatamiz va Veeam Backup & Replication yordamida hammasi ishlayotganini tekshiramiz. U S3-mos xotiralar bilan ishlashni qo'llab-quvvatlashini da'vo qilmoqda va biz bu da'voni sinab ko'ramiz.
Boshqalar-chi?
Men bozor va ob'ektni saqlash imkoniyatlarining kichik ko'rinishidan boshlashni taklif qilaman. Umumiy tan olingan yetakchi va standart Amazon S3 hisoblanadi. Ikkita eng yaqin ta'qibchilar Microsoft Azure Blob Storage va IBM Cloud Object Storage hisoblanadi.
Hammasi shumi? Haqiqatan ham boshqa raqobatchilar yo'qmi? Albatta, raqobatchilar bor, lekin ba'zilari Google Cloud yoki Oracle Cloud Object Storage kabi S3 API uchun to'liq qo'llab-quvvatlanmagan holda o'z yo'lidan boradi. Ba'zilar Baidu Cloud kabi APIning eski versiyalaridan foydalanadilar. Va ba'zilari, masalan, Hitachi Cloud, maxsus mantiqni talab qiladi, bu albatta o'z qiyinchiliklarini keltirib chiqaradi. Har holda, hamma Amazon bilan taqqoslanadi, uni sanoat standarti deb hisoblash mumkin.
Ammo mahalliy echimlarda ko'proq tanlov mavjud, shuning uchun biz uchun muhim bo'lgan mezonlarni sanab o'tamiz. Asosan, faqat ikkitasi etarli: S3 API-ni qo'llab-quvvatlash va v4 imzolashdan foydalanish. Ishonch bilan aytganda, biz, bo'lajak mijoz sifatida, faqat o'zaro ta'sir qilish interfeyslari bilan qiziqamiz va bizni saqlash joyining ichki oshxonasi unchalik qiziqtirmaydi.
Ko'pgina echimlar ushbu oddiy shartlarga mos keladi. Masalan, klassik korporativ og'ir vazn toifalari:
- DellEMC ECS
- NetApp S3 StorageGrid
- Nutanix chelaklari
- Sof saqlash FlashBlade va StorReduce
- Huawei FusionStorage
Qutidan tashqarida ishlaydigan sof dasturiy echimlar mavjud:
- Red Hat Ceph
- SUSE Enterprise Storage
- Bulutli
Va hatto yig'ilgandan keyin ehtiyotkorlik bilan topshirishni yaxshi ko'radiganlar ham xafa bo'lishmadi:
- CEPH eng sof shaklda
- Minio (Linux versiyasi, chunki Windows versiyasi haqida ko'p savollar mavjud)
Ro'yxat to'liq emas, uni sharhlarda muhokama qilish mumkin. Amalga oshirishdan oldin API muvofiqligiga qo'shimcha ravishda tizim ish faoliyatini tekshirishni unutmang. Siz xohlagan oxirgi narsa - so'rovlar tiqilib qolganligi sababli terabaytlar ma'lumotlarini yo'qotishdir. Shunday qilib, yuk sinovlari bilan uyalmang. Umuman olganda, katta hajmdagi ma'lumotlar bilan ishlaydigan barcha kattalar dasturiy ta'minoti kamida muvofiqlik hisobotlariga ega. bo'lsa Veeam bo'ladi o'zaro sinovlar bo'yicha, bu bizga mahsulotimizning aniq uskunalar bilan to'liq muvofiqligini ishonch bilan e'lon qilish imkonini beradi. Bu allaqachon ikki tomonlama ish, har doim ham tez emas, lekin biz doimo kengaymoqdamiz sinovdan o'tgan yechimlar.
Stendimizni yig'ish
Men test mavzusini tanlash haqida bir oz gaplashmoqchiman.
Birinchidan, men qutidan tashqarida ishlaydigan variantni topmoqchi edim. Xo'sh, yoki hech bo'lmaganda keraksiz harakatlar qilmasdan ishlashi mumkin bo'lgan maksimal ehtimollik bilan. Daf bilan raqsga tushish va tunda konsol bilan tinkerlik qilish juda hayajonli, lekin ba'zida siz uning darhol ishlashini xohlaysiz. Va bunday echimlarning umumiy ishonchliligi odatda yuqori bo'ladi. Va ha, bizda sarguzasht ruhi yo'qoldi, biz sevimli ayollarimizning derazalariga chiqishni to'xtatdik va hokazo (c).
Ikkinchidan, rostini aytsam, ob'ektlarni saqlash bilan ishlash zarurati juda katta kompaniyalarda paydo bo'ladi, shuning uchun korxona darajasidagi echimlarga murojaat qilish nafaqat uyatli, balki rag'batlantiriladi. Qanday bo'lmasin, men bunday echimlarni sotib olganlik uchun ishdan bo'shatilgan har qanday misolni hali bilmayman.
Yuqoridagilarning barchasiga asoslanib, mening tanlovim to'g'ri keldi Dell EMC ECS Community Edition. Bu juda qiziqarli loyiha va men sizga bu haqda aytib berishni zarur deb bilaman.
Qo'shimchani ko'rganingizda aqlga kelgan birinchi narsa Jamiyat nashrlari - bu litsenziyani sotib olish orqali olib tashlanadigan ba'zi cheklovlarga ega bo'lgan to'liq huquqli ECS nusxasi. Demak, yo'q!
Eslab qoling:
!!!Community Edition - bu sinov uchun yaratilgan alohida loyiha va Dell texnik yordamisiz!!
Va agar siz haqiqatan ham xohlasangiz ham, uni to'liq huquqli ECSga aylantirib bo'lmaydi.
Keling, tushunaylik
Ko'p odamlar, agar sizda ob'ektni saqlash kerak bo'lsa, Dell EMC ECS deyarli eng yaxshi yechim deb hisoblashadi. ECS brendi ostidagi barcha loyihalar, jumladan, tijorat va korporativ loyihalarga asoslanadi . Dellning xayrixohlik harakati. Va ularning markali apparatida ishlaydigan dasturiy ta'minotga qo'shimcha ravishda, bulutda, virtual mashinada, konteynerda yoki o'zingizning har qanday uskunangizda o'rnatilishi mumkin bo'lgan ochiq manba versiyasi mavjud. Oldinga qarab, biz foydalanadigan OVA versiyasi ham mavjud.
DELL ECS Community Edition o'zi markali Dell EMC ECS serverlarida ishlaydigan to'liq huquqli dasturiy ta'minotning mini-versiyasidir.
Men to'rtta asosiy farqni aniqladim:
- Shifrlashni qo'llab-quvvatlamaydi. Bu uyat, lekin tanqidiy emas.
- Mato qatlami yetishmayapti. Bu narsa klasterlarni yaratish, resurslarni boshqarish, yangilanishlar, Docker tasvirlarini kuzatish va saqlash uchun javobgardir. Bu erda u allaqachon juda haqoratli, ammo Dellni ham tushunish mumkin.
- Oldingi nuqtaning eng jirkanch oqibati: o'rnatish tugagandan so'ng tugunning o'lchamini kengaytirib bo'lmaydi.
- Texnik yordam yo'q. Bu kichik o'rnatishlarda foydalanish taqiqlanmagan sinov uchun mahsulot, lekin men shaxsan u erda petabaytlar muhim ma'lumotlarni yuklashga jur'at etolmayman. Ammo texnik jihatdan hech kim sizni buni amalga oshirishga to'sqinlik qila olmaydi.
Katta versiyada nima bor?
Keling, Evropa bo'ylab yugurib chiqaylik va ekotizim haqida to'liqroq tushunchaga ega bo'lish uchun temir bilan qoplangan echimlarni ko'rib chiqaylik.
Men DELL ECS eng yaxshi mahalliy ob'ektlarni saqlash joyi ekanligi haqidagi bayonotni qandaydir tarzda tasdiqlamayman yoki rad etmayman, lekin agar sizda ushbu mavzu bo'yicha aytadigan biror narsangiz bo'lsa, uni sharhlarda o'qishdan xursand bo'laman. Hech bo'lmaganda versiyaga ko'ra Dell EMC ishonchli tarzda OBS bozorining yetakchi beshtaligiga kiradi. U erda bulutga asoslangan echimlar hisobga olinmasa-da, bu alohida suhbat.
Texnik nuqtai nazardan, ECS bulutli saqlash protokollari yordamida ma'lumotlarga kirishni ta'minlaydigan ob'ektni saqlashdir. AWS S3 va OpenStack Swift-ni qo'llab-quvvatlaydi. Fayl bilan ishlaydigan chelaklar uchun ECS faylni faylga eksport qilish uchun NFSv3 ni qo'llab-quvvatlaydi.
Axborotni yozib olish jarayoni, ayniqsa klassik blokli saqlash tizimlaridan keyin juda g'ayrioddiy.
- Yangi ma'lumotlar kelganda nomi, ma'lumotlarning o'zi va metama'lumotlarga ega bo'lgan yangi ob'ekt yaratiladi.
- Ob'ektlar 128 MB bo'laklarga bo'linadi va har bir bo'lak bir vaqtning o'zida uchta tugunga yoziladi.
- Indeks fayli yangilanadi, unda identifikatorlar va saqlash joylari qayd etiladi.
- Jurnal fayli (jurnal yozuvi) yangilanadi va uchta tugunga ham yoziladi.
- Muvaffaqiyatli yozib olish haqida xabar mijozga yuboriladi
Ma'lumotlarning barcha uchta nusxasi parallel ravishda yoziladi. Agar uchta nusxa ham muvaffaqiyatli yozilgan bo'lsa, yozish muvaffaqiyatli hisoblanadi.
O'qish osonroq:
- Mijoz ma'lumotlarni so'raydi.
- Indeks ma'lumotlar saqlanadigan joyni qidiradi.
- Ma'lumotlar bitta tugundan o'qiladi va mijozga yuboriladi.
Bir nechta serverlar mavjud, shuning uchun eng kichik Dell EMC ECS EX300 ni ko'rib chiqaylik. U 60TB dan boshlanadi, 1,5PB gacha o'sishi mumkin. Va uning katta akasi Dell EMC ECS EX3000 har bir javonda 8,6PB saqlash imkonini beradi.
Joylashtirish
Texnik jihatdan, Dell ECS CE siz xohlagan hajmda joylashtirilishi mumkin. Har holda, men hech qanday aniq cheklovlarni topmadim. Biroq, barcha masshtablarni birinchi tugunni klonlash orqali qilish qulay, buning uchun bizga kerak bo'ladi:
- 8 vCPU
- 64GB RAM
- OS uchun 16 GB
- 1TB to'g'ridan-to'g'ri saqlash
- CentOS minimalning so'nggi versiyasi
Bu siz hamma narsani boshidanoq o'zingiz o'rnatmoqchi bo'lganingizda imkoniyatdir. Bu variant bizga tegishli emas, chunki... Men tarqatish uchun OVA tasviridan foydalanaman.
Ammo har qanday holatda, talablar hatto bitta tugun uchun ham juda yomon va agar siz qonunning xatiga qat'iy rioya qilsangiz, unda sizga to'rtta shunday tugun kerak bo'ladi.
Biroq, ECS CE ishlab chiquvchilari haqiqiy dunyoda yashaydilar va o'rnatish bitta tugun bilan ham muvaffaqiyatli bo'ladi va minimal talablar:
- 4 vCPU
- 16 GB RAM
- OS uchun 16 GB
- 104 GB xotiraning o'zi
Bu OVA tasvirini joylashtirish uchun zarur bo'lgan manbalar. Allaqachon ancha insonparvar va realistik.
O'rnatish tugunining o'zi rasmiy shaxsdan olinishi mumkin . Hammasini birda joylashtirish bo'yicha batafsil hujjatlar ham mavjud, ammo siz rasmiyda ham o'qishingiz mumkin . Shuning uchun biz OVA ning ochilishi haqida batafsil to'xtalmaymiz, u erda hech qanday hiyla-nayrang yo'q. Asosiysi, uni boshlashdan oldin diskni kerakli hajmgacha kengaytirishni yoki keraklilarini biriktirishni unutmang.
Biz mashinani ishga tushiramiz, konsolni ochamiz va eng yaxshi standart hisob ma'lumotlaridan foydalanamiz:
- login: admin
- parol: ChangeMe
Keyin biz sudo nmtui-ni ishga tushiramiz va tarmoq interfeysini sozlaymiz - IP/maska, DNS va darvoza. CentOS minimal-da net-tools yo'qligini hisobga olib, biz IP-adr orqali sozlamalarni tekshiramiz.
Va faqat jasurlar dengizlarni zabt etishlari sababli, biz yangilanishni amalga oshiramiz, shundan so'ng biz qayta ishga tushiramiz. Bu aslida juda xavfsiz, chunki ... barcha joylashtirish o'yin kitoblari orqali amalga oshiriladi va barcha muhim docker paketlari joriy versiyaga qulflangan.
Endi o'rnatish skriptini tahrirlash vaqti keldi. Siz uchun ajoyib oynalar yoki psevdo UI yo'q - hamma narsa sevimli matn muharriri orqali amalga oshiriladi. Texnik jihatdan, ikkita yo'l bor: har bir buyruqni qo'lda bajarishingiz yoki darhol videoploy konfiguratorini ishga tushirishingiz mumkin. U shunchaki vim-da konfiguratsiyani ochadi va chiqqandan keyin uni tekshirishni boshlaydi. Ammo hayotingizni ataylab soddalashtirish qiziq emas, shuning uchun yana ikkita buyruqni bajaraylik. Bu mantiqiy bo'lmasa ham, men sizni ogohlantirdim =)
Shunday qilib, keling, vim ECS-CommunityEdition/deploy.xml ni yarataylik va ECS ishlay olishi uchun optimal minimal o'zgarishlarni amalga oshiramiz. Parametrlar ro'yxatini qisqartirish mumkin, lekin men buni shunday qildim:
- litsenziyalangan_qabul qilingan: rost Siz uni o'zgartirishingiz shart emas, keyin tarqatishda sizdan uni qabul qilishingiz so'raladi va yoqimli ibora ko'rsatiladi. Ehtimol, bu hatto Pasxa tuxumidir.
- Avtonomlar qatorlarini izohdan olib tashlang: va moslashtirilgan: tugun uchun kamida bitta kerakli nomni kiriting - o'rnatish jarayonida host nomi u bilan almashtiriladi.
- install_node: 192.168.1.1 Tugunning haqiqiy IP manzilini ko'rsating. Bizning holatda, biz nmtui bilan bir xil narsani ko'rsatamiz
- dns_domain: domeningizni kiriting.
- dns_servers: dns-ni kiriting.
- ntp_servers: istalgan birini belgilashingiz mumkin. Men 0.pool.ntp.org hovuzidan duch kelgan birinchisini oldim (u 91.216.168.42 bo'ldi)
- autonaming: custom Agar izoh qoldirmasangiz, oy Luna deb nomlanadi.
- ecs_block_devices:
/ dev / sdb
Noma'lum sabablarga ko'ra, mavjud bo'lmagan blokli saqlash qurilmasi /dev/vda bo'lishi mumkin - saqlash_hovuzlari:
a'zolari:
192.168.1.1 Bu yerda yana tugunning haqiqiy IP manzilini ko'rsatamiz - ecs_block_devices:
/dev/sdb Biz mavjud bo'lmagan qurilmalarni kesish operatsiyasini takrorlaymiz.
Umuman olganda, butun fayl juda batafsil tavsiflangan , lekin bunday mashaqqatli zamonda uni kim o'qiydi. Bundan tashqari, IP va niqobni ko'rsatish uchun minimal etarli ekanligi aytiladi, ammo mening laboratoriyamda bunday to'plam juda yomon boshlangan va men uni yuqorida ko'rsatilganiga kengaytirishim kerak edi.
Tahrirlovchidan chiqqaningizdan so'ng update_deploy /home/admin/ECS-CommunityEdition/deploy.yml ni ishga tushirishingiz kerak va agar hamma narsa to'g'ri bajarilgan bo'lsa, bu haqda aniq xabar beriladi.
Keyin siz hali ham videoployni ishga tushirishingiz kerak, muhit yangilanishini kutishingiz kerak va siz o'rnatishni o'zi ova-step1 buyrug'i va muvaffaqiyatli tugagandan so'ng ova-step2 buyrug'i bilan boshlashingiz mumkin. Muhim: skriptlarni qo'lda to'xtatmang! Ba'zi qadamlar juda ko'p vaqtni talab qilishi mumkin, birinchi urinishda bajarilmasligi va hamma narsa buzilgandek ko'rinishi mumkin. Qanday bo'lmasin, skript tabiiy ravishda tugashini kutishingiz kerak. Oxirida siz shunga o'xshash xabarni ko'rishingiz kerak.
Endi biz bilgan IP-dan foydalanib, nihoyat WebUI boshqaruv panelini ochishimiz mumkin. Agar konfiguratsiya bosqichda o'zgartirilmagan bo'lsa, standart hisob root/ChangeMe bo'ladi. Siz hatto S3-mos keladigan xotiramizdan darhol foydalanishingiz mumkin. U HTTP uchun 9020 va HTTPS uchun 9021 portlarida mavjud. Shunga qaramay, hech narsa o'zgarmagan bo'lsa, access_key: object_admin1 va secret_key: ChangeMeChangeMeChangeMeChangeMeChangeMe.
Ammo o'zimizdan oldinga bormaylik va tartib bilan boshlaylik.
Birinchi marta tizimga kirganingizda, parolingizni mos keladigan parolga o'zgartirishga majbur bo'lasiz, bu mutlaqo to'g'ri. Asosiy asboblar paneli juda aniq, shuning uchun aniq ko'rsatkichlarni tushuntirishdan ko'ra qiziqroq narsani qilaylik. Masalan, xotiraga kirish uchun foydalanadigan foydalanuvchi yarataylik. Xizmat ko'rsatuvchi provayderlar dunyosida ular ijarachilar deb ataladi. Bu Boshqarish > Foydalanuvchilar > Yangi ob'ekt foydalanuvchisida amalga oshiriladi
Foydalanuvchi yaratishda bizdan nom maydonini ko'rsatish so'raladi. Texnik jihatdan, ulardan qancha foydalanuvchilar borligini yaratishga hech narsa to'sqinlik qilmaydi. Va teskari. Bu har bir ijarachi uchun resurslarni mustaqil ravishda boshqarish imkonini beradi.
Shunga ko'ra, biz kerakli funktsiyalarni tanlaymiz va foydalanuvchi kalitlarini yaratamiz. S3/Atmos men uchun etarli bo'ladi. Va kalitni saqlashni unutmang π
Foydalanuvchi yaratildi, endi unga chelak ajratish vaqti keldi. Boshqarish > Paqir-ga o'ting va kerakli maydonlarni to'ldiring. Bu erda hamma narsa oddiy.
Endi bizda S3 xotiramizdan jangovar foydalanish uchun hamma narsa tayyor.
Veeam o'rnatilmoqda
Shunday qilib, biz eslaganimizdek, ob'ektni saqlashning asosiy qo'llanilishidan biri kamdan-kam foydalaniladigan ma'lumotlarni uzoq muddatli saqlashdir. Ideal misol - uzoq saytdagi zaxira nusxalarini saqlash zarurati. Veeam Backup & Replication-da bu xususiyat Capacity Tier deb ataladi.
Dell ECS CE ni Veeam interfeysiga qoβshish orqali sozlashni boshlaylik. Zaxira infratuzilmasi yorlig'ida Yangi ombor qo'shish ustasini ishga tushiring va Ob'ektni saqlash-ni tanlang.
Keling, barchasi nima uchun boshlanganini tanlaymiz - S3 Compatible.
Ko'rsatilgan oynada kerakli nomni yozing va Hisob bosqichiga o'ting. Bu erda siz formada Xizmat ko'rsatish nuqtasini ko'rsatishingiz kerak , mintaqani avvalgidek qoldirish va yaratilgan foydalanuvchini qo'shish mumkin. Agar sizning xotirangiz uzoq saytda joylashgan bo'lsa, darvoza serveri kerak, ammo bu allaqachon infratuzilmani optimallashtirish mavzusi va alohida maqola, shuning uchun uni bu erda xavfsiz o'tkazib yuborishingiz mumkin.
Har bir narsa to'g'ri ko'rsatilgan va sozlangan bo'lsa, sertifikat haqida ogohlantirish paydo bo'ladi va keyin bizning fayllarimiz uchun papka yaratishingiz mumkin bo'lgan paqirli oyna paydo bo'ladi.
Biz sehrgardan oxirigacha o'tamiz va natijadan zavqlanamiz.
Keyingi qadam yangi masshtabli zaxira omborini yaratish yoki S3-ni mavjudiga qo'shish - u arxivni saqlash uchun sig'im darajasi sifatida ishlatiladi. Joriy versiyada oddiy ombor kabi to'g'ridan-to'g'ri S3-mos xotiradan foydalanish funksiyasi yo'q. Buning uchun juda ko'p noaniq muammolarni hal qilish kerak, ammo hamma narsa mumkin.
Ombor sozlamalariga o'ting va Capacity Tier-ni yoqing. U erda hamma narsa shaffof, ammo qiziqarli nuance bor: agar siz barcha ma'lumotlar ob'ektni saqlashga imkon qadar tezroq yuborilishini istasangiz, uni 0 kunga qo'ying.
Sehrgardan o'tganingizdan so'ng, kutishni istamasangiz, omborda ctrl+RMB tugmalarini bosishingiz, Tiering ishini kuch bilan ishga tushirishingiz va grafiklarni ko'rishni kuzatishingiz mumkin.
Hozircha hammasi shu. O'ylaymanki, men bloklarni saqlash odamlar o'ylagandek qo'rqinchli emasligini ko'rsatish vazifasini uddaladim. Ha, vagon va kichik arava uchun echimlar va variantlar mavjud, ammo siz bir maqolada hamma narsani qamrab olmaysiz. Shunday qilib, keling, sharhlarda tajribamizni baham ko'raylik.
Manba: www.habr.com