Dünya 1996-cı ildə obyektin saxlanmasının ilk prototipini gördü. 10 ildən sonra Amazon Web Services Amazon S3-ü işə salacaq və dünya düz ünvan məkanı ilə sistematik şəkildə çılğınlaşmağa başlayacaq. Metaməlumatlarla işləmək və onun yük altında əyilmədən miqyaslaşdırmaq qabiliyyəti sayəsində obyektin saxlanması tez bir zamanda əksər bulud məlumat saxlama xidmətləri üçün standarta çevrildi, nəinki bu. Digər mühüm xüsusiyyət odur ki, o, arxivləri və nadir hallarda istifadə olunan oxşar faylları saxlamaq üçün çox uyğundur. Məlumatların saxlanması ilə məşğul olan hər kəs sevindi və yeni texnologiyanı qucaqladı.
Ancaq insanların şayiələri obyektlərin saxlanmasının yalnız böyük buludlarla əlaqəli olduğu barədə şayiələrlə dolu idi və lənətlənmiş kapitalistlərin həllərinə ehtiyacınız yoxdursa, onda özünüzü yaratmaq çox çətin olacaq. Öz buludunuzu yerləşdirmək haqqında artıq çox şey yazılıb, lakin S3-ə uyğun həllərin yaradılması haqqında kifayət qədər məlumat yoxdur.
Buna görə də, bu gün biz hansı variantların olduğunu anlayacağıq "Belə ki, CEPH və daha böyük bir fayl deyil, böyüklər kimi olsun" və onlardan birini yerləşdirəcəyik və Veeam Backup & Replication istifadə edərək hər şeyin işlədiyini yoxlayacağıq. O, S3-ə uyğun yaddaşlarla işləməyi dəstəklədiyini iddia edir və biz bu iddianı sınaqdan keçirəcəyik.
Bəs başqaları?
Mən bazar və obyekt saxlama variantlarına kiçik bir baxışla başlamağı təklif edirəm. Ümumi tanınan lider və standart Amazon S3-dir. Ən yaxın iki təqibçi Microsoft Azure Blob Storage və IBM Cloud Object Storage-dir.
Hamısı budur? Həqiqətən başqa rəqiblər yoxdur? Əlbəttə ki, rəqiblər var, lakin bəziləri Google Cloud və ya Oracle Cloud Object Storage kimi S3 API üçün natamam dəstəklə öz yolu ilə gedirlər. Bəziləri Baidu Cloud kimi API-nin köhnə versiyalarından istifadə edir. Bəziləri, Hitachi Cloud kimi, xüsusi məntiq tələb edir ki, bu da şübhəsiz ki, öz çətinliklərinə səbəb olacaq. Hər halda, hamı Amazon ilə müqayisə edilir, bu da sənaye standartı sayıla bilər.
Ancaq yerli həllərdə daha çox seçim var, ona görə də bizim üçün vacib olan meyarları qeyd edək. Prinsipcə, yalnız ikisi kifayətdir: S3 API dəstəyi və v4 imzalanmasının istifadəsi. Əlbətdə ki, biz, gələcək müştəri olaraq, yalnız qarşılıqlı əlaqə üçün interfeyslərlə maraqlanırıq və saxlama obyektinin daxili mətbəxi ilə o qədər də maraqlanmırıq.
Bir çox həll yolu bu sadə şərtlərə uyğun gəlir. Məsələn, klassik korporativ ağır çəkilər:
- DellEMC ECS
- NetApp S3 StorageGrid
- Nutanix vedrələri
- Təmiz Saxlama FlashBlade və StorReduce
- Huawei FusionStorage
Qutudan çıxan sırf proqram həlləri yuvası var:
- Red Hat Ceph
- SUSE Enterprise Storage
- buludlu
Hətta montajdan sonra diqqətlə sənədləşdirməyi sevənlər də incimədilər:
- CEPH ən təmiz formada
- Minio (Linux versiyası, çünki Windows versiyası ilə bağlı çoxlu suallar var)
Siyahı tam deyil, şərhlərdə müzakirə edilə bilər. Tətbiq etməzdən əvvəl API uyğunluğuna əlavə olaraq sistemin performansını yoxlamağı unutmayın. İstədiyiniz son şey, ilişib qalmış sorğular səbəbindən terabaytlarla məlumat itirməkdir. Beləliklə, yük testləri ilə utancaq olmayın. Ümumiyyətlə, böyük miqdarda məlumatlarla işləyən bütün böyüklər üçün proqramlar ən azı uyğunluq hesabatlarına malikdir. halda Veeam yoxdur məhsullarımızın xüsusi avadanlıqla tam uyğunluğunu inamla bəyan etməyə imkan verən qarşılıqlı sınaq haqqında. Bu, artıq ikitərəfli işdir, həmişə sürətli deyil, lakin biz daim genişlənirik sınaqdan keçirilmiş həllər.
Stendimizin yığılması
Mən bir az test mövzusu seçmək haqqında danışmaq istərdim.
Əvvəlcə qutudan dərhal işləyəcək bir seçim tapmaq istədim. Yaxşı, ya da heç olmasa, lazımsız hərəkətlər etmədən işləyəcəyi maksimum ehtimalı ilə. Dəflə rəqs etmək və gecələr konsolla işləmək çox həyəcanlıdır, amma bəzən onun dərhal işləməsini istəyirsən. Və bu cür həllərin ümumi etibarlılığı adətən daha yüksəkdir. Və bəli, macəra ruhu bizdə yox oldu, sevdiyimiz qadınların pəncərələrinə dırmaşmağı dayandırdıq və s.(c).
İkincisi, düzünü desəm, obyektin saxlanması ilə işləmək zərurəti kifayət qədər böyük şirkətlərdə yaranır, buna görə də müəssisə səviyyəsində həllər axtararkən bu, nəinki utancverici deyil, hətta təşviq olunur. Hər halda, bu cür həllərin alınmasına görə kiminsə işdən çıxarılmasına dair heç bir nümunə bilmirəm.
Yuxarıda göstərilənlərin hamısına əsaslanaraq seçimim üzərinə düşdü Dell EMC ECS Community Edition. Bu, çox maraqlı layihədir və bu barədə sizə məlumat verməyi zəruri hesab edirəm.
Əlavəni görəndə ağlınıza gələn ilk şey Cəmiyyət Edition - bu, lisenziya almaqla aradan qaldırılan bəzi məhdudiyyətləri olan tam hüquqlu ECS-nin sadəcə bir nüsxəsidir. Deməli, yox!
Unutma:
!!!Community Edition sınaq üçün yaradılmış ayrıca layihədir və Dell-in texniki dəstəyi olmadan!!
Həqiqətən istəsəniz də, tam hüquqlu bir ECS-yə çevrilə bilməz.
Gəlin anlayaq
Bir çox insanlar obyektin saxlanmasına ehtiyacınız varsa Dell EMC ECS-nin demək olar ki, ən yaxşı həll yolu olduğuna inanırlar. ECS brendi altında bütün layihələr, o cümlədən kommersiya və korporativ layihələrə əsaslanır . Dell-dən bir növ xoşməramlı jest. Onların markalı avadanlıqlarında işləyən proqram təminatına əlavə olaraq, buludda, virtual maşında, konteynerdə və ya hər hansı öz aparatınızda yerləşdirilə bilən açıq mənbə versiyası var. İrəliyə baxsaq, hətta istifadə edəcəyimiz OVA versiyası da var.
DELL ECS Community Edition özü markalı Dell EMC ECS serverlərində işləyən tam hüquqlu proqram təminatının mini-versiyasıdır.
Dörd əsas fərqi müəyyən etdim:
- Şifrələmə dəstəyi yoxdur. Ayıbdır, amma kritik deyil.
- Parça qatı yoxdur. Bu şey klasterlərin qurulması, resursların idarə edilməsi, yeniləmələr, Docker şəkillərinin monitorinqi və saxlanması üçün cavabdehdir. Bu, artıq çox təhqiramizdir, lakin Dell də başa düşülə bilər.
- Əvvəlki nöqtənin ən iyrənc nəticəsi: quraşdırma tamamlandıqdan sonra node ölçüsü genişləndirilə bilməz.
- Texniki dəstək yoxdur. Bu, kiçik qurğularda istifadə edilməsi qadağan olunmayan sınaq üçün bir məhsuldur, lakin mən şəxsən orada petabaytlarla vacib məlumatları yükləməyə cəsarət etməzdim. Ancaq texniki cəhətdən heç kim sizə bunu etməyə mane ola bilməz.
Böyük versiyada nə var?
Ekosistemi daha dolğun başa düşmək üçün bütün Avropanı dolaşaq və dəmirli həll yollarından keçək.
DELL ECS-in ən yaxşı yerli obyekt saxlama yeri olması barədə bəyanatı birtəhər təsdiqləməyəcəyəm və ya təkzib etməyəcəyəm, lakin bu mövzuda deyəcək bir şeyiniz varsa, şərhlərdə oxumaqdan məmnun olaram. Ən azından versiyaya görə Dell EMC inamla OBS bazarının ilk beş lideri arasındadır. Orada bulud əsaslı həllər nəzərə alınmasa da, bu ayrı söhbətdir.
Texniki nöqteyi-nəzərdən ECS bulud saxlama protokollarından istifadə edərək məlumatlara çıxışı təmin edən obyekt anbarıdır. AWS S3 və OpenStack Swift-i dəstəkləyir. Faylın aktiv olduğu kovalar üçün ECS fayldan fayl ixracı üçün NFSv3-ü dəstəkləyir.
Xüsusilə klassik blok saxlama sistemlərindən sonra məlumatların qeydə alınması prosesi olduqca qeyri-adidir.
- Yeni məlumatlar gəldikdə, adı, məlumatın özü və metadata olan yeni bir obyekt yaradılır.
- Obyektlər 128 MB-lıq hissələrə bölünür və hər bir parça eyni anda üç node-a yazılır.
- İdentifikatorların və saxlama yerlərinin qeyd olunduğu indeks faylı yenilənir.
- Günlük faylı (log girişi) yenilənir və həmçinin üç node yazılır.
- Müştəriyə uğurlu qeyd haqqında mesaj göndərilir
Verilənlərin hər üç nüsxəsi paralel olaraq yazılır. Yazı yalnız hər üç nüsxə uğurla yazıldıqda uğurlu sayılır.
Oxumaq daha asandır:
- Müştəri məlumat tələb edir.
- İndeks məlumatların harada saxlandığını axtarır.
- Məlumat bir qovşaqdan oxunur və müştəriyə göndərilir.
Özləri kifayət qədər bir neçə server var, ona görə də ən kiçik Dell EMC ECS EX300-ə baxaq. 60PB-ə qədər böyümək qabiliyyəti ilə 1,5TB-dan başlayır. Və onun böyük qardaşı, Dell EMC ECS EX3000, hər rack üçün 8,6PB qədər saxlamağa imkan verir.
Yerləşdirmək
Texniki cəhətdən, Dell ECS CE istədiyiniz qədər istifadə edilə bilər. Hər halda, heç bir açıq qadağa tapmadım. Bununla belə, bizə lazım olan ilk nodu klonlaşdırmaqla bütün miqyasları etmək rahatdır:
- 8 vCPU
- 64GB RAM
- ƏS üçün 16 GB
- 1TB birbaşa yaddaş
- CentOS minimalın son buraxılışı
Əvvəldən hər şeyi özünüz quraşdırmaq istədiyiniz zaman bu seçimdir. Bu seçim bizim üçün aktual deyil, çünki... Yerləşdirmə üçün OVA şəklini istifadə edəcəyəm.
Ancaq hər halda, tələblər hətta bir node üçün çox pisdir və qanunun məktubuna ciddi əməl etsəniz, onda dörd belə qovşaq lazımdır.
Bununla belə, ECS CE tərtibatçıları real dünyada yaşayırlar və quraşdırma hətta bir qovşaqla da uğurlu olur və minimum tələblər aşağıdakılardır:
- 4 vCPU
- 16 GB RAM
- ƏS üçün 16 GB
- 104 GB yaddaş özü
Bunlar OVA şəklini yerləşdirmək üçün lazım olan resurslardır. Onsuz da daha humanist və realist.
Quraşdırma qovşağının özü rəsmi şəxsdən əldə edilə bilər . Hamısı bir yerdə yerləşdirmə ilə bağlı ətraflı sənədlər də var, ancaq rəsmi sənəddə də oxuya bilərsiniz . Buna görə də, OVA-nın açılması üzərində ətraflı dayanmayacağıq, orada heç bir hiylə yoxdur. Əsas odur ki, işə başlamazdan əvvəl diski lazımi həcmə qədər genişləndirməyi və ya lazım olanları əlavə etməyi unutmayın.
Maşını işə salırıq, konsolu açırıq və ən yaxşı standart etimadnaməsini istifadə edirik:
- giriş: admin
- parol: ChangeMe
Sonra sudo nmtui-ni işə salırıq və şəbəkə interfeysini - IP/maska, DNS və qapını konfiqurasiya edirik. Nəzərə alsaq ki, CentOS minimal-da şəbəkə alətləri yoxdur, biz parametrləri ip adresi vasitəsilə yoxlayırıq.
Dənizləri yalnız cəsurlar fəth etdiyi üçün biz yuma yeniləməsini edirik, bundan sonra yenidən işə başlayırıq. Bu, əslində olduqca təhlükəsizdir, çünki... bütün yerləşdirmə oyun kitabları vasitəsilə həyata keçirilir və bütün vacib doker paketləri cari versiyaya kilidlənir.
İndi quraşdırma skriptini redaktə etmək vaxtıdır. Sizin üçün dəbdəbəli pəncərələr və ya psevdo UI yoxdur - hər şey sevimli mətn redaktorunuz vasitəsilə edilir. Texniki cəhətdən iki yol var: hər bir əmri əl ilə icra edə və ya dərhal videoploy konfiquratorunu işə sala bilərsiniz. Sadəcə olaraq vim-də konfiqurasiyanı açacaq və çıxışdan sonra onu yoxlamağa başlayacaq. Ancaq həyatınızı qəsdən sadələşdirmək maraqlı deyil, ona görə də daha iki əmr yerinə yetirək. Bunun mənasız olmasına baxmayaraq, sizə xəbərdarlıq etdim =)
Beləliklə, gəlin vim ECS-CommunityEdition/deploy.xml edək və optimal minimal dəyişikliklər edək ki, ECS işə düşsün. Parametrlərin siyahısını qısaltmaq olar, amma mən bunu belə etdim:
- lisenziyalı_qəbul edildi: doğru Siz onu dəyişdirmək məcburiyyətində deyilsiniz, sonra yerləşdirərkən sizdən onu qəbul etməyiniz açıq şəkildə tələb olunacaq və gözəl ifadə göstəriləcək. Bəlkə də bu Pasxa yumurtasıdır.
- Avtomatik adlar sətirlərini şərhdən çıxarın: və xüsusi: Node üçün ən azı bir istədiyiniz adı daxil edin - quraşdırma prosesi zamanı host adı onunla əvəz olunacaq.
- install_node: 192.168.1.1 Düyünün həqiqi IP-sini göstərin. Bizim vəziyyətimizdə nmtui ilə eyni şeyi göstəririk
- dns_domain: domeninizi daxil edin.
- dns_servers: dns-nizi daxil edin.
- ntp_servers: hər hansı birini təyin edə bilərsiniz. Hovuzdan ilk rastlaşdığımı götürdüm 0.pool.ntp.org (91.216.168.42 oldu)
- autonaming: custom Əgər şərhi ləğv etməsəniz, ay Luna adlanacaq.
- ecs_block_devices:
/ dev / sdb
Bəzi naməlum səbəblərə görə, mövcud olmayan blok saxlama cihazı /dev/vda ola bilər - saxlama_hovuzları:
üzvləri:
192.168.1.1 Burada yenə qovşağın həqiqi İP-ni göstəririk - ecs_block_devices:
/dev/sdb Mövcud olmayan cihazların kəsilməsi əməliyyatını təkrar edirik.
Ümumiyyətlə, bütün fayl çox ətraflı təsvir edilmişdir , amma belə sıxıntılı zamanda kim oxuyacaq. Həm də deyir ki, minimum IP və maskanın təyin edilməsi kifayətdir, lakin mənim laboratoriyamda belə bir dəst kifayət qədər zəif başladı və mən onu yuxarıda göstərilənə qədər genişləndirməli oldum.
Redaktordan çıxdıqdan sonra update_deploy /home/admin/ECS-CommunityEdition/deploy.yml proqramını işə salmalısınız və hər şey düzgün aparılarsa, bu barədə açıq şəkildə məlumat veriləcək.
Sonra hələ də videoploy-u işə salmalı, mühitin yenilənməsini gözləməlisiniz və quraşdırmanın özünü ova-step1 əmri ilə, uğurla başa çatdıqdan sonra isə ova-step2 əmri ilə başlaya bilərsiniz. Əhəmiyyətli: skriptləri əl ilə dayandırmayın! Bəzi addımlar xeyli vaxt apara bilər, ilk cəhddə tamamlanmaya bilər və hər şey pozulmuş kimi görünə bilər. Hər halda, skriptin təbii şəkildə tamamlanmasını gözləmək lazımdır. Sonda buna bənzər bir mesaj görməlisiniz.
İndi nəhayət bildiyimiz IP-dən istifadə edərək WebUI idarəetmə panelini aça bilərik. Konfiqurasiya mərhələdə dəyişdirilməyibsə, standart hesab root/ChangeMe olacaq. Siz hətta S3-ə uyğun yaddaşımızdan dərhal istifadə edə bilərsiniz. HTTP üçün 9020 və HTTPS üçün 9021 portlarında mövcuddur. Yenə heç nə dəyişməyibsə, o zaman access_key: object_admin1 və secret_key: ChangeMeChangeMeChangeMeChangeMeChangeMe.
Ancaq gəlin, özümüzdən çox da qabağa getməyək və qaydada başlayaq.
İlk dəfə daxil olduğunuz zaman parolunuzu adekvat parola dəyişmək məcburiyyətində qalacaqsınız, bu tamamilə düzgündür. Əsas alətlər paneli çox aydındır, ona görə də gəlin aşkar ölçüləri izah etməkdən daha maraqlı bir şey edək. Məsələn, yaddaşa daxil olmaq üçün istifadə edəcəyimiz bir istifadəçi yaradaq. Xidmət təminatçıları dünyasında bunlara kirayəçilər deyilir. Bu, İdarəetmə > İstifadəçilər > Yeni Obyekt İstifadəçisində edilir
İstifadəçi yaratarkən bizdən ad sahəsini təyin etməyimiz xahiş olunur. Texniki cəhətdən heç nə bizə istifadəçilərin sayı qədər onları yaratmağa mane olmur. Və əksinə. Bu, hər bir kirayəçi üçün resursları müstəqil idarə etməyə imkan verir.
Müvafiq olaraq, biz lazım olan funksiyaları seçirik və istifadəçi açarlarını yaradırıq. S3/Atmos mənim üçün kifayət edəcək. Və açarı yadda saxlamağı unutmayın 😉
İstifadəçi yaradıldı, indi ona bir vedrə ayırmağın vaxtı gəldi. İdarə et > Kodlara gedin və tələb olunan sahələri doldurun. Burada hər şey sadədir.
İndi S3 yaddaşımızdan tam döyüş istifadəsi üçün hər şeyə hazırıq.
Veeam qurulur
Beləliklə, xatırladığımız kimi, obyektin saxlanmasının əsas istifadələrindən biri nadir hallarda əldə edilən məlumatların uzunmüddətli saxlanmasıdır. İdeal bir nümunə, ehtiyat nüsxələri uzaq bir saytda saxlamaq ehtiyacıdır. Veeam Backup & Replication-da bu xüsusiyyət Capacity Tier adlanır.
Dell ECS CE-ni Veeam interfeysinə əlavə etməklə qurmağa başlayaq. Ehtiyat İnfrastruktur sekmesinde, Yeni Repozitoriya Əlavə etmək Sihirbazını işə salın və Obyekt Yaddaşını seçin.
Gəlin hər şeyin nə üçün başladığını seçək - S3 Compatible.
Görünən pəncərədə istədiyiniz adı yazın və Hesab addımına keçin. Burada formada Xidmət nöqtəsini göstərməlisiniz , bölgə olduğu kimi buraxıla bilər və yaradılmış istifadəçi əlavə edilə bilər. Yaddaşınız uzaq bir saytda yerləşirsə, qapı serveri lazımdır, lakin bu, artıq infrastrukturun optimallaşdırılması üçün bir mövzu və ayrıca məqalədir, ona görə də burada təhlükəsiz şəkildə keçə bilərsiniz.
Hər şey düzgün göstərilib və konfiqurasiya edilibsə, sertifikat haqqında xəbərdarlıq və sonra fayllarımız üçün bir qovluq yarada biləcəyiniz bir çömçə ilə bir pəncərə görünəcək.
Biz sehrbazdan sona qədər keçirik və nəticədən həzz alırıq.
Növbəti addım ya yeni Ölçülü Yedek Repozitoriya yaratmaqdır, ya da S3-ü mövcud birinə əlavə etməkdir - o, arxiv saxlama üçün Tutum səviyyəsi kimi istifadə olunacaq. Cari buraxılışda adi repozitor kimi birbaşa S3-ə uyğun yaddaşdan istifadə etmək funksiyası yoxdur. Bunun baş verməsi üçün həddən artıq aydın olmayan problemləri həll etmək lazımdır, lakin hər şey mümkündür.
Repozitor parametrlərinə keçin və Tutum səviyyəsini aktivləşdirin. Orada hər şey şəffafdır, lakin maraqlı bir nüans var: bütün məlumatların mümkün qədər tez obyekt yaddaşına göndərilməsini istəyirsinizsə, onu 0 günə təyin edin.
Sehrbazdan keçdikdən sonra, gözləmək istəmirsinizsə, repozitoriyada ctrl+RMB düymələrini sıxıb, Tiering işini zorla işə sala və qrafiklərin taramasına baxa bilərsiniz.
Hələlik bu qədər. Düşünürəm ki, blok yaddaşının insanların düşündüyü qədər qorxulu olmadığını göstərmək tapşırığına müvəffəq oldum. Bəli, vaqon və kiçik bir araba üçün həllər və seçimlər var, ancaq bir məqalədə hər şeyi əhatə edə bilməzsiniz. Beləliklə, təcrübəmizi şərhlərdə paylaşaq.
Mənbə: www.habr.com