Svet videl prvý prototyp ukladania predmetov v roku 1996. O 10 rokov Amazon Web Services spustí Amazon S3 a svet sa začne systematicky zblázniť z plochého adresného priestoru. Vďaka práci s metaúdajmi a ich schopnosti škálovať bez prehýbania sa pri zaťažení sa ukladanie objektov rýchlo stalo štandardom pre väčšinu služieb cloudového ukladania údajov, a nielen to. Ďalšou dôležitou vlastnosťou je, že sa dobre hodí na ukladanie archívov a podobných zriedka používaných súborov. Všetci, ktorí sa podieľali na ukladaní údajov, sa tešili a nosili novú technológiu v náručí.
Ľudové klebety však boli plné fám, že ukladanie predmetov je len o veľkých oblakoch, a ak nepotrebujete riešenia od prekliatych kapitalistov, potom bude veľmi ťažké vytvoriť si vlastné. O nasadení vlastného cloudu sa už popísalo veľa, no nie je k dispozícii dostatok informácií o vytváraní takzvaných riešení kompatibilných s S3.
Preto dnes zistíme, aké možnosti existujú „Aby to bolo ako pre dospelých, nie CEPH a väčší súbor“, jednu z nich nasadíme a skontrolujeme, či všetko funguje pomocou Veeam Backup & Replication. Tvrdí, že podporuje prácu s úložiskami kompatibilnými s S3 a toto tvrdenie budeme testovať.
A čo ostatní?
Navrhujem začať malým prehľadom trhu a možností ukladania objektov. Všeobecne uznávaným lídrom a štandardom je Amazon S3. Dvaja najbližší prenasledovatelia sú Microsoft Azure Blob Storage a IBM Cloud Object Storage.
Je to všetko? Naozaj neexistujú iní konkurenti? Samozrejme, existujú konkurenti, ale niektorí idú vlastnou cestou, ako napríklad Google Cloud alebo Oracle Cloud Object Storage, s neúplnou podporou pre S3 API. Niektoré používajú staršie verzie rozhrania API, napríklad Baidu Cloud. A niektoré, ako napríklad Hitachi Cloud, vyžadujú špeciálnu logiku, ktorá určite spôsobí svoje vlastné ťažkosti. V každom prípade sú všetci porovnávaní s Amazonom, ktorý možno považovať za priemyselný štandard.
Ale v on-premise riešeniach je oveľa väčší výber, preto si načrtnime kritériá, ktoré sú pre nás dôležité. V zásade stačia len dve: podpora S3 API a využitie v4 podpisovania. Ruku na srdce, nás ako budúceho klienta zaujímajú len rozhrania pre interakciu a interná kuchyňa samotného skladu nás až tak nezaujíma.
Mnoho riešení vyhovuje týmto jednoduchým podmienkam. Napríklad klasické korporátne ťažké váhy:
- DellEMC ECS
- NetApp S3 StorageGrid
- Vedrá Nutanix
- Pure Storage FlashBlade a StorReduce
- Úložisko Huawei Fusion
Existuje výklenok čisto softvérových riešení, ktoré fungujú hneď po vybalení:
- Red Hat Ceph
- Podnikové úložisko SUSE
- Cloudian
A neurazili sa ani tí, ktorí radi starostlivo pilujú po montáži:
- CEPH vo svojej najčistejšej forme
- Minio (verzia pre Linux, pretože existuje veľa otázok o verzii systému Windows)
Zoznam nie je ani zďaleka úplný, dá sa o ňom diskutovať v komentároch. Pred implementáciou nezabudnite okrem kompatibility API skontrolovať aj výkon systému. Posledná vec, ktorú chcete, je stratiť terabajty údajov v dôsledku zaseknutých dopytov. Nehanbite sa preto zaťažkávacími testami. Vo všeobecnosti má všetok softvér pre dospelých, ktorý pracuje s veľkým množstvom údajov, aspoň správy o kompatibilite. V prípade Veeam je o vzájomnom testovaní, čo nám umožňuje s istotou deklarovať plnú kompatibilitu našich produktov s konkrétnym vybavením. Toto je už obojstranná práca, nie vždy rýchla, ale neustále sa rozširujeme testované riešenia.
Montáž nášho stánku
Chcel by som sa trochu porozprávať o výbere testovacieho predmetu.
Najprv som chcel nájsť možnosť, ktorá by fungovala hneď po vybalení. No, alebo aspoň s maximálnou pravdepodobnosťou, že to pôjde bez nutnosti robiť zbytočné pohyby. Tanec s tamburínou a hranie sa s konzolou v noci je veľmi vzrušujúce, no niekedy chcete, aby to fungovalo hneď. A celková spoľahlivosť takýchto riešení je zvyčajne vyššia. A áno, vytratil sa v nás duch dobrodružstva, prestali sme liezť do okien našich milovaných žien atď (c).
Po druhé, aby som bol úprimný, potreba pracovať s objektovým úložiskom vzniká v pomerne veľkých spoločnostiach, takže práve toto je prípad, keď hľadanie riešení na podnikovej úrovni nielenže nie je hanebné, ale dokonca sa odporúča. V každom prípade zatiaľ nepoznám žiadne príklady toho, že by bol niekto prepustený za nákup takýchto riešení.
Na základe všetkého vyššie uvedeného padla moja voľba Dell EMC ECS Community Edition. Toto je veľmi zaujímavý projekt a považujem za potrebné vám o ňom povedať.
Prvá vec, ktorá vám napadne, keď uvidíte doplnok Vydanie Spoločenstva - že toto je len kópia plnohodnotného ECS s niektorými obmedzeniami, ktoré sa odstraňujú zakúpením licencie. Takže nie!
pamätať:
!!!Community Edition je samostatný projekt vytvorený na testovanie a bez technickej podpory od spoločnosti Dell!!
A nedá sa z neho spraviť plnohodnotné ECS, aj keby ste veľmi chceli.
Poďme na to
Mnoho ľudí verí, že Dell EMC ECS je takmer najlepším riešením, ak potrebujete úložisko objektov. Všetky projekty pod značkou ECS, vrátane komerčných a korporátnych, vychádzajú z . Akési gesto dobrej vôle od spoločnosti Dell. A okrem softvéru, ktorý beží na ich značkovom hardvéri, existuje aj verzia s otvoreným zdrojom, ktorú možno nasadiť v cloude, na virtuálnom počítači, v kontajneri alebo na akomkoľvek vlastnom hardvéri. Čo sa týka budúcnosti, existuje dokonca verzia OVA, ktorú budeme používať.
Samotná edícia DELL ECS Community Edition je miniverziou plnohodnotného softvéru, ktorý beží na značkových serveroch Dell EMC ECS.
Identifikoval som štyri hlavné rozdiely:
- Žiadna podpora šifrovania. Je to škoda, ale nie kritická.
- Chýba vrstva látky. Táto vec je zodpovedná za vytváranie klastrov, správu zdrojov, aktualizácie, monitorovanie a ukladanie obrazov Docker. Tu je to už veľmi urážlivé, ale Dell sa dá tiež pochopiť.
- Najnechutnejší dôsledok predchádzajúceho bodu: veľkosť uzla sa po dokončení inštalácie nedá rozšíriť.
- Žiadna technická podpora. Ide o produkt na testovanie, ktorý nie je zakázané používať v malých inštaláciách, no osobne by som si tam netrúfol nahrať petabajty dôležitých dát. Ale technicky vám v tom nikto nemôže zabrániť.
Čo je vo veľkej verzii?
Poďme cválať naprieč Európou a prejsť pevnými riešeniami, aby sme lepšie porozumeli ekosystému.
Tvrdenie, že DELL ECS je najlepším on-prem úložiskom objektov, nejako nepotvrdím ani nevyvrátim, ale ak máte čo povedať k tejto téme, rád si to prečítam v komentároch. Aspoň podľa verzie Dell EMC suverénne patrí medzi päť najlepších lídrov na trhu OBS. Aj keď sa tam neberú do úvahy cloudové riešenia, toto je samostatný rozhovor.
Z technického hľadiska je ECS objektové úložisko, ktoré poskytuje prístup k dátam pomocou protokolov cloudového úložiska. Podporuje AWS S3 a OpenStack Swift. Pre skupiny s povoleným súborom podporuje ECS NFSv3 na export po súboroch.
Proces zaznamenávania informácií je pomerne neobvyklý, najmä po klasických blokových úložných systémoch.
- Keď prídu nové údaje, vytvorí sa nový objekt, ktorý má názov, samotné údaje a metadáta.
- Objekty sú rozdelené do 128 MB blokov a každý blok je zapísaný do troch uzlov naraz.
- Aktualizuje sa indexový súbor, kde sú zaznamenané identifikátory a miesta uloženia.
- Súbor denníka (záznam denníka) sa aktualizuje a tiež zapisuje do troch uzlov.
- Klientovi sa odošle správa o úspešnom nahrávaní
Všetky tri kópie údajov sa zapisujú paralelne. Zápis sa považuje za úspešný, iba ak boli úspešne napísané všetky tri kópie.
Čítanie je jednoduchšie:
- Klient požaduje údaje.
- Index hľadá, kde sú dáta uložené.
- Dáta sa čítajú z jedného uzla a odosielajú sa klientovi.
Samotných serverov je pomerne málo, tak sa pozrime na najmenší Dell EMC ECS EX300. Začína od 60 TB s možnosťou narásť až na 1,5 PB. A jeho starší brat, Dell EMC ECS EX3000, vám umožňuje uložiť až 8,6 PB na stojan.
Nasadiť
Technicky môže byť Dell ECS CE nasadený ako veľký. V každom prípade som nenašiel žiadne výslovné obmedzenia. Je však vhodné urobiť všetko škálovanie klonovaním úplne prvého uzla, pre ktorý potrebujeme:
- 8 vCPU
- RAM 64GB
- 16 GB pre OS
- 1TB priame úložisko
- Najnovšie vydanie CentOS minimal
Toto je možnosť, keď chcete všetko nainštalovať sami od úplného začiatku. Táto možnosť nie je pre nás relevantná, pretože... Na nasadenie použijem obrázok OVA.
Ale v každom prípade, požiadavky sú veľmi zlé aj na jeden uzol a ak budete striktne dodržiavať literu zákona, potrebujete štyri takéto uzly.
Vývojári ECS CE však žijú v reálnom svete a inštalácia je úspešná aj s jedným uzlom a minimálne požiadavky sú:
- 4 vCPU
- 16 GB RAM
- 16 GB pre OS
- Samotné úložisko 104 GB
Toto sú zdroje potrebné na nasadenie obrazu OVA. Už oveľa ľudskejšie a realistickejšie.
Samotný inštalačný uzol je možné získať od úradníka . K dispozícii je aj podrobná dokumentácia o nasadení all-in-one, ale môžete si ju prečítať aj na oficiálnom . Nebudeme sa preto podrobne zaoberať rozložením OVA, neexistujú žiadne triky. Hlavná vec je, že pred spustením nezabudnite buď rozšíriť disk na požadovaný zväzok, alebo pripojiť potrebné.
Spustíme stroj, otvoríme konzolu a použijeme najlepšie predvolené poverenia:
- prihlásenie: admin
- heslo: ChangeMe
Potom spustíme sudo nmtui a nakonfigurujeme sieťové rozhranie – IP/masku, DNS a bránu. Vzhľadom na to, že CentOS minimal nemá sieťové nástroje, kontrolujeme nastavenia cez ip addr.
A keďže moria dobývajú iba odvážni, urobíme yum update, po ktorom reštartujeme. V skutočnosti je to celkom bezpečné, pretože... celé nasadenie sa vykonáva prostredníctvom príručiek a všetky dôležité balíky dockerov sú uzamknuté na aktuálnu verziu.
Teraz je čas upraviť inštalačný skript. Žiadne ozdobné okná alebo pseudo UI pre vás – všetko sa deje prostredníctvom vášho obľúbeného textového editora. Technicky existujú dva spôsoby: každý príkaz môžete spustiť manuálne alebo okamžite spustiť konfigurátor videoploy. Jednoducho otvorí konfiguráciu vo vim a po ukončení ju začne kontrolovať. Ale nie je zaujímavé zámerne zjednodušiť svoj život, takže poďme spustiť ďalšie dva príkazy. Aj keď to nedáva zmysel, varoval som ťa =)
Takže urobme vim ECS-CommunityEdition/deploy.xml a urobme optimálne minimálne zmeny, aby ECS bolo v prevádzke. Zoznam parametrov sa dá skrátiť, ale urobil som to takto:
- licensed_accepted: true Nemusíte to meniť, potom budete pri nasadzovaní výslovne vyzvaní, aby ste to prijali a zobrazí sa vám pekná fráza. Možno je to dokonca veľkonočné vajíčko.
- Odkomentujte riadky autonames: a custom: Zadajte aspoň jeden požadovaný názov pre uzol – názov hostiteľa sa ním nahradí počas procesu inštalácie.
- install_node: 192.168.1.1 Zadajte skutočnú IP adresu uzla. V našom prípade označujeme to isté ako v nmtui
- dns_domain: zadajte svoju doménu.
- dns_servers: zadajte svoje DNS.
- ntp_servers: môžete zadať ľubovoľný. Vzal som prvý, na ktorý som narazil, z bazéna 0.pool.ntp.org (stal sa 91.216.168.42)
- autonaming: custom Ak komentár nezrušíte, mesiac sa bude volať Luna.
- ecs_block_devices:
/ Dev / sdb
Z nejakého neznámeho dôvodu môže existovať neexistujúce blokové úložné zariadenie /dev/vda - storage_pools:
užívatelia:
192.168.1.1 Tu opäť uvádzame skutočnú IP uzla - ecs_block_devices:
/dev/sdb Zopakujeme operáciu vystrihnutia neexistujúcich zariadení.
Vo všeobecnosti je celý súbor veľmi podrobne opísaný v , ale kto to bude čítať v takom nepokojnom čase. Tiež hovorí, že minimum stačí zadať IP a masku, ale v mojom laboratóriu sa takáto zostava rozbehla dosť zle a musel som ju rozšíriť na vyššie uvedenú.
Po ukončení editora je potrebné spustiť update_deploy /home/admin/ECS-CommunityEdition/deploy.yml, a ak je všetko vykonané správne, bude to výslovne oznámené.
Potom ešte treba spustiť videoploy, počkať na aktualizáciu prostredia a samotnú inštaláciu spustíte príkazom ova-step1 a po jej úspešnom dokončení príkazom ova-step2. Dôležité: nezastavujte skripty ručne! Niektoré kroky môžu trvať veľa času, nemusia byť dokončené na prvý pokus a môžu vyzerať, že je všetko pokazené. V každom prípade musíte počkať, kým sa skript prirodzene dokončí. Na konci by ste mali vidieť správu podobnú tejto.
Teraz môžeme konečne otvoriť ovládací panel WebUI pomocou známej IP adresy. Ak sa konfigurácia v tejto fáze nezmenila, predvolený účet bude root/ChangeMe. Dokonca môžete ihneď použiť naše úložisko kompatibilné s S3. Je k dispozícii na portoch 9020 pre HTTP a 9021 pre HTTPS. Opäť, ak sa nič nezmenilo, potom access_key: object_admin1 a secret_key: ChangeMeChangeMeChangeMeChangeMeChangeMe.
Nepredbiehajme však príliš a začnime pekne po poriadku.
Pri prvom prihlásení budete nútení zmeniť si heslo na adekvátne, čo je absolútne správne. Hlavná palubná doska je mimoriadne prehľadná, takže poďme urobiť niečo zaujímavejšie ako vysvetľovanie očividných metrík. Vytvorme si napríklad používateľa, ktorého budeme používať na prístup k úložisku. Vo svete poskytovateľov služieb sa im hovorí nájomcovia. Toto sa vykonáva v časti Spravovať > Používatelia > Nový používateľ objektu
Pri vytváraní používateľa sme požiadaní o zadanie menného priestoru. Technicky nám nič nebráni v tom, aby sme ich vytvorili toľko, koľko je používateľov. A naopak. To vám umožňuje spravovať zdroje nezávisle pre každého nájomníka.
Podľa toho vyberáme funkcie, ktoré potrebujeme a generujeme užívateľské kľúče. S3/Atmos mi bude stačiť. A kľúč si nezabudnite uložiť 😉
Používateľ bol vytvorený, teraz je čas prideliť mu vedro. Prejdite do časti Spravovať > Segment a vyplňte požadované polia. Všetko je tu jednoduché.
Teraz máme všetko pripravené na celkom bojové využitie nášho úložiska S3.
Nastavenie Veeamu
Takže, ako si pamätáme, jedným z hlavných použití ukladania objektov je dlhodobé ukladanie informácií, ku ktorým sa zriedkavo dostanete. Ideálnym príkladom je potreba ukladať zálohy na vzdialenom mieste. V aplikácii Veeam Backup & Replication sa táto funkcia nazýva Kapacita.
Začnime s nastavením pridaním nášho Dell ECS CE do rozhrania Veeam. Na karte Infraštruktúra zálohovania spustite Sprievodcu pridaním nového úložiska a vyberte Úložisko objektov.
Vyberme si, kvôli čomu to všetko začalo – S3 Compatible.
V zobrazenom okne napíšte požadované meno a prejdite na krok Účet. Tu je potrebné špecifikovať servisné miesto vo formulári , oblasť možno ponechať tak, ako je, a pridať vytvoreného používateľa. Gate server je potrebný, ak sa vaše úložisko nachádza na vzdialenom mieste, ale toto je už téma na optimalizáciu infraštruktúry a samostatný článok, takže ho tu môžete pokojne preskočiť.
Ak je všetko zadané a nakonfigurované správne, zobrazí sa upozornenie na certifikát a následne okno s vedierkom, kde si môžete vytvoriť priečinok pre naše súbory.
Prejdeme sprievodcom až do konca a vychutnáme si výsledok.
Ďalším krokom je buď vytvorenie nového úložiska Scale-out Backup Repository, alebo pridanie nášho S3 do existujúceho – použije sa ako kapacitná vrstva na archiváciu. V aktuálnom vydaní neexistuje žiadna funkcia na priame používanie úložiska kompatibilného s S3, ako bežného úložiska. Aby sa to stalo, je potrebné vyriešiť príliš veľa skôr nezrejmých problémov, ale všetko je možné.
Prejdite do nastavení úložiska a povoľte úroveň kapacity. Všetko je tam transparentné, no je tu jeden zaujímavý odtieň: ak chcete, aby sa všetky údaje odoslali do úložiska objektov čo najskôr, stačí nastaviť 0 dní.
Po prejdení sprievodcom, ak nechcete čakať, môžete stlačiť ctrl+RMB na úložisku, vynútene spustiť úlohu vrstvenia a sledovať, ako sa grafy prechádzajú.
To je zatiaľ všetko. Myslím, že sa mi podarilo ukázať, že blokové ukladanie nie je také strašidelné, ako si ľudia myslia. Áno, existujú riešenia a možnosti pre vagón a malý vozík, ale nemôžete pokryť všetko v jednom článku. Podeľme sa teda o naše skúsenosti v komentároch.
Zdroj: hab.com