Svět viděl první prototyp objektových úložišť v roce 1996. Za 10 let Amazon Web Services spustí Amazon S3 a svět začne systematicky šílet z plochého adresního prostoru. Díky zpracování metadat a schopnosti škálovat bez prohýbání při zatížení se úložiště objektů rychle stalo standardem pro většinu služeb cloudového úložiště i mimo něj. Další důležitou vlastností je jeho dobrá adaptabilita pro ukládání archivů a podobných málo používaných souborů. Všichni, kdo se podíleli na ukládání dat, jásali a nosili novou technologii na svých rukou.
Lidové fámy byly ale plné fám, že ukládání objektů je jen o velkých mracích, a pokud nepotřebujete řešení od zatracených kapitalistů, pak bude velmi těžké vytvořit si vlastní. O nasazení vlastního cloudu již bylo napsáno mnoho, ale není dostatek informací o vytváření tzv. S3-kompatibilních řešení.
Proto dnes zjistíme, jaké existují možnosti „Být jako dospělí, a ne CEPH a větší soubor“, jednu z nich nasadíme a pomocí Veeam Backup & Replication zkontrolujeme, zda vše funguje. Uvádí podporu pro práci s úložišti kompatibilními s S3 a toto prohlášení prověříme.
A co ostatní?
Navrhuji začít malým přehledem trhu a možností uložení objektů. Všeobecně uznávaným lídrem a standardem je Amazon S3. Dva nejbližší pronásledovatelé jsou Microsoft Azure Blob Storage a IBM Cloud Object Storage.
Je to všechno? Nejsou žádní jiní konkurenti? Samozřejmě existují konkurenti, ale někdo jde vlastní cestou, jako je Google Cloud nebo Oracle Cloud Object Storage, s neúplnou podporou pro S3 API. Někdo používá staré verze API, jako je Baidu Cloud. A některé, jako Hitachi Cloud, vyžadují použití speciální logiky, což jistě způsobí své vlastní potíže. V každém případě jsou všichni srovnáváni s Amazonem, který lze považovat za oborový standard.
Ale u on-premise řešení je výběr mnohem větší, pojďme si tedy nastínit kritéria, která jsou pro nás důležitá. V zásadě stačí jen dva: podpora S3 API a využití v4 signingu. Ruku na srdce, nás jako budoucího klienta zajímají pouze rozhraní pro interakci a vnitřní kuchyně samotného úložiště nás tolik nezajímá.
Mnoho řešení vyhovuje těmto jednoduchým podmínkám. Například klasické korporátní těžké váhy:
- DellEMC ECS
- Úložná mřížka NetApp S3
- Kbelíky Nutanix
- Pure Storage FlashBlade a StorReduce
- Úložiště Huawei Fusion
Existuje řada čistě softwarových řešení, která fungují hned po vybalení:
- Red Hat Ceph
- Podnikové úložiště SUSE
- Cloudian
A ani ti, kteří po sestavení rádi pečlivě zpracovávají pilníkem, se neurazili:
- CEPH ve své nejčistší podobě
- Minio (verze pro Linux, protože existuje mnoho otázek ohledně verze Windows)
Výčet není zdaleka úplný, lze o něm diskutovat v komentářích. Jen nezapomeňte před implementací zkontrolovat kromě kompatibility API také výkon systému. Poslední věc, kterou chcete, je ztráta terabajtů dat kvůli zaseknutým požadavkům. Takže klidně načtěte testy. Obecně platí, že veškerý software pro dospělé, který pracuje s velkým množstvím dat, má alespoň zprávy o kompatibilitě. V případě Veeam je o vzájemném testování, což nám umožňuje směle deklarovat plnou kompatibilitu našich produktů s konkrétním zařízením. To už je oboustranná práce, ne vždy rychlá, ale neustále se rozšiřujeme testovaná řešení.
Dáváme dohromady náš stánek
Chci trochu mluvit o výběru testovaného předmětu.
Nejprve jsem chtěl najít možnost, která by fungovala hned po vybalení. Tedy, nebo alespoň s maximální pravděpodobností, že to půjde bez nutnosti dělat zbytečná gesta. Tančit s tamburínou a sbírat v noci konzoli je velmi vzrušující, ale někdy chcete, aby to fungovalo hned. A celková spolehlivost takových řešení bývá vyšší. A ano, vytratil se v nás duch dobrodružství, přestali jsme lézt okny k našim milovaným ženám atd. (c).
Za druhé, abych byl upřímný, potřeba pracovat s objektovým úložištěm vyvstává v poměrně velkých společnostech, takže to je přesně ten případ, kdy se pohled na řešení na podnikové úrovni nejen nestydí, ale dokonce podporuje. Každopádně zatím neznám příklady toho, že by byl někdo vyhozen kvůli nákupu takových řešení.
Na základě výše uvedeného padla moje volba Dell EMC ECS Community Edition. Jedná se o velmi zajímavý projekt a považuji za nutné vám o něm říci.
První věc, která vás napadne, když vidíte přídavek Edition Společenství - že se jedná pouze o pauzovací papír z plnohodnotného ECS s některými omezeními, která se odstraňují zakoupením licence. Takže ne!
Pamatujte:
!!!Community Edition je samostatný projekt vytvořený pro testování a bez technické podpory od společnosti Dell!!
A nelze z něj udělat plnohodnotné ECS, ani kdybyste moc chtěli.
Pojďme to pochopit
Mnoho lidí si myslí, že Dell EMC ECS je téměř nejlepší řešení, pokud potřebujete úložiště objektů. Všechny projekty pod značkou ECS, včetně komerčních a korporátních, jsou . Jakési gesto dobré vůle od společnosti Dell. A kromě softwaru, který běží na jejich značkovém hardwaru, existuje verze s otevřeným zdrojovým kódem, kterou lze nasadit i v cloudu, dokonce i na virtuálním počítači, dokonce i v kontejneru, dokonce i na jakémkoli vašem hardwaru. Do budoucna existuje dokonce verze OVA, kterou budeme používat.
Samotná edice DELL ECS Community Edition je mini verzí plnohodnotného softwaru, který běží na značkových serverech Dell EMC ECS.
Identifikoval jsem čtyři hlavní rozdíly:
- Žádná podpora šifrování. Je to škoda, ale ne kritická.
- Neexistuje žádná vrstva látky. Tato věc je zodpovědná za vytváření clusterů, správu zdrojů, aktualizaci, monitorování a ukládání obrazů Docker. Tady už je to velké zklamání, ale i Dell se dá pochopit.
- Nejnepříjemnější důsledek předchozího bodu: velikost uzlu nelze po dokončení instalace rozšířit.
- Žádná technická podpora. Jedná se o produkt na testování, který není zakázáno používat v malých instalacích, ale osobně bych si netroufl tam nahrávat petabajty důležitých dat. Ale technicky vám v tom nikdo nemůže zabránit.
Co je ve velké verzi?
Cváláme Evropou a pojďme si projít železná řešení, abychom si udělali ucelenější obrázek o ekosystému.
Tvrzení, že DELL ECS je nejlepší on-prem objektové úložiště vám nějak nepotvrdím ani nevyvrátím, ale pokud máte k tomuto tématu co říct, rád si to přečtu v komentářích. V každém případě podle verze Dell EMC s jistotou vstupuje mezi pět největších lídrů na trhu OBS. Přestože se neberou v úvahu cloudová řešení, jedná se o samostatný rozhovor.
Z technického hlediska je ECS objektové úložiště, které poskytuje přístup k datům pomocí protokolů cloudového úložiště. Podporuje AWS S3 a OpenStack Swift. U bloků s povoleným souborem podporuje ECS NFSv3 pro export po jednotlivých souborech.
Proces zápisu informací je poměrně neobvyklý, zvláště po klasických blokových úložných systémech.
- Když dorazí nová data, vytvoří se nový objekt, který má název, samotná data a metadata.
- Objekty jsou rozděleny do 128 MB bloků a každý blok je zapsán do tří uzlů najednou.
- Aktualizuje se soubor indexu, kde jsou zaznamenány identifikátory a umístění úložiště.
- Soubor protokolu (protokol záznamu) je aktualizován a také zapsán do tří uzlů.
- Klientovi je zaslána zpráva o úspěšném záznamu.
Všechny tři kopie dat se zapisují paralelně. Zápis je považován za úspěšný, pouze pokud byly úspěšně zapsány všechny tři kopie.
Čtení je jednodušší:
- Klient požaduje data.
- Index hledá místo pro uložení dat.
- Data jsou čtena z jednoho uzlu a odesílána klientovi.
Samotných serverů je poměrně dost, pojďme se tedy podívat na nejmenší Dell EMC ECS EX300. Začíná na 60 Tb, se schopností narůst až na 1,5 Pb. A jeho starší bratr Dell EMC ECS EX3000 již umožňuje uložit až 8,6 Pb na rack.
Nasadit
Technicky může být Dell ECS CE nasazen tak velký, jak je potřeba. Výslovná omezení jsem každopádně nenašel. Veškeré škálování se však pohodlně provádí klonováním úplně prvního uzlu, pro který potřebujeme:
- 8vCPU
- RAM 64GB
- 16 GB pro operační systém
- 1TB přímo pro úložiště
- Nejnovější verze CentOS minimal
Toto je možnost pro případ, kdy si chcete vše instalovat sami od samého začátku. Pro nás tato možnost není relevantní, protože. K nasazení použiji obrázek OVA.
Ale každopádně požadavky jsou velmi zlé i na jeden uzel a pokud se budete striktně držet litery zákona, tak potřebujete čtyři takové uzly.
Vývojáři ECS CE však žijí v reálném světě a instalace je úspěšná i s jedním uzlem a minimální požadavky jsou:
- 4vCPU
- 16 GB RAM
- 16 GB pro operační systém
- Vlastní úložiště 104 GB
Právě tyto prostředky jsou potřebné k nasazení obrazu OVA. Už mnohem lidštější a realističtější.
Samotný instalační uzel lze převzít od úředníka . K dispozici je také podrobná dokumentace k nasazení all-in-one, ale můžete si ji přečíst i na oficialitě . Nebudeme se proto podrobně zabývat nasazením OVA, neexistují žádné triky. Hlavní věc - nezapomeňte před spuštěním buď rozbalit disk na požadovaný svazek, nebo připojit potřebné.
Spustíme stroj, otevřeme konzoli a použijeme nejlepší výchozí kredity:
- přihlášení: admin
- Heslo: changeme
Poté spustíme sudo nmtui a nakonfigurujeme síťové rozhraní - IP / masku, DNS a bránu. S ohledem na to, že v CentOS minimum nejsou žádné síťové nástroje, kontrolujeme nastavení přes ip addr.
A protože moře dobývají jen odvážní, provádíme yum update, po kterém restartujeme. Je to vlastně docela bezpečné. veškeré nasazení se provádí prostřednictvím příruček a všechny důležité balíčky dockerů jsou uzamčeny na aktuální verzi.
Nyní je čas upravit instalační skript. Žádná krásná okna nebo pseudo uživatelské rozhraní pro vás – vše probíhá prostřednictvím vašeho oblíbeného textového editoru. Čistě technicky existují dva způsoby: každý příkaz můžete spustit ručně nebo rovnou spustit konfigurátor videploy. Jednoduše otevře konfiguraci ve vim a po ukončení ji začne kontrolovat. Ale není zajímavé si záměrně zjednodušovat život, tak pojďme provést další dva příkazy. I když to nedává smysl, varoval jsem tě =)
Vytváříme tedy vim ECS-CommunityEdition/deploy.xml a provádíme optimální minimální změny, aby se ECS zapnul a fungoval. Seznam parametrů lze zkrátit, ale udělal jsem to takto:
- licensed_accepted: true Nemusíte to měnit, pak budete při nasazení výslovně požádáni, abyste to přijali a ukázali hezkou frázi. Může to být i velikonoční vajíčko.
- Odkomentujte řádky autonames: a custom: Zadejte alespoň jedno požadované jméno pro uzel – název hostitele jím bude nahrazen během procesu instalace.
- install_node: 192.168.1.1 Zadejte skutečnou IP adresu uzlu. V našem případě zadáváme stejně jako v nmtui
- dns_domain: zadejte svou doménu.
- dns_servers: zadejte své DNS.
- ntp_servers: Lze zadat libovolný. Vzal jsem první z fondu 0.pool.ntp.org (stal se 91.216.168.42)
- autonaming: custom Pokud ponecháte bez komentáře, měsíc se bude jmenovat Luna.
- ecs_block_devices:
/ dev / sdb
Z nějakého neznámého důvodu může existovat neexistující blokové úložné zařízení /dev/vda - storage_pools:
členové:
192.168.1.1 Zde opět uvádíme skutečnou IP uzlu - ecs_block_devices:
/dev/sdb Opakujeme operaci řezání neexistujících zařízení.
Obecně je celý soubor velmi podrobně popsán v ale kdo to bude číst v tak pohnuté době. Taky je tam napsáno, že minimum stačí zadat IP a masku, ale v mé laboratoři se taková sestava nespustila dobře a musel jsem ji rozšířit na výše uvedenou.
Po ukončení editoru musíte spustit update_deploy /home/admin/ECS-CommunityEdition/deploy.yml, a pokud je vše provedeno správně, bude to explicitně hlášeno.
Pak ještě zbývá spustit videploy, počkat na aktualizaci prostředí a samotnou instalaci můžete spustit příkazem ova-step1 a po jejím úspěšném dokončení příkazem ova-step2. Důležité: nezastavujte skripty ručně! Některé kroky mohou trvat dlouho, trvat déle než první pokus a vypadají, že je všechno rozbité. V každém případě musíte počkat na dokončení skriptu přirozenou cestou. Na konci byste měli vidět něco takového.
Nyní konečně můžeme otevřít ovládací panel WebUI pomocí adresy IP, kterou známe. Pokud nebyl změněn ve fázi konfigurace, bude výchozím účtem root/ChangeMe. Dokonce můžete okamžitě používat naše úložiště kompatibilní s S3. Je k dispozici na portech 9020 pro HTTP a 9021 pro HTTPS. Znovu, pokud se nic nezměnilo, pak přístupový_klíč: object_admin1 a tajný_klíč: ChangeMeChangeMeChangeMeChangeMeChangeMe.
Ale nepředbíhejme a začněme popořadě.
Při prvním přihlášení budete nuceně vyzváni ke změně hesla na adekvátní, což je naprosto správné. Hlavní přístrojová deska je mimořádně přehledná, pojďme tedy udělat něco zajímavějšího než vysvětlování samozřejmých metrik. Vytvořme si například uživatele, kterého budeme používat pro přístup do úložiště. Ve světě poskytovatelů služeb se jim říká nájemci. To se provádí v Spravovat > Uživatelé > Nový uživatel objektu
Při vytváření uživatele jsme požádáni o zadání jmenného prostoru. Technicky nám nic nebrání v tom, abychom je spustili tolik, kolik bude uživatelů. A naopak. To umožňuje spravovat zdroje nezávisle pro každého tenanta.
Podle toho vybereme funkce, které potřebujeme, a vygenerujeme uživatelské klíče. S3/Atmos mi bude stačit. A klíč si nezapomeňte uložit 😉
Uživatel byl vytvořen, nyní je čas, aby vybral kbelík. Přejděte na Spravovat > Segment a vyplňte požadovaná pole. Všechno je zde jednoduché.
Nyní máme vše připraveno pro docela bojové využití našeho úložiště S3.
Nastavení Veeamu
Takže, jak si pamatujeme, jednou z hlavních aplikací objektového úložiště je dlouhodobé uchovávání informací, ke kterým se zřídkakdy přistupuje. Ideálním příkladem je potřeba ukládat zálohy na vzdáleném místě. Ve Veeam Backup & Replication se tato funkce nazývá Kapacita.
Začněme nastavení přidáním našeho Dell ECS CE do rozhraní Veeam. Na záložce Infrastruktura zálohování spusťte průvodce přidáním nového úložiště a vyberte položku Úložiště objektů.
Vybíráme, pro co bylo vše spuštěno - S3 Compatible.
V okně, které se zobrazí, napište požadované jméno a přejděte ke kroku Účet. Zde musíte ve formuláři specifikovat servisní místo , může být region ponechán tak, jak je, a vytvořený uživatel může být přidán. Gate server je vyžadován, pokud je vaše úložiště umístěno na vzdáleném místě, ale toto je již téma optimalizace infrastruktury a samostatný článek, takže jej zde můžete bezpečně přeskočit.
Pokud je vše správně zadáno a nakonfigurováno, vyskočí upozornění na certifikát a následně okno s kyblíkem, kde si můžete vytvořit složku pro naše soubory.
Předáme průvodce do konce a vychutnáváme si výsledek.
Dalším krokem je buď vytvoření nového Scale-out Backup Repository, nebo přidání našeho S3 do stávajícího – bude použito jako kapacitní vrstva pro archivní úložiště. Funkce přímého použití repozitářů kompatibilních s S3, jako běžného úložiště, není v aktuální verzi. Existuje příliš mnoho nesrozumitelných problémů na to, aby se to dalo vyřešit, ale všechno může být.
Jdeme do nastavení úložiště a zapneme kapacitní vrstvu. Všechno je tam transparentní, ale je tu zajímavá nuance: pokud chcete, aby byla všechna data odeslána do úložiště objektů co nejdříve, stačí nastavit 0 dní.
Po projití průvodce, pokud nechcete čekat, můžete na úložišti stisknout ctrl+RMB, vynuceně spustit úlohu Tiering a sledovat procházení grafů.
To je prozatím vše. Myslím, že jsem si poradil s úkolem ukázat, že blokové úložiště není tak děsivé, jak se běžně myslí. Ano, řešení a možnosti pro provedení vagónu a malého vozíku, ale není možné pokrýt vše v jednom článku. Pojďme se tedy o naše zkušenosti podělit v komentářích.
Zdroj: www.habr.com