Prvi prototip shranjevanja predmetov je svet videl leta 1996. Čez 10 let bo Amazon Web Services lansiral Amazon S3 in svet bo začel sistematično obnoreti zaradi ravnega naslovnega prostora. Zahvaljujoč delu z metapodatki in njegovi zmožnosti spreminjanja velikosti brez padca pod obremenitvijo je shranjevanje objektov hitro postalo standard za večino storitev za shranjevanje podatkov v oblaku in ne le to. Druga pomembna lastnost je, da je zelo primeren za shranjevanje arhivov in podobnih redko uporabljenih datotek. Vsi, ki se ukvarjajo s shranjevanjem podatkov, so se veselili in v naročju nosili novo tehnologijo.
Toda ljudske govorice so bile polne govoric, da gre pri shranjevanju objektov le za velike oblake in če ne potrebujete rešitev prekletih kapitalistov, bo zelo težko narediti svojo. O uvajanju lastnega oblaka je bilo že veliko napisanega, vendar je na voljo premalo informacij o ustvarjanju tako imenovanih S3-kompatibilnih rešitev.
Zato bomo danes ugotovili, katere možnosti obstajajo »Da bo kot za odrasle, ne CEPH in večjo datoteko«, bomo uvedli eno od njih in preverili, ali vse deluje z uporabo Veeam Backup & Replication. Trdi, da podpira delo s shrambami, združljivimi s S3, in to trditev bomo preizkusili.
Kaj pa drugi?
Predlagam, da začnete z majhnim pregledom trga in možnosti shranjevanja predmetov. Splošno priznani vodja in standard je Amazon S3. Dva najbližja zasledovalca sta Microsoft Azure Blob Storage in IBM Cloud Object Storage.
Je to vse? Ali res ni drugih konkurentov? Seveda obstajajo konkurenti, a nekateri gredo svojo pot, na primer Google Cloud ali Oracle Cloud Object Storage, z nepopolno podporo za API S3. Nekateri uporabljajo starejše različice API-ja, kot je Baidu Cloud. In nekateri, kot je Hitachi Cloud, zahtevajo posebno logiko, ki bo zagotovo povzročila svoje težave. V vsakem primeru se vsi primerjajo z Amazonom, ki ga lahko štejemo za industrijski standard.
Toda pri rešitvah na mestu uporabe je veliko več izbire, zato izpostavimo kriterije, ki so za nas pomembni. Načeloma zadostuje le dvoje: podpora za API S3 in uporaba podpisovanja v4. Roko na srce, nas kot bodočo stranko zanimajo samo vmesniki za interakcijo, sama notranja kuhinja skladišča pa nas ne zanima toliko.
Tem preprostim pogojem ustreza veliko rešitev. Na primer, klasična velika podjetja:
- DellEMC ECS
- NetApp S3 StorageGrid
- Vedra Nutanix
- Pure Storage FlashBlade in StorReduce
- Huawei FusionStorage
Obstaja niša povsem programskih rešitev, ki delujejo takoj:
- Rdeči klobuk Ceph
- SUSE Enterprise Storage
- Oblak
In tudi tisti, ki radi skrbno pilijo po montaži, niso bili užaljeni:
- CEPH v najčistejši obliki
- Minio (različica za Linux, ker je veliko vprašanj o različici za Windows)
Seznam še zdaleč ni popoln, o njem je mogoče razpravljati v komentarjih. Samo ne pozabite pred uvedbo preveriti zmogljivosti sistema poleg združljivosti API-ja. Zadnja stvar, ki si jo želite, je izguba terabajtov podatkov zaradi zataknjenih poizvedb. Zato ne bodite sramežljivi pri obremenitvenih testih. Na splošno ima vsa programska oprema za odrasle, ki deluje z velikimi količinami podatkov, vsaj poročila o združljivosti. V primeru Veeam obstaja o medsebojnem testiranju, kar nam omogoča, da samozavestno izjavimo popolno združljivost naših izdelkov s specifično opremo. To je že dvosmerno delo, ne vedno hitro, ampak se nenehno širimo preizkušene rešitve.
Sestavljanje našega stojala
Rad bi spregovoril nekaj o izbiri testnega predmeta.
Najprej sem želel najti možnost, ki bi delovala takoj po izdelavi. No, ali vsaj z največjo verjetnostjo, da bo delovalo brez potrebe po nepotrebnih gibih. Ples s tamburino in igranje s konzolo ponoči je zelo vznemirljivo, a včasih si želiš, da bi uspelo takoj. In splošna zanesljivost takih rešitev je običajno višja. In ja, duh avanturizma je izginil v nas, prenehali smo plezati v okna naših ljubljenih žensk itd. (c).
Drugič, če smo iskreni, se potreba po delu s shranjevanjem predmetov pojavi v dokaj velikih podjetjih, tako da je prav tako, ko pogled na rešitve na ravni podjetja ni samo nesramežljiv, ampak celo spodbujan. Vsekakor pa še ne poznam primerov, da bi bil kdo odpuščen zaradi nakupa takšnih rešitev.
Glede na vse zgoraj našteto je moja izbira padla Dell EMC ECS Community Edition. To je zelo zanimiv projekt in menim, da je treba o njem povedati.
Prva stvar, na katero pomislite, ko vidite dodatek Izdaja Skupnosti - da je to samo kopija polnopravnega ECS z nekaterimi omejitvami, ki se odstranijo z nakupom licence. Torej ne!
Ne pozabite:
!!!Community Edition je ločen projekt, ustvarjen za testiranje in brez tehnične podpore družbe Dell!!
In ni ga mogoče spremeniti v polnopravni ECS, tudi če si to resnično želite.
Ugotovimo
Mnogi verjamejo, da je Dell EMC ECS skoraj najboljša rešitev, če potrebujete shranjevanje predmetov. Vsi projekti pod blagovno znamko ECS, vključno s komercialnimi in korporativnimi, temeljijo na . Nekakšna gesta dobre volje družbe Dell. In poleg programske opreme, ki deluje na strojni opremi njihove blagovne znamke, obstaja odprtokodna različica, ki jo je mogoče namestiti v oblaku, na virtualnem stroju, v vsebniku ali na kateri koli lastni strojni opremi. Če pogledamo naprej, obstaja celo različica OVA, ki jo bomo uporabili.
Sama izdaja DELL ECS Community Edition je mini različica popolne programske opreme, ki deluje na strežnikih blagovne znamke Dell EMC ECS.
Identificiral sem štiri glavne razlike:
- Ni podpore za šifriranje. Škoda, vendar ni kritično.
- Manjka plast blaga. Ta stvar je odgovorna za gradnjo gruč, upravljanje virov, posodobitve, spremljanje in shranjevanje slik Docker. Tu je že zelo žaljivo, a tudi Della je mogoče razumeti.
- Najbolj gnusna posledica prejšnje točke: velikosti vozlišča po končani namestitvi ni mogoče razširiti.
- Brez tehnične podpore. Gre za izdelek za testiranje, ki ga ni prepovedano uporabljati v majhnih inštalacijah, vendar si osebno ne bi upal tja nalagati petabajtov pomembnih podatkov. Toda tehnično vam tega nihče ne more preprečiti.
Kaj je v veliki različici?
Odgalopirajmo po Evropi in pojdimo skozi neprekosljive rešitve, da bi bolje razumeli ekosistem.
Ne bom nekako potrdil ali ovrgel izjave, da je DELL ECS najboljša lokalna shramba objektov, a če imate kaj povedati o tej temi, bom z veseljem prebral to v komentarjih. Vsaj glede na različico Dell EMC je samozavestno med petimi vodilnimi na trgu OBS. Čeprav tam rešitve v oblaku niso upoštevane, je to ločen pogovor.
S tehničnega vidika je ECS objektna shramba, ki omogoča dostop do podatkov s pomočjo protokolov za shranjevanje v oblaku. Podpira AWS S3 in OpenStack Swift. Za vedra, ki podpirajo datoteke, ECS podpira NFSv3 za izvoz datoteke za datoteko.
Postopek zapisovanja informacij je precej nenavaden, sploh po klasičnih blokovnih sistemih shranjevanja.
- Ko prispejo novi podatki, se ustvari nov objekt, ki ima ime, same podatke in metapodatke.
- Objekti so razdeljeni na 128 MB dele, vsak kos pa je zapisan v tri vozlišča hkrati.
- Posodobljena je indeksna datoteka, kjer so zabeleženi identifikatorji in mesta shranjevanja.
- Dnevniška datoteka (dnevniški vnos) se posodobi in tudi zapiše v tri vozlišča.
- Stranki se pošlje sporočilo o uspešnem snemanju
Vse tri kopije podatkov se zapisujejo vzporedno. Pisanje se šteje za uspešno le, če so bile vse tri kopije uspešno zapisane.
Branje je lažje:
- Stranka zahteva podatke.
- Indeks išče, kje so shranjeni podatki.
- Podatki se preberejo iz enega vozlišča in pošljejo odjemalcu.
Samih strežnikov je kar nekaj, zato si poglejmo najmanjši Dell EMC ECS EX300. Začne se pri 60TB, z možnostjo povečanja do 1,5PB. In njegov starejši brat, Dell EMC ECS EX3000, vam omogoča shranjevanje kar 8,6 PB na omaro.
Razporedi
Tehnično gledano je Dell ECS CE mogoče namestiti, kolikor želite. Vsekakor pa nisem našel eksplicitnih omejitev. Vendar pa je priročno narediti vse skaliranje s kloniranjem prvega vozlišča, za kar potrebujemo:
- 8 vCPE
- RAM 64GB
- 16 GB za OS
- 1TB neposrednega prostora za shranjevanje
- Najnovejša izdaja CentOS minimal
To je možnost, ko želite že od samega začetka vse namestiti sami. Ta možnost za nas ni pomembna, ker ... Za uvajanje bom uporabil sliko OVA.
Toda v vsakem primeru so zahteve zelo hude tudi za eno vozlišče, in če strogo sledite črki zakona, potrebujete štiri taka vozlišča.
Vendar razvijalci ECS CE živijo v resničnem svetu in namestitev je uspešna tudi z enim vozliščem, minimalne zahteve pa so:
- 4 vCPE
- 16 GB RAM
- 16 GB za OS
- 104 GB samega prostora za shranjevanje
To so viri, potrebni za uvedbo slike OVA. Že veliko bolj humano in realno.
Samo namestitveno vozlišče lahko dobite pri uradniku . Obstaja tudi podrobna dokumentacija o uvajanju vse-v-enem, vendar jo lahko preberete tudi na uradni strani . Zato se ne bomo podrobneje ukvarjali z razpletom OVA, tam ni trikov. Glavna stvar je, da pred zagonom ne pozabite razširiti diska na zahtevano glasnost ali priložiti potrebne.
Zaženemo stroj, odpremo konzolo in uporabimo najboljše privzete poverilnice:
- prijava: admin
- geslo: ChangeMe
Nato zaženemo sudo nmtui in konfiguriramo omrežni vmesnik - IP/masko, DNS in vrata. Glede na to, da CentOS minimal nima net-tools, preverimo nastavitve preko ip addr.
In ker le pogumni osvajajo morja, naredimo posodobitev yum, po kateri ponovno zaženemo. Pravzaprav je precej varno, ker ... vsa uvedba poteka prek priročnikov in vsi pomembni paketi dockerjev so zaklenjeni na trenutno različico.
Zdaj je čas, da uredite namestitveni skript. Za vas ni nobenih modnih oken ali psevdo uporabniškega vmesnika - vse se naredi prek vašega najljubšega urejevalnika besedil. Tehnično obstajata dva načina: vsak ukaz lahko zaženete ročno ali takoj zaženete konfigurator videoploy. Preprosto bo odprl konfiguracijo v vimu in jo ob izhodu začel preverjati. Vendar namerno poenostaviti življenje ni zanimivo, zato zaženimo še dva ukaza. Čeprav to nima smisla, sem te opozoril =)
Torej, izdelajmo vim ECS-CommunityEdition/deploy.xml in naredimo optimalne minimalne spremembe, da bo ECS pripravljen in deloval. Seznam parametrov je mogoče skrajšati, vendar sem naredil takole:
- licensed_accepted: true Ni vam ga treba spreminjati, potem boste ob uvajanju izrecno pozvani, da ga sprejmete, in prikazana vam bo lepa fraza. Morda je to celo velikonočno jajce.
- Odkomentirajte vrstici autonames: in custom: Vnesite vsaj eno želeno ime za vozlišče - ime gostitelja bo med postopkom namestitve zamenjano z njim.
- install_node: 192.168.1.1 Določite pravi IP vozlišča. V našem primeru navedemo enako kot v nmtui
- dns_domain: vnesite svojo domeno.
- dns_servers: vnesite svoj dns.
- ntp_servers: določite lahko katerega koli. Vzel sem prvega, na katerega sem naletel iz bazena 0.pool.ntp.org (postal je 91.216.168.42)
- samodejno poimenovanje: po meri Če ne odkomentirate, se bo luna imenovala Luna.
- ecs_block_devices:
/ dev / sdb
Iz neznanega razloga morda obstaja neobstoječa naprava za shranjevanje blokov /dev/vda - skladiščni_bazeni:
člani:
192.168.1.1 Tukaj ponovno navedemo pravi IP vozlišča - ecs_block_devices:
/dev/sdb Ponovimo operacijo izrezovanja neobstoječih naprav.
Na splošno je celotna datoteka zelo podrobno opisana v , a kdo ga bo bral v tako nemirnem času. Piše tudi, da minimalno zadostuje navedba IP-ja in maske, vendar se je v mojem laboratoriju tak nabor precej slabo zagnal in sem ga moral razširiti na zgoraj navedenega.
Po izhodu iz urejevalnika morate zagnati update_deploy /home/admin/ECS-CommunityEdition/deploy.yml in če je vse opravljeno pravilno, bo to izrecno sporočeno.
Nato morate še pognati videoploy, počakati, da se okolje posodobi, samo namestitev pa lahko začnete z ukazom ova-step1, po uspešnem zaključku pa še z ukazom ova-step2. Pomembno: ne zaustavite skriptov ročno! Nekateri koraki lahko trajajo precej časa, morda ne bodo dokončani v prvem poskusu in lahko izgleda, kot da je vse pokvarjeno. V vsakem primeru morate počakati, da se skript naravno zaključi. Na koncu bi morali videti sporočilo, podobno temu.
Zdaj lahko končno odpremo nadzorno ploščo WebUI z uporabo poznanega naslova IP. Če konfiguracija ni bila spremenjena na stopnji, bo privzeti račun root/ChangeMe. Takoj lahko celo uporabite našo shrambo, združljivo s S3. Na voljo je na vratih 9020 za HTTP in 9021 za HTTPS. Še enkrat, če ni bilo nič spremenjeno, potem access_key: object_admin1 in secret_key: ChangeMeChangeMeChangeMeChangeMeChangeMe.
A ne prehitevajmo in začnimo po vrsti.
Ko se prvič prijavite, boste prisiljeni spremeniti geslo v ustrezno, ki je popolnoma pravilno. Glavna nadzorna plošča je izjemno jasna, zato naredimo nekaj bolj zanimivega kot razlaga očitnih meritev. Na primer, ustvarimo uporabnika, ki ga bomo uporabili za dostop do shrambe. V svetu ponudnikov storitev se ti imenujejo najemniki. To storite v Upravljanje > Uporabniki > Nov uporabnik objekta
Pri ustvarjanju uporabnika moramo določiti imenski prostor. Tehnično nam nič ne preprečuje, da bi jih ustvarili toliko, kolikor je uporabnikov. In obratno. To vam omogoča neodvisno upravljanje virov za vsakega najemnika.
V skladu s tem izberemo funkcije, ki jih potrebujemo, in ustvarimo uporabniške ključe. S3/Atmos mi bo zadostoval. In ne pozabite shraniti ključa 😉
Uporabnik je ustvarjen, zdaj je čas, da mu dodelite vedro. Pojdite na Upravljanje > Vedro in izpolnite zahtevana polja. Tukaj je vse preprosto.
Zdaj imamo vse pripravljeno za čisto bojno uporabo našega pomnilnika S3.
Nastavitev Veeama
Torej, kot se spomnimo, je ena od glavnih uporab shranjevanja predmetov dolgoročno shranjevanje informacij, do katerih je redko dostopen. Idealen primer je potreba po shranjevanju varnostnih kopij na oddaljenem mestu. V Veeam Backup & Replication se ta funkcija imenuje Capacity Tier.
Začnimo z nastavitvijo tako, da vmesniku Veeam dodamo naš Dell ECS CE. Na zavihku Backup Infrastructure zaženite čarovnika za dodajanje novega repozitorija in izberite Object Storage.
Izberimo, za kaj se je vse začelo - Združljivost s S3.
V okno, ki se prikaže, vpišite želeno ime in pojdite na korak Račun. Tukaj morate v obrazcu določiti točko storitve , lahko regijo pustite takšno, kot je, in lahko dodate ustvarjenega uporabnika. Vratni strežnik je potreben, če se vaša shramba nahaja na oddaljenem mestu, vendar je to že tema za optimizacijo infrastrukture in ločen članek, zato jo lahko tukaj mirno preskočite.
Če je vse navedeno in konfigurirano pravilno, se prikaže opozorilo o potrdilu in nato okno z vedro, kjer lahko ustvarite mapo za naše datoteke.
Skozi čarovnika gremo do konca in uživamo v rezultatu.
Naslednji korak je ustvariti novo skladišče varnostnih kopij v povečanem obsegu ali dodati naš S3 obstoječemu - uporabljen bo kot nivo zmogljivosti za arhivsko shranjevanje. V trenutni izdaji ni funkcije za neposredno uporabo pomnilnika, združljivega s S3, kot običajnega repozitorija. Preveč precej neočitnih problemov je treba rešiti, da bi se to zgodilo, a vse je mogoče.
Pojdite v nastavitve repozitorija in omogočite stopnjo zmogljivosti. Tam je vse pregledno, vendar obstaja zanimiv odtenek: če želite, da se vsi podatki čim prej pošljejo v shrambo objektov, ga nastavite na 0 dni.
Če ne želite čakati, potem ko greste skozi čarovnika, lahko pritisnete ctrl+RMB na repozitoriju, na silo zaženete opravilo Tiering in opazujete, kako se grafi plazijo.
To je vse za zdaj. Mislim, da mi je uspelo pokazati, da blokovno shranjevanje ni tako strašljivo, kot si ljudje mislijo. Da, obstajajo rešitve in možnosti za vagon in mali voziček, vendar vsega ne morete zajeti v enem članku. Zato delimo svoje izkušnje v komentarjih.
Vir: www.habr.com