Bota pa prototipin e parë të ruajtjes së objekteve në 1996. Pas 10 vitesh, Amazon Web Services do të nisë Amazon S3 dhe bota do të fillojë të çmendet sistematikisht me një hapësirë të sheshtë adresash. Falë punës me meta të dhënat dhe aftësisë së saj për të shkallëzuar pa u ulur nën ngarkesë, ruajtja e objekteve u bë shpejt standardi për shumicën e shërbimeve të ruajtjes së të dhënave në renë kompjuterike, dhe jo vetëm kaq. Një veçori tjetër e rëndësishme është se është i përshtatshëm për ruajtjen e arkivave dhe skedarëve të ngjashëm të përdorur rrallë. Të gjithë të përfshirë në ruajtjen e të dhënave u gëzuan dhe mbanin në krahë teknologjinë e re.
Por thashethemet e njerëzve ishin plot me thashetheme se ruajtja e objekteve ka të bëjë vetëm me retë e mëdha, dhe nëse nuk keni nevojë për zgjidhje nga kapitalistët e mallkuar, atëherë do të jetë shumë e vështirë të bëni tuajat. Shumë është shkruar tashmë për vendosjen e resë suaj, por nuk ka informacion të mjaftueshëm për krijimin e të ashtuquajturave zgjidhje të pajtueshme me S3.
Prandaj, sot do të kuptojmë se cilat opsione ekzistojnë "Që të jetë si të rriturit, jo CEPH dhe një skedar më i madh", do të vendosim një prej tyre dhe do të kontrollojmë që gjithçka funksionon duke përdorur Veeam Backup & Replication. Ai pretendon se mbështet punën me memoriet e përputhshme me S3 dhe ne do ta testojmë këtë pretendim.
Po të tjerët?
Unë sugjeroj të filloni me një përmbledhje të vogël të tregut dhe opsioneve të ruajtjes së objekteve. Udhëheqësi dhe standardi i njohur përgjithësisht është Amazon S3. Dy ndjekësit më të afërt janë Microsoft Azure Blob Storage dhe IBM Cloud Object Storage.
A është kjo e gjitha? A nuk ka vërtet konkurrentë të tjerë? Sigurisht, ka konkurrentë, por disa shkojnë në rrugën e tyre, si Google Cloud ose Oracle Cloud Object Storage, me mbështetje jo të plotë për S3 API. Disa përdorin versione më të vjetra të API-së, si Baidu Cloud. Dhe disa, si Hitachi Cloud, kërkojnë logjikë të veçantë, e cila me siguri do të shkaktojë vështirësitë e veta. Në çdo rast, të gjithë krahasohen me Amazon, i cili mund të konsiderohet standardi i industrisë.
Por në zgjidhjet në premisë ka shumë më tepër zgjedhje, kështu që le të përshkruajmë kriteret që janë të rëndësishme për ne. Në parim, mjaftojnë vetëm dy: mbështetja për S3 API dhe përdorimi i nënshkrimit v4. Me zemër, ne, si klient i ardhshëm, jemi të interesuar vetëm për ndërfaqet për ndërveprim dhe nuk jemi aq të interesuar për kuzhinën e brendshme të vetë objektit të ruajtjes.
Shumë zgjidhje përshtaten me këto kushte të thjeshta. Për shembull, peshat klasike të korporatave:
- DellEMC ECS
- NetApp S3 StorageGrid
- Kova Nutanix
- FlashBlade me ruajtje të pastër dhe StorReduce
- Huawei FusionStorage
Ekziston një pjesë e zgjidhjeve thjesht softuerike që funksionojnë jashtë kutisë:
- Red Hat Ceph
- SUSE Enterprise Storage
- me re
Dhe madje edhe ata që duan të paraqesin me kujdes pas asamblesë nuk u ofenduan:
- CEPH në formën e tij më të pastër
- Minio (versioni Linux, sepse ka shumë pyetje në lidhje me versionin e Windows)
Lista është larg nga kompletimi; mund të diskutohet në komente. Vetëm mos harroni të kontrolloni performancën e sistemit përveç përputhshmërisë së API-së përpara zbatimit. Gjëja e fundit që dëshironi është të humbni terabajt të dhëna për shkak të pyetjeve të ngecura. Pra, mos kini turp me testet e ngarkesës. Në përgjithësi, të gjithë programet kompjuterike për të rritur që funksionojnë me sasi të mëdha të dhënash kanë të paktën raporte përputhshmërie. Në rast se Veeam ka në testimin e ndërsjellë, i cili na lejon të deklarojmë me siguri përputhshmërinë e plotë të produkteve tona me pajisje specifike. Kjo tashmë është një punë e dyanshme, jo gjithmonë e shpejtë, por ne po zgjerojmë vazhdimisht zgjidhje të testuara.
Mbledhja e stendës tonë
Do të doja të flisja pak për zgjedhjen e një lënde testimi.
Së pari, doja të gjeja një opsion që do të funksiononte menjëherë. Epo, ose të paktën me probabilitetin maksimal që do të funksionojë pa pasur nevojë të bëni lëvizje të panevojshme. Të kërcesh me një dajre dhe të ngatërrohesh me tastierën gjatë natës është shumë emocionuese, por ndonjëherë dëshiron që të funksionojë menjëherë. Dhe besueshmëria e përgjithshme e zgjidhjeve të tilla është zakonisht më e lartë. Dhe po, shpirti i aventurizmit është zhdukur tek ne, ne pushuam së ngjituri në dritaret e grave tona të dashura, etj. (c).
Së dyti, për të qenë i sinqertë, nevoja për të punuar me ruajtjen e objekteve lind në kompani mjaft të mëdha, kështu që pikërisht ky është rasti kur shikimi drejt zgjidhjeve të nivelit të ndërmarrjes jo vetëm që nuk është i turpshëm, por edhe i inkurajuar. Në çdo rast, unë nuk di ende ndonjë shembull që dikush të pushohet nga puna për blerjen e zgjidhjeve të tilla.
Bazuar në të gjitha sa më sipër, zgjedhja ime ra Dell EMC ECS Edicioni i Komunitetit. Ky është një projekt shumë interesant dhe e konsideroj të nevojshme t'ju tregoj për të.
Gjëja e parë që ju vjen në mendje kur shihni shtesën Edicioni i Komunitetit - se kjo është vetëm një kopje e një ECS të plotë me disa kufizime që hiqen duke blerë një licencë. Pra jo!
Mbani mend:
!!!Edicioni i Komunitetit është një projekt i veçantë i krijuar për testim, dhe pa mbështetje teknike nga Dell!!
Dhe nuk mund të shndërrohet në një ECS të plotë, edhe nëse vërtet dëshironi.
Le ta kuptojmë
Shumë njerëz besojnë se Dell EMC ECS është pothuajse zgjidhja më e mirë nëse keni nevojë për ruajtjen e objekteve. Të gjitha projektet nën markën ECS, përfshirë ato komerciale dhe korporative, bazohen në . Një lloj gjesti i vullnetit të mirë nga Dell. Dhe përveç softuerit që funksionon në harduerin e tyre të markës, ekziston një version me burim të hapur që mund të vendoset në cloud, në një makinë virtuale, në një kontejner ose në cilindo prej pajisjeve tuaja. Duke parë përpara, ekziston edhe një version OVA, të cilin do ta përdorim.
Vetë DELL ECS Community Edition është një mini-version i softuerit të plotë që funksionon në serverët e markës Dell EMC ECS.
Kam identifikuar katër dallime kryesore:
- Nuk ka mbështetje për kriptim. Është turp, por jo kritike.
- Mungon shtresa e pëlhurës. Kjo gjë është përgjegjëse për ndërtimin e grupimeve, menaxhimin e burimeve, përditësimet, monitorimin dhe ruajtjen e imazheve të Docker. Këtu është tashmë shumë fyese, por edhe Dell mund të kuptohet.
- Pasoja më e neveritshme e pikës së mëparshme: madhësia e nyjës nuk mund të zgjerohet pas përfundimit të instalimit.
- Asnjë mbështetje teknike. Ky është një produkt për testim, i cili nuk është i ndaluar të përdoret në instalime të vogla, por unë personalisht nuk do të guxoja të ngarkoja atje petabajt të dhëna të rëndësishme. Por teknikisht askush nuk mund t'ju ndalojë ta bëni këtë.
Çfarë ka në versionin e madh?
Le të galopojmë në të gjithë Evropën dhe të kalojmë përmes zgjidhjeve të hekurta në mënyrë që të kemi një kuptim më të plotë të ekosistemit.
Unë nuk do ta konfirmoj apo hedh poshtë disi deklaratën se DELL ECS është ruajtja më e mirë e objekteve në prem, por nëse keni ndonjë gjë për të thënë në lidhje me këtë temë, do të jem i lumtur ta lexoj atë në komente. Të paktën sipas versionit Dell EMC është me besim ndër pesë liderët kryesorë të tregut OBS. Megjithëse zgjidhjet e bazuara në cloud nuk merren parasysh atje, kjo është një bisedë më vete.
Nga pikëpamja teknike, ECS është një ruajtje e objekteve që siguron qasje në të dhëna duke përdorur protokollet e ruajtjes së cloud. Mbështet AWS S3 dhe OpenStack Swift. Për kova të aktivizuara me skedarë, ECS mbështet NFSv3 për eksportimin skedar pas skedari.
Procesi i regjistrimit të informacionit është mjaft i pazakontë, veçanërisht pas sistemeve klasike të ruajtjes së bllokut.
- Kur mbërrijnë të dhëna të reja, krijohet një objekt i ri që ka një emër, vetë të dhënat dhe metadatat.
- Objektet ndahen në copa 128 MB dhe secila pjesë shkruhet në tre nyje njëherësh.
- Skedari i indeksit përditësohet, ku regjistrohen identifikuesit dhe vendet e ruajtjes.
- Skedari i regjistrit (hyrja e regjistrit) përditësohet dhe gjithashtu shkruhet në tre nyje.
- Klientit i dërgohet një mesazh për regjistrimin e suksesshëm
Të tre kopjet e të dhënave janë shkruar paralelisht. Shkrimi konsiderohet i suksesshëm vetëm nëse të tre kopjet janë shkruar me sukses.
Leximi është më i lehtë:
- Klienti kërkon të dhëna.
- Indeksi kërkon vendin ku ruhen të dhënat.
- Të dhënat lexohen nga një nyje dhe i dërgohen klientit.
Ka mjaft serverë vetë, kështu që le të shohim Dell EMC ECS EX300 më të vogël. Fillon nga 60 TB, me aftësinë për t'u rritur deri në 1,5 PB. Dhe vëllai i tij më i madh, Dell EMC ECS EX3000, ju lejon të ruani deri në 8,6 PB për raft.
Vendosni
Teknikisht, Dell ECS CE mund të vendoset sa më shumë që dëshironi. Në çdo rast, nuk gjeta ndonjë kufizim të qartë. Sidoqoftë, është e përshtatshme të bëjmë të gjitha shkallëzimet duke klonuar nyjen e parë, për të cilën na duhen:
- 8 vCPU
- 64GB RAM
- 16 GB për OS
- 1 TB ruajtje direkte
- Lëshimi i fundit i CentOS minimal
Ky është një opsion kur dëshironi të instaloni gjithçka vetë që në fillim. Ky opsion nuk është i rëndësishëm për ne, sepse... Unë do të përdor imazhin OVA për vendosjen.
Por në çdo rast, kërkesat janë shumë të këqija edhe për një nyje, dhe nëse ndiqni me përpikëri shkronjat e ligjit, atëherë ju duhen katër nyje të tilla.
Sidoqoftë, zhvilluesit ECS CE jetojnë në botën reale, dhe instalimi është i suksesshëm edhe me një nyje, dhe kërkesat minimale janë:
- 4 vCPU
- 16 GB RAM
- 16 GB për OS
- 104 GB memorie vetë
Këto janë burimet e nevojshme për të vendosur imazhin OVA. Tashmë shumë më humane dhe realiste.
Vetë nyja e instalimit mund të merret nga zyrtari . Ekziston gjithashtu dokumentacion i detajuar për vendosjen e të gjitha-në-një, por mund të lexoni edhe tek zyrtari . Prandaj, ne nuk do të ndalemi në detaje në shpalosjen e OVA, nuk ka mashtrime atje. Gjëja kryesore është që përpara se ta filloni, mos harroni të zgjeroni diskun në vëllimin e kërkuar, ose të bashkëngjitni ato të nevojshme.
Ne e nisim makinën, hapim tastierën dhe përdorim kredencialet më të mira të paracaktuara:
- hyrje: admin
- fjalëkalimi: ChangeMe
Pastaj ekzekutojmë sudo nmtui dhe konfigurojmë ndërfaqen e rrjetit - IP/maskë, DNS dhe portë. Duke pasur parasysh që CentOS minimal nuk ka net-tools, ne kontrollojmë cilësimet përmes ip addr.
Dhe meqenëse vetëm trimat pushtojnë detet, ne bëjmë një përditësim yum, pas së cilës rindizemi. Në fakt është mjaft i sigurt sepse... i gjithë vendosja bëhet përmes librave të luajtjes dhe të gjitha paketat e rëndësishme të dokerit janë të kyçura në versionin aktual.
Tani është koha për të redaktuar skriptin e instalimit. Nuk ka dritare të zbukuruara ose pseudo UI për ju - gjithçka bëhet përmes redaktuesit tuaj të preferuar të tekstit. Teknikisht, ka dy mënyra: mund të ekzekutoni çdo komandë me dorë ose të nisni menjëherë konfiguruesin e videoploy. Thjesht do të hapë konfigurimin në vim, dhe pas daljes do të fillojë ta kontrollojë atë. Por nuk është interesante të thjeshtosh qëllimisht jetën tënde, kështu që le të ekzekutojmë dy komanda të tjera. Edhe pse kjo nuk ka kuptim, unë ju paralajmërova =)
Pra, le të bëjmë vim ECS-CommunityEdition/deploy.xml dhe të bëjmë ndryshimet minimale optimale në mënyrë që ECS të funksionojë dhe të funksionojë. Lista e parametrave mund të shkurtohet, por unë e bëra kështu:
- licensuar_pranuar: e vërtetë Nuk keni pse ta ndryshoni atë, atëherë kur ta vendosni do t'ju kërkohet në mënyrë eksplicite ta pranoni dhe do t'ju shfaqet një frazë e bukur. Ndoshta kjo është edhe një vezë e Pashkëve.
- Zhkomentoni linjat autonames: dhe custom: Futni të paktën një emër të dëshiruar për nyjen - emri i hostit do të zëvendësohet me të gjatë procesit të instalimit.
- install_node: 192.168.1.1 Specifikoni IP-në reale të nyjes. Në rastin tonë, ne tregojmë të njëjtën gjë si në nmtui
- dns_domain: futni domenin tuaj.
- dns_servers: shkruani dns-në tuaj.
- ntp_servers: mund të specifikoni cilindo. E mora të parën që hasa nga pishina 0.pool.ntp.org (u bë 91.216.168.42)
- autonomimi: me porosi Nëse nuk e hiqni komentin, hëna do të quhet Luna.
- ecs_block_devices:
/ Dev / SDB
Për ndonjë arsye të panjohur, mund të mos ekzistojë një pajisje ruajtëse blloku /dev/vda - storage_pools:
anëtarët:
192.168.1.1 Këtu përsëri tregojmë IP-në reale të nyjës - ecs_block_devices:
/dev/sdb Ne përsërisim operacionin e prerjes së pajisjeve që nuk ekzistojnë.
Në përgjithësi, i gjithë skedari përshkruhet me shumë detaje në , por kush do ta lexojë në një kohë kaq të trazuar. Ai gjithashtu thotë se minimumi i mjaftueshëm është të specifikoni IP-në dhe maskën, por në laboratorin tim një grup i tillë filloi mjaft dobët dhe më duhej ta zgjeroja atë në atë të specifikuar më sipër.
Pas daljes nga redaktori, duhet të ekzekutoni update_deploy /home/admin/ECS-CommunityEdition/deploy.yml dhe nëse gjithçka është bërë në mënyrë korrekte, kjo do të raportohet në mënyrë eksplicite.
Pastaj duhet të ekzekutoni videoploy, të prisni që mjedisi të përditësohet dhe mund të filloni vetë instalimin me komandën ova-step1 dhe pas përfundimit të suksesshëm të tij komandën ova-step2. E rëndësishme: mos i ndaloni skriptet me dorë! Disa hapa mund të marrin një kohë të konsiderueshme, mund të mos përfundojnë në provën e parë dhe mund të duken sikur gjithçka është prishur. Në çdo rast, duhet të prisni që skenari të përfundojë natyrshëm. Në fund duhet të shihni një mesazh të ngjashëm me këtë.
Tani më në fund mund të hapim panelin e kontrollit WebUI duke përdorur IP-në që njohim. Nëse konfigurimi nuk është ndryshuar në fazë, llogaria e paracaktuar do të jetë root/ChangeMe. Madje, mund të përdorni menjëherë hapësirën tonë të përputhshme me S3. Është i disponueshëm në portet 9020 për HTTP dhe 9021 për HTTPS. Përsëri, nëse asgjë nuk është ndryshuar, atëherë aksesi_key: objekt_admin1 dhe çelësi_ sekret: ChangeMeChangeMeChangeMeChangeMeChangeMe.
Por le të mos shkojmë shumë përpara dhe të fillojmë me rregull.
Kur hyni për herë të parë, do të detyroheni të ndryshoni fjalëkalimin tuaj në një të përshtatshëm, gjë që është absolutisht e saktë. Paneli kryesor është jashtëzakonisht i qartë, kështu që le të bëjmë diçka më interesante sesa të shpjegojmë matjet e dukshme. Për shembull, le të krijojmë një përdorues që do ta përdorim për të hyrë në hapësirën ruajtëse. Në botën e ofruesve të shërbimeve, këta quhen qiramarrës. Kjo bëhet në Menaxho > Përdoruesit > Përdorues i objektit të ri
Kur krijojmë një përdorues, na kërkohet të specifikojmë një hapësirë emri. Teknikisht, asgjë nuk na pengon të krijojmë aq shumë prej tyre sa ka përdorues. Dhe anasjelltas. Kjo ju lejon të menaxhoni burimet në mënyrë të pavarur për çdo qiramarrës.
Prandaj, ne zgjedhim funksionet që na duhen dhe gjenerojmë çelësat e përdoruesit. S3/Atmos do të më mjaftojë. Dhe mos harroni të ruani çelësin 😉
Përdoruesi është krijuar, tani është koha për t'i dhënë atij një kovë. Shkoni te Manage > Bucket dhe plotësoni fushat e kërkuara. Gjithçka është e thjeshtë këtu.
Tani kemi gjithçka gati për përdorim mjaft luftarak të ruajtjes sonë S3.
Vendosja e Veeam
Pra, siç kujtojmë, një nga përdorimet kryesore të ruajtjes së objekteve është ruajtja afatgjatë e informacionit që rrallë arrihet. Një shembull ideal është nevoja për të ruajtur kopjet rezervë në një faqe të largët. Në Veeam Backup & Replication kjo veçori quhet Niveli i Kapacitetit.
Le të fillojmë konfigurimin duke shtuar Dell ECS CE në ndërfaqen Veeam. Në skedën "Infrastruktura rezervë", hapni magjistarin e "Shto një depo të re" dhe zgjidhni "Ruajtja e objekteve".
Le të zgjedhim për çfarë filloi gjithçka - S3 Compatible.
Në dritaren që shfaqet, shkruani emrin e dëshiruar dhe shkoni te hapi Llogaria. Këtu duhet të specifikoni pikën e Shërbimit në formular , rajoni mund të lihet ashtu siç është dhe përdoruesi i krijuar mund të shtohet. Një server i portës është i nevojshëm nëse ruajtja juaj ndodhet në një sit të largët, por kjo tashmë është një temë për optimizimin e infrastrukturës dhe një artikull më vete, kështu që mund ta kaloni me siguri këtu.
Nëse gjithçka është specifikuar dhe konfiguruar saktë, do të shfaqet një paralajmërim për certifikatën dhe më pas një dritare me një kovë ku mund të krijoni një dosje për skedarët tanë.
Ne kalojmë magjistarin deri në fund dhe shijojmë rezultatin.
Hapi tjetër është ose të krijoni një depo rezervë të re Scale-out, ose të shtoni S3 tonë në atë ekzistues - ai do të përdoret si një nivel kapaciteti për ruajtjen arkivore. Nuk ka asnjë funksion për të përdorur hapësirën ruajtëse të pajtueshme me S3 drejtpërdrejt, si një depo e zakonshme, në versionin aktual. Duhet të zgjidhen shumë probleme jo të dukshme që kjo të ndodhë, por gjithçka është e mundur.
Shkoni te cilësimet e depove dhe aktivizoni Nivelin e Kapacitetit. Gjithçka është transparente atje, por ka një nuancë interesante: nëse dëshironi që të gjitha të dhënat të dërgohen në ruajtjen e objekteve sa më shpejt të jetë e mundur, thjesht vendoseni në 0 ditë.
Pasi të kaloni nëpër magjistarin, nëse nuk doni të prisni, mund të shtypni ctrl+RMB në depo, të nisni me forcë punën e nivelit dhe të shikoni grafikët të zvarriten.
Kjo është e gjitha për tani. Unë mendoj se kam pasur sukses në detyrën për të treguar se ruajtja e bllokut nuk është aq e frikshme sa mendojnë njerëzit. Po, ka zgjidhje dhe mundësi për një vagon dhe një karrocë të vogël, por nuk mund të mbuloni gjithçka në një artikull. Pra, le të ndajmë përvojën tonë në komente.
Burimi: www.habr.com