Prototipi i parë i ruajtjes objektive u pa për herë të parë në vitin 1996. Pas 10 vjetësh, Amazon Web Services do të të lançojë Amazon S3, dhe bota fillon të tërhiqet drejt një hapësire adresimi të sheshtë. Falë punës me metadata dhe mundësinë e tij për t'u shkallëzuar pa u ndjerë nën ngarkesë, ruajtjet objektive shpejt u bënë standard për shumicën e shërbimeve të ruajtjes së të dhënave në re, dhe jo vetëm. Një tjetër karakteristikë e rëndësishme është përshtatshmëria e shkëlqyer për ruajtjen e arkivave dhe skedarëve të ngjashëm që përdoren rrallë. Të gjithë ata që ishin të lidhur me ruajtjen e të dhënave ishin të gëzuar dhe e përqafuan këtë teknologji të re.
Por gojdhënat ishin të mbushura me thashetheme se ruajtjet objektive janë vetëm për re të mëdha, dhe nëse nuk keni nevojë për zgjidhjet e kapitalistëve të mallkuar, krijimi i tuajit do të ishte shumë i vështirë. Ka shumë informacione të shkruara për vendosjen e re të vetë, por për krijimin e zgjidhjeve të quajtura S3-compatible ka shumë pak informacion.
Prandaj sot do të shqyrtojmë se cilat janë mundësitë "Sa si të rriturit, jo CEPH dhe një bojë më të madhe", do të vendosim një nga to, dhe do të kontrollojmë nëse gjithçka funksionon me Veeam Backup & Replication. Në të është deklaruar mbështetje për punë me ruajtjet S3-compatibile, dhe ne do të verifikojmë këtë pretendim.
Si është me të tjerët?
Filloj më sugjerim me një pasqyrë të vogël të tregut dhe mundësive të ruajtjeve objektive. Lideri dhe standardi i pranuar gjithashtu është Amazon S3. Dy ndjekësit më të afërt janë Microsoft Azure Blob Storage dhe IBM Cloud Object Storage.
A është vërtet gjithçka? A nuk ka konkurrentë të tjerë? Natyrisht, ka konkurrentë, por disa ndjekin rrugën e tyre si Google Cloud ose Oracle Cloud Object Storage, me mbështetje të pjesshme për S3 API. Disa përdorin versione të vjetra të API, siç është Baidu Cloud. Ndërsa disa, si Hitachi Cloud, kërkojnë përdorimin e logjikës speciale, e cila do të sjellë vështirësi të caktuara. Në çdo rast, të gjithë krahason me Amazon, i cili mund të quhet standardi industrial.
Në zgjidhjet on-premise, zgjedhja është shumë më e madhe, prandaj le të theksojmë kriteret e rëndësishme për ne. Në parim, mjafton vetëm të ketë dy: mbështetje për S3 API dhe përdorim të nënshkrimit v4. Duke e thënë sinqerisht, ne si klientë të ardhshëm jemi të interesuar vetëm për ndërfaqet për ndërveprim, ndërsa brendësia e vetë ruajtjes na intereson më pak.
Për këto kushte të thjeshta, ka shumë zgjidhje që plotësojnë. Për shembull, gjigantët e korporatave klasike:
- DellEMC ECS
- NetApp S3 StorageGrid
- Nutanix Buckets
- Pure Storage FlashBlade dhe StorReduce
- Huawei FusionStorage
Ka një nišë të zgjidhjeve të pastra software që punojnë nga kutia:
- Red Hat Ceph
- SUSE Enterprise Storage
- Cloudian
Edhe për ata që pëlqejnë të punojnë me dorë pas së mbledhjes nuk janë lënë pas:
- CEPH në formën e tij të pastër
- Minio (versioni Linux, pasi versioni Windows ka shumë pyetje)
Lista nuk është aspak përfundimtare, mund ta diskutojmë në komentet. Por mos harroni para se të implementoni të kontrolloni përveç API-së, edhe performancën e sistemit. E fundit që ju duhet është të humbni terabajt të dhënash për shkak të kërkesave që ngrijnë. Prandaj mos hezitoni të bëni teste ngarkese. Të gjitha programet e mira për të dhëna të mëdha kanë të paktën raporte për pajtueshmërinë. Në rastin e Veeam ka për testimin e ndërsjellë, duke lejuar të deklarojmë me besim mbi pajtueshmërinë e plotë të produkteve tona me pajisjet specifike. Kjo është një punë ndërsjellëse, që nuk është gjithmonë e shpejtë, por ne vazhdimisht zgjeruojmë zgjidhjet e testuara.
Të mbledhim standin tonë
Dua të flas pak për zgjedhjen e subjektit.
Së pari, doja të gjeja një variant që do të punonte menjëherë nga kutia. Ose të paktën me probabilitetin më të madh që do të funksiononte pa nevojën për të bërë lëvizje të panevojshme. Vallëzimi me bubullima dhe ndihma e konsolës në natën është shumë e këndshme, por ndonjëherë dëshiron që të gjithë të funksionojë menjëherë. Po ashtu, qëndrueshmëria e përgjithshme e këtyre zgjidhjeve është zakonisht më e lartë. Dhe po, na ka humbur fryma e aventurës, kemi ndaluar së ngjari nëpër dritare për gratë që duam etj. (s).
Së dyti, po flasim në mënyrë të sinqertë, nevoja për të punuar me ruajtjet objektive lind te kompanitë relativisht të mëdha, kështu që ky është rasti kur është jo vetëm e pranueshme, por madje inkurajohet të shikoni në zgjidhjet e nivelit enterprise. Në çdo rast, deri tani nuk e di që ndonjëherë dikush është pushuar për blerjen e këtyre zgjidhjeve.
Duke u nisur nga e lartpërmendura, zgjedhja ime ra mbi Dell EMC ECS Community Edition. Ky është një projekt shumë interesant dhe mendoj se është e nevojshme të ju tregoj për të.
E para që vjen në mendje kur shikoni plotësimin Community Edition është se kjo është thjesht një kopje e ECS-së për të cilin është e plotë me disa kufizime që hiqen duke blerë një licencë. Kështu që nuk është kështu!
Mbani mend:
!!!Edisioni i Komunitetit — është një projekt i veçantë, i krijuar për testim dhe pa mbështetje nga Dell!!
Dhe nuk mund të kthehet në një ECS të plotë, edhe nëse dëshira është e madhe.
Le të zbulojmë
Shumë e konsiderojnë Dell EMC ECS si një nga zgjidhjet më të mira, nëse keni nevojë për ruajtje objektesh. Të gjitha projektet nën markën ECS, duke përfshirë ato komerciale dhe korporative, janë të bazuara në . Një gjest i tillë i mirë nga Dell. Dhe përveç softuerit që funksionon në harduerin e tyre të markës, ka një version open-source, i cili mund të implementohet në cloud, në një makinë virtuale, në një kontejner, ose mbi çdo harduer tuajin. Duke u nisur përpara — ekziston madje edhe një version OVA, të cilin do ta përdorim.
DELL ECS Community Edition — është një mini-version i softuerit të plotë, që funksionon në serverat e markës Dell EMC ECS.
Kam identifikuar katër dallime kryesore:
- Nuk ka mbështetje për enkriptimin. E keqe, por jo kritike.
- Nuk ka Fabric Layer. Kjo gjë është përgjegjëse për ndërtimin e klasterëve, menaxhimin e burimeve, përditësimet, monitorimin dhe ruajtjen e imazheve Docker. Këtu është shumë më e keqe, por Dell gjithashtu mund të kuptohet.
- Pasojat më të këqija të pikës së mëparshme: madhësia e nodës nuk mund të zgjerohet pas përfundimit të instalimit.
- Nuk ka mbështetje teknike. Ky është një produkt për testim, i cili mund të përdoret në instalime të vogla, por unë personalisht nuk do të vendosja petabajtë të dhënash të rëndësishme atje. Megjithatë, teknikisht, askush nuk mund t'ju pengojë ta bëni këtë.
E çfarë ndodh me versionin e madh?
Le të kalojmë shpejt mbi zgjidhjet harduerike, për të pasur një përmbledhje më të plotë të ekosistemit.
Nuk do të konfirmoj ose polemizoj se DELL ECS është depoja më e mirë on-prem për objekte, por nëse keni diçka për të thënë në këtë drejtim, do të doja ta lexoj me kënaqësi në komentet. Sidoqoftë, sipas versionit Dell EMC është në mënyrë të sigurt në mesin e pesë liderëve të tregut OBS. Edhe pse atje nuk përfshihen zgjidhjet cloud-based, por kjo është një bisedë tjetër.
Nga një pikëpamje teknike, ECS është një depo objektesh që siguron akses në të dhëna sipas protokolleve të ruajtjes në cloud. Mbështet AWS S3 dhe OpenStack Swift. Për baket e mundësuara me skedarë, ECS mbështet NFSv3 për mundësinë e eksporteve sipas skedarëve.
Procesi i shkruarjes së informacionit është mjaft i pazakontë, sidomos pas sistemeve tradicionale të ruajtjes me bllok.
- Kur ndodhen të dhëna të reja, krijohet një objekt i ri, i cili ka emrin, të dhënat vetë dhe metadatën.
- Objektet ndahen në kaçe prej 128 MB, dhe çdo kaç regjistrohet menjëherë në tri node.
- Ndodh përditësimi i skedarit të indeksit, ku regjistrohen identifikuesit dhe vendndodhjet e ruajtjes.
- Përditësohet skedari i regjistrit (log) dhe gjithashtu regjistrohet në tri node.
- Klienti merr një mesazh për regjistrimin e suksesshëm
Të gjithë tre kopjet e të dhënave regjistrohen paralelisht. Regjistrimi konsiderohet i suksesshëm, vetëm nëse të gjitha tre kopjet janë regjistruar me sukses.
Leximi ndodh më thjeshtë:
- Klienti kërkon të dhënat.
- Në indeks kërkohet vendndodhja e të dhënave.
- Të dhënat lexohen nga një nod dhe i dërgohen klientit.
I ka shumë servera të tillë, prandaj le të shohim Dell EMC ECS EX300, modelin më të vogël. Ai fillon nga 60 TB, me mundësinë për t'u zgjeruar deri në 1.5 PB. Dhe vëllai i tij më i madh Dell EMC ECS EX3000 tashmë lejon ruajtjen e deri në 8.6 PB në raft.
Dërgo
Teknikisht, Dell ECS CE mund të implementohet në çdo madhësi. Sidoqoftë, nuk kam gjetur ndonjë kufizim të qartë. Megjithatë, çdo zgjerim është më mirë të bëhet duke klonuar nodën e parë, për të cilën na duhen:
- 8 vCPU
- 64GB RAM
- 16GB për sistemin e operimit
- 1TB për ruajtje
- Lëshimi më i fundit i CentOS minimal
Ky është një variant për rastin kur dëshironi të instaloni gjithçka vetë nga fillimi. Për ne, ky variant nuk është relevant, pasi do të përdor OVA imazhin për shpërndarje.
Por në çdo rast, kërkesat janë shumë të larta edhe për një nodë, dhe nëse ndjekim me rigorozitet ligjin, na duhen katër të tilla.
Megjithatë, zhvilluesit e ECS CE jetojnë në botën reale, dhe instalimi kalon me sukses edhe me një nodë, dhe kërkesat minimale janë:
- 4 vCPU
- 16 GB RAM
- 16 GB për sistemin e operimit
- 104 GB vetë ruajtja
Këto resurse janë të nevojshme për implementimin e imazhit OVA. Tani është shumë më humane dhe realiste.
Nodën instalimtare mund ta merrni në zyrtar . Atje gjithashtu ka dokumentacion të detajuar për shpërndarje gjithçka-në-një, por mund të lexoni gjithashtu në zyrtar . Prandaj, nuk do të qëndrojmë gjatë në shpërndarjen e OVA, aty është pa truke. E rëndësishme është të mos harroni që para se ta aktivizoni, të zgjeroni diskun në kapacitetin e nevojshëm, ose të bashkëngjitni ato të nevojshme.
Nisni makinën, hapni konsolën dhe përdorni akreditimet më të mira të paracaktuara:
- përdoruesi: admin
- fjalëkalimi: ChangeMe
Pastaj fillojmë sudo nmtui dhe konfiguroni ndërfaqen e rrjetit — IP/maskë, DNS dhe gateway. Duke mbajtur mend se në CentOS minimal nuk ka net-tools, kontrollojmë konfigurimet përmes ip addr.
Dhe pasi vetëm guximtarët çlirojnë detet, bëjmë yum update, pas të cilës reboot. Në të vërtetë, kjo është mjaft e sigurt, sepse e gjithë implementimi bëhet përmes playbook-ve, dhe të gjitha paketat e rëndësishme të Dockerit janë bllokuar në versionin aktual.
tani është koha të redaktojmë skriptin e instalimit. Asnjë dritare e bukur apo UI i sajuar — gjithçka në redaktorin tuaj të preferuar të tekstit. Teknikisht, ka dy mënyra: mund të ekzekutoni çdo komandë me duar ose të filloni menjëherë konfiguruesin videploy. Ai thjesht do të hapë konfigurimin në vim, dhe pas daljes do të niste verifikimin e tij. Por me vetëdije, nuk është interesante të thjeshtosh jetën, kështu që do të ekzekutojmë dy komandat më shumë. Edhe pse nuk ka ndonjë sens në këtë, ju paralajmërova =)
Pra, bëjmë vim ECS-CommunityEdition/deploy.xml dhe bëjmë ndryshimet minimalisht optimale, në mënyrë që ECS të aktivizohet dhe të funksionojë. Lista e parametrave mund të pakësohet, por unë e bëra kështu:
- licensed_accepted: true Mund ta lini edhe kështu, në mënyrë që gjatë instalimit t'ju kërkohet ta pranoni atë në mënyrë të qartë dhe do të shihni një frazë simpatike. Ndoshta, kjo është një e fshehtë.
- Zgjidhni rreshtat autonames: dhe custom: Shkruani të paktën një emër të dëshiruar për nodën — emri i hostit do të zëvendësohet me të gjatë procesit të instalimit.
- install_node: 192.168.1.1 Tregoni IP-në reale të nodës. Në rastin tonë, tregojmë të njëjtën që pavarësisht nmtui
- dns_domain: shkruani domenin tuaj.
- dns_servers: shkruani DNS-in tuaj.
- ntp_servers: mund të tregoni çfarëdo. Unë e mora të parin në pool 0.pool.ntp.org (ai u bë 91.216.168.42)
- autonaming: custom Nëse nuk e çmontoni, muaji do të quhet Luna.
- ecs_block_devices:
/dev/sdb
Për një arsye të panjohur, këtu mund të ndodhet një pajisje e pavlefshme e ruajtjes së bllokut /dev/vda - storage_pools:
members:
192.168.1.1 Këtu përsëri tregoni IP-në reale të nodës - ecs_block_devices:
/dev/sdb Повторяем операцию вырезания несуществующих устройств.
Në fakt, e gjithë skedari është shumë i detajuar në , por kush do ta lexojë atë në një kohë kaq të qetë. Aty shkruhet se minimumi i nevojshëm është të tregoni IP-në dhe maskën, por në laboratorin tim i tillë set u ngrit keq, dhe m'u desh ta zgjeroj në atë mbi të.
Pas daljes nga redaktori, duhet të ekzekutoni update_deploy /home/admin/ECS-CommunityEdition/deploy.yml, dhe nëse gjithçka është bërë siç duhet, do të njoftoheni në mënyrë të qartë për këtë.
Pastaj prapë do të duhet të nisni videploy, të prisni për azhurnimin e mjedisit, dhe mund të filloni instalimin vetë me komandën ova-step1, dhe pas përfundimit të suksesshëm komandën ova-step2. E rëndësishme: mos e ndaloni punën e skripteve me duar! Disa hapa mund të kërkojnë kohë të konsiderueshme, të realizohen jo në përpjesë dhe të duken sikur gjithçka ka dështuar. Në çdo rast, duhet të prisni për përfundimin natyral të skriptit. Në fund, duhet të shihni një mesazh të tillë.
Tani në fund mund të hapim WebUI panelin e menaxhimit me IP-në që e dimë. Nëse nuk keni ndryshuar gjatë konfigurimit, llogaria e defaktuar do të jetë root/ChangeMe. Madje mund të filloni të përdorni magazinën tonë S3 të përputhshme. Ajo është e disponueshme në portet 9020 për HTTP, dhe 9021 për HTTPS. Përsëri, nëse nuk kemi bërë asgjë të ndryshojë, atëherë access_key: object_admin1 dhe secret_key: ChangeMeChangeMeChangeMeChangeMeChangeMe.
Por le të mos nxitim shumë dhe të fillojmë me radhë.
Në hyrjen e parë do t'ju kërkohet detyrimisht të ndryshoni fjalëkalimin në një të arsyeshme, që është plotësisht e drejtë. Dashboard-i kryesor është jashtëzakonisht i qartë, kështu që le të bëjmë diçka më interesante sesa të shpjegojmë metrikat e dukshme. Për shembull, të krijojmë një përdorues që do ta përdorim për qasje në magazinë. Në botën e ofruesve të shërbimeve, këto quhen tenantë. Kjo bëhet në Manage > Users > New Object User
Kur krijojmë përdoruesin, na kërkohet të tregojmë namespace. Teknikisht, asgjë nuk na pengon të krijojmë aq sa do të jetë përdorues. Dhe anasjelltas. Kjo lejon menaxhimin e burimeve në mënyrë të pavarur për secilin tenant.
Për këtë arsye, zgjidhni funksionet që na duhen dhe gjeneroni çelësat e përdoruesit. Më mjafton S3/Atmos. Dhe mos harro të ruash çelësin 😉
Përdoruesi u krijua, tani është koha të ndajmë një bucket për të. Kalojmë në Manage > Bucket dhe mbushim fushat e nevojshme. Këtu është thjesht.
Tani kemi gjithçka gati për përdorim mjaft operacional të magazinës sonë S3.
Konfigurojmë Veeam
Pra, siç e dimë, një nga aplikimet kryesore të magazinave objektive është ruajtja afatgjatë e informacionit, i cili përdoret rrallë. Një shembull i përsosur është nevoja për të ruajtur backup-et në një vend të largët. Në Veeam Backup & Replication, kjo funksion quhet Capacity Tier.
Le të fillojmë konfigurimin me shtimin e Dell ECS CE-tonë në ndërfaqen Veeam. Në skedën Backup Infrastructure, fillojmë asistimin për shtimin e një depoje të re dhe zgjidhim opsionin Object Storage.
Zgjidhim atë për të cilën është bërë gjithçka — S3 e përshtatshme.
Në dritaren që shfaqet shkruani emrin e dëshiruar dhe kaloni në hapin e llogarisë. Këtu duhet të përcaktoni pikën e shërbimit si , rajoni mund të mbetet si është, dhe të shtoni përdoruesin e krijuar. Serveri i portës është i nevojshëm nëse magazina juaj ndodhet në një vendndodhje të jashtme, por kjo është një temë për optimizimin e infrastrukturës dhe një artikull i veçantë, kështu që këtu mund ta injoroni me qetësi.
Nëse gjithçka është specifikuar dhe e konfiguruar saktë, do të shfaqet një paralajmërim për certifikatën dhe pastaj një dritare me kovën, ku mund të krijoni një folder për skedarët tanë.
Kaloni wizard-in deri në fund dhe shijoni rezultatin.
Në hapin tjetër duhet ose të krijoni një Repository Backup Scale-out të ri, ose të shtoni S3-në tonë në ekzistuesin — ai do të përdoret si Capacity Tier për ruajtjen arkivore. Funksioni për të përdorur magazinat e përshtatshme me S3 drejtpërdrejt si një repository të zakonshëm në versionin aktual nuk ekziston. Ka shumë probleme të pastra për të zgjidhur për këtë, por gjithçka është e mundur.
Hyjmë në cilësimet e repository-t dhe aktivizojmë Capacity Tier. Atje gjithçka është transparente, por ka një nuancë interesante: nëse dëshironi që të dhënat të dërgohen në oborrin objektiv në kohën më të shkurtër të mundshme, thjesht vendosni 0 ditë.
Pas kalimit të wizard-it, nëse nuk dëshironi të prisni, mund të mbani ctrl+klik të djathtë mbi repository, të filloni detyrën e tiering-ut dhe të shihni si rriten grafet.
Për momentin kjo është e gjitha. Mendoj se kam arritur të tregoj që magazinat blok që janë më të frikshme sesa mendohet. Po, zgjidhje dhe mundësi realizimi ka mjaft, por në një artikull nuk mund të përfshihet gjithçka. Prandaj le të ndajmë përvojat në komentet.
Burimi: habr.com
