Prototipi i parë i depozitave objektive u botë u pa në vitin 1996. Pas 10 vjetësh, Amazon Web Services do të lansonte Amazon S3, dhe bota do të fillonte ngadalë të çmendet nga hapësira e adresës së përcaktuar. Falë punës me metadata dhe aftësisë së saj për t'u skalonuar pa humbur përformancën nën ngarkesë, depozat objektive shpejt u bënë standard për shumicën e shërbimeve të ruajtjes së të dhënave në re, dhe jo vetëm. Një tjetër veçori e rëndësishme është përshtatshmëria e mirë për ruajtjen e arkivave dhe skedarëve të ngjashëm që përdoren rrallë. Të gjithë ata që ishin të lidhur me ruajtjen e të dhënave festuan dhe e ndihmuan këtë teknologji të re.
Por thashethemet e njerëzve plotësonin lajme që depozat objektive ishin vetëm për re të mëdha, dhe nëse nuk kishit nevojë për zgjidhje nga kapitalistët e mallkuar, krijimi i një të tillë do të ishte shumë i vështirë. Për zhvillimin e re të saj është shkruar shumë, por për krijimin e zgjidhjeve të quajtura kompatibile me S3, informacioni është i kufizuar.
Prandaj sot do të shqyrtojmë se cilat janë opsionet “Për ta bërë si të rriturit, e jo CEPH dhe një çekiç më të madh”, do të zhvillojmë një prej tyre, dhe do ta verifikojmë që gjithçka funksionon me Veeam Backup & Replication. Kjo ofron mbështetje për punën me depozita kompatibile me S3, dhe këtë pretendim do ta verifikojmë.
E si është me të tjerët?
Sugjeroj të fillojmë me një përmbledhje të vogël të tregut dhe mundësive të depozitave objektive. Lideri dhe standardi mbarëkombëtar është Amazon S3. Dy ndjekësit më të afërt janë Microsoft Azure Blob Storage dhe IBM Cloud Object Storage.
A është e gjitha? A nuk ka konkurrentë të tjerë? Sigurisht, ka konkurrentë, por disa ndjekin rrugën e tyre, si Google Cloud ose Oracle Cloud Object Storage, me mbështetje të paplotë për S3 API. Disa përdorin versione të vjetra të API-së, si Baidu Cloud. Dhe disa, si Hitachi Cloud, kërkojnë një logjikë të veçantë, që patjetër do të shkaktojë vështirësi. Në çdo rast, të gjithë krahasohen me Amazon, i cili mund të konsiderohet si standardi industrial.
Ndërsa në zgjidhjet on-premise, zgjedhja është shumë më e madhe, prandaj le të përcaktojmë kriteret tona të rëndësishme. Në princip, mjafton vetëm dy: mbështetje për S3 API dhe përdorimi i nënshkrimit v4. Në zemër, për ne si klient të ardhshëm janë të rëndësishme vetëm interface-et për ndërveprim, ndërsa kuzhina e brendshme e depozitës na intereson më pak.
Këto kushte të thjeshta i përshtaten shumë zgjidhjeve. Për shembull, gjigandët klasikë të korporatave:
- DellEMC ECS
- NetApp S3 StorageGrid
- Nutanix Buckets
- Pure Storage FlashBlade dhe StorReduce
- Huawei FusionStorage
Ka një nişë zgjidhjesh krejtësisht softuerike, që funksionojnë nga kuti:
- Red Hat Ceph
- SUSE Enterprise Storage
- Cloudian
Edhe ata që preferojnë të punojnë me dorë pas montimit nuk janë injoruar:
- CEPH në formën e tij më të pastër
- Minio (versioni për Linux, pasi ka shumë pyetje për versionin për Windows)
Lista nuk është aspak e plotë, mund ta diskutojmë në komente. Vetëm mos harroni të kontrolloni përveç qëllueshmërisë së API-së edhe performancën e sistemit përpara implementimit. E fundit që ju nevojitet është humbja e terabajtëve të dhënash për shkak të kërkesave që ngadalësohen. Prandaj, mos ngurroni të bëni teste ngarkese. Në përgjithësi, çdo soft i rritur që punon me volume të mëdha të dhënash ka të paktën raporte për qëllueshmërinë. Në rastin e Veeam është për testimin e ndërsjellë, që lejon të deklarojmë me siguri për plotësisht qëllueshmërinë e produkteve tona me pajisjet specifike. Kjo është një punë dyanshëm, jo gjithmonë e shpejtë, por ne vazhdojmë të zgjeronim zgjidhjet e testuara.
Po përgatitim stendën tonë
Dëshiroj të flas pak për zgjedhjen e subjektit.
Së pari, doja të gjeja një opsion që do të funksiononte menjëherë nga kutia. Ose të paktën me probabilitet maksimal që do të funksiononte pa nevojën për të bërë lëvizje të panevojshme. Kërcimet me tamburë dhe përgjerimi në konsolë në mes të natës është shumë emocionuese, por ndonjëherë dëshiron që të funksionojë menjëherë. Po ashtu, besueshmëria e përgjithshme e këtyre zgjidhjeve zakonisht është më e lartë. Dhe po, na ka larguar fryma e aventurës, ne kemi ndaluar së ngjitur në dritare për të dashurit tanë, etj. (c).
Së dyti, nëse flasim së vërteti, nevoja për të punuar me sisteme objektësh ndodh në kompani të mëdha, kështu që kjo është pikërisht ajo rastësi kur është jo vetëm e nxitur, por edhe e inkurajuar të shikosh drejt zgjidhjeve të nivelit enterprise. Në çdo rast, nuk di ende shembuj ku dikush është shkarkuar për blerjen e këtij lloji zgjidhjesh.
Duke u bazuar në gjithçka të thënë më sipër, zgjedhja ime ra në Dell EMC ECS Community Edition. Ky është një projekt shumë interesant dhe mendoj se është e nevojshme të flas për të.
E para që më vjen në mendje kur shoh shtesën Community Edition — kjo është thjesht një kopje e ECS të plotë me disa kufizime, të cilat hiqen me blerjen e licencës. Por jo!
Mbani mend:
!!!Edisioni i Komunitetit — është një projekt i veçantë, i krijuar për teste dhe pa mbështetje teknike nga Dell!!
Dhe nuk mund ta shndërroni në një ECS të plotë, edhe nëse dëshironi shumë.
Le të kuptojmë
Shumë mendojnë se Dell EMC ECS — është një nga zgjidhjet më të mira nëse keni nevojë për një depo obiektesh. Të gjitha projektet nën markën ECS, përfshirë ato comerciale dhe korporative, mbështeten në . Një gjest i tillë i mirësisë nga Dell. Dhe përveç softuerit që ekzekutohet në harduerin e tyre markë, ka një version open-source që mund të vendoset në ose në cloud, në një makinë virtuale, në një kontejner, ose në çdo harduer tuajin. Pavarësisht gjithçkaje, ka edhe një version OVA, që ne do ta përdorim.
I vetë DELL ECS Community Edition — është një mini-version i softuerit të plotë që funksionon në serverët markë Dell EMC ECS.
Kam identifikuar katër dallime kryesore:
- Nuk ka mbështetje për kriptimin. E padëshiruara, por jo kritike.
- Nuk ka Layer Fabric. Kjo gjë është përgjegjëse për ndërtimin e klasterëve, menaxhimin e burimeve, përditësimet, monitorimin dhe ruajtjen e imazheve Docker. Këtu është shumë e padëshiruar, por Dell mund të kuptohet.
- Pasojat më të pakëndshme të pikës së mëparshme: madhësia e nodës nuk mund të zgjerohet pas përfundimit të instalimit.
- Nuk ka mbështetje teknike. Ky është një produkt për teste, që lejohet të përdoret në instalime të vogla, por unë personalisht nuk do të guxoja të ngarkoja petabajt të dhënash të rëndësishme atje. Por teknikisht, askush nuk mund t'ju ndalojë ta bëni këtë.
Por çfarë ka në versionin e madh?
Së shpejti do të kalojmë mbi zgjidhjet harduerike, për të pasur një pamje më të plotë të ekosistemit.
Unë nuk do të konfirmoj ose mohoj pretendimin se DELL ECS — është depoja më e mirë on-prem obiektesh, por nëse keni diçka për të thënë mbi këtë temë, do të isha i lumtur të lexoj në komentet. Në çdo rast sipas Dell EMC hyn pa përjashtim në pesë liderët e tregut OBS. Megjithatë, atje nuk llogariten zgjidhjet cloud-based, por kjo është një bisedë e veçantë.
Nga një pikëpamje teknike, ECS është një ruajtje objektesh që siguron akses në të dhëna përmes protokolleve të ruajtjes në re. Mbështet AWS S3 dhe OpenStack Swift. Për enët e mundësuara për skedarë, ECS mbështet NFSv3 për mundësinë e eksportit sipas skedarëve.
Procesi i regjistrimit të informacionit është mjaft i pazakontë, veçanërisht pas sistemeve klasike të ruajtjes me bllok.
- Me ardhjen e të dhënave të reja krijohet një objekt i ri, i cili ka një emër, vetë të dhënat dhe metadatën.
- Objektet ndahen në çonka prej 128 Mb, dhe secili çonk regjistrohet menjëherë në tre node.
- Po ndodh një përditësim i skedarit të indeksit, ku regjistrohen identifikuesit dhe vendet e ruajtjes.
- Përditësohet skedari i regjistrit (log i shkruar) dhe po ashtu regjistrohet në tre node.
- KLIENTIT i dërgohet një mesazh për regjistrimin e suksesshëm.
Të trija kopjet e të dhënave regjistrohen paralelisht. Regjistrimi konsiderohet i suksesshëm vetëm nëse të trija kopjet janë regjistruar me sukses.
Leximi është më i thjeshtë:
- KLIENTI kërkon të dhënat.
- Në indeks zbulohet vendi i ruajtjes së të dhënave.
- Të dhënat lexohen nga një node dhe i dërgohen klientit.
Ka shumë serverë, prandaj do të shohim serverin më të vogël Dell EMC ECS EX300. Ai fillon nga 60Tb, duke pasur mundësinë të rritet deri në 1,5Pb. Ndërsa vëllai i tij më i madh, Dell EMC ECS EX3000, lejon tashmë ruajtjen deri në 8,6Pb për raft.
Deploy
Teknikisht, Dell ECS CE mund të zhvillohet sa më i madh të dëshirohet. Në çdo rast, nuk kam gjetur kufizime të qarta. Megjithatë, e gjithë shkallëzimi është më mirë të bëhet me metodën e klonimit të node-t fillestar, për të cilin na duhen:
- 8 vCPU
- 64GB RAM
- 16GB për sistemin operativ
- 1TB për ruajtjen e drejtpërdrejtë
- Versioni më i fundit i CentOS minimal
Ky është një opsion për rastin kur dëshironi të instaloni gjithçka vetë nga fillimi. Për ne, ky opsion nuk është i rëndësishëm, pasi do të përdor për shpërndarje imazhin OVA.
Por në çdo rast, kërkesat janë shumë të rrepta, madje edhe për një node, dhe nëse ndiqet me rigorozitet shkronja e ligjit, duhet të ketë katër të tillë.
Megjithatë, zhvilluesit e ECS CE jetojnë në botën reale, dhe instalimi kalon me sukses edhe me një node, ndërsa kërkesat minimale janë:
- 4 vCPU
- 16 GB RAM
- 16 GB për sistemin operativ
- 104 GB vetë ruajtja
Këto burime janë të nevojshme për shpërndarjen e imazhit OVA. Tani është shumë më human dhe realiste.
Node-në e instalimit mund ta marrim nga zyrtarja . Aty është dokumentacioni i detajuar për implementimin all-in-one, por mund të lexoni gjithashtu në zyrtarin . Prandaj, nuk do të ndalemi shumë në procesin e implementimit të OVA, aty është e thjeshtë. E rëndësishme është që para se ta filloni ose të zgjatni diskun në një madhësi të duhur, duhet ta lidheni atë.
Nisim makinën, hapim konsolën dhe përdorim kredencialet më të mira të paracaktuara:
- login: admin
- fjalëkalimi: ChangeMe
Më pas ekzekutojmë sudo nmtui dhe konfigurojmë ndërfaqen rrjetërore — IP/maska, DNS dhe gateway. Duke mbajtur mend se në CentOS minimal nuk ka net-tools, kontrollojmë konfigurimet nëpërmjet ip addr.
Dhe pasi që vetëm guximtarët poçojnë detet, bëjmë yum update dhe pastaj reboot. Në të vërtetë është mjaft e sigurt, sepse e gjithë implementimi bëhet përmes playbook-ëve dhe të gjitha paketat kryesore të Docker janë të bllokuara në versionin aktual.
Tani është koha për të redaktuar skenarin e instalimit. Asnjë dritare e bukur apo UI pseudo — gjithçka përmes redaktuesit tuaj të preferuar të tekstit. Në mënyrë teknike, ka dy mundësi: mund të ekzekutoni çdo komandë manualisht ose të hapni menjëherë konfiguruesin videploy. Thjesht hap një konfigurim në vim, dhe kur dilni, do të zbatojë verifikimin e tij. Por nuk është interesante ta thjeshtosh jetën, kështu që do të kryejmë dy komanda më shumë. Megjithatë, nuk ka ndonjë kuptim në këtë, ju paralajmërova =)
Pra, bëjmë vim ECS-CommunityEdition/deploy.xml dhe bëjmë ndryshime minimalisht optimale që ECS të aktivizohet dhe funksionojë. Lista e parametrave mund të shkurtëzohet, por unë e bëra kështu:
- licensed_accepted: true E mund të mos e ndryshoni, atëherë gjatë implementimit do t'ju kërkohet ta pranoni atë dhe do të shfaqet një frazë e bukur. Mund të jetë edhe një pasakë e tillë.
- Shkruani komentet për rreshtat autonames: dhe custom: Të paktën një emër të dëshiruar për nodin — emri i hostit do të zëvendësohet me të gjatë instalimit.
- install_node: 192.168.1.1 Të jepni IP-në reale të nodit. Në rastin tonë japim të njëjtën që kemi në nmtui
- dns_domain: shkruani domenin tuaj.
- dns_servers: shkruani DNS-in tuaj.
- ntp_servers: mund të jepni cilindo. Unë mora atë që u paraqit nga 0.pool.ntp.org (u bë 91.216.168.42)
- autonaming: custom Nëse nuk e bëni koment, hëna do të quhet Luna.
- ecs_block_devices:
/dev/sdb
Për një arsye të panjohur, këtu mund të ndodhet një pajisje e pamundur e ruajtjes /dev/vda - storage_pools:
anëtarët:
192.168.1.1 Këtu përsëri japim IP-në reale të nodit - ecs_block_devices:
/dev/sdb Повторяем операцию вырезания несуществующих устройств.
Në të vërtetë, e gjithë skedari është përshkruar shumë në detaje në , poro kush do ta lexojë në një kohë kaq të shqetësuar. Atje është shkruar se minimalisht e nevojshme është të tregohet IP dhe maska, por në laboratorin tim ky set funksiononte dobët, dhe duhej ta zgjeroja siç është përmendur më sipër.
Pas daljes nga redaktori, duhet të ekzekutoni update_deploy /home/admin/ECS-CommunityEdition/deploy.yml, dhe nëse gjithçka është bërë siç duhet, do t'ju njoftohet qartë.
Më pas, çdo mënyrë do duhet të ekzekutoni videploy, të prisni për përditësimin e mjedisit, dhe mund të filloni instalimin duke përdorur komandën ova-step1, pas suksesit të saj komandën ova-step2. Është e rëndësishme: mos e ndaloni punën e skripteve me dorë! Disa hapa mund të zgjasin ndjeshëm, të mos kryhen në përpjekjen e parë dhe të duken si të prishura. Në çdo rast, duhet të prisni përfundimin e skriptit në mënyrë natyrale. Në fund, duhet të shihni një mesazh të tillë.
Tani, përfundimisht mund të hapim panelin e menaxhimit WebUI për IP-në që e dimë. Nëse nuk keni ndryshuar gjatë konfigurimit, llogaria default do jetë root/ChangeMe. Mund ta përdorni menjëherë hapësirën tonë të ruajtjes S3-kompatibile. Ajo është e aksesueshme në portet 9020 për HTTP dhe 9021 për HTTPS. Përsëri, nëse nuk keni ndryshuar asgjë, atëherë access_key: object_admin1 dhe secret_key: ChangeMeChangeMeChangeMeChangeMeChangeMe.
Por le të mos e nisim shumë shpejt dhe të fillojmë nga e para.
Në hyrjen e parë do ju kërkohet patjetër të ndryshoni fjalëkalimin në një të arsyeshëm, gjë që është plotësisht e drejtë. Dashboard-i kryesor është shumë i qartë, prandaj le të bëjmë diçka më interesante sesa shpjegimi i metrikave të dukshme. Për shembull, të krijojmë një përdoruesi, të cilin do ta përdorim për akses në hapësirën e ruajtjes. Në botën e ofruesve të shërbimeve, këta njihen si tenant. Kjo bëhet në Manage > Users > New Object User
Gjatë krijimit të përdoruesit, na kërkohet të tregojmë namespace. Teknikisht, nuk ka asgjë që na pengon të krijojmë kaq shumë sa ka përdorues. Dhe anasjelltas. Kjo lejon menaxhimin e burimeve në mënyrë të pavarur për çdo tenant.
Në përputhje me këtë, zgjedhim funksionet që na nevojiten dhe gjenerojmë çelësat e përdoruesit. Më mjafton S3/Atmos. Dhe mos e harroni të ruani çelësin 😉
E krijuam përdoruesin, tani është koha t'i ndajmë një buketë. Kalojmë në Manage > Bucket dhe plotësojmë fushat e nevojshme. Këtu është mjaft e thjeshtë.
Tani, gjithçka është gati për një përdorim të plotë të hapësirës sonë të ruajtjes S3.
Konfigurojmë Veeam
Pra, si e mbajmë mend, një nga përdorimet kryesore të objekteve të ruajtjes është ruajtja afatgjatë e informacionit, të cilit qëndrohet rrallë. Një shembull ideal është nevoja për të ruajtur backup-et në një platformë të largët. Në Veeam Backup & Replication, kjo funksionalitet quhet Capacity Tier.
Le të fillojmë konfigurimin duke shtuar Dell ECS CE-në tonë në ndërfaqen e Veeam. Në skedën Backup Infrastructure hapim asistentin për shtimin e një depoje të re dhe zgjedhim opsionin Object Storage.
Zgjedhim atë që e donim — S3 Compatible.
Në dritaren që shfaqet shkruajmë emrin e dëshiruar dhe kalojmë në hapin Account. Këtu duhet të tregojmë Service point-in në formën e , rajonin mund ta lëmë siç është dhe të shtojmë përdoruesin e krijuar. Serveri i portës është i nevojshëm nëse depoja juaj është në një lokacion të largët, por kjo është një temë për optimizimin e infrastrukturës dhe një artikull të veçantë, kështu që këtu mund ta kalojmë me besim.
Nëse gjithçka është treguar dhe konfiguruar siç duhet, do të shfaqet një paralajmërim për certifikatën dhe më pas një dritare me bucket-in ku mund të krijoni një dosje për skedarët tanë.
Kaloni wizard-in deri në fund dhe shijoni rezultatin.
Në hapin tjetër duhet të krijoni një Scale-out Backup Repository të ri, ose të shtoni S3-në tonë në ekzistuesin — ai do të përdoret si Capacity Tier për ruajtjen arkiv. Aktualisht nuk ka funksione për të përdorur depo të përputhshme me S3 direkt si një depo të zakonshme; ka shumë probleme të cilat duhet të zgjidhen për këtë, por gjithçka është e mundur.
Hyni në konfigurimin e depozites dhe aktivizoni Capacity Tier. Aty është gjithçka e qartë, por ka një nuancë interesante: nëse dëshironi që të gjitha të dhënat të dërgohen në depo objektive sa më shpejt të jetë e mundur, thjesht vendosni 0 ditë.
Pas kalimit të wizard-it, nëse nuk doni të prisni, mund të klikoni ctrl+klik i djathtë në depo, të aktivizoni me forcë punën e Tiering dhe të shihni se si grafikat fillojnë të ngjiten.
Kjo është e gjitha për tani. Mendoj se munda të tregoj se ruajtjet bllok janë më pak të frikshme sesa ndjesia e zakonshme. Po, ka shumë zgjidhje dhe opsione, por nuk mund të mbulohen të gjitha në një artikull. Prandaj, le të ndajmë përvojat në komente.
Burimi: habr.com
