Pirmo objektu uzglabÄÅ”anas prototipu pasaule ieraudzÄ«ja 1996. gadÄ. PÄc 10 gadiem Amazon Web Services laidÄ«s klajÄ Amazon S3, un pasaule sÄks sistemÄtiski trakot ar plakanu adreÅ”u telpu. Pateicoties darbam ar metadatiem un to spÄjai mÄrogot, nesamazinot slodzes laikÄ, objektu glabÄÅ”ana Ätri kļuva par standartu lielÄkajai daļai mÄkoÅdatoÅ”anas datu krÄtuves pakalpojumu, un ne tikai. VÄl viena svarÄ«ga iezÄ«me ir tÄ, ka tÄ ir labi piemÄrota arhÄ«vu un lÄ«dzÄ«gu reti lietojamu failu glabÄÅ”anai. Visi, kas bija iesaistÄ«ti datu glabÄÅ”anÄ, priecÄjÄs un nÄsÄja jauno tehnoloÄ£iju rokÄs.
Bet cilvÄku baumas bija pilnas ar baumÄm, ka objektu glabÄÅ”ana ir tikai par lieliem mÄkoÅiem, un, ja jums nav vajadzÄ«gi risinÄjumi no nolÄdÄtajiem kapitÄlistiem, tad to bÅ«s ļoti grÅ«ti izveidot. Jau daudz ir rakstÄ«ts par sava mÄkoÅa izvietoÅ”anu, taÄu nav pieejama pietiekami daudz informÄcijas par tÄ saukto ar S3 saderÄ«gu risinÄjumu izveidi.
TÄpÄc Å”odien mÄs izdomÄsim, kÄdas ir iespÄjas āLai tas bÅ«tu kÄ pieauguÅ”ajiem, nevis CEPH un lielÄks failsā, mÄs izvietosim vienu no tÄm un pÄrbaudÄ«sim, vai viss darbojas, izmantojot Veeam Backup & Replication. Tas apgalvo, ka atbalsta darbu ar S3 saderÄ«gÄm krÄtuvÄm, un mÄs pÄrbaudÄ«sim Å”o apgalvojumu.
KÄ ar citiem?
Iesaku sÄkt ar nelielu tirgus un objektu uzglabÄÅ”anas iespÄju apskatu. VispÄratzÄ«tais lÄ«deris un standarts ir Amazon S3. Divi tuvÄkie meklÄtÄji ir Microsoft Azure Blob Storage un IBM Cloud Object Storage.
Vai tas ir viss? Vai tieÅ”Äm nav citu konkurentu? Protams, ir konkurenti, taÄu daži iet savu ceļu, piemÄram, Google Cloud vai Oracle Cloud Object Storage, ar nepilnÄ«gu S3 API atbalstu. Daži izmanto vecÄkas API versijas, piemÄram, Baidu Cloud. Un dažiem, piemÄram, Hitachi Cloud, ir nepiecieÅ”ama Ä«paÅ”a loÄ£ika, kas noteikti radÄ«s savas grÅ«tÄ«bas. JebkurÄ gadÄ«jumÄ visi tiek salÄ«dzinÄti ar Amazon, ko var uzskatÄ«t par nozares standartu.
TaÄu lokÄlajos risinÄjumos izvÄle ir daudz lielÄka, tÄpÄc ieskicÄsim mums svarÄ«gos kritÄrijus. PrincipÄ pietiek tikai ar diviem: atbalsts S3 API un v4 parakstÄ«Å”anas izmantoÅ”ana. Roku pie sirds, mÅ«s kÄ topoÅ”o klientu interesÄ tikai saskarnes mijiedarbÄ«bai, un mÅ«s neinteresÄ paÅ”as noliktavas iekÅ”ÄjÄ virtuve.
Daudzi risinÄjumi atbilst Å”iem vienkÄrÅ”ajiem nosacÄ«jumiem. PiemÄram, klasiskie korporatÄ«vie smagsvari:
- DellEMC ECS
- NetApp S3 StorageGrid
- Nutanix spaiÅi
- Pure Storage FlashBlade un StorReduce
- Huawei FusionStorage
Ir niÅ”a tÄ«ri programmatÅ«ras risinÄjumu, kas darbojas jau no kastes:
- Red Hat Ceph
- SUSE uzÅÄmuma krÄtuve
- MÄkoÅains
Un pat tie, kam patÄ«k rÅ«pÄ«gi kÄrtot pÄc montÄžas, neapvainojÄs:
- CEPH tÄ«rÄkajÄ formÄ
- Minio (Linux versija, jo ir daudz jautÄjumu par Windows versiju)
Saraksts nebÅ«t nav pilnÄ«gs, to var apspriest komentÄros. VienkÄrÅ”i neaizmirstiet pirms ievieÅ”anas pÄrbaudÄ«t sistÄmas veiktspÄju papildus API saderÄ«bai. PÄdÄjÄ lieta, ko vÄlaties, ir zaudÄt terabaitus datu iestrÄguÅ”u vaicÄjumu dÄļ. TÄpÄc nekautrÄjieties ar slodzes testiem. KopumÄ visai pieauguÅ”o programmatÅ«rai, kas darbojas ar lielu datu apjomu, ir vismaz saderÄ«bas atskaites. GadÄ«jumÄ, ja Veeam tur ir
MÅ«su stenda montÄža
Es gribÄtu nedaudz parunÄt par testa priekÅ”meta izvÄli.
PirmkÄrt, es vÄlÄjos atrast iespÄju, kas darbotos uzreiz. Nu, vai vismaz ar maksimÄlu varbÅ«tÄ«bu, ka tas darbosies bez nepiecieÅ”amÄ«bas veikt nevajadzÄ«gas kustÄ«bas. Dejot ar tamburÄ«nu un naktÄ« ÄakarÄt ar pulti ir ļoti aizraujoÅ”i, taÄu dažreiz gribas, lai tas nostrÄdÄ uzreiz. Un Å”Ädu risinÄjumu kopÄjÄ uzticamÄ«ba parasti ir augstÄka. Un jÄ, avantÅ«risma gars mÅ«sos ir zudis, mÄs pÄrstÄjÄm kÄpt pa logiem mÅ«su mīļajÄm sievietÄm utt.(c).
OtrkÄrt, godÄ«gi sakot, nepiecieÅ”amÄ«ba strÄdÄt ar objektu glabÄtuvi rodas diezgan lielos uzÅÄmumos, tÄpÄc tieÅ”i tas ir gadÄ«jums, kad skatÄ«ties uz uzÅÄmuma lÄ«meÅa risinÄjumiem ir ne tikai apkaunojoÅ”i, bet pat iedroÅ”inÄmi. JebkurÄ gadÄ«jumÄ es vÄl nezinu nevienu piemÄru, ka kÄds bÅ«tu atlaists par Å”Ädu risinÄjumu iegÄdi.
Pamatojoties uz visu iepriekÅ” minÄto, mana izvÄle krita uz Dell EMC ECS kopienas izdevums. Å is ir ļoti interesants projekts, un es uzskatu par nepiecieÅ”amu jums par to pastÄstÄ«t.
PirmÄ lieta, kas nÄk prÄtÄ, kad redzat papildinÄjumu Kopienas izdevums - ka Ŕī ir tikai pilna ECS kopija ar dažiem ierobežojumiem, kas tiek noÅemti, iegÄdÄjoties licenci. TÄtad nÄ!
Atcerieties:
!!!Community Edition ir atseviŔķs projekts, kas izveidots testÄÅ”anai un bez Dell tehniskÄ atbalsta!!
Un to nevar pÄrvÄrst par pilnvÄrtÄ«gu ECS, pat ja ļoti vÄlaties.
IzdomÄsim
Daudzi cilvÄki uzskata, ka Dell EMC ECS ir gandrÄ«z labÄkais risinÄjums, ja jums ir nepiecieÅ”ama objektu glabÄÅ”ana. Visi projekti ar ECS zÄ«molu, tostarp komerciÄlie un korporatÄ«vie, ir balstÄ«ti uz
Pati DELL ECS Community Edition ir pilnas programmatūras mini versija, kas darbojas firmas Dell EMC ECS serveros.
Es identificÄju Äetras galvenÄs atŔķirÄ«bas:
- Nav Å”ifrÄÅ”anas atbalsta. Tas ir kauns, bet ne kritisks.
- TrÅ«kst auduma slÄÅa. Å Ä« lieta ir atbildÄ«ga par kopu veidoÅ”anu, resursu pÄrvaldÄ«bu, atjauninÄjumiem, Docker attÄlu uzraudzÄ«bu un glabÄÅ”anu. Å eit tas jau ir ļoti aizskaroÅ”i, taÄu arÄ« Dell var saprast.
- PretÄ«gÄkÄs iepriekÅ”ÄjÄ punkta sekas: mezgla izmÄru nevar paplaÅ”inÄt pÄc instalÄÅ”anas pabeigÅ”anas.
- Nav tehniskÄ atbalsta. Å is ir testÄÅ”anai paredzÄts produkts, kuru nav aizliegts lietot mazÄs instalÄcijÄs, bet es personÄ«gi neuzdroÅ”inÄtos tur augÅ”upielÄdÄt petabaitus svarÄ«gu datu. Bet tehniski neviens nevar jums liegt to darÄ«t.
Kas ir lielajÄ versijÄ?
Dosimies pa Eiropu un iesim cauri dzelžainiem risinÄjumiem, lai iegÅ«tu pilnÄ«gÄku izpratni par ekosistÄmu.
Es kaut kÄ neapstiprinÄÅ”u un neapstiprinÄÅ”u apgalvojumu, ka DELL ECS ir labÄkÄ lokÄlÄ objektu krÄtuve, taÄu, ja jums ir kas sakÄms par Å”o tÄmu, es labprÄt to izlasÄ«Å”u komentÄros. Vismaz pÄc versijas
No tehniskÄ viedokļa ECS ir objektu krÄtuve, kas nodroÅ”ina piekļuvi datiem, izmantojot mÄkoÅa krÄtuves protokolus. Atbalsta AWS S3 un OpenStack Swift. Failiem iespÄjotiem segmentiem ECS atbalsta NFSv3, lai eksportÄtu katru failu atseviŔķi.
InformÄcijas ierakstÄ«Å”anas process ir diezgan neparasts, Ä«paÅ”i pÄc klasiskajÄm bloku uzglabÄÅ”anas sistÄmÄm.
- Kad tiek saÅemti jauni dati, tiek izveidots jauns objekts ar nosaukumu, paÅ”iem datiem un metadatiem.
- Objekti tiek sadalīti 128 MB gabalos, un katrs gabals tiek ierakstīts trīs mezglos vienlaikus.
- Tiek atjauninÄts indeksa fails, kurÄ tiek reÄ£istrÄti identifikatori un uzglabÄÅ”anas vietas.
- ŽurnÄla fails (žurnÄla ieraksts) tiek atjauninÄts un arÄ« ierakstÄ«ts trÄ«s mezglos.
- Klientam tiek nosÅ«tÄ«ts ziÅojums par veiksmÄ«gu ierakstÄ«Å”anu
Visas trÄ«s datu kopijas ir rakstÄ«tas paralÄli. RakstÄ«Å”ana tiek uzskatÄ«ta par veiksmÄ«gu tikai tad, ja visas trÄ«s kopijas ir uzrakstÄ«tas veiksmÄ«gi.
LasÄ«t ir vieglÄk:
- Klients pieprasa datus.
- Indekss meklÄ, kur dati tiek glabÄti.
- Dati tiek nolasīti no viena mezgla un nosūtīti klientam.
PaÅ”u serveru ir diezgan daudz, tÄpÄc apskatÄ«sim mazÄko Dell EMC ECS EX300. Tas sÄkas no 60 TB, ar iespÄju palielinÄties lÄ«dz 1,5 PB. Un tÄ vecÄkais brÄlis Dell EMC ECS EX3000 ļauj uzglabÄt pat 8,6 PB vienÄ statÄ«vÄ.
Izvietot
Tehniski Dell ECS CE var izvietot tik lielu, cik vÄlaties. JebkurÄ gadÄ«jumÄ es neatradu nekÄdus skaidrus ierobežojumus. TomÄr ir Ärti veikt visu mÄrogoÅ”anu, klonÄjot paÅ”u pirmo mezglu, kuram mums ir nepiecieÅ”ams:
- 8 vCPU
- RAM 64GB
- 16 GB operÄtÄjsistÄmai
- 1 TB tieÅ”Ä krÄtuve
- CentOS minimÄlÄ jaunÄkÄ versija
Å Ä« ir iespÄja, kad vÄlaties visu instalÄt pats no paÅ”a sÄkuma. Å is variants mums nav aktuÄls, jo... IzvietoÅ”anai izmantoÅ”u OVA attÄlu.
Bet jebkurÄ gadÄ«jumÄ prasÄ«bas ir ļoti ļaunas pat vienam mezglam, un, ja stingri ievÄro likuma burtu, tad vajag Äetrus Å”Ädus mezglus.
TomÄr ECS CE izstrÄdÄtÄji dzÄ«vo reÄlajÄ pasaulÄ, un instalÄÅ”ana ir veiksmÄ«ga pat ar vienu mezglu, un minimÄlÄs prasÄ«bas ir:
- 4 vCPU
- 16 GB RAM
- 16 GB operÄtÄjsistÄmai
- Pati 104 GB krÄtuve
Å ie ir resursi, kas nepiecieÅ”ami OVA attÄla izvietoÅ”anai. Jau daudz humÄnÄks un reÄlistiskÄks.
PaÅ”u instalÄcijas mezglu var iegÅ«t no amatpersonas
MÄs startÄjam maŔīnu, atveram konsoli un izmantojam labÄkos noklusÄjuma akreditÄcijas datus:
- pieteikÅ”anÄs: admin
- parole: ChangeMe
PÄc tam palaižam sudo nmtui un konfigurÄjam tÄ«kla interfeisu - IP/mask, DNS un vÄrti. Paturot prÄtÄ, ka CentOS minimal nav tÄ«kla rÄ«ku, mÄs pÄrbaudÄm iestatÄ«jumus, izmantojot ip addr.
Un tÄ kÄ tikai drosmÄ«gie iekaro jÅ«ras, mÄs veicam yum atjauninÄjumu, pÄc kura mÄs atsÄknÄjam. Tas patiesÄ«bÄ ir diezgan droÅ”i, jo... visa izvietoÅ”ana tiek veikta, izmantojot rokasgrÄmatas, un visas svarÄ«gÄs docker pakotnes ir bloÄ·Ätas paÅ”reizÄjÄ versijÄ.
Tagad ir pienÄcis laiks rediÄ£Ät instalÄcijas skriptu. Jums nav nekÄdu izsmalcinÄtu logu vai pseido lietotÄja interfeisa ā viss tiek darÄ«ts, izmantojot jÅ«su iecienÄ«tÄko teksta redaktoru. Tehniski ir divi veidi: katru komandu var palaist manuÄli vai nekavÄjoties palaist videoploy konfiguratoru. Tas vienkÄrÅ”i atvÄrs vim konfigurÄciju, un pÄc izieÅ”anas tas sÄks to pÄrbaudÄ«t. Bet nav interesanti apzinÄti vienkÄrÅ”ot savu dzÄ«vi, tÄpÄc izpildÄ«sim vÄl divas komandas. Lai gan tam nav jÄgas, es jÅ«s brÄ«dinÄju =)
TÄtad, izveidosim vim ECS-CommunityEdition/deploy.xml un veiksim optimÄlÄs minimÄlÄs izmaiÅas, lai ECS darbotos. Parametru sarakstu var saÄ«sinÄt, bet es to izdarÄ«ju Å”Ädi:
- licenced_accepted: true Jums tas nav jÄmaina, tad, izvietojot, jums tiks skaidri lÅ«gts to pieÅemt un tiks parÄdÄ«ta jauka frÄze. VarbÅ«t Ŕī pat ir Lieldienu ola.
- AtÅemiet komentÄrus no rindiÅÄm autonames: un custom: Ievadiet vismaz vienu vÄlamo mezgla nosaukumu ā resursdatora nosaukums tiks aizstÄts ar to instalÄÅ”anas procesa laikÄ.
- install_node: 192.168.1.1 NorÄdiet mezgla reÄlo IP. MÅ«su gadÄ«jumÄ mÄs norÄdÄm to paÅ”u, ko nmtui
- dns_domain: ievadiet savu domÄnu.
- dns_servers: ievadiet savu DNS.
- ntp_servers: varat norÄdÄ«t jebkuru. Es paÅÄmu pirmo, ko atradu no baseina 0.pool.ntp.org (tÄ kļuva par 91.216.168.42)
- autonaming: custom Ja nekomentÄsit, mÄness tiks saukts par Lunu.
- ecs_block_devices:
/ dev / sdb
NezinÄma iemesla dÄļ var bÅ«t neeksistÄjoÅ”a bloka atmiÅas ierÄ«ce /dev/vda - storage_pools:
biedri:
192.168.1.1 Å eit atkal mÄs norÄdÄm mezgla reÄlo IP - ecs_block_devices:
/dev/sdb MÄs atkÄrtojam neesoÅ”u ierÄ«Äu izgrieÅ”anas darbÄ«bu.
KopumÄ viss fails ir ļoti detalizÄti aprakstÄ«ts
PÄc izieÅ”anas no redaktora jums ir jÄpalaiž update_deploy /home/admin/ECS-CommunityEdition/deploy.yml, un, ja viss ir izdarÄ«ts pareizi, par to tiks skaidri ziÅots.
Tad vÄl jÄpalaiž videoploy, jÄgaida, kamÄr vide atjauninÄsies, un var sÄkt paÅ”u instalÄciju ar komandu ova-step1 un pÄc veiksmÄ«gas pabeigÅ”anas komandu ova-step2. SvarÄ«gi: nepÄrtrauciet skriptus ar roku! Dažas darbÄ«bas var aizÅemt daudz laika, tÄs var nebÅ«t pabeigtas pirmajÄ mÄÄ£inÄjumÄ un var Ŕķist, ka viss ir bojÄts. JebkurÄ gadÄ«jumÄ jums jÄgaida, lÄ«dz skripts tiks dabiski pabeigts. BeigÄs jums vajadzÄtu redzÄt lÄ«dzÄ«gu ziÅojumu.
Tagad mÄs beidzot varam atvÄrt WebUI vadÄ«bas paneli, izmantojot mums zinÄmo IP. Ja konfigurÄcija tajÄ posmÄ netika mainÄ«ta, noklusÄjuma konts bÅ«s root/ChangeMe. JÅ«s pat varat uzreiz izmantot mÅ«su ar S3 saderÄ«go krÄtuvi. Tas ir pieejams portos 9020 HTTP un 9021 portiem HTTPS. Atkal, ja nekas netika mainÄ«ts, tad access_key: object_admin1 un secret_key: ChangeMeChangeMeChangeMeChangeMeChangeMe.
TaÄu neapsteigsim sevi un sÄksim kÄrtÄ«bÄ.
Piesakoties pirmo reizi, bÅ«siet spiests nomainÄ«t savu paroli uz atbilstoÅ”u, kas ir pilnÄ«gi pareizi. Galvenais informÄcijas panelis ir ÄrkÄrtÄ«gi skaidrs, tÄpÄc darÄ«sim kaut ko interesantÄku, nekÄ izskaidrosim acÄ«mredzamos rÄdÄ«tÄjus. PiemÄram, izveidosim lietotÄju, kuru izmantosim, lai piekļūtu krÄtuvei. Pakalpojumu sniedzÄju pasaulÄ tos sauc par Ä«rniekiem. Tas tiek darÄ«ts sadaÄ¼Ä PÄrvaldÄ«t > LietotÄji > Jauns objekta lietotÄjs
Veidojot lietotÄju, mums tiek lÅ«gts norÄdÄ«t nosaukumvietu. Tehniski nekas neliedz mums tos izveidot tik daudz, cik lietotÄju. Un otrÄdi. Tas ļauj pÄrvaldÄ«t resursus neatkarÄ«gi katram nomniekam.
AttiecÄ«gi mÄs izvÄlamies vajadzÄ«gÄs funkcijas un Ä£enerÄjam lietotÄja atslÄgas. Man pietiks ar S3/Atmos. Un neaizmirstiet saglabÄt atslÄgu š
LietotÄjs ir izveidots, tagad ir laiks pieŔķirt viÅam spaini. Dodieties uz PÄrvaldÄ«t > Segums un aizpildiet obligÄtos laukus. Å eit viss ir vienkÄrÅ”i.
Tagad viss ir gatavs mÅ«su S3 krÄtuves kaujas lietoÅ”anai.
Veeam iestatīŔana
TÄtad, kÄ mÄs atceramies, viens no galvenajiem objektu glabÄÅ”anas veidiem ir tÄdas informÄcijas ilgtermiÅa glabÄÅ”ana, kurai tiek reti piekļūts. IdeÄls piemÄrs ir nepiecieÅ”amÄ«ba saglabÄt dublÄjumus attÄlÄ vietÄ. ProgrammÄ Veeam Backup & Replication Å”o lÄ«dzekli sauc par jaudas lÄ«meni.
SÄksim iestatÄ«Å”anu, pievienojot mÅ«su Dell ECS CE Veeam saskarnei. CilnÄ DublÄÅ”anas infrastruktÅ«ra palaidiet vedni Pievienot jaunu repozitoriju un atlasiet Objektu krÄtuve.
IzvÄlÄsimies, ar ko tas viss sÄkÄs ā S3 Compatible.
ParÄdÄ«tajÄ logÄ ierakstiet vajadzÄ«go nosaukumu un pÄrejiet uz konta darbÄ«bu. Å eit veidlapÄ jÄnorÄda apkalpoÅ”anas punkts
Ja viss ir norÄdÄ«ts un konfigurÄts pareizi, parÄdÄ«sies brÄ«dinÄjums par sertifikÄtu un pÄc tam logs ar spaini, kurÄ varat izveidot mapi mÅ«su failiem.
MÄs ejam cauri vednim lÄ«dz galam un izbaudÄm rezultÄtu.
NÄkamais solis ir vai nu izveidot jaunu Scale-out dublÄjuma krÄtuvi, vai pievienot mÅ«su S3 esoÅ”ajam ā tas tiks izmantots kÄ ietilpÄ«bas lÄ«menis arhÄ«va glabÄÅ”anai. PaÅ”reizÄjÄ laidienÄ nav funkcijas, kas tieÅ”i izmantotu ar S3 saderÄ«gu krÄtuvi, piemÄram, parastu repozitoriju. Lai tas notiktu, ir jÄatrisina pÄrÄk daudz diezgan acÄ«mredzamu problÄmu, taÄu viss ir iespÄjams.
Dodieties uz repozitorija iestatÄ«jumiem un iespÄjojiet ietilpÄ«bas lÄ«meni. Tur viss ir caurspÄ«dÄ«gs, taÄu ir interesanta nianse: ja vÄlaties, lai visi dati pÄc iespÄjas ÄtrÄk tiktu nosÅ«tÄ«ti uz objektu krÄtuvi, vienkÄrÅ”i iestatiet to uz 0 dienÄm.
Ja pÄc vedÅa apmeklÄÅ”anas nevÄlaties gaidÄ«t, varat repozitorijÄ nospiest ctrl+RMB, piespiedu kÄrtÄ palaist lÄ«meÅu darbu un skatÄ«ties, kÄ diagrammas pÄrmeklÄ.
Tas pagaidÄm ir viss. Es domÄju, ka man izdevÄs parÄdÄ«t, ka bloku uzglabÄÅ”ana nav tik biedÄjoÅ”a, kÄ cilvÄki domÄ. JÄ, ir risinÄjumi un iespÄjas gan vagonam, gan mazam ratam, taÄu visu nevar aptvert vienÄ rakstÄ. TÄpÄc dalÄ«simies pieredzÄ komentÄros.
Avots: www.habr.com