Munduan objektuak biltegiratzeko lehen prototipoa ikusi zuten 1996an. 10 urte barru, Amazon Web Services-ek Amazon S3 martxan jarriko du, eta mundua sistematikoki erotzen hasiko da helbide-espazio lau batekin. Metadatuak kudeatzeari eta kargapean behera egin gabe eskalatzeko duen gaitasunari esker, objektuen biltegiratzea azkar bihurtu da hodeiko biltegiratze-zerbitzu gehienetarako eta haratago. Beste ezaugarri garrantzitsu bat artxiboak eta gutxitan erabiltzen diren antzeko fitxategiak gordetzeko duen moldagarritasun ona da. Datuak biltegiratzean parte hartzen duten guztiek animatu eta teknologia berria eskuetan eraman zuten.
Baina jendearen zurrumurruak zurrumurruz beteta zeuden, objektuak biltegiratzea hodei handiei buruz bakarrik dela, eta kapitalista madarikatuen irtenbiderik behar ez baduzu, orduan oso zaila izango da zurea egitea. Dagoeneko asko idatzi da zure hodeia zabaltzeari buruz, baina ez dago S3-rekin bateragarriak diren irtenbideak sortzeari buruzko informazio nahikorik.
Hori dela eta, gaur zehaztuko dugu zein aukera dauden βHelduak bezalakoak izateko, eta ez CEPH eta fitxategi handiagoaβ, horietako bat zabalduko dugu, eta dena funtzionatzen duela egiaztatuko dugu Veeam Backup & Replication erabiliz. S3-rekin bateragarriak diren biltegiratzeekin lan egiteko laguntza aldarrikatzen du eta adierazpen hau egiaztatuko dugu.
Zer moduz besteek?
Merkatuaren eta objektuak biltegiratzeko aukeren ikuspegi txiki batekin hastea proposatzen dut. Orokorrean aitortutako liderra eta estandarra Amazon S3 da. Hurbilen dauden bi bilatzaileak Microsoft Azure Blob Storage eta IBM Cloud Object Storage dira.
Hori al da guztia? Ez al dago beste lehiakiderik? Noski, badaude lehiakideak, baina norbaitek bere bidea egiten du, Google Cloud edo Oracle Cloud Object Storage bezalakoak, S3 APIrako laguntza osatugabearekin. Norbait APIaren bertsio zaharrak erabiltzen ari da, Baidu Cloud adibidez. Eta batzuek, Hitachi Cloud bezala, logika berezia aplikatzea eskatzen dute, eta horrek bere zailtasunak eragingo ditu zalantzarik gabe. Edonola ere, mundu guztiak Amazonekin alderatzen dira, industriaren estandartzat har daitekeena.
Baina konponbide lokaletan, aukera askoz handiagoa da, beraz, zehaztu ditzagun garrantzitsuak diren irizpideak. Printzipioz, bi baino ez dira nahikoa: S3 APIrako euskarria eta v4 sinadura erabiltzea. Bihotzean, etorkizuneko bezero gisa, interakziorako interfazeak baino ez ditugu interesatzen, eta ez zaigu hain interesatzen biltegiratze barruko sukaldea bera.
Beno, irtenbide asko baldintza sinple hauetara egokitzen dira. Adibidez, pisu astun korporatibo klasikoak:
- DellEMC ECS
- NetApp S3 biltegiratze-sarea
- Nutanix kuboak
- Pure Storage FlashBlade eta StorReduce
- Huawei FusionStorage
Kutxatik kanpo funtzionatzen duten software hutsezko soluzioen nitxo bat dago:
- Red Hat Ceph
- SUSE Enterprise Storage
- Hodeitarra
Eta muntatu ondoren fitxategia arretaz prozesatzea gustatzen zaienak ere ez ziren iraindu:
- CEPH bere forma garbienean
- Minio (Linux bertsioa, Windows bertsioari buruzko galdera asko daudelako)
Zerrenda oso urrun dago, iruzkinetan eztabaidatu daiteke. Ez ahaztu sistemaren errendimendua egiaztatzea API bateragarritasunaz gain inplementatu aurretik. Nahi duzun azken gauza datuen terabyte galtzea da, trabatuta dauden eskaerak direla eta. Beraz, lasai probak kargatzeko. Oro har, datu kopuru handiekin lan egiten duen helduentzako software guztiek gutxienez bateragarritasun-txostenak dituzte. kasuan Veeam dago elkarrekiko probetan, gure produktuek ekipamendu espezifikoekin duten bateragarritasun osoa ausardiaz deklaratzeko aukera ematen diguna. Dagoeneko bi norabideko lana da hau, ez beti azkarra, baina etengabe zabaltzen ari gara probatutako soluzioak.
Gure kabina muntatzen
Apur bat hitz egin nahi dut proba-gai bat aukeratzeari buruz.
Lehenik eta behin, kutxatik kanpo funtzionatuko zuen aukera bat aurkitu nahi nuen. Tira, edo alferrikako keinurik egin beharrik gabe funtzionatuko duen probabilitate handienarekin behintzat. Panderoarekin dantzatzea eta gauez kontsola hartzea oso zirraragarria da, baina batzuetan berehala funtzionatzea nahi duzu. Eta soluzio horien fidagarritasun orokorra handiagoa izan ohi da. Eta bai, abenturismo izpiritua desagertu zitzaigun, leihoetatik eskalatzeari utzi genion emakume maiteei, etab.(c).
Bigarrenik, egia esateko, objektuen biltegiarekin lan egiteko beharra enpresa handi samarretan sortzen da, beraz, hori gertatzen da enpresa-mailako konponbideetara begira, lotsatu ez ezik, animatu ere egiten denean. Edonola ere, oraindik ez dakit halako irtenbideak erosteagatik kaleratu duten adibiderik.
Aurrekoan oinarrituz, nire aukeran erori zen Dell EMC ECS Community Edition. Oso proiektu interesgarria da, eta horren berri ematea beharrezkoa iruditzen zait.
Gehigarria ikustean burura etortzen zaizun lehenengo gauza Komunitatearen edizioa - Lizentzia erostean kentzen diren murrizketa batzuk dituen ECS osoko balantze-paper bat besterik ez dela. Beraz, ez!
Gogoratu:
!!!Community Edition probak egiteko eta Dell-en laguntza teknikorik gabe sortutako proiektu bereizia da!!
Eta ezin da erabateko ECS bihurtu, benetan nahi baduzu ere.
Ulertu dezagun
Jende askok uste du Dell EMC ECS ia irtenbide onena dela objektuak biltegiratzeko beharra baduzu. ECS markako proiektu guztiak, komertzialak eta korporatiboak barne, dira . Dellen borondate oneko keinu moduko bat. Eta beren markako hardwarean exekutatzen den softwareaz gain, hodeian ere heda daitekeen kode irekiko bertsio bat dago, baita makina birtualean ere, baita edukiontzi batean ere, baita zure hardwarean ere. Aurrera begira, OVA bertsio bat ere badago, erabiliko duguna.
DELL ECS Community Edition bera Dell EMC ECS markako zerbitzarietan exekutatzen den software osoaren bertsio txiki bat da.
Lau desberdintasun nagusi identifikatu ditut:
- Ez dago zifratze-laguntzarik. Pena da, baina ez da kritikoa.
- Ez dago ehun geruzarik. Gauza hau klusterrak eraikitzeaz, baliabideak kudeatzeaz, eguneratzeaz, monitorizatzeaz eta Docker irudiak gordetzeaz arduratzen da. Hemen dagoeneko oso etsigarria da, baina Dell ere uler daiteke.
- Aurreko puntuaren ondoriorik gaiztoena: nodoaren tamaina ezin da zabaldu instalazioa amaitu ondoren.
- Ez dago laguntza teknikorik. Probetarako produktua da, instalazio txikietan erabiltzea debekatuta ez dagoena, baina ni pertsonalki ez nintzateke ausartuko datu garrantzitsuen petabyte-k han igotzera. Baina teknikoki, inork ezin dizu hori egiteari utzi.
Zer dago bertsio handian?
Europan barrena galopan, goazen burdinazko soluzioen gainean, ekosistemaren argazki osoago bat izateko.
Ez dut nolabait baieztatuko edo ezeztatuko DELL ECS objektuen biltegiratzerik onena dela dioen adierazpena, baina gai honi buruz zerbait esateko baduzu, pozik irakurriko dut iruzkinetan. Nolanahi ere, bertsioaren arabera Dell EMC ziurtasunez sartzen da OBS merkatuko bost lider nagusietan. Hodeian oinarritutako irtenbideak kontuan hartzen ez diren arren, hau aparteko elkarrizketa da.
Ikuspuntu teknikotik, ECS hodeiko biltegiratze protokoloak erabiliz datuak atzitzea eskaintzen duen objektuen biltegiratze bat da. AWS S3 eta OpenStack Swift onartzen ditu. Fitxategietarako gaitutako kuboetarako, ECS-k NFSv3 onartzen du fitxategiz fitxategi esportatzeko.
Informazioa idazteko prozesua ezohikoa da, batez ere blokeen biltegiratze sistema klasikoen ondoren.
- Datu berriak iristen direnean, izen bat, datuak berak eta metadatuak dituen objektu berri bat sortzen da.
- Objektuak 128 MB zatitan banatzen dira, eta zati bakoitza hiru nodotan idazten da aldi berean.
- Indize-fitxategia eguneratzen da, non identifikatzaileak eta biltegiratze-kokapenak erregistratzen diren.
- Erregistro-fitxategia (erregistro-erregistroa) eguneratzen da eta hiru nodotan ere idazten da.
- Erregistro arrakastatsu bati buruzko mezu bat bidaltzen zaio bezeroari.
Datuen hiru kopiak paraleloan idazten dira. Idazketa arrakastatsutzat jotzen da hiru kopiak ongi idatzi badira bakarrik.
Irakurtzea errazagoa da:
- Bezeroak datuak eskatzen ditu.
- Indizea datuak gordetzeko leku baten bila dabil.
- Datuak nodo batetik irakurtzen dira eta bezeroari bidaltzen zaizkio.
Zerbitzari dezente daude, beraz, ikus dezagun Dell EMC ECS EX300 txikiena. 60Tb-tik hasten da, 1,5Pb-ra hazteko gaitasunarekin. Eta bere anaia zaharragoak Dell EMC ECS EX3000-k rack bakoitzeko 8,6Pb adina gordetzeko aukera ematen dizu.
Zabaldu
Teknikoki, Dell ECS CE nahi adina zabaldu daiteke. Nolanahi ere, ez nuen muga espliziturik aurkitu. Hala ere, eskalatze guztiak behar dugun lehen nodoa klonatuz egiten dira:
- 8 vCPU
- 64GB RAM
- 16 GB sistema eragilerako
- 1TB zuzenean biltegiratzeko
- CentOS minimoaren azken bertsioa
Dena hasieratik instalatu nahi duzun kasurako aukera bat da. Guretzat, aukera hau ez da garrantzitsua, zeren. Zabaltzeko OVA irudi bat erabiliko dut.
Baina, nolanahi ere, baldintzak oso txarrak dira nodo batentzat ere, eta legearen letra zorrotz jarraitzen baduzu, lau nodo behar dituzu.
Hala ere, ECS CE garatzaileak mundu errealean bizi dira, eta instalazioa arrakastatsua da nodo bakarrarekin ere, eta gutxieneko baldintzak hauek dira:
- 4 vCPU
- 16 GB RAM
- 16 GB sistema eragilerako
- 104 GB autobiltegiratzea
Baliabide hauek dira OVA irudia zabaltzeko beharrezkoak direnak. Dagoeneko askoz humanoagoa eta errealistagoa.
Instalazio-nodoa bera ofizialetik har daiteke . Guztiak-batean zabaltzeari buruzko dokumentazio zehatza ere badago, baina ofizialean ere irakur dezakezu . Hori dela eta, ez dugu OVAren hedapenari buruz zehatz-mehatz luzatuko, ez dago trikimailurik. Gauza nagusia - ez ahaztu hasi baino lehen, zabaldu diskoa behar den bolumenera edo erantsi beharrezko direnak.
Makina abiarazten dugu, kontsola ireki eta kreditu lehenetsi onenak erabiltzen ditugu:
- saioa: admin
- Pasahitza: aldatu ni
Ondoren, sudo nmtui exekutatzen dugu eta sareko interfazea konfiguratzen dugu - IP / maskara, DNS eta atea. Kontuan izanda CentOS minimoan sare-tresnarik ez dagoela, ezarpenak egiaztatzen ditugu ip addr bidez.
Eta ausartek bakarrik itsasoak konkistatzen dituztenez, eguneraketa berri bat egiten dugu, eta ondoren berrabiaraziko dugu. Egia esan nahiko segurua da. inplementazio guztia playbook bidez egiten da, eta docker pakete garrantzitsu guztiak uneko bertsioan blokeatuta daude.
Orain instalazioaren scripta editatzeko garaia da. Ez dago leiho ederrik edo sasi UI zuretzat - dena zure gogoko testu-editorearen bidez dago. Teknikoki, bi modu daude: komando bakoitza eskuz exekutatu dezakezu edo videploy konfiguratzailea berehala exekutatu. Vim-en konfigurazioa irekiko du, eta irtetean egiaztatzen hasiko da. Baina ez da interesgarria zure bizitza nahita sinplifikatzea, beraz, exekutatu ditzagun beste bi komando. Zentzurik ez duen arren, ohartarazi dizut =)
Beraz, vim ECS-CommunityEdition/deploy.xml egiten dugu eta gutxieneko aldaketa optimoak egiten ditugu, ECS piztu eta funtziona dezan. Parametroen zerrenda laburtu daiteke, baina honela egin nuen:
- licensed_accepted: true Ez duzu aldatu beharrik, gero zabaltzean berariaz eskatuko zaizu onartzeko eta esaldi polit bat erakusteko. Pazko arrautza ere izan daiteke.
- Kendu iruzkinak autonames: eta pertsonalizatu lerroak: idatzi gutxienez nahi duzun izen bat nodorako - ostalari-izena ordeztuko da instalazio-prozesuan zehar.
- install_node: 192.168.1.1 Zehaztu nodoaren benetako IPa. Gure kasuan, nmtui-n bezalaxe zehazten dugu
- dns_domain: sartu zure domeinua.
- dns_servers: sartu zure dns.
- ntp_servers: Edozein zehaztu daiteke. Lehenengoa 0.pool.ntp.org igerilekutik hartu nuen (91.216.168.42 bihurtu zen)
- autoizendatzea: pertsonalizatua Iruzkinik gabe utziz gero, ilargiari Luna deituko zaio.
- ecs_block_devices:
/ Dev / sdb
Arrazoi ezezagun batengatik, baliteke bloke-biltegiratze-gailurik existitzen ez den /dev/vda - biltegiratze_igerilekuak:
kideak:
192.168.1.1 Hemen berriro nodoaren benetako IPa adierazten dugu - ecs_block_devices:
/dev/sdb Existitzen ez diren gailuak mozteko eragiketa errepikatzen dugu.
Oro har, fitxategi osoa xehetasun handiz deskribatzen da baina nork irakurriko du halako garai nahasi batean. Han ere idatzita dago gutxieneko nahikoa IPa eta maskara zehaztea dela, baina nire laborategian halako multzo bat ez zen ondo hasi, eta goian adierazitakora zabaldu behar izan nuen.
Editoretik irten ondoren, update_deploy /home/admin/ECS-CommunityEdition/deploy.yml exekutatu behar duzu, eta dena ondo egiten bada, esplizituki jakinaraziko da.
Orduan oraindik videploy hasi behar duzu, ingurunea eguneratu arte itxaron eta instalazioa bera has dezakezu ova-step1 komandoarekin, eta arrakastaz amaitu ondoren, ova-step2 komandoarekin. Garrantzitsua: ez gelditu gidoiak eskuz! Urrats batzuek denbora luzea izan dezakete, lehen saiakeran baino gehiago iraun dezakete eta dena hautsita dagoela dirudi. Nolanahi ere, gidoia modu naturalean amaitu arte itxaron behar da. Amaieran, horrelako zerbait ikusi beharko zenuke.
Orain, azkenik, WebUI kontrol panela ireki dezakegu ezagutzen dugun IPa erabiliz. Konfigurazio fasean aldatu ez bada, lehenetsitako kontua root/ChangeMe izango da. Berehala ere erabil dezakezu gure S3-rekin bateragarria den biltegiratzea. HTTPrako 9020 eta HTTPSrako 9021 portuetan dago eskuragarri. Berriz ere, ezer aldatu ez bada, access_key: object_admin1 eta secret_key: ChangeMeChangeMeChangeMeChangeMeChangeMe.
Baina ez gaitezen aurrera egin eta ordenan hasi.
Lehenengo saioan, behartuta eskatuko zaizu pasahitza egoki bat aldatzeko, guztiz zuzena dena. Arbel nagusia oso argia da, beraz, egin dezagun ageriko neurketak azaltzea baino zerbait interesgarriagoa. Adibidez, sor dezagun biltegira sartzeko erabiliko dugun erabiltzaile bat. Zerbitzu hornitzaileen munduan maizter deitzen zaie. Hau Kudeatu > Erabiltzaileak > Objektu Erabiltzaile Berria atalean egiten da
Erabiltzaile bat sortzean, izen-espazio bat zehazteko eskatzen zaigu. Teknikoki, ezerk ez digu eragozten erabiltzaile izango diren adina abiaraztea. Eta alderantziz. Horri esker, baliabideak modu independentean kudeatu daitezke maizter bakoitzarentzat.
Horren arabera, behar ditugun funtzioak hautatu eta erabiltzaile-gakoak sortzen ditugu. S3/Atmos nahikoa izango da niretzat. Eta ez ahaztu giltza gordetzea π
Erabiltzailea sortu da, orain kuboa hautatzeko garaia da. Joan Kudeatu > Kuboa atalera eta bete beharrezko eremuak. Hemen dena sinplea da.
Orain dena prest dugu gure S3 biltegiratze nahiko borroka erabiltzeko.
Veeam konfiguratzea
Beraz, gogoratzen dugunez, objektuak biltegiratzeko aplikazio nagusietako bat oso gutxitan eskuratzen den informazioa epe luzerako biltegiratzea da. Adibide ezin hobea da babeskopiak urruneko gune batean gordetzeko beharra. Veeam Backup & Replication-en, eginbide honi Capacity Tier deitzen zaio.
Hasi gaitezen konfigurazioa gure Dell ECS CE Veeam interfazean gehituz. Babeskopia-azpiegitura fitxan, abiarazi biltegi berri bat gehitzeko morroia eta hautatu Object Storage elementua.
Guztia zertarako hasi zen aukeratzen dugu - S3 bateragarria.
Agertzen den leihoan, idatzi nahi duzun izena eta joan Kontua urratsera. Hemen Zerbitzu-puntua zehaztu behar duzu formularioan , eskualdea bere horretan utzi daiteke, eta sortutako erabiltzailea gehi daiteke. Ate zerbitzari bat beharrezkoa da biltegia urruneko gune batean badago, baina hori dagoeneko azpiegituraren optimizazioaren gaia eta aparteko artikulu bat da, beraz, segurtasunez salta dezakezu hemen.
Dena behar bezala zehaztu eta konfiguratuta badago, ziurtagiriari buruzko abisu bat agertuko da eta, ondoren, ontzi bat duen leiho bat, non gure fitxategientzako karpeta bat sor dezakezun.
Morroia amaieraraino pasatzen dugu eta emaitzaz gozatzen dugu.
Hurrengo pausoa Eskalatze-Bakoitzaren Biltegi berri bat sortzea edo gure S3 lehendik dagoenari gehitzea da - artxiboak biltegiratzeko edukiera maila gisa erabiliko da. S3-rekin bateragarriak diren biltegiak zuzenean erabiltzeko funtzioa, ohiko biltegi bat bezala, ez dago oraingo bertsioan. Agerikoak ez diren arazo gehiegi daude hau konpontzeko, baina dena izan daiteke.
Biltegiaren ezarpenetara sartuko gara eta Gaitasun Maila aktibatuko dugu. Bertan dena gardena da, baina Γ±abardura interesgarri bat dago: datu guztiak objektuen biltegiratze ahalik eta azkarren bidaltzea nahi baduzu, ezarri besterik ez dago 0 egunetan.
Morroia pasatu ondoren, ez baduzu itxaron nahi, biltegian ctrl+RMB sakatu dezakezu, Tiring lana indarrez exekutatu eta grafikoak arakatzen ikusi.
Hori da guztia oraingoz. Uste dut blokeen biltegiratzea ez dela uste den bezain beldurgarria erakusteko zereginari aurre egin niola. Bai, bagoi bat eta orga txiki bat exekutatzeko irtenbideak eta aukerak, baina ezinezkoa da dena artikulu batean estaltzea. Beraz, partekatu dezagun gure esperientzia iruzkinetan.
Iturria: www.habr.com