Id-dinja rat l-ewwel prototip ta 'ħażna ta' oġġetti fl-1996. F'10 snin, Amazon Web Services se tniedi Amazon S3, u d-dinja se tibda tiġnun sistematikament bi spazju ta 'indirizz ċatt. Grazzi għall-ħidma mal-metadata u l-kapaċità tagħha li tiskala mingħajr sagging taħt tagħbija, il-ħażna tal-oġġetti malajr saret l-istandard għall-biċċa l-kbira tas-servizzi tal-ħażna tad-data tas-sħab, u mhux biss. Karatteristika oħra importanti hija li hija adattata tajjeb għall-ħażna ta 'arkivji u fajls simili li rarament jintużaw. Kulħadd involut fil-ħażna tad-dejta feraħ u libes it-teknoloġija l-ġdida f’idejhom.
Iżda l-għajdut tan-nies kienu mimlijin xnigħat li l-ħażna tal-oġġetti hija biss dwar sħab kbar, u jekk m'għandekx bżonn soluzzjonijiet mill-kapitalisti kkritikat, allura jkun diffiċli ħafna li tagħmel tiegħek. Diġà nkiteb ħafna dwar l-iskjerament tas-sħab tiegħek stess, iżda m'hemmx biżżejjed informazzjoni disponibbli dwar il-ħolqien ta' l-hekk imsejħa soluzzjonijiet kompatibbli S3.
Għalhekk, illum ser insemmu liema għażliet hemm "Sabiex tkun bħall-adulti, mhux CEPH u fajl akbar," aħna ser niskjeraw wieħed minnhom, u niċċekkjaw li kollox jaħdem bl-użu ta 'Veeam Backup & Replication. Tippretendi li tappoġġja l-ħidma ma 'ħażniet kompatibbli ma' S3, u se nkunu qed nittestjaw din it-talba.
Xi ngħidu dwar oħrajn?
Nissuġġerixxi li tibda b'ħarsa ġenerali żgħira tas-suq u l-għażliet tal-ħażna tal-oġġetti. Il-mexxej u l-istandard ġeneralment rikonoxxuti huwa Amazon S3. L-eqreb żewġ segwiti huma Microsoft Azure Blob Storage u IBM Cloud Object Storage.
Dak kollox? Verament m'hemmx kompetituri oħra? Naturalment, hemm kompetituri, iżda xi wħud imorru triqthom, bħal Google Cloud jew Oracle Cloud Object Storage, b'appoġġ mhux komplut għall-API S3. Xi wħud jużaw verżjonijiet eqdem tal-API, bħal Baidu Cloud. U xi wħud, bħal Hitachi Cloud, jeħtieġu loġika speċjali, li ċertament tikkawża d-diffikultajiet tagħha stess. Fi kwalunkwe każ, kulħadd jitqabbel ma 'Amazon, li jista' jitqies bħala l-istandard tal-industrija.
Iżda f'soluzzjonijiet fuq il-post hemm ħafna aktar għażla, allura ejja niddeskrivu l-kriterji li huma importanti għalina. Fil-prinċipju, tnejn biss huma biżżejjed: appoġġ għall-API S3 u l-użu tal-iffirmar v4. Idejn il-qalb, aħna, bħala klijent futur, aħna interessati biss f'interfaces għall-interazzjoni, u m'aħniex daqshekk interessati fil-kċina interna tal-faċilità tal-ħażna nnifisha.
Ħafna soluzzjonijiet jaqblu ma 'dawn il-kundizzjonijiet sempliċi. Per eżempju, heavyweights korporattivi klassiċi:
- DellEMC ECS
- NetApp S3 StorageGrid
- Bramel Nutanix
- Ħażna Pura FlashBlade u StorReduce
- Huawei FusionStorage
Hemm niċċa ta 'soluzzjonijiet purament ta' softwer li jaħdmu barra mill-kaxxa:
- Red Hat Ceph
- SUSE Enterprise Storage
- Cloudian
U anke dawk li jħobbu jippreżentaw bir-reqqa wara l-assemblaġġ ma kinux offiż:
- CEPH fil-forma pura tiegħu
- Minio (verżjoni tal-Linux, għax hemm ħafna mistoqsijiet dwar il-verżjoni tal-Windows)
Il-lista għadha 'l bogħod milli tkun kompluta; tista' tiġi diskussa fil-kummenti. Tinsiex tiċċekkja l-prestazzjoni tas-sistema flimkien mal-kompatibilità tal-API qabel l-implimentazzjoni. L-aħħar ħaġa li trid hija li titlef terabytes ta 'data minħabba mistoqsijiet mwaħħla. Allura toqgħodx jitmeżmżu bit-testijiet tat-tagħbija. B'mod ġenerali, is-softwer kollu għall-adulti li jaħdem ma 'ammonti kbar ta' dejta għandu mill-inqas rapporti ta 'kompatibilità. F'każ li Veeam hemm dwar l-ittestjar reċiproku, li jippermettilna niddikjaraw b'mod kunfidenti l-kompatibilità sħiħa tal-prodotti tagħna ma 'tagħmir speċifiku. Dan diġà huwa xogħol f'żewġ direzzjonijiet, mhux dejjem mgħaġġel, iżda qed nespandu kontinwament soluzzjonijiet ittestjati.
Armar l-istand tagħna
Nixtieq nitkellem ftit dwar l-għażla ta’ suġġett tat-test.
L-ewwel, ridt insib għażla li taħdem dritt barra mill-kaxxa. Ukoll, jew għall-inqas bil-probabbiltà massima li se taħdem mingħajr il-ħtieġa li tagħmel movimenti bla bżonn. Dancing ma 'tambourine u tinkering mal-console fil-lejl huwa eċċitanti ħafna, iżda xi kultant trid li taħdem mill-ewwel. U l-affidabbiltà ġenerali ta 'soluzzjonijiet bħal dawn hija ġeneralment ogħla. U iva, l-ispirtu tal-avventuriżmu sparixxa fina, waqfu nitilgħu fit-twieqi tan-nisa għeżież tagħna, eċċ (ċ).
It-tieni nett, biex inkun onest, il-ħtieġa li taħdem ma 'ħażna ta' oġġetti tqum f'kumpaniji pjuttost kbar, għalhekk dan huwa l-każ stess meta tħares lejn soluzzjonijiet ta 'livell ta' intrapriża mhux biss mhux tal-mistħija, iżda saħansitra mħeġġa. Fi kwalunkwe każ, għadni ma nafx xi eżempji ta’ xi ħadd li tkeċċa għax xtara soluzzjonijiet bħal dawn.
Ibbażat fuq dak kollu ta 'hawn fuq, l-għażla tiegħi waqgħet fuq Edizzjoni tal-Komunità Dell EMC ECS. Dan huwa proġett interessanti ħafna, u nikkunsidra li huwa meħtieġ li ngħidilkom dwaru.
L-ewwel ħaġa li tiġi f'moħħna meta tara l-add-on Edizzjoni tal-Komunità - li din hija biss kopja ta' ECS sħiħ b'xi restrizzjonijiet li jitneħħew bix-xiri ta' liċenzja. Mela le!
Ftakar:
!!!Community Edition huwa proġett separat maħluq għall-ittestjar, u mingħajr appoġġ tekniku minn Dell!!
U ma jistax jinbidel f'ECS sħiħ, anki jekk verament trid.
Ejja insemmu
Ħafna nies jemmnu li Dell EMC ECS hija kważi l-aħjar soluzzjoni jekk għandek bżonn ta 'ħażna ta' oġġetti. Il-proġetti kollha taħt il-marka ECS, inklużi dawk kummerċjali u korporattivi, huma bbażati fuq . Speċi ta’ ġest ta’ rieda tajba minn Dell. U minbarra s-softwer li jaħdem fuq il-ħardwer tad-ditta tagħhom, hemm verżjoni open source li tista 'tiġi skjerata fis-sħab, fuq magna virtwali, f'kontenitur, jew fuq kwalunkwe hardware tiegħek stess. B'ħarsa 'l quddiem, hemm saħansitra verżjoni OVA, li se nużaw.
L-Edizzjoni tal-Komunità DELL ECS innifisha hija verżjoni żgħira ta' softwer sħiħ li jaħdem fuq servers tad-ditta Dell EMC ECS.
Identifikajt erba' differenzi ewlenin:
- L-ebda appoġġ għall-encryption. Huwa tal-mistħija, iżda mhux kritiku.
- Saff tad-drapp nieqes. Din il-ħaġa hija responsabbli għall-bini ta 'clusters, ġestjoni tar-riżorsi, aġġornamenti, monitoraġġ u ħażna ta' immaġini Docker. Dan huwa fejn diġà huwa offensiv ħafna, iżda Dell jista 'jinftiehem ukoll.
- L-aktar konsegwenza disgusting tal-punt preċedenti: id-daqs tan-node ma jistax jiġi estiż wara li titlesta l-installazzjoni.
- L-ebda appoġġ tekniku. Dan huwa prodott għall-ittestjar, li mhuwiex ipprojbit li jintuża f'installazzjonijiet żgħar, imma jien personalment ma nazzardax intella' petabytes ta 'dejta importanti hemmhekk. Imma teknikament ħadd ma jista’ jwaqqafk milli tagħmel dan.
X'hemm fil-verżjoni l-kbira?
Ejja gallop madwar l-Ewropa u ngħaddu minn soluzzjonijiet ironclad sabiex ikollna fehim aktar sħiħ tal-ekosistema.
B'xi mod mhux se nikkonferma jew niċħad id-dikjarazzjoni li DELL ECS hija l-aħjar ħażna ta 'oġġetti fuq il-prem, imma jekk għandek xi tgħid dwar dan is-suġġett, inkun kuntent naqrah fil-kummenti. Mill-inqas skond il-verżjoni Dell EMC huwa kunfidenti fost l-aqwa ħames mexxejja tas-suq OBS. Għalkemm is-soluzzjonijiet ibbażati fuq il-cloud ma jiġux ikkunsidrati hemmhekk, din hija konverżazzjoni separata.
Mil-lat tekniku, ECS hija ħażna ta 'oġġetti li tipprovdi aċċess għad-dejta bl-użu ta' protokolli ta 'ħażna ta' sħab. Jappoġġja AWS S3 u OpenStack Swift. Għal bramel ppermettiet fajl, ECS jappoġġja NFSv3 għall-esportazzjoni fajl b'fajl.
Il-proċess ta 'reġistrazzjoni ta' informazzjoni huwa pjuttost mhux tas-soltu, speċjalment wara sistemi klassiċi ta 'ħażna ta' blokki.
- Meta tasal dejta ġdida, jinħoloq oġġett ġdid li għandu isem, id-dejta nnifisha, u metadejta.
- L-oġġetti huma maqsuma f'biċċiet ta '128 MB, u kull biċċa hija miktuba fi tliet nodi f'daqqa.
- Il-fajl tal-indiċi jiġi aġġornat, fejn jiġu rreġistrati l-identifikaturi u l-postijiet tal-ħażna.
- Il-log file (log entry) huwa aġġornat u wkoll miktub fi tliet nodi.
- Messaġġ dwar ir-reġistrazzjoni b'suċċess jintbagħat lill-klijent
It-tliet kopji tad-data huma miktuba b'mod parallel. Il-kitba titqies b'suċċess biss jekk it-tliet kopji kollha nkitbu b'suċċess.
Il-qari huwa aktar faċli:
- Il-klijent jitlob dejta.
- L-indiċi jfittex fejn tinħażen id-dejta.
- Id-dejta tinqara minn nodu wieħed u tintbagħat lill-klijent.
Hemm pjuttost ftit servers infushom, allura ejja nħarsu lejn l-iżgħar Dell EMC ECS EX300. Jibda minn 60TB, bil-kapaċità li jikber sa 1,5PB. U ħuh il-kbir, id-Dell EMC ECS EX3000, jippermettilek taħżen daqs 8,6PB għal kull rack.
Skjerament
Teknikament, Dell ECS CE jista 'jiġi skjerat kbir kemm tixtieq. Fi kwalunkwe każ, ma sibt l-ebda restrizzjoni espliċita. Madankollu, huwa konvenjenti li nagħmlu l-iskala kollha billi nikklonu l-ewwel node, li għalih għandna bżonn:
- 8 vCPUs
- 64GB RAM
- 16GB għall-OS
- Ħażna diretta ta '1TB
- L-aħħar rilaxx ta 'CentOS minimu
Din hija għażla għal meta trid tinstalla kollox lilek innifsek mill-bidu nett. Din l-għażla mhix rilevanti għalina, għax... Se nuża l-immaġni OVA għall-iskjerament.
Iżda fi kwalunkwe każ, ir-rekwiżiti huma ħżiena ħafna anke għal nodu wieħed, u jekk issegwi b'mod strett l-ittra tal-liġi, allura għandek bżonn erba 'nodi bħal dawn.
Madankollu, l-iżviluppaturi ECS CE jgħixu fid-dinja reali, u l-installazzjoni tirnexxi anke b'nodu wieħed, u r-rekwiżiti minimi huma:
- 4 vCPUs
- 16 GB RAM
- 16 GB għall-OS
- Ħażna ta '104 GB innifsu
Dawn huma r-riżorsi meħtieġa biex tintuża l-immaġni OVA. Diġà ħafna aktar uman u realistiku.
In-nodu tal-installazzjoni innifsu jista 'jinkiseb mill-uffiċjal . Hemm ukoll dokumentazzjoni dettaljata dwar l-iskjerament all-in-one, iżda tista 'taqra wkoll fuq l-uffiċjal . Għalhekk, mhux se noqogħdu fid-dettall dwar l-iżvolġiment tal-OVA, m'hemm l-ebda tricks hemmhekk. Il-ħaġa prinċipali hija li qabel ma tibda, tinsiex jew tespandi d-disk għall-volum meħtieġ, jew waħħal dawk meħtieġa.
Nibdew il-magna, niftħu l-console u nużaw l-aħjar kredenzjali default:
- login: admin
- password: ChangeMe
Imbagħad inħaddmu sudo nmtui u kkonfiguraw l-interface tan-netwerk - IP/maskra, DNS u gate. Meta wieħed iżomm f'moħħu li CentOS minimal m'għandux għodda nett, aħna niċċekkjaw is-settings permezz tal-ip addr.
U peress li l-kuraġġużi biss jirbħu l-ibħra, nagħmlu aġġornament yum, u wara nibdew mill-ġdid. Fil-fatt huwa pjuttost sigur għax... l-iskjerament kollu jsir permezz tal-playbooks, u l-pakketti docker importanti kollha huma msakkra għall-verżjoni attwali.
Issa wasal iż-żmien li teditja l-iskrittura tal-installazzjoni. L-ebda twieqi fancy jew psewdo UI għalik - kollox isir permezz tal-editur tat-test favorit tiegħek. Teknikament, hemm żewġ modi: tista 'tħaddem kull kmand manwalment jew immedjatament tniedi l-konfiguratur tal-videoploy. Sempliċement tiftaħ il-konfigurazzjoni f'vim, u mal-ħruġ tibda tiċċekkjaha. Imma mhuwiex interessanti li tissimplifika deliberatament ħajtek, allura ejja nħaddmu żewġ kmandi oħra. Għalkemm dan ma jagħmilx sens, wissitek =)
Allura, ejja nagħmlu vim ECS-CommunityEdition/deploy.xml u nagħmlu l-aħjar bidliet minimi sabiex l-ECS ikun qed jaħdem. Il-lista ta 'parametri tista' titqassar, imma għamilt hekk:
- licensed_accepted: true M'għandekx għalfejn tibdelha, imbagħad meta tiskja, tintalab b'mod espliċitu taċċettaha u tintwera frażi sabiħa. Forsi din hija saħansitra bajda tal-Għid.
- Tneħħi l-kumment tal-linji autonames: u custom: Daħħal mill-inqas isem wieħed mixtieq għan-node - hostname se jiġi sostitwit miegħu matul il-proċess ta 'installazzjoni.
- install_node: 192.168.1.1 Speċifika l-IP reali tan-node. Fil-każ tagħna, aħna nindikaw l-istess bħal f'nmtui
- dns_domain: daħħal id-dominju tiegħek.
- dns_servers: daħħal id-DNS tiegħek.
- ntp_servers: tista' tispeċifika kwalunkwe waħda. Ħadt l-ewwel waħda li ltqajt magħha mill-pool 0.pool.ntp.org (sar 91.216.168.42)
- autonaming: custom Jekk ma tneħħix il-kumment, il-qamar se jissejjaħ Luna.
- ecs_block_devices:
/ dev / sdb
Għal xi raġuni mhux magħrufa, jista 'jkun hemm mezz ta' ħażna ta 'blokki ineżistenti /dev/vda - storage_pools:
membri:
192.168.1.1 Hawnhekk għal darb'oħra nindikaw l-IP reali tan-node - ecs_block_devices:
/dev/sdb Nirrepetu l-operazzjoni ta 'qtugħ ta' apparati ineżistenti.
B'mod ġenerali, il-fajl kollu huwa deskritt f'dettall kbir fi , imma min se jaqrah fi żmien daqshekk inkwiet. Jgħid ukoll li l-minimu suffiċjenti huwa li tispeċifika l-IP u l-maskra, iżda fil-laboratorju tiegħi tali sett beda pjuttost ħażin, u kelli nespandih għal dak speċifikat hawn fuq.
Wara li toħroġ mill-editur, trid tmexxi update_deploy /home/admin/ECS-CommunityEdition/deploy.yml, u jekk kollox isir b'mod korrett, dan jiġi rrappurtat b'mod espliċitu.
Imbagħad għad trid tmexxi videoploy, stenna li l-ambjent jaġġorna, u tista 'tibda l-installazzjoni nnifisha bil-kmand ova-step1, u wara t-tlestija b'suċċess tagħha, il-kmand ova-step2. Importanti: twaqqafx l-iskripts bl-idejn! Xi passi jistgħu jieħdu ammont sinifikanti ta 'żmien, jistgħu ma jitlestewx mal-ewwel prova, u jistgħu jidhru li kollox huwa miksur. Fi kwalunkwe każ, trid tistenna li l-iskrittura titlesta b'mod naturali. Fl-aħħar għandek tara messaġġ simili għal dan.
Issa nistgħu finalment niftħu l-pannell tal-kontroll WebUI billi tuża l-IP li nafu. Jekk il-konfigurazzjoni ma nbidlitx fl-istadju, il-kont default ikun root/ChangeMe. Tista 'anki tuża l-ħażna tagħna kompatibbli ma' S3 minnufih. Huwa disponibbli fuq portijiet 9020 għal HTTP, u 9021 għal HTTPS. Għal darb'oħra, jekk xejn ma nbidel, allura access_key: object_admin1 u secret_key: ChangeMeChangeMeChangeMeChangeMeChangeMe.
Imma ejja ma nibdewx wisq quddiemna nfusna u nibdew bl-ordni.
Meta tidħol għall-ewwel darba, tkun imġiegħel tibdel il-password tiegħek għal waħda adegwata, li hija assolutament korretta. Id-daxxbord ewlieni huwa estremament ċar, allura ejja nagħmlu xi ħaġa aktar interessanti milli nispjegaw il-metriċi ovvji. Pereżempju, ejja noħolqu utent li se nużaw biex jaċċessaw il-ħażna. Fid-dinja tal-fornituri tas-servizz, dawn jissejħu kerrejja. Dan isir f'Manage > Users > New Object User
Meta noħolqu utent, aħna mitluba nispeċifikaw namespace. Teknikament, xejn ma jipprevjeni milli noħolqu kemm minnhom kemm hemm utenti. U viċi versa. Dan jippermettilek timmaniġġja r-riżorsi b'mod indipendenti għal kull kerrej.
Għaldaqstant, aħna nagħżlu l-funzjonijiet li għandna bżonn u niġġeneraw ċwievet tal-utent. S3/Atmos se jkun biżżejjed għalija. U tinsiex issalva ċ-ċavetta 😉
L-utent inħoloq, issa wasal iż-żmien li talloka barmil lilu. Mur Immaniġġja > Barmil u imla l-oqsma meħtieġa. Kollox huwa sempliċi hawn.
Issa għandna kollox lest għal użu pjuttost miġġielda tal-ħażna S3 tagħna.
Twaqqif ta' Veeam
Allura, kif niftakru, wieħed mill-użi ewlenin tal-ħażna tal-oġġetti huwa l-ħażna fit-tul ta 'informazzjoni li rarament tiġi aċċessata. Eżempju ideali huwa l-ħtieġa li taħżen backups f'sit remot. F'Veeam Backup & Replication din il-karatteristika tissejjaħ Capacity Tier.
Ejja nibdew inwaqqfu billi nżidu l-Dell ECS CE tagħna mal-interface Veeam. Fuq it-tab tal-Infrastruttura tal-Backup, niedi l-Wizard Żid Repożitorju Ġdid u agħżel Ħażna tal-Oġġetti.
Ejja nagħżlu għalxiex beda kollox - S3 Kompatibbli.
Fit-tieqa li tidher, ikteb l-isem mixtieq u mur fil-pass tal-Kont. Hawnhekk għandek bżonn tispeċifika l-Punt tas-Servizz fil-formola , ir-reġjun jista 'jitħalla kif inhu u l-utent maħluq jista' jiġi miżjud. Server tal-bieb huwa meħtieġ jekk il-ħażna tiegħek tinsab fuq sit remot, iżda dan diġà huwa suġġett għall-ottimizzazzjoni tal-infrastruttura u artiklu separat, sabiex tkun tista 'taqbeżha b'mod sikur hawn.
Jekk kollox huwa speċifikat u kkonfigurat b'mod korrett, se tidher twissija dwar iċ-ċertifikat u mbagħad tieqa b'barmil fejn tista 'toħloq folder għall-fajls tagħna.
Ngħaddu mill-wizard sal-aħħar u ngawdu r-riżultat.
Il-pass li jmiss huwa li jew toħloq Repożitorju ta' Backup ta' Scale-out ġdid, jew iżid l-S3 tagħna ma' dak eżistenti - se jintuża bħala Livell ta' Kapaċità għall-ħażna arkivjali. M'hemm l-ebda funzjoni biex tuża ħażna kompatibbli S3 direttament, bħal repożitorju regolari, fir-rilaxx attwali. Hemm bżonn li jiġu solvuti wisq problemi pjuttost mhux ovvji biex dan iseħħ, iżda kollox huwa possibbli.
Mur fis-settings tar-repożitorju u abilita l-Livell tal-Kapaċità. Kollox huwa trasparenti hemmhekk, iżda hemm sfumatura interessanti: jekk trid li d-dejta kollha tintbagħat lill-ħażna tal-oġġetti kemm jista 'jkun malajr, issettjaha għal 0 ijiem.
Wara li tgħaddi mill-wizard, jekk ma tridx tistenna, tista 'tagħfas ctrl + RMB fuq ir-repożitorju, tniedi bil-qawwa l-impjieg Tiering u tara l-grafika jitkaxkru.
Dak kollu għalissa. Naħseb li rnexxieli fil-kompitu li nuri li l-ħażna tal-blokki mhix tal-biża 'kemm jaħsbu n-nies. Iva, hemm soluzzjonijiet u għażliet għal vagun u karrettun żgħir, imma ma tistax tkopri kollox f'artikolu wieħed. Mela ejja naqsmu l-esperjenza tagħna fil-kummenti.
Sors: www.habr.com