Nakita sa kalibutan ang una nga prototype sa mga pagtipig sa butang kaniadtong 1996. Sa 10 ka tuig, ang Amazon Web Services maglunsad sa Amazon S3, ug ang kalibutan magsugod sa sistematikong pagkabuang sa usa ka patag nga luna sa address. Salamat sa pagdumala sa metadata niini ug ang abilidad niini sa pag-scale nga wala’y sagging ubos sa karga, ang pagtipig sa butang dali nga nahimo nga sukaranan alang sa kadaghanan sa mga serbisyo sa pagtipig sa panganod ug sa unahan. Ang laing importante nga bahin mao ang maayo nga pagpaangay niini alang sa pagtipig sa mga archive ug susama nga panagsa ra nga gigamit nga mga file. Ang tanan nga nalambigit sa pagtipig sa datos nalipay ug nagdala sa bag-ong teknolohiya sa ilang mga kamot.
Apan ang mga hungihong sa mga tawo puno sa mga hungihong nga ang pagtipig sa butang mahitungod lamang sa dagkong mga panganod, ug kung dili nimo kinahanglan ang mga solusyon gikan sa mga gipanghimaraut nga mga kapitalista, nan lisud kaayo ang paghimo sa imong kaugalingon. Daghan na ang nasulat bahin sa pag-deploy sa imong kaugalingon nga panganod, apan wala’y igo nga kasayuran bahin sa paghimo sa gitawag nga S3-compatible nga mga solusyon.
Busa, karon atong mahibal-an kung unsa nga mga kapilian ang "Aron mahisama sa mga hamtong, ug dili CEPH ug usa ka mas dako nga file", among i-deploy ang usa niini, ug among susihon nga ang tanan nagtrabaho gamit ang Veeam Backup & Replication. Giangkon niini ang suporta alang sa pagtrabaho sa mga storage nga nahiuyon sa S3, ug among susihon kini nga pahayag.
Komosta ang uban?
Gisugyot ko nga magsugod sa usa ka gamay nga pagtan-aw sa merkado ug mga kapilian alang sa pagtipig sa butang. Ang kasagarang giila nga lider ug sumbanan mao ang Amazon S3. Ang duha ka labing duol nga naggukod mao ang Microsoft Azure Blob Storage ug IBM Cloud Object Storage.
Mao ra ba? Wala na bay laing mga kakompetensya? Siyempre, adunay mga kakompetensya, apan adunay usa nga moadto sa ilang kaugalingon nga paagi, sama sa Google Cloud o Oracle Cloud Object Storage, nga adunay dili kompleto nga suporta alang sa S3 API. Adunay naggamit sa daan nga mga bersyon sa API, sama sa Baidu Cloud. Ug ang uban, sama sa Hitachi Cloud, nanginahanglan sa paggamit sa espesyal nga lohika, nga siguradong hinungdan sa kaugalingon nga mga kalisud. Sa bisan unsang kaso, ang tanan gitandi sa Amazon, nga mahimong isipon nga sumbanan sa industriya.
Apan sa on-premise nga mga solusyon, ang pagpili mas dako, busa atong i-outline ang mga criteria nga importante kanato. Sa prinsipyo, duha ra ang igo: suporta alang sa S3 API ug ang paggamit sa v4 nga pagpirma. Kamot sa kasingkasing, kami, isip usa ka umaabot nga kliyente, interesado lamang sa mga interface alang sa interaksyon, ug dili kami interesado sa internal nga kusina sa storage mismo.
Aw, daghang mga solusyon ang mohaum niining yano nga mga kondisyon. Pananglitan, ang klasiko nga mga heavyweight sa korporasyon:
- DellEMC ECS
- NetApp S3 Storage Grid
- Mga balde sa Nutanix
- Pure Storage FlashBlade ug StorReduce
- Huawei FusionStorage
Adunay usa ka niche sa puro nga solusyon sa software nga nagtrabaho sa gawas sa kahon:
- Pula nga kalo Ceph
- Pagtipig sa SUSE Enterprise
- Cloudian
Ug bisan kadtong gusto nga maampingong magproseso gamit ang usa ka file pagkahuman sa asembliya wala nasakitan:
- CEPH sa pinakalunsay nga porma niini
- Minio (bersyon sa Linux, tungod kay adunay daghang mga pangutana bahin sa bersyon sa Windows)
Ang lista layo pa sa kompleto, mahimo kini hisgutan sa mga komento. Ayaw lang kalimti nga susihon ang pasundayag sa sistema dugang sa pagkaangay sa API sa wala pa ipatuman. Ang katapusan nga butang nga imong gusto mao ang pagkawala sa mga terabytes sa datos tungod sa mga gipugngan nga mga hangyo. Busa mobati nga gawasnon sa pag-load sa mga pagsulay. Sa kinatibuk-an, ang tanan nga hamtong nga software nga nagtrabaho uban ang daghang mga datos adunay labing menos mga taho sa pagkaangay. Sa kaso sa Veeam mao sa us aka pagsulay, nga nagtugot kanamo nga maisugon nga ipahayag ang hingpit nga pagkaangay sa among mga produkto nga adunay piho nga kagamitan. Kini usa na ka duha ka paagi nga trabaho, dili kanunay paspas, apan kami kanunay nga nagpalapad nasulayan nga mga solusyon.
Paghiusa sa among booth
Gusto kong maghisgot og gamay mahitungod sa pagpili sa usa ka test subject.
Una, gusto nako nga mangita usa ka kapilian nga magamit sa gawas sa kahon. Aw, o labing menos sa labing kadaghan nga posibilidad nga kini molihok nga wala kinahanglana ang paghimo sa dili kinahanglan nga mga lihok. Ang pagsayaw gamit ang tamburin ug pagpili sa console sa gabii makapahinam kaayo, apan usahay gusto nimo nga kini molihok dayon. Ug ang kinatibuk-ang kasaligan sa ingon nga mga solusyon kasagaran mas taas. Ug oo, ang espiritu sa adbenturismo nawala sa amon, kami mihunong sa pagsaka sa mga bintana sa among minahal nga mga babaye, ug uban pa (c).
Ikaduha, aron mahimong matinud-anon, ang panginahanglan sa pagtrabaho uban sa pagtipig sa butang mitungha sa medyo dagkong mga kompanya, mao nga kini ang kahimtang kung ang pagtan-aw sa mga solusyon sa lebel sa negosyo dili lamang dili maulaw, apan gidasig pa. Sa bisan unsang kaso, wala pa ako nahibal-an nga mga pananglitan sa usa ka tawo nga gipabuthan tungod sa pagpalit sa ingon nga mga solusyon.
Base sa nahisgotan na, ang akong pagpili nahulog sa Dell EMC ECS Community Edition. Kini usa ka makapaikag kaayo nga proyekto, ug giisip nako nga kinahanglan isulti kanimo ang bahin niini.
Ang una nga butang nga moabut sa imong hunahuna kung makita nimo ang pagdugang Community Edition - nga kini usa lamang ka pagsubay nga papel gikan sa usa ka hingpit nga ECS nga adunay pipila nga mga pagdili nga gikuha pinaagi sa pagpalit sa usa ka lisensya. Busa dili!
Hinumdomi:
!!!Ang Edisyon sa Komunidad usa ka bulag nga proyekto nga gihimo para sa pagsulay ug walay teknikal nga suporta gikan sa Dell!!
Ug dili kini mahimo nga usa ka hingpit nga ECS, bisan kung gusto nimo.
Hunahunaon naton kini
Daghang mga tawo ang naghunahuna nga ang Dell EMC ECS hapit ang labing kaayo nga solusyon kung kinahanglan nimo ang pagtipig sa butang. Ang tanan nga mga proyekto sa ilawom sa tatak sa ECS, lakip ang mga komersyal ug korporasyon, mao . Usa ka matang sa lihok sa maayong kabubut-on gikan sa Dell. Ug dugang sa software nga nagdagan sa ilang branded nga hardware, adunay usa ka open source nga bersyon nga mahimong i-deploy bisan sa panganod, bisan sa usa ka virtual machine, bisan sa usa ka sudlanan, bisan sa bisan asa sa imong hardware. Sa pagtan-aw sa unahan, adunay bisan usa ka bersyon sa OVA, nga among gamiton.
Ang DELL ECS Community Edition mismo usa ka mini nga bersyon sa hingpit nga software nga nagdagan sa Dell EMC ECS branded servers.
Nahibal-an nako ang upat ka panguna nga mga kalainan:
- Walay suporta sa pag-encrypt. Kini usa ka kaulaw, apan dili kritikal.
- Walay panapton nga panapton. Kini nga butang ang responsable sa pagtukod sa mga kumpol, pagdumala sa mga kapanguhaan, pag-update, pag-monitor ug pagtipig sa mga imahe sa Docker. Dinhi kini makapahigawad na kaayo, apan masabtan usab si Dell.
- Ang labing daotan nga sangputanan sa miaging punto: ang gidak-on sa node dili mapalapad pagkahuman sa pag-instalar.
- Walay tech nga suporta. Kini usa ka produkto alang sa pagsulay, nga dili gidili nga gamiton sa gagmay nga mga pag-install, apan ako mismo dili mangahas sa pag-upload sa mga petabytes sa hinungdanon nga datos didto. Apan sa teknikal, walay makapugong kanimo sa pagbuhat niini.
Unsa ang naa sa dako nga bersyon?
Sa pagdagan sa Europe, atong susihon ang mga solusyon sa puthaw aron adunay usa ka labi ka kompleto nga litrato sa ekosistema.
Dili nako kumpirmahon o ipanghimakak ang pahayag nga ang DELL ECS mao ang labing kaayo nga pagtipig sa butang sa prem, apan kung adunay ka isulti bahin niini nga hilisgutan, malipay ako nga basahon kini sa mga komentaryo. Sa bisan unsa nga kaso, sumala sa bersyon Ang Dell EMC masaligon nga misulod sa nag-unang lima ka mga lider sa merkado sa OBS. Bisan kung ang mga solusyon nga nakabase sa panganod wala gikonsiderar, kini usa ka lahi nga panag-istoryahanay.
Gikan sa teknikal nga punto sa panglantaw, ang ECS usa ka butang nga pagtipig nga naghatag og access sa datos gamit ang cloud storage protocols. Nagsuporta sa AWS S3 ug OpenStack Swift. Para sa file-enabled nga mga balde, ang ECS nagsuporta sa NFSv3 para sa file-by-file export.
Ang proseso sa pagsulat sa impormasyon kay dili kasagaran, ilabina human sa classic block storage systems.
- Kung moabut ang bag-ong datos, usa ka bag-ong butang ang gihimo nga adunay ngalan, ang data mismo, ug metadata.
- Ang mga butang gibahin sa 128 MB nga mga tipak, ug ang matag tipak gisulat sa tulo ka mga node sa usa ka higayon.
- Ang index file gi-update, diin ang mga identifier ug mga lokasyon sa pagtipig girekord.
- Ang log file (record log) gi-update ug gisulat usab sa tulo ka mga node.
- Usa ka mensahe ang gipadala sa kliyente bahin sa usa ka malampuson nga rekord.
Ang tanan nga tulo ka mga kopya sa datos gisulat nga managsama. Ang pagsulat giisip nga malampuson kung ang tanan nga tulo nga mga kopya malampuson nga gisulat.
Ang pagbasa mas sayon:
- Ang kliyente nangayo ug datos.
- Ang indeks nangita alang sa usa ka dapit sa pagtipig sa datos.
- Ang datos gibasa gikan sa usa ka node ug gipadala sa kliyente.
Adunay pipila ka mga server sa ilang kaugalingon, mao nga atong tan-awon ang pinakagamay nga Dell EMC ECS EX300. Nagsugod kini sa 60Tb, nga adunay katakus nga motubo hangtod sa 1,5Pb. Ug ang iyang magulang nga lalaki nga si Dell EMC ECS EX3000 nagtugot kanimo sa pagtipig kutob sa 8,6Pb matag rack.
Ipakaylap
Sa teknikal nga paagi, ang Dell ECS CE mahimong ma-deploy nga ingon kadako sa gusto. Sa bisan unsa nga kahimtang, wala ako nakit-an nga tin-aw nga mga pagdili. Bisan pa, ang tanan nga pag-scaling dali nga gihimo pinaagi sa pag-clone sa una nga node nga kinahanglan namon:
- 8 vCPUs
- 64GB RAM
- 16GB alang sa operating system
- 1TB direkta alang sa pagtipig
- Pinakabag-o nga pagpagawas sa CentOS minimal
Kini usa ka kapilian alang sa kaso kung gusto nimo i-install ang tanan sa imong kaugalingon gikan sa sinugdanan. Alang kanamo, kini nga kapilian dili angay, tungod kay. Mogamit ko ug OVA image para i-deploy.
Apan sa bisan unsa nga kaso, ang mga kinahanglanon daotan kaayo bisan sa usa ka node, ug kung hugot nimo nga gisunod ang letra sa balaod, nan kinahanglan nimo ang upat nga ingon nga mga node.
Bisan pa, ang mga nag-develop sa ECS CE nagpuyo sa tinuud nga kalibutan, ug ang pag-install malampuson bisan sa usa ka node, ug ang mga minimum nga kinahanglanon mao ang:
- 4 vCPUs
- 16 GB RAM
- 16 GB alang sa operating system
- 104 GB sa kaugalingon nga pagtipig
Kini nga mga kapanguhaan ang gikinahanglan aron ma-deploy ang imahe sa OVA. Mas tawhanon ug realistiko na.
Ang instalar nga node mismo mahimong makuha gikan sa opisyal . Adunay usab detalyado nga dokumentasyon sa pag-deploy sa tanan-sa-usa, apan mahimo usab nimo mabasa ang opisyal . Busa, dili kami maghisgot bahin sa pag-deploy sa OVA sa detalye, wala’y mga limbong. Ang nag-unang butang - ayaw kalimti sa wala pa magsugod kini, mahimo’g palapdan ang disk sa gikinahanglan nga gidaghanon, o ilakip ang mga kinahanglanon.
Gisugdan namon ang makina, ablihan ang console ug gamita ang labing kaayo nga default nga mga kredo:
- login: admin
- Password: changeme
Dayon gipadagan namo ang sudo nmtui ug gi-configure ang interface sa network - IP / mask, DNS ug gate. Hinumdomi nga wala'y net-tools sa CentOS nga gamay, among gisusi ang mga setting pinaagi sa ip addr.
Ug tungod kay ang mga maisog lamang ang nakabuntog sa kadagatan, naghimo kami og yum update, pagkahuman nag-reboot kami. Sa pagkatinuod kini luwas. ang tanan nga pag-deploy gihimo pinaagi sa mga playbook, ug ang tanan nga hinungdanon nga mga pakete sa docker gi-lock sa karon nga bersyon.
Karon na ang panahon sa pag-edit sa script sa pag-install. Walay nindot nga mga bintana o pseudo UI alang kanimo - ang tanan pinaagi sa imong paborito nga text editor. Sa lunsay nga teknikal, adunay duha ka paagi: mahimo nimong ipadagan ang matag command nga mano-mano o ipadagan dayon ang videploy configurator. Kini yano nga magbukas sa config sa vim, ug sa paggawas kini magsugod sa pagsusi niini. Apan dili kini makapaikag nga tinuyo nga pasimplehon ang imong kinabuhi, busa ipatuman ang duha pa nga mga sugo. Bisan wala'y kahulugan, gipasidan-an ko ikaw =)
Busa, naghimo kami og vim ECS-CommunityEdition/deploy.xml ug naghimo sa labing maayo nga minimum nga mga pagbag-o aron ang ECS mo-on ug molihok. Ang lista sa mga parameter mahimong mub-an, apan gibuhat ko kini sama niini:
- licensed_accepted: tinuod Dili nimo kinahanglan nga usbon kini, unya sa diha nga ang pag-deploy hangyoon ka nga dawaton kini ug ipakita ang usa ka nindot nga hugpong sa mga pulong. Tingali kini usa ka itlog sa Pasko sa Pagkabanhaw.
- I-uncomment ang mga linya nga autonames: ug custom: Pagsulod ug labing menos usa ka gusto nga ngalan para sa node - ang hostname mapulihan niini sa panahon sa proseso sa pag-instalar.
- install_node: 192.168.1.1 Ipiho ang tinuod nga IP sa node. Sa among kaso, among gipiho ang parehas sa nmtui
- dns_domain: pagsulod sa imong domain.
- dns_servers: isulod ang imong dns.
- ntp_servers: Ang bisan kinsa mahimong matino. Gikuha nako ang una gikan sa pool 0.pool.ntp.org (kini nahimong 91.216.168.42)
- autonaming: kostumbre Kung wala’y komento, ang bulan tawgon nga Luna.
- ecs_block_devices:
/ dev / sdb
Alang sa pipila nga wala mahibal-an nga hinungdan, mahimo’g adunay usa ka wala nga block storage device /dev/vda - storage_pools:
mga miyembro:
192.168.1.1 Dinhi atong gipakita pag-usab ang tinuod nga IP sa node - ecs_block_devices:
/ dev / sdb Gisubli namon ang operasyon sa pagputol sa wala’y mga aparato.
Sa kinatibuk-an, ang tibuuk nga file gihulagway sa daghang detalye sa apan kinsa ang mobasa niini sa usa ka gubot nga panahon. Gisulat usab didto nga ang minimum nga igo mao ang pagtino sa IP ug maskara, apan sa akong lab ang ingon nga usa ka set wala nagsugod nga maayo, ug kinahanglan nako nga palapdan kini sa usa nga gipakita sa ibabaw.
Human sa paggawas sa editor, kinahanglan nimo nga modagan ang update_deploy /home/admin/ECS-CommunityEdition/deploy.yml, ug kung ang tanan nahimo sa husto, kini klaro nga i-report.
Dayon kinahanglan ka pa nga magsugod sa videploy, maghulat alang sa pag-update sa palibot, ug mahimo nimong sugdan ang pag-instalar mismo gamit ang ova-step1 nga sugo, ug human sa malampuson nga pagkompleto niini, ang ova-step2 nga sugo. Importante: ayaw paghunong sa mga script pinaagi sa kamot! Ang ubang mga lakang mahimong magdugay, mas dugay kaysa una nga pagsulay, ug tan-awon nga ang tanan naguba. Sa bisan unsa nga kaso, kinahanglan ka maghulat alang sa pagkompleto sa script sa natural nga paagi. Sa katapusan, kinahanglan nimo nga makita ang usa ka butang nga sama niini.
Karon, sa katapusan, mahimo namong maablihan ang control panel sa WebUI gamit ang IP nga among nahibal-an. Kung wala kini giusab sa yugto sa pag-configure, nan ang default nga account mahimong gamut / ChangeMe. Mahimo pa gani nimo nga gamiton dayon ang among S3-compatible storage. Anaa kini sa mga pantalan 9020 para sa HTTP, ug 9021 para sa HTTPS. Pag-usab, kung walay nausab, unya access_key: object_admin1 ug secret_key: ChangeMeChangeMeChangeMeChangeMeChangeMe.
Apan dili kita mag-una sa atong kaugalingon ug magsugod sa pagkahan-ay.
Sa una nga pag-login, pugson ka nga hangyoon nga usbon ang password sa usa ka igo, nga hingpit nga husto. Ang nag-unang dashboard klaro kaayo, mao nga maghimo kita usa ka butang nga mas makapaikag kaysa pagpatin-aw sa klaro nga mga sukatan. Pananglitan, maghimo kita og user nga atong gamiton sa pag-access sa repository. Sa kalibutan sa mga service provider, kini gitawag nga mga tenant. Gihimo kini sa Manage> Users> New Object User
Sa paghimo sa usa ka user, kami gihangyo sa pagtino sa usa ka namespace. Sa teknikal nga paagi, wala’y makapugong kanamo sa pagsugod niini ingon kadaghan nga adunay mga tiggamit. Ug vice versa. Kini nagtugot sa mga kapanguhaan nga madumala nga independente alang sa matag tenant.
Tungod niini, gipili namo ang mga gimbuhaton nga among gikinahanglan ug nagmugna og mga yawe sa user. Ang S3/Atmos igo na alang kanako. Ug ayaw kalimot ug save sa yawe 😉
Nahimo na ang user, karon na ang panahon nga pilion niya ang balde. Adto sa Manage > Bucket ug pun-a ang gikinahanglan nga mga field. Ang tanan yano dinhi.
Karon naa na namo ang tanan nga andam na alang sa usa ka combat nga paggamit sa among S3 storage.
Pag-set up sa Veeam
Busa, sa atong nahinumduman, usa sa mga nag-unang aplikasyon sa pagtipig sa butang mao ang dugay nga pagtipig sa impormasyon nga panagsa ra ma-access. Ang usa ka sulundon nga pananglitan mao ang panginahanglan sa pagtipig sa mga backup sa usa ka hilit nga site. Sa Veeam Backup & Replication, kini nga bahin gitawag nga Capacity Tier.
Atong sugdan ang setup pinaagi sa pagdugang sa atong Dell ECS CE sa Veeam interface. Sa tab nga Backup Infrastructure, ilunsad ang wizard alang sa pagdugang og bag-ong repository ug pilia ang butang nga Pagtipig sa butang.
Gipili namo kung unsa ang nasugdan sa tanan - S3 Compatible.
Sa bintana nga makita, isulat ang gusto nga ngalan ug adto sa lakang sa Account. Dinhi kinahanglan nimo nga ipiho ang service point sa porma , ang rehiyon mahimong ibilin ingon nga mao, ug ang gibuhat nga tiggamit mahimong idugang. Gikinahanglan ang usa ka gate server kung ang imong pagtipig nahimutang sa usa ka hilit nga site, apan kini usa na ka hilisgutan sa pag-optimize sa imprastraktura ug usa ka bulag nga artikulo, aron luwas nimo nga malaktawan kini dinhi.
Kung ang tanan gitakda ug gi-configure sa husto, ang usa ka pasidaan bahin sa sertipiko mo-pop up ug dayon usa ka bintana nga adunay balde, diin mahimo ka maghimo usa ka folder alang sa among mga file.
Gipasa namo ang wizard hangtod sa katapusan ug nalingaw sa resulta.
Ang sunod nga lakang mao ang paghimo ug bag-ong Scale-out Backup Repository, o idugang ang among S3 sa naa na - gamiton kini isip Capacity Tier alang sa pagtipig sa archive. Ang function sa paggamit sa S3-compatible repository direkta, sama sa usa ka regular nga repository, wala sa kasamtangan nga pagpagawas. Adunay daghan kaayo nga dili klaro nga mga problema aron kini masulbad, apan ang tanan mahimo.
Moadto kami sa mga setting sa repository ug i-on ang Capacity Tier. Ang tanan klaro didto, apan adunay usa ka makapaikag nga nuance: kung gusto nimo nga ang tanan nga datos ipadala sa pagtipig sa butang sa labing madali, ibutang lang kini sa 0 ka adlaw.
Human sa pag-agi sa wizard, kung dili nimo gusto nga maghulat, mahimo nimong i-press ang ctrl+RMB sa repository, pilit nga ipadagan ang Tiering nga trabaho ug tan-awa ang mga graph nga nagakamang.
Kana lang sa pagkakaron. Sa akong hunahuna nga akong gisagubang ang tahas sa pagpakita nga ang pagtipig sa bloke dili makahadlok sama sa kasagaran nga gihunahuna. Oo, mga solusyon ug mga kapilian alang sa pagpatuman sa usa ka karomata ug usa ka gamay nga trolley, apan imposible nga matabonan ang tanan sa usa ka artikulo. Busa atong ipaambit ang atong kasinatian sa mga komento.
Source: www.habr.com