Maailm nägi esimest objektihoidlate prototüüpi 1996. aastal. 10 aasta pärast toob Amazon Web Services turule Amazon S3 ja maailm hakkab tasase aadressiruumiga süstemaatiliselt hulluks minema. Tänu metaandmete töötlemisele ja võimele skaleerida ilma, et see koormuse all langeks, on objektide salvestamisest saanud kiiresti standard enamiku pilvesalvestusteenuste jaoks ja mujalgi. Teine oluline omadus on selle hea kohandatavus arhiivide ja sarnaste harva kasutatavate failide hoidmiseks. Kõik andmesalvestusega seotud inimesed rõõmustasid ja kandsid uut tehnoloogiat oma kätel.
Aga inimeste jutud olid täis kuulujutte, et objektide hoidmine käib ainult suurte pilvede kohta ja kui sul pole vaja neetud kapitalistide lahendusi, siis on väga raske ise teha. Oma pilve juurutamisest on juba palju kirjutatud, kuid nn S3-ühilduvate lahenduste loomise kohta pole piisavalt infot.
Seetõttu mõtleme täna välja, millised võimalused on "Olla nagu täiskasvanud, mitte CEPH ja suurem fail", juurutame neist ühe ja kontrollime Veeam Backup & Replication abil, et kõik toimiks. See nõuab S3-ühilduvate salvestusseadmetega töötamise toetust ja me kontrollime seda avaldust.
Kuidas on teistega?
Teen ettepaneku alustada väikese ülevaatega objektide ladustamise turust ja võimalustest. Üldtunnustatud liider ja standard on Amazon S3. Kaks lähimat jälitajat on Microsoft Azure Blob Storage ja IBM Cloud Object Storage.
Kas see on kõik? Kas teisi konkurente pole? Muidugi on konkurente, kuid keegi läheb oma teed, näiteks Google Cloud või Oracle Cloud Object Storage, millel on S3 API puudulik tugi. Keegi kasutab API vanu versioone, nagu Baidu Cloud. Ja mõned, nagu Hitachi Cloud, nõuavad spetsiaalse loogika rakendamist, mis kindlasti põhjustab oma raskusi. Igal juhul võrreldakse kõiki Amazoniga, mida võib pidada tööstusstandardiks.
Kuid kohapealsete lahenduste puhul on valik palju suurem, seega toome välja meie jaoks olulised kriteeriumid. Põhimõtteliselt piisab vaid kahest: S3 API tugi ja v4 allkirjastamise kasutamine. Käsi südamel, meid kui tulevast klienti huvitavad ainult interaktsiooni liidesed ja mitte niivõrd hoiuruumi siseköök.
Noh, nende lihtsate tingimustega sobivad paljud lahendused. Näiteks klassikalised ettevõtte raskekaallased:
- DellEMC ECS
- NetApp S3 salvestusvõrk
- Nutanixi ämbrid
- Pure Storage FlashBlade ja StorReduce
- Huawei FusionStorage
Seal on nišš puhtalt tarkvaralahendusi, mis töötavad juba karbist välja:
- Red Hat Ceph
- SUSE Enterprise Storage
- Cloudian
Ja isegi need, kellele meeldib pärast kokkupanekut failiga hoolikalt töödelda, ei solvunud:
- CEPH kõige puhtamal kujul
- Minio (Linuxi versioon, kuna Windowsi versiooni kohta on palju küsimusi)
Nimekiri pole kaugeltki täielik, seda saab kommentaarides arutada. Lihtsalt ärge unustage enne juurutamist kontrollida lisaks API ühilduvusele ka süsteemi jõudlust. Viimane asi, mida soovite, on terabaitide andmekadu takerdunud päringute tõttu. Nii et laadige julgelt teste. Üldiselt on kogu täiskasvanutele mõeldud tarkvaral, mis töötab suurte andmemahtudega, vähemalt ühilduvusaruanded. Juhul kui Veeam on vastastikuse testimise kohta, mis võimaldab meil julgelt deklareerida meie toodete täielikku ühilduvust konkreetsete seadmetega. See on juba kahepoolne töö, mitte alati kiire, kuid me laieneme pidevalt testitud lahendusi.
Meie putka kokku panemine
Tahan natuke rääkida testitava valikust.
Esiteks tahtsin leida valiku, mis töötaks kohe karbist välja võttes. Noh, või vähemalt maksimaalse tõenäosusega, et see töötab, ilma et oleks vaja teha tarbetuid žeste. Parmupilliga tantsimine ja öösiti pulti noppimine on väga põnev, aga vahel tahaks, et see kohe tööle hakkaks. Ja selliste lahenduste üldine töökindlus on tavaliselt suurem. Ja jah, seiklusvaim kadus meis, me lõpetasime akende ronimise oma armastatud naiste juurde jne (c).
Teiseks, kui aus olla, tekib vajadus objektihoidlaga tegeleda päris suurtes ettevõtetes, nii et just nii, kui ettevõtte tasemel lahenduste poole vaadates mitte ainult ei häbeneta, vaid isegi julgustatakse. Igatahes ma ei tea veel näiteid, et keegi oleks selliste lahenduste ostmise pärast vallandatud.
Eelneva põhjal langes minu valik edasi Dell EMC ECS Community Edition. See on väga huvitav projekt ja ma pean vajalikuks teile sellest rääkida.
Esimene asi, mis lisamist nähes meelde tuleb Ühenduse väljaanne - et see on lihtsalt täisväärtusliku ECS-i jälituspaber, millel on mõned piirangud, mis eemaldatakse litsentsi ostmisega. Nii et ei!
Запомните:
!!!Community Edition on eraldi projekt, mis on loodud testimiseks ja ilma Delli tehnilise toeta!!
Ja seda ei saa muuta täieõiguslikuks ECS-iks, isegi kui sa tõesti tahad.
Mõelgem välja
Paljud inimesed arvavad, et Dell EMC ECS on peaaegu parim lahendus, kui teil on vajadus objektide hoiustamise järele. Kõik ECS-i kaubamärgi all olevad projektid, sealhulgas äri- ja äriprojektid, on . Omamoodi hea tahte žest Dellilt. Ja lisaks tarkvarale, mis töötab nende kaubamärgiga riistvaral, on olemas avatud lähtekoodiga versioon, mida saab juurutada isegi pilves, isegi virtuaalmasinas, isegi konteineris, isegi mis tahes teie riistvaras. Tulevikku vaadates on isegi OVA versioon, mida me kasutame.
DELL ECS Community Edition ise on täisväärtusliku tarkvara miniversioon, mis töötab Dell EMC ECS kaubamärgiga serverites.
Olen tuvastanud neli peamist erinevust:
- Krüptimist ei toetata. See on häbi, kuid mitte kriitiline.
- Kangakiht puudub. See asi vastutab klastrite loomise, ressursside haldamise, värskendamise, jälgimise ja Dockeri piltide salvestamise eest. Siin on juba suur pettumus, aga Dellist saab ka aru.
- Eelmise punkti kõige vastikum tagajärg: pärast installimise lõpetamist ei saa sõlme suurust laiendada.
- Tehnilist tuge pole. Tegemist on testimiseks mõeldud tootega, mida ei ole keelatud kasutada ka väikestes installatsioonides, kuid mina isiklikult ei julgeks sinna petabaite olulisi andmeid üles laadida. Kuid tehniliselt ei saa keegi teid takistada seda tegemast.
Mis on suures versioonis?
Läbi Euroopa galoppides käime raudsed lahendused üle, et saada ökosüsteemist terviklikum pilt.
Ma ei hakka kuidagi kinnitama ega ümber lükkama väidet, et DELL ECS on parim on-prem objektihoidla, kuid kui teil on sel teemal midagi öelda, siis loen seda hea meelega kommentaarides. Igal juhul versiooni järgi Dell EMC siseneb enesekindlalt viie parima OBS turuliidri hulka. Kuigi pilvepõhiseid lahendusi ei arvestata, on see eraldi vestlus.
Tehnilisest vaatenurgast on ECS objektihoidla, mis võimaldab pilvesalvestusprotokolle kasutades juurdepääsu andmetele. Toetab AWS S3 ja OpenStack Swift. Failitoega ämbrite puhul toetab ECS failide kaupa eksportimiseks NFSv3.
Teabe kirjutamise protsess on üsna ebatavaline, eriti pärast klassikalisi plokksalvestussüsteeme.
- Uute andmete saabumisel luuakse uus objekt, millel on nimi, andmed ise ja metaandmed.
- Objektid on jagatud 128 MB tükkideks ja iga tükk kirjutatakse korraga kolme sõlme.
- Uuendatakse registrifaili, kuhu salvestatakse identifikaatorid ja salvestuskohad.
- Logifaili (kirjelogi) uuendatakse ja see kirjutatakse ka kolmele sõlmele.
- Eduka salvestuse kohta saadetakse kliendile teade.
Kõik kolm andmete koopiat on kirjutatud paralleelselt. Kirjutamine loetakse õnnestunuks ainult siis, kui kõik kolm eksemplari kirjutati edukalt.
Lugemine on lihtsam:
- Klient küsib andmeid.
- Indeks otsib kohta, kuhu andmeid salvestada.
- Andmed loetakse ühest sõlmest ja saadetakse kliendile.
Servereid ise on üsna palju, nii et vaatame väikseimat Dell EMC ECS EX300. See algab 60 Tb-st, võime kasvada kuni 1,5 Pb. Ja tema vanem vend Dell EMC ECS EX3000 võimaldab teil juba riiuli kohta salvestada kuni 8,6 Pb.
Kasutusele võtta
Tehniliselt saab Dell ECS CE-d kasutusele võtta nii suurena, kui soovite. Otseseid piiranguid ma igal juhul ei leidnud. Kuid kogu skaleerimine toimub mugavalt, kloonides kõige esimese sõlme, mille jaoks vajame:
- 8 vCPU-d
- RAM 64GB
- 16 GB operatsioonisüsteemi jaoks
- 1TB otse salvestamiseks
- CentOS minimali uusim väljalase
See on valik juhuks, kui soovite kõike algusest peale ise installida. Meie jaoks pole see valik asjakohane, sest. Kasutan juurutamiseks OVA-pilti.
Kuid igal juhul on nõuded väga kurjad isegi ühele sõlmele ja kui rangelt järgida seaduse tähte, siis on vaja nelja sellist sõlme.
Kuid ECS CE arendajad elavad reaalses maailmas ja installimine õnnestub isegi ühe sõlmega ning miinimumnõuded on järgmised:
- 4 vCPU-d
- 16 GB RAM
- 16 GB operatsioonisüsteemi jaoks
- 104 GB iseseisev salvestusruum
Just neid ressursse on OVA-pildi juurutamiseks vaja. Juba palju inimlikum ja realistlikum.
Paigaldussõlme enda saab võtta ametnikult . All-in-one juurutamise kohta on ka üksikasjalik dokumentatsioon, kuid saate lugeda ka ametlikult . Seetõttu me OVA juurutamisel üksikasjalikult ei peatu, nippe pole. Peaasi - ärge unustage enne selle käivitamist, kas laiendage ketast vajaliku mahuni või kinnitage vajalikud.
Käivitame masina, avame konsooli ja kasutame parimaid vaikimisi krediite:
- sisselogimine: admin
- Parool: muuda
Seejärel käivitame sudo nmtui ja konfigureerime võrguliidese - IP / mask, DNS ja värav. Arvestades, et CentOS minimalis pole võrgutööriistu, kontrollime seadeid ip addr kaudu.
Ja kuna mered vallutavad ainult julged, teeme yum-värskenduse, misjärel taaskäivitame. See on tegelikult üsna turvaline. kogu juurutamine toimub mänguraamatute kaudu ja kõik olulised dokkimispaketid lukustatakse praegusele versioonile.
Nüüd on aeg installiskripti redigeerida. Teie jaoks pole ilusaid aknaid ega pseudo kasutajaliidest – kõik toimub teie lemmiktekstiredaktori kaudu. Puhtalt tehniliselt on kaks võimalust: saate käivitada iga käsu käsitsi või käivitada videploy konfiguraatori kohe. See avab lihtsalt vimis konfiguratsiooni ja väljumisel hakkab seda kontrollima. Kuid pole huvitav oma elu tahtlikult lihtsustada, nii et täitkem veel kaks käsku. Kuigi sellel pole mõtet, hoiatasin =)
Seega teeme vim ECS-CommunityEdition/deploy.xml ja teeme optimaalsed minimaalsed muudatused, et ECS lülituks sisse ja töötaks. Parameetrite loendit saab lühendada, kuid mina tegin seda nii:
- Licensed_accepted: true Te ei pea seda muutma, siis palutakse teil juurutamisel see selgesõnaliselt nõustuda ja näidata ilusat fraasi. See võib isegi olla lihavõttemuna.
- Tühjendage ridade autonames: ja custom: Sisestage sõlmele vähemalt üks soovitud nimi – hostinimi asendatakse sellega installiprotsessi käigus.
- install_node: 192.168.1.1 Määrake sõlme tegelik IP. Meie puhul täpsustame sama, mis nmtui puhul
- dns_domain: sisestage oma domeen.
- dns_servers: sisestage oma dns.
- ntp_servers: saab määrata ükskõik millise. Esimese võtsin basseinist 0.pool.ntp.org (selleks sai 91.216.168.42)
- autonaming: kohandatud Kui seda ei kommenteerita, nimetatakse kuud Lunaks.
- ecs_block_devices:
/ dev / sdb
Mingil teadmata põhjusel võib plokkmäluseade /dev/vda olla olematu - storage_pools:
liikmed:
192.168.1.1 Siin näitame taas sõlme tegelikku IP-d - ecs_block_devices:
/dev/sdb Kordame olematute seadmete lõikamise toimingut.
Üldiselt on kogu faili üksikasjalikult kirjeldatud aga kes seda nii segasel ajal loeb. Seal on ka kirjas, et minimaalselt piisab IP ja maski määramisest, kuid minu laboris ei hakanud selline komplekt hästi käima ja pidin selle laiendama ülalmainituni.
Pärast redaktorist väljumist peate käivitama faili update_deploy /home/admin/ECS-CommunityEdition/deploy.yml ja kui kõik on õigesti tehtud, antakse sellest selgesõnaliselt teada.
Siis tuleb ikkagi käivitada videploy, oodata keskkonna uuendust ja saab käivitada installeerimise enda käsuga ova-step1 ja peale selle edukat sooritamist käsuga ova-step2. Tähtis: ärge peatage skripte käsitsi! Mõned sammud võivad võtta kaua aega, võtta kauem aega kui esimene katse ja tunduda, et kõik on katki. Igal juhul peate ootama skripti valmimist loomulikul viisil. Lõpus peaksite nägema midagi sellist.
Nüüd saame lõpuks avada WebUI juhtpaneeli, kasutades meile teadaolevat IP-d. Kui seda konfigureerimisetapis ei muudetud, on vaikekontoks root/ChangeMe. Saate isegi kohe kasutada meie S3-ga ühilduvat salvestusruumi. See on saadaval portides 9020 HTTP jaoks ja 9021 portides HTTPS jaoks. Jällegi, kui midagi pole muudetud, siis access_key: object_admin1 ja secret_key: ChangeMeChangeMeChangeMeChangeMeChangeMe.
Aga ärme käi endast ette ja alustame järjekorras.
Esimesel sisselogimisel palutakse teil sunniviisiliselt parool sobivaks muuta, mis on täiesti õige. Peamine armatuurlaud on äärmiselt selge, nii et teeme midagi huvitavamat kui ilmsete mõõdikute selgitamine. Näiteks loome kasutaja, keda kasutame hoidlale juurdepääsuks. Teenusepakkujate maailmas nimetatakse neid üürnikeks. Seda tehakse menüüs Halda > Kasutajad > Uus objektikasutaja
Kasutaja loomisel palutakse meil määrata nimeruum. Tehniliselt ei takista miski meid käivitamast neid nii palju, kui on kasutajaid. Ja vastupidi. See võimaldab iga rentniku jaoks ressursse iseseisvalt hallata.
Vastavalt sellele valime välja vajalikud funktsioonid ja genereerime kasutajavõtmed. Mulle piisab S3/Atmosest. Ja ärge unustage võtit salvestada 😉
Kasutaja on loodud, nüüd on tal aeg kopp välja valida. Avage Halda > Salvest ja täitke nõutud väljad. Siin on kõik lihtne.
Nüüd on meil kõik S3 salvestusruumi võitluslikuks kasutamiseks valmis.
Veeami seadistamine
Niisiis, nagu mäletame, on objektide salvestamise üks peamisi rakendusi harva ligipääsetava teabe pikaajaline salvestamine. Ideaalne näide on vajadus salvestada varukoopiaid kaugel asuvas kohas. Veeami varundamises ja replikatsioonis nimetatakse seda funktsiooni mahtuvusastmeks.
Alustame seadistamist, lisades Veeami liidesele meie Dell ECS CE. Käivitage vahekaardil Varundustaristu viisard uue hoidla lisamiseks ja valige üksus Objekti salvestusruum.
Valime, mille jaoks kõike alustati – S3-ühilduv.
Sisestage kuvatavas aknas soovitud nimi ja minge konto sammule. Siin peate vormis määrama teeninduspunkti , saab piirkonna jätta selliseks, nagu see on, ja lisada loodud kasutaja. Väravaserver on vajalik, kui teie salvestusruum asub kaugsaidil, kuid see on juba infrastruktuuri optimeerimise teema ja eraldi artikkel, nii et võite selle siin ohutult vahele jätta.
Kui kõik on õigesti määratud ja seadistatud, ilmub sertifikaadi hoiatus ja seejärel ämbriga aken, kus saate luua meie failide jaoks kausta.
Anname viisardi lõpuni ja naudime tulemust.
Järgmine samm on kas luua uus Scale-out Backup Repository või lisada meie S3 olemasolevale – seda kasutatakse arhiivisalvestuse mahutasana. Funktsioon S3-ühilduvate hoidlate otse kasutamiseks, nagu tavaline hoidla, pole praeguses versioonis. Selle lahendamiseks on liiga palju üsna ebaselgeid probleeme, kuid kõik võib olla.
Me läheme hoidla sätetesse ja lülitame sisse mahutasandi. Seal on kõik läbipaistev, aga on huvitav nüanss: kui tahad, et kõik andmed võimalikult kiiresti objektimällu saadetaks, siis määra lihtsalt 0 päeva.
Kui te ei soovi pärast viisardi läbimist oodata, võite hoidlas vajutada klahvikombinatsiooni ctrl+RMB, sunniviisiliselt käivitada Tieringi töö ja vaadata, kuidas graafikud roomavad.
Praeguseks kõik. Arvan, et sain hakkama ülesandega näidata, et plokkide salvestamine pole nii hirmutav, kui tavaliselt arvatakse. Jah, lahendused ja võimalused vaguni ja väikese käru teostamiseks, kuid kõike on võimatu ühes artiklis käsitleda. Nii et jagame oma kogemusi kommentaarides.
Allikas: www.habr.com