Heimurinn sá fyrstu frumgerð af hlutgeymslu árið 1996. Eftir 10 ár mun Amazon Web Services setja Amazon S3 á markað og heimurinn mun kerfisbundið byrja að klikka með flatt heimilisfang. Þökk sé því að vinna með lýsigögn og getu þeirra til að skalast án þess að lækka undir álagi varð hlutgeymsla fljótt staðallinn fyrir flestar skýjagagnageymsluþjónustur, og ekki nóg með það. Annar mikilvægur eiginleiki er að hann hentar vel til að geyma skjalasafn og álíka sjaldan notaðar skrár. Allir sem komu að gagnageymslu fögnuðu og báru nýju tæknina í fanginu.
En sögusagnir fólks voru fullar af sögusögnum um að hlutgeymsla snúist aðeins um stór ský, og ef þú þarft ekki lausnir frá fordæmdu kapítalistanum, þá verður mjög erfitt að búa til þína eigin. Mikið hefur þegar verið skrifað um uppsetningu á eigin skýi, en ekki eru nægar upplýsingar fyrir hendi um að búa til svokallaðar S3-samhæfðar lausnir.
Þess vegna munum við í dag komast að því hvaða valkostir eru til „Svo að það sé eins og fullorðnir, ekki CEPH og stærri skrá,“ munum við setja einn þeirra og við munum athuga hvort allt virki með Veeam Backup & Replication. Það segist styðja að vinna með S3-samhæfðum geymslum og við munum prófa þessa fullyrðingu.
Hvað með aðra?
Ég legg til að byrja á smá yfirliti yfir markaðinn og geymslumöguleika fyrir hluti. Almennt viðurkenndur leiðtogi og staðall er Amazon S3. Tveir nánustu eltingaraðilar eru Microsoft Azure Blob Storage og IBM Cloud Object Storage.
Er þetta allt? Eru virkilega engir aðrir keppendur? Auðvitað eru til samkeppnisaðilar, en sumir fara sínar eigin leiðir, eins og Google Cloud eða Oracle Cloud Object Storage, með ófullkominn stuðning fyrir S3 API. Sumir nota eldri útgáfur af API, eins og Baidu Cloud. Og sumir, eins og Hitachi Cloud, þurfa sérstaka rökfræði, sem mun örugglega valda eigin erfiðleikum. Allavega eru allir bornir saman við Amazon, sem getur talist iðnaðarstaðall.
En í staðbundnum lausnum er miklu meira val, svo við skulum útlista viðmiðin sem eru mikilvæg fyrir okkur. Í grundvallaratriðum eru aðeins tveir nóg: stuðningur við S3 API og notkun v4 undirritunar. Hand á hjarta, við, sem framtíðarviðskiptavinur, höfum aðeins áhuga á viðmótum fyrir samskipti og við höfum ekki eins áhuga á innra eldhúsi geymslunnar sjálfrar.
Margar lausnir passa við þessar einföldu aðstæður. Til dæmis, klassískt þungavigtarfyrirtæki:
- DellEMC ECS
- NetApp S3 StorageGrid
- Nutanix fötur
- Pure Storage FlashBlade og StorReduce
- Huawei FusionStorage
Það er sess af eingöngu hugbúnaðarlausnum sem virka út úr kassanum:
- Red Hat Ceph
- SUSE Enterprise Geymsla
- Skýjað
Og jafnvel þeir sem vilja skrá vandlega eftir samsetningu voru ekki móðgaðir:
- CEPH í sinni hreinustu mynd
- Minio (Linux útgáfa, vegna þess að það eru margar spurningar um Windows útgáfuna)
Listinn er langt frá því að vera tæmandi, um hann má ræða í athugasemdum. Ekki gleyma að athuga afköst kerfisins til viðbótar við API eindrægni fyrir innleiðingu. Það síðasta sem þú vilt er að tapa terabætum af gögnum vegna fastra fyrirspurna. Svo ekki vera feimin við álagspróf. Almennt séð hefur allur hugbúnaður fyrir fullorðna sem vinnur með mikið magn gagna að minnsta kosti samhæfisskýrslur. Ef um er að ræða Veeam есть á gagnkvæmum prófunum, sem gerir okkur kleift að lýsa yfir fullu samhæfni vara okkar við sérstakan búnað. Þetta er nú þegar tvíhliða vinna, ekki alltaf hröð, en við erum stöðugt að stækka prófaðar lausnir.
Að setja saman standinn okkar
Mig langar að tala aðeins um val á prófefni.
Í fyrsta lagi vildi ég finna valkost sem myndi virka beint úr kassanum. Jæja, eða að minnsta kosti með hámarkslíkum á að það virki án þess að þurfa að gera óþarfa hreyfingar. Það er mjög spennandi að dansa við bumbuna og fikta við leikjatölvuna á nóttunni en stundum vill maður að það virki strax. Og heildaráreiðanleiki slíkra lausna er yfirleitt meiri. Og já, andi ævintýrahyggjunnar er horfinn í okkur, við hættum að klifra inn um glugga okkar ástkæru kvenna o.s.frv. (c).
Í öðru lagi, satt best að segja, þá kemur þörfin fyrir að vinna með hlutgeymslu í nokkuð stórum fyrirtækjum, þannig að þetta er einmitt raunin þegar horft er til lausna á fyrirtækisstigi er ekki aðeins skammarlegt, heldur jafnvel hvatt. Í öllu falli, ég veit ekki enn um nein dæmi þess að einhver hafi verið rekinn fyrir að kaupa slíkar lausnir.
Byggt á öllu ofangreindu féll val mitt á Dell EMC ECS Community Edition. Þetta er mjög áhugavert verkefni og ég tel nauðsynlegt að segja frá því.
Það fyrsta sem kemur upp í hugann þegar þú sérð viðbótina Bandalagsútgáfa - að þetta sé bara afrit af fullgildu ECS með einhverjum takmörkunum sem eru fjarlægðar með því að kaupa leyfi. Svo nei!
Mundu:
!!!Community Edition er sérstakt verkefni búið til til prófunar og án tækniaðstoðar frá Dell!!
Og það er ekki hægt að breyta því í fullgildan ECS, jafnvel þótt þú viljir það virkilega.
Við skulum reikna það út
Margir telja að Dell EMC ECS sé nánast besta lausnin ef þú hefur þörf fyrir hlutgeymslu. Öll verkefni undir vörumerkinu ECS, þar á meðal viðskipta- og fyrirtækja, eru byggð á . Eins konar velvildarbending frá Dell. Og til viðbótar við hugbúnaðinn sem keyrir á vörumerkjavélbúnaði þeirra, þá er til opinn uppspretta útgáfa sem hægt er að nota í skýinu, á sýndarvél, í ílát eða á hvaða eigin vélbúnaði sem er. Þegar horft er fram á veginn er jafnvel til OVA útgáfa sem við munum nota.
DELL ECS Community Edition sjálft er smáútgáfa af fullgildum hugbúnaði sem keyrir á vörumerkjum Dell EMC ECS netþjóna.
Ég benti á fjóra meginmuni:
- Enginn stuðningur við dulkóðun. Það er synd, en ekki gagnrýnisvert.
- Efnalag vantar. Þessi hlutur er ábyrgur fyrir því að byggja klasa, auðlindastjórnun, uppfærslur, eftirlit og geyma Docker myndir. Þetta er þar sem það er nú þegar mjög móðgandi, en Dell er líka hægt að skilja.
- Ógeðslegasta afleiðing fyrri liðar: ekki er hægt að stækka stærð hnútsins eftir að uppsetningu er lokið.
- Engin tæknileg aðstoð. Þetta er vara til prófunar, sem er ekki bannað að nota í litlum uppsetningum, en ég persónulega myndi ekki þora að hlaða inn petabætum af mikilvægum gögnum þangað. En tæknilega séð getur enginn hindrað þig í að gera þetta.
Hvað er í stóru útgáfunni?
Við skulum stökkva um Evrópu og fara í gegnum járnhúðaðar lausnir til að öðlast meiri skilning á vistkerfinu.
Ég mun ekki á einhvern hátt staðfesta eða hrekja fullyrðinguna um að DELL ECS sé besta innbyggða hlutgeymslan, en ef þú hefur eitthvað að segja um þetta efni, mun ég vera fús til að lesa það í athugasemdunum. Að minnsta kosti samkvæmt útgáfunni Dell EMC er örugglega meðal fimm efstu OBS markaðsleiðtoganna. Þótt ekki sé tekið tillit til skýjalausna þar er þetta sérstakt samtal.
Frá tæknilegu sjónarhorni er ECS hlutageymsla sem veitir aðgang að gögnum með skýjageymslusamskiptareglum. Styður AWS S3 og OpenStack Swift. Fyrir skráavirka fötu styður ECS NFSv3 fyrir skrá-fyrir-skrá útflutning.
Ferlið við að skrá upplýsingar er nokkuð óvenjulegt, sérstaklega eftir klassísk blokkargeymslukerfi.
- Þegar ný gögn berast er nýr hlutur búinn til sem hefur nafn, gögnin sjálf og lýsigögn.
- Hlutum er skipt í 128 MB bita og hver hluti er skrifaður á þrjá hnúta í einu.
- Vísitalaskráin er uppfærð þar sem auðkenni og geymslustaðir eru skráðir.
- Notkunarskráin (loggfærsla) er uppfærð og einnig skrifuð á þrjá hnúta.
- Skilaboð um árangursríka upptöku eru send til viðskiptavinar
Öll þrjú afrit af gögnunum eru skrifuð samhliða. Skrifin telst aðeins vel heppnuð ef öll þrjú eintökin voru skrifuð með góðum árangri.
Lestur er auðveldari:
- Viðskiptavinurinn óskar eftir gögnum.
- Vísitalan leitar að því hvar gögnin eru geymd.
- Gögn eru lesin úr einum hnút og send til viðskiptavinarins.
Það eru alveg margir netþjónar sjálfir, svo við skulum líta á minnstu Dell EMC ECS EX300. Það byrjar frá 60TB, með getu til að vaxa upp í 1,5PB. Og eldri bróðir hans, Dell EMC ECS EX3000, gerir þér kleift að geyma allt að 8,6 PB á rekki.
Dreifa
Tæknilega séð er Dell ECS CE hægt að nota eins stórt og þú vilt. Í öllu falli fann ég engar skýrar takmarkanir. Hins vegar er þægilegt að gera alla mælikvarða með því að klóna fyrsta hnútinn, sem við þurfum:
- 8 vCPUs
- 64GB RAM
- 16GB fyrir stýrikerfi
- 1TB bein geymsla
- Nýjasta útgáfa af CentOS minimal
Þetta er valkostur þegar þú vilt setja allt upp sjálfur frá upphafi. Þessi valkostur er ekki viðeigandi fyrir okkur, vegna þess að... Ég mun nota OVA myndina til dreifingar.
En í öllum tilvikum eru kröfurnar mjög slæmar, jafnvel fyrir einn hnút, og ef þú fylgir nákvæmlega lagabókstafnum, þá þarftu fjóra slíka hnúta.
Hins vegar búa ECS CE verktaki í hinum raunverulega heimi og uppsetningin er vel heppnuð jafnvel með einum hnút og lágmarkskröfur eru:
- 4 vCPUs
- 16 GB RAM
- 16 GB fyrir stýrikerfi
- 104 GB geymsla sjálf
Þetta eru úrræðin sem þarf til að dreifa OVA myndinni. Nú þegar mun mannúðlegri og raunsærri.
Uppsetningarhnútinn sjálfan er hægt að fá hjá embættismanni . Það eru líka ítarleg skjöl um allt-í-einn uppsetningu, en þú getur líka lesið um opinbera . Þess vegna munum við ekki dvelja í smáatriðum um þróun OVA, það eru engin brögð þar. Aðalatriðið er að áður en þú byrjar það, ekki gleyma að annaðhvort stækka diskinn í tilskilið magn eða festa nauðsynlega.
Við ræsum vélina, opnum stjórnborðið og notum bestu sjálfgefnu skilríkin:
- innskráning: admin
- lykilorð: ChangeMe
Síðan keyrum við sudo nmtui og stillum netviðmótið - IP/mask, DNS og hlið. Með hliðsjón af því að CentOS minimal er ekki með netverkfæri, athugum við stillingarnar í gegnum ip-adr.
Og þar sem aðeins hugrakkir sigra höfin gerum við yum uppfærslu, eftir það endurræsum við. Það er reyndar alveg öruggt vegna þess að... öll dreifing fer fram í gegnum playbooks og allir mikilvægir docker pakkar eru læstir við núverandi útgáfu.
Nú er kominn tími til að breyta uppsetningarforskriftinni. Engir fínir gluggar eða gerviviðmót fyrir þig - allt er gert í gegnum uppáhalds textaritilinn þinn. Tæknilega séð eru tvær leiðir: þú getur keyrt hverja skipun handvirkt eða strax ræst myndstillingarforritið. Það mun einfaldlega opna stillinguna í vim og þegar það er hætt byrjar það að athuga það. En það er ekki áhugavert að einfalda líf þitt vísvitandi, svo við skulum keyra tvær skipanir í viðbót. Þó að þetta sé ekkert vit, varaði ég þig við =)
Svo, við skulum búa til vim ECS-CommunityEdition/deploy.xml og gera bestu lágmarksbreytingarnar svo að ECS sé í gangi. Hægt er að stytta lista yfir færibreytur, en ég gerði það svona:
- licensed_accepted: satt Þú þarft ekki að breyta því, þá verður þú beinlínis beðinn um að samþykkja það þegar þú sendir hana inn og verður sýnd falleg setning. Kannski er þetta jafnvel páskaegg.
- Taktu úr athugasemdum við línurnar autonames: og sérsniðið: Sláðu inn að minnsta kosti eitt nafn sem óskað er eftir fyrir hnútinn - hýsingarheiti verður skipt út fyrir það meðan á uppsetningarferlinu stendur.
- install_node: 192.168.1.1 Tilgreindu raunverulega IP hnútsins. Í okkar tilviki gefum við það sama og í nmtui
- dns_domain: sláðu inn lénið þitt.
- dns_servers: sláðu inn dns.
- ntp_servers: þú getur tilgreint hvaða sem er. Ég tók þann fyrsta sem ég rakst á úr sundlauginni 0.pool.ntp.org (varð 91.216.168.42)
- sjálfsnafn: sérsniðið Ef þú sleppir ekki athugasemdum mun tunglið heita Luna.
- ecs_block_devices:
/ dev / sdb
Af einhverjum óþekktum ástæðum getur verið að blokkgeymslubúnaður /dev/vda sé ekki til - geymsla_laugar:
félagsmenn:
192.168.1.1 Hér tilgreinum við aftur raunverulegan IP hnútsins - ecs_block_devices:
/dev/sdb Við endurtökum aðgerðina að skera út tæki sem ekki eru til.
Almennt er allri skránni lýst í smáatriðum í , en hver mun lesa hana á svona erfiðum tíma. Það segir líka að lágmarkið sem nægir er að tilgreina IP og grímu, en í rannsóknarstofunni minni byrjaði slíkt sett frekar illa og ég þurfti að stækka það í það sem tilgreint var hér að ofan.
Eftir að þú hættir í ritlinum þarftu að keyra update_deploy /home/admin/ECS-CommunityEdition/deploy.yml og ef allt er gert rétt verður þetta skýrt tilkynnt.
Þá þarftu samt að keyra videoploy, bíða eftir að umhverfið uppfærist og þú getur byrjað uppsetninguna sjálfa með ova-step1 skipuninni og eftir að henni er lokið, ova-step2 skipuninni. Mikilvægt: ekki stöðva handritin! Sum skref geta tekið talsverðan tíma, ekki er víst að þeim sé lokið í fyrstu tilraun og geta litið út fyrir að allt sé bilað. Í öllum tilvikum þarftu að bíða eftir að handritið lýkur náttúrulega. Í lokin ættirðu að sjá skilaboð svipað þessu.
Nú getum við loksins opnað WebUI stjórnborðið með því að nota IP sem við þekkjum. Ef stillingunni var ekki breytt á stigi, verður sjálfgefinn reikningur root/ChangeMe. Þú getur jafnvel notað S3-samhæfða geymsluna okkar strax. Það er fáanlegt á höfnum 9020 fyrir HTTP og 9021 fyrir HTTPS. Aftur, ef engu var breytt, þá access_key: object_admin1 og secret_key: ChangeMeChangeMeChangeMeChangeMeChangeMe.
En við skulum ekki fara of á undan okkur og byrja í röð.
Þegar þú skráir þig inn í fyrsta skipti verður þú neyddur til að breyta lykilorðinu þínu í viðeigandi, sem er alveg rétt. Aðalmælaborðið er mjög skýrt, svo við skulum gera eitthvað áhugaverðara en að útskýra augljósar mælikvarðar. Við skulum til dæmis búa til notanda sem við munum nota til að fá aðgang að geymslunni. Í heimi þjónustuveitenda eru þetta kallaðir leigjendur. Þetta er gert í Stjórna > Notendur > Nýr hlutnotandi
Þegar notandi er búinn til erum við beðin um að tilgreina nafnrými. Tæknilega séð kemur ekkert í veg fyrir að við búum til eins marga af þeim og notendur eru. Og öfugt. Þetta gerir þér kleift að stjórna auðlindum sjálfstætt fyrir hvern leigjanda.
Í samræmi við það veljum við þær aðgerðir sem við þurfum og búum til notendalykla. S3/Atmos mun duga mér. Og ekki gleyma að vista lykilinn 😉
Notandinn hefur verið búinn til, nú er kominn tími til að úthluta honum fötu. Farðu í Stjórna > Bucket og fylltu út nauðsynlega reiti. Hér er allt einfalt.
Nú höfum við allt tilbúið til að nota S3 geymsluna okkar.
Að setja upp Veeam
Svo, eins og við munum, er ein helsta notkun hlutageymslu langtíma geymsla upplýsinga sem sjaldan er nálgast. Tilvalið dæmi er nauðsyn þess að geyma afrit á afskekktum stað. Í Veeam Backup & Replication er þessi eiginleiki kallaður Capacity Tier.
Byrjum að setja upp með því að bæta Dell ECS CE okkar við Veeam viðmótið. Á flipanum Backup Infrastructure skaltu ræsa hjálpina Bæta við nýrri geymslu og velja Object Storage.
Við skulum velja fyrir hvað þetta byrjaði - S3 samhæft.
Í glugganum sem birtist skaltu skrifa nafnið sem þú vilt og fara í Reikningsskrefið. Hér þarf að tilgreina þjónustustað í eyðublaðinu , hægt er að skilja svæðið eftir eins og það er og hægt er að bæta við stofnuðum notanda. Hliðþjónn er nauðsynlegur ef geymslan þín er staðsett á fjarlægri síðu, en þetta er nú þegar efni til að fínstilla innviði og sérstök grein, svo þú getur örugglega sleppt því hér.
Ef allt er tilgreint og rétt stillt birtist viðvörun um vottorðið og síðan gluggi með fötu þar sem hægt er að búa til möppu fyrir skrárnar okkar.
Við förum í gegnum töframanninn til enda og njótum niðurstöðunnar.
Næsta skref er annaðhvort að búa til nýja scal-out öryggisafritunargeymslu eða bæta S3 okkar við þá sem fyrir er - hún verður notuð sem afkastagetu fyrir geymslu. Það er engin aðgerð til að nota S3-samhæfða geymslu beint, eins og venjulega geymsla, í núverandi útgáfu. Það þarf að leysa of mörg frekar óljós vandamál til að þetta gerist, en allt er mögulegt.
Farðu í geymslustillingarnar og virkjaðu Capacity Tier. Allt er gagnsætt þar, en það er áhugaverður blæbrigði: ef þú vilt að öll gögn séu send í hlutgeymslu eins fljótt og auðið er skaltu bara stilla það á 0 daga.
Eftir að hafa farið í gegnum töframanninn, ef þú vilt ekki bíða, geturðu ýtt á ctrl+RMB á geymslunni, ræst af krafti Tiering-verkið og horft á línuritin skríða.
Það er allt í bili. Ég held að mér hafi tekist það verkefni að sýna að blokkgeymsla er ekki eins skelfileg og fólk heldur. Já, það eru til lausnir og valkostir fyrir vagn og litla kerru, en þú getur ekki fjallað um allt í einni grein. Svo við skulum deila reynslu okkar í athugasemdunum.
Heimild: www.habr.com