Die wêreld het die eerste prototipe van voorwerpbergings in 1996 gesien. Oor 10 jaar sal Amazon Web Services Amazon S3 bekendstel, en die wêreld sal stelselmatig mal begin raak met 'n plat adresspasie. Danksy die hantering van metadata en sy vermoë om te skaal sonder om onder vrag te sak, het voorwerpberging vinnig die standaard geword vir die meeste wolkbergingsdienste en verder. Nog 'n belangrike kenmerk is sy goeie aanpasbaarheid vir die berging van argiewe en soortgelyke lêers wat selde gebruik word. Almal betrokke by databerging het gejuig en die nuwe tegnologie op hul hande gedra.
Maar mense se gerugte was vol gerugte dat voorwerpberging net oor groot wolke gaan, en as jy nie oplossings van die verdomde kapitaliste nodig het nie, dan sal dit baie moeilik wees om jou eie te maak. Daar is al baie geskryf oor die ontplooiing van jou eie wolk, maar daar is nie genoeg inligting oor die skep van die sogenaamde S3-versoenbare oplossings nie.
Daarom sal ons vandag uitvind watter opsies daar is "Om soos volwassenes te wees, en nie CEPH en 'n groter lêer nie", ons sal een van hulle ontplooi, en ons sal kyk of alles werk met Veeam Backup & Replication. Dit eis ondersteuning om met S3-versoenbare bergings te werk, en ons sal hierdie stelling nagaan.
Hoe gaan dit met ander?
Ek stel voor om te begin met 'n klein oorsig van die mark en opsies vir voorwerpberging. Die algemeen erkende leier en standaard is Amazon S3. Die twee naaste agtervolgers is Microsoft Azure Blob Storage en IBM Cloud Object Storage.
Is dit al? Is daar geen ander mededingers nie? Natuurlik is daar mededingers, maar iemand gaan hul eie pad, soos Google Cloud of Oracle Cloud Object Storage, met onvolledige ondersteuning vir die S3 API. Iemand gebruik ou weergawes van die API, soos Baidu Cloud. En sommige, soos Hitachi Cloud, vereis die toepassing van spesiale logika, wat beslis sy eie probleme sal veroorsaak. In elk geval word almal vergelyk met Amazon, wat as die industriestandaard beskou kan word.
Maar in oplossings op die perseel is die keuse baie groter, so kom ons skets die kriteria wat vir ons belangrik is. In beginsel is net twee genoeg: ondersteuning vir die S3 API en die gebruik van v4-ondertekening. Hand op die hart stel ons as toekomstige kliënt net belang in koppelvlakke vir interaksie, en ons stel nie so belang in die interne kombuis van die stoor self nie.
Wel, baie oplossings pas by hierdie eenvoudige toestande. Byvoorbeeld, klassieke korporatiewe swaargewigte:
- DellEMC ECS
- NetApp S3-bergingsrooster
- Nutanix Emmers
- Pure Storage FlashBlade en StorReduce
- Huawei FusionStorage
Daar is 'n nis van suiwer sagteware-oplossings wat buite die boks werk:
- Red Hat Ceph
- SUSE Enterprise-berging
- Bewolk
En selfs diegene wat daarvan hou om versigtig te verwerk met 'n lêer na samestelling, was nie beledig nie:
- CEPH in sy suiwerste vorm
- Minio (Linux-weergawe, want daar is baie vrae oor die Windows-weergawe)
Die lys is nog lank nie volledig nie, dit kan in die kommentaar bespreek word. Moet net nie vergeet om die stelselprestasie na te gaan nie, benewens API-versoenbaarheid voor implementering. Die laaste ding wat u wil hê, is die verlies van teragrepe aan data as gevolg van vasgestelde versoeke. So laai gerus toetse. Oor die algemeen het alle volwasse sagteware wat met groot hoeveelhede data werk ten minste versoenbaarheidsverslae. In die geval van Veeam daar is op wedersydse toetsing, wat ons in staat stel om die volle verenigbaarheid van ons produkte met spesifieke toerusting met vrymoedigheid te verklaar. Dit is reeds 'n tweerigting werk, nie altyd vinnig nie, maar ons brei voortdurend uit beproefde oplossings.
Ons stel ons stand bymekaar
Ek wil 'n bietjie praat oor die keuse van 'n toetsvak.
Eerstens wou ek 'n opsie vind wat reg uit die boks sou werk. Wel, of ten minste met die maksimum waarskynlikheid dat dit sal werk sonder dat dit nodig is om onnodige gebare te maak. Om met 'n tamboeryn te dans en saans die konsole te kies is baie opwindend, maar soms wil jy hê dit moet dadelik werk. En die algehele betroubaarheid van sulke oplossings is gewoonlik hoër. En ja, die gees van avontuurlikheid het in ons verdwyn, ons het opgehou om deur die vensters na ons geliefde vroue te klim, ens. (c).
Tweedens, om eerlik te wees, ontstaan die behoefte om met voorwerpberging te werk in redelik groot maatskappye, so dit is die geval wanneer daar na ondernemingsvlak-oplossings gekyk word nie net nie skaam word nie, maar selfs aangemoedig word. Ek weet in elk geval nog nie van voorbeelde van iemand wat afgedank is vir die aankoop van sulke oplossings nie.
Op grond van die voorafgaande het my keuse geval Dell EMC ECS Gemeenskapsuitgawe. Dit is 'n baie interessante projek, en ek ag dit nodig om jou daarvan te vertel.
Die eerste ding wat by jou opkom wanneer jy die byvoeging sien Gemeenskapsuitgawe - dat dit net 'n naspeurpapier is van 'n volwaardige ECS met 'n paar beperkings wat verwyder word deur 'n lisensie te koop. So nee!
onthou:
!!!Gemeenskapsuitgawe is 'n aparte projek wat geskep is vir toetsing en sonder tegniese ondersteuning van Dell!!
En dit kan nie in 'n volwaardige ECS verander word nie, al wil jy regtig.
Kom ons bepaal dit
Baie mense dink dat Dell EMC ECS amper die beste oplossing is as u 'n behoefte het aan voorwerpberging. Alle projekte onder die ECS-handelsmerk, insluitend kommersiële en korporatiewe projekte, is . 'n Soort gebaar van welwillendheid van Dell. En benewens die sagteware wat op hul handelsmerkhardeware werk, is daar 'n oopbronweergawe wat selfs in die wolk ontplooi kan word, selfs op 'n virtuele masjien, selfs in 'n houer, selfs op enige van jou hardeware. As ons vorentoe kyk, is daar selfs 'n OVA-weergawe wat ons sal gebruik.
Die DELL ECS Community Edition self is 'n mini-weergawe van die volwaardige sagteware wat op Dell EMC ECS-handelsmerkbedieners loop.
Ek het vier hoofverskille geïdentifiseer:
- Geen enkripsie-ondersteuning nie. Dit is jammer, maar nie krities nie.
- Daar is geen stoflaag nie. Hierdie ding is verantwoordelik vir die bou van groepe, die bestuur van hulpbronne, opdatering, monitering en berging van Docker-beelde. Hier is dit reeds baie teleurstellend, maar Dell kan ook verstaan word.
- Die mees nare gevolg van die vorige punt: die grootte van die nodus kan nie uitgebrei word nadat die installasie voltooi is nie.
- Geen tegniese ondersteuning nie. Dit is 'n produk vir toetsing, wat nie verbode is om in klein installasies te gebruik nie, maar ek persoonlik sou dit nie waag om petagrepe van belangrike data daar op te laai nie. Maar tegnies kan niemand jou keer om dit te doen nie.
Wat is in die groot weergawe?
As ons deur Europa gaan galop, kom ons gaan oor die ysteroplossings om 'n meer volledige prentjie van die ekosisteem te kry.
Ek sal nie op een of ander manier die stelling bevestig of weerlê dat DELL ECS die beste on-prem objekberging is nie, maar as jy iets oor hierdie onderwerp te sê het, sal ek dit graag in die kommentaar lees. In elk geval, volgens die weergawe Dell EMC betree met selfvertroue die top vyf OBS-markleiers. Alhoewel wolkgebaseerde oplossings nie in ag geneem word nie, is dit 'n aparte gesprek.
Vanuit 'n tegniese oogpunt is ECS 'n objekberging wat toegang bied tot data met behulp van wolkbergingsprotokolle. Ondersteun AWS S3 en OpenStack Swift. Vir lêer-geaktiveerde emmers, ondersteun ECS NFSv3 vir lêer-vir-lêer uitvoer.
Die proses om inligting te skryf is nogal ongewoon, veral na die klassieke blokbergingstelsels.
- Wanneer nuwe data aankom, word 'n nuwe voorwerp geskep wat 'n naam, die data self en metadata het.
- Voorwerpe word in 128 MB-stukke verdeel, en elke stuk word gelyktydig na drie nodusse geskryf.
- Die indekslêer word opgedateer, waar identifiseerders en stoorplekke aangeteken word.
- Die loglêer (rekordlog) word opgedateer en ook na drie nodusse geskryf.
- 'n Boodskap word aan die kliënt gestuur oor 'n suksesvolle rekord.
Al drie kopieë van die data word parallel geskryf. Die skryfwerk word slegs as suksesvol beskou as al drie kopieë suksesvol geskryf is.
Lees is makliker:
- Die kliënt versoek data.
- Die indeks soek 'n plek om data te stoor.
- Data word vanaf een nodus gelees en na die kliënt gestuur.
Daar is 'n hele paar bedieners self, so kom ons kyk na die kleinste Dell EMC ECS EX300. Dit begin by 60Tb, met die vermoë om tot 1,5Pb te groei. En sy ouer broer Dell EMC ECS EX3000 laat jou alreeds toe om soveel as 8,6Pb per rek te stoor.
Ontplooi
Tegnies kan Dell ECS CE ontplooi word so groot as wat verlang word. Ek het in elk geval nie eksplisiete beperkings gevind nie. Alle skaal word egter gerieflik gedoen deur die heel eerste nodus te kloneer waarvoor ons nodig het:
- 8 vCPU's
- 64GB RAM
- 16GB vir bedryfstelsel
- 1TB direk vir berging
- Jongste vrystelling van CentOS minimaal
Dit is 'n opsie vir die geval wanneer jy alles van die begin af self wil installeer. Vir ons is hierdie opsie nie relevant nie, want. Ek sal 'n OVA-beeld gebruik om te ontplooi.
Maar in elk geval, die vereistes is baie sleg, selfs vir een nodus, en as u die letter van die wet streng volg, benodig u vier sulke nodusse.
ECS CE-ontwikkelaars woon egter in die regte wêreld, en die installasie is suksesvol selfs met 'n enkele nodus, en die minimum vereistes is:
- 4 vCPU's
- 16 GB RAM
- 16 GB vir bedryfstelsel
- 104 GB selfberging
Dit is hierdie hulpbronne wat nodig is om die OVA-beeld te ontplooi. Reeds baie meer menslik en realisties.
Die installasie nodus self kan van die amptenaar geneem word . Daar is ook gedetailleerde dokumentasie oor die implementering van alles-in-een, maar jy kan ook op die amptelike lees . Daarom sal ons nie in detail stilstaan by die ontplooiing van OVA nie, daar is geen truuks nie. Die belangrikste ding - moenie vergeet voordat u dit begin nie, brei die skyf uit na die verlangde volume, of heg die nodige aan.
Ons begin die masjien, maak die konsole oop en gebruik die beste standaardkrediete:
- aanmeld: admin
- Wagwoord: changeme
Dan hardloop ons sudo nmtui en konfigureer die netwerkkoppelvlak - IP / masker, DNS en hek. As ons in gedagte hou dat daar geen net-nutsmiddels in CentOS minimaal is nie, gaan ons die instellings na via ip-adr.
En aangesien net die dappers die seë oorwin, doen ons yum update, waarna ons herlaai. Dit is eintlik redelik veilig. alle ontplooiing word deur speelboeke gedoen, en alle belangrike docker-pakkette is gesluit op die huidige weergawe.
Nou is dit tyd om die installasie script te wysig. Geen pragtige vensters of pseudo-UI vir jou nie - alles is deur jou gunsteling teksredigeerder. Suiwer tegnies is daar twee maniere: jy kan elke opdrag handmatig uitvoer of die videploy-konfigurator dadelik laat loop. Dit sal eenvoudig die config in vim oopmaak, en by uitgang sal dit begin om dit na te gaan. Maar dit is nie interessant om jou lewe doelbewus te vereenvoudig nie, so kom ons voer nog twee opdragte uit. Alhoewel dit geen sin maak nie, het ek jou gewaarsku =)
So, ons maak vim ECS-CommunityEdition/deploy.xml en maak die optimale minimum veranderinge sodat ECS aanskakel en werk. Die lys parameters kan verkort word, maar ek het dit so gedoen:
- licensed_accepted: true Jy hoef dit nie te verander nie, dan sal jy tydens ontplooiing uitdruklik gevra word om dit te aanvaar en 'n mooi frase te wys. Dit kan selfs 'n paaseier wees.
- Maak kommentaar op die reëls outonames: en pasgemaak: Voer ten minste een gewenste naam vir die nodus in - gasheernaam sal daarmee vervang word tydens die installasieproses.
- install_node: 192.168.1.1 Spesifiseer die werklike IP van die node. In ons geval spesifiseer ons dieselfde as in nmtui
- dns_domain: voer jou domein in.
- dns_servers: voer jou dns in.
- ntp_servers: Enige een kan gespesifiseer word. Ek het die eerste een van die swembad 0.pool.ntp.org geneem (dit het 91.216.168.42 geword)
- outonaming: pasgemaak As dit nie kommentaar gelewer word nie, sal die maan Luna genoem word.
- ecs_block_devices:
/ Dev / SDB
Vir een of ander onbekende rede kan daar 'n nie-bestaande blokbergtoestel /dev/vda wees - stoorpoele:
lede:
192.168.1.1 Hier dui ons weer die werklike IP van die nodus aan - ecs_block_devices:
/dev/sdb Ons herhaal die operasie om nie-bestaande toestelle te sny.
Oor die algemeen word die hele lêer in groot detail beskryf in maar wie sal dit in so 'n onstuimige tyd lees. Daar staan ook geskryf dat die minimum voldoende is om die IP en masker te spesifiseer, maar in my laboratorium het so 'n stel nie goed begin nie, en ek moes dit uitbrei na die een hierbo aangedui.
Nadat jy die redigeerder verlaat het, moet jy update_deploy /home/admin/ECS-CommunityEdition/deploy.yml laat loop, en as alles korrek gedoen word, sal dit uitdruklik gerapporteer word.
Dan moet jy steeds videploy begin, wag dat die omgewing opgedateer word, en jy kan die installasie self begin met die ova-step1-opdrag, en na die suksesvolle voltooiing daarvan, die ova-step2-opdrag. Belangrik: moenie skrifte met die hand stop nie! Sommige stappe kan lank neem, langer neem as die eerste probeerslag, en lyk of alles stukkend is. Jy moet in elk geval wag vir die voltooiing van die draaiboek op 'n natuurlike manier. Aan die einde behoort jy so iets te sien.
Nou, uiteindelik, kan ons die WebUI-kontrolepaneel oopmaak met die IP wat ons ken. As dit nie tydens die konfigurasiestadium verander is nie, sal die verstekrekening root/ChangeMe wees. Jy kan selfs dadelik ons S3-versoenbare berging gebruik. Dit is beskikbaar op poorte 9020 vir HTTP, en 9021 vir HTTPS. Weereens, as niks verander is nie, dan access_key: object_admin1 en secret_key: ChangeMeChangeMeChangeMeChangeMeChangeMe.
Maar laat ons nie onsself vooruitloop en in orde begin nie.
By die eerste aanmelding sal jy met geweld gevra word om die wagwoord na 'n voldoende een te verander, wat absoluut korrek is. Die hoofpaneelbord is uiters duidelik, so kom ons doen iets interessanter as om die ooglopende statistieke te verduidelik. Kom ons skep byvoorbeeld 'n gebruiker wat ons sal gebruik om toegang tot die bewaarplek te verkry. In die wêreld van diensverskaffers word dit huurders genoem. Dit word gedoen in Bestuur > Gebruikers > Nuwe objekgebruiker
Wanneer 'n gebruiker geskep word, word ons gevra om 'n naamruimte te spesifiseer. Tegnies verhinder niks ons om hulle te begin soveel as wat daar gebruikers sal wees nie. En omgekeerd. Dit laat hulpbronne toe om onafhanklik vir elke huurder te bestuur.
Gevolglik kies ons die funksies wat ons benodig en genereer gebruikerssleutels. S3/Atmos sal vir my genoeg wees. En moenie vergeet om die sleutel te stoor nie 😉
Die gebruiker is geskep, nou is dit tyd vir hom om die emmer te kies. Gaan na Bestuur > Emmer en vul die vereiste velde in. Alles is eenvoudig hier.
Nou het ons alles gereed vir nogal 'n gevegte gebruik van ons S3-berging.
Stel Veeam op
So, soos ons onthou, is een van die hooftoepassings van objekberging die langtermynberging van inligting wat selde toegang verkry word. 'n Ideale voorbeeld is die behoefte om rugsteun op 'n afgeleë webwerf te stoor. In Veeam Backup & Replikasie word hierdie kenmerk Capacity Tier genoem.
Kom ons begin die opstelling deur ons Dell ECS CE by die Veeam-koppelvlak te voeg. Op die Rugsteun-infrastruktuur-oortjie, begin die towenaar om 'n nuwe bewaarplek by te voeg en kies die voorwerpberging-item.
Ons kies waarvoor alles begin is - S3 Compatible.
Skryf die gewenste naam in die venster wat verskyn en gaan na die Rekeningstap. Hier moet jy die Dienspunt in die vorm spesifiseer , kan die streek net so gelaat word, en die geskepte gebruiker kan bygevoeg word. 'n Hekbediener word vereis as jou berging op 'n afgeleë werf geleë is, maar dit is reeds 'n onderwerp van infrastruktuuroptimering en 'n aparte artikel, so jy kan dit veilig hier oorslaan.
As alles korrek gespesifiseer en gekonfigureer is, sal 'n waarskuwing oor die sertifikaat verskyn en dan 'n venster met 'n emmer, waar jy 'n vouer vir ons lêers kan skep.
Ons gee die towenaar tot die einde en geniet die resultaat.
Die volgende stap is om óf 'n nuwe Scale-out Backup Repository te skep, óf ons S3 by die bestaande een te voeg - dit sal as 'n kapasiteitsvlak vir argiefberging gebruik word. Die funksie om S3-versoenbare bewaarplekke direk te gebruik, soos 'n gewone bewaarplek, is nie in die huidige weergawe nie. Daar is te veel eerder nie-vanselfsprekende probleme om dit op te los, maar alles kan wees.
Ons gaan na die bewaarplekinstellings en skakel die kapasiteitsvlak aan. Alles is daar deursigtig, maar daar is 'n interessante nuanse: as jy wil hê dat alle data so gou as moontlik na voorwerpberging gestuur moet word, stel dit net op 0 dae.
Nadat jy deur die towenaar gegaan het, as jy nie wil wag nie, kan jy ctrl+RMB op die bewaarplek druk, die Tiering-taak met geweld uitvoer en kyk hoe die grafieke kruip.
Dit is al vir nou. Ek dink dat ek die taak hanteer het om te wys dat blokberging nie so eng is as wat dit algemeen gedink word nie. Ja, oplossings en opsies vir die uitvoering van 'n wa en 'n klein trollie, maar dit is onmoontlik om alles in een artikel te dek. Laat ons dus ons ervaring in die kommentaar deel.
Bron: will.com