🥇MinIO for de minste

MinIO — et fantastisk løsninger, når man skal organisere objektlagring enkelt og lett. Elementær oppsett, mange plattformer og god ytelse har bidratt til dens popularitet. Så vi hadde ikke annet valg enn å kunngjøre kompatibilitet for en måned siden. Veeam Backup & Replication og MinIO. Denne inkluderer en viktig funksjon som Immutability. Faktisk har MinIO en hel med bryteren for pseudoklassen i dokumentasjonen som omhandler vår integrasjon.

Så i dag skal vi snakke om hvordan man:

Setter opp MinIO veldig raskt.
Setter opp MinIO litt mindre raskt, men betydelig mer grundig.
Bruker det som Archive Tier for en skalerbar Veeam SOBR-repositorium.

Hva er du?

En kort introduksjon for de som ikke har vært borti MinIO før. Dette er en åpen kildekode objektlagring, kompatibel med Amazon S3 API. Det slippes under Apache v2-lisens og følger filosofien om spartansk minimalisme.

Det vil si at det ikke har et omfattende GUI med dashbord, grafer og mange menyer. MinIO kjører bare serveren sin med én kommando, hvor man enkelt kan lagre data, bruke all kraften fra S3 API. Men det er verdt å merke seg at denne enkelheten kan være illusorisk når det gjelder ressursbruken. RAM og CPU brukes effektivt, men mer om årsakene til dette senere. For øvrig bruker plattformer som FreeNAS og TrueNAS under panseret nettopp MinIO.

Her kan vi avslutte introduksjonen.

Oppsettet av MinIO er veldig raskt.

Oppsettet er så raskt at vi vil gå gjennom det for Windows og Linux. Det finnes alternativer for Docker, Kubernetes, og til og med for macOS, men poenget blir det samme overalt.

Så i Windows går vi til den offisielle nettsiden https://min.io/download#/windows og laster ned den nyeste versjonen. Der finner vi også instruksjoner for oppstart:

 minio.exe server F:Data

Og der finner vi lenken til en noe mer omfattende Quick start guide. Det er ikke noe poeng i å ikke stole på instruksjonene, så vi starter det opp og får omtrent et sånt svar.

Det er alt! Lagringen fungerer og du kan begynne å bruke den. Jeg mente det når jeg sa at MinIO — det er minimalisme og det fungerer enkelt. Hvis du følger lenken som ble foreslått ved oppstart, er de maksimale tilgjengelige funksjonene der å opprette en bøtte. Og så kan du begynne å skrive data.

For Linux-entusiaster er alt minst like enkelt. Den enkleste instruksjonen:


wget https://dl.min.io/server/minio/release/linux-amd64/minio
chmod +x minio
./minio server /data

Resultatet vil være uatskillelig fra det, der blev set tidligere.

Indstillingen af MinIO er lidt mere meningsfuld.

Som vi forstår det, er den foregående paragraf kun fis for testformål. Og lad os være ærlige, vi bruger MinIO i stor udstrækning til testning, som vi bestemt ikke skammer os over at indrømme. Selvfølgelig fungerer det, men at tage det videre end testmiljøer ville være pinligt. Derfor tager vi filen i hånden og begynder at finjustere.

HTTPS

Det første obligatoriske skridt på vejen til produktion er kryptering. Der findes allerede millioner af manualer tilføjelse af certifikater til MinIO, men den overordnede plan er sådan:

Opret et certifikat
I tilfælde af Windows placerer vi det i C:Users%User%.miniocerts
I tilfælde af Linux i ${HOME}/.minio/certs
Genstart serveren

Den banale Let’s Encrypt er kedeligt og beskrevet overalt, så vores vej er en samurai-vej, så i tilfælde af Windows downloader vi Cygwin, og i tilfælde af Linux kontrollerer vi blot, at vi har openssl installeret. Og laver lidt konsolmagik:

Opretter nøgler: openssl ecparam -genkey -name prime256v1 | openssl ec -out private.key
Opretter certifikat fra nøglen: openssl req -new -x509 -days 3650 -key private.key -out public.crt
Kopier private.key og public.crt til den angivne mappe ovenfor
Genstart MinIO

Hvis alt gik som planlagt, vil der vises omtrent sådanne linjer i status.

Aktiver MinIO Erasure Coding

Først et par ord om emnet. Kort sagt: det er en softwarebeskyttelse af data mod beskadigelse og tab. Som RAID, bare meget mere pålideligt. Mens klassisk RAID6 kan miste to diske, klarer MinIO fint at overleve tabet af halvdelen. Teknologien er mere detaljeret beskrevet i den officielle guide. Men hvis vi tager essensen, er det en implementering af Reed-Solomon-koder: al information opbevares som datablokke, hvortil der er paritetsblokke. Og det virker til at være gjort mange gange før, men der er et vigtigt "men": vi kan klart angive forholdet mellem paritetsblokke og datablokke for de gemte objekter.
Vil du have 1:1? Bare rolig!
Vil du have 5:2? Intet problem!

En meget viktig funksjon hvis du bruker flere noder og ønsker å finne din egen balanse mellom maksimal databeskyttelse og ressursbruk. Som standard bruker MinIO formelen N/2 (der N er det totale antallet disker), dvs. den deler dataene dine mellom N/2 datadisker og N/2 paritetsdisker. Oversatt til menneskespråk: du kan miste halvparten av diskene og gjenopprette dataene. Denne forholdet settes gjennom Storage Class, som lar deg selv velge hva som er viktigere: pålitelighet eller kapasitet.

I guiden er det et eksempel: anta at du har en installasjon med 16 disker og du må lagre en fil som er 100 MB. Hvis standardinnstillingene brukes (8 disker for data, 8 for paritetsblokker), vil filen til slutt ta nesten dobbelt så mye plass, dvs. 200 MB. Hvis diskforholdet er 10/6, vil det trenge 160 MB. 14/2 – 114 MB.

En annen viktig forskjell fra RAID: i tilfelle av diskfeil vil MinIO fungere på objektiv nivå, gjenopprette en etter en, uten å stoppe hele systemet. Mens vanlig RAID må gjenopprette hele volumet, noe som vil ta en uforutsigbar mengde tid. Etter forfatterens hukommelse måtte diskhylla, som etter tap av to disker gikk inn i gjenoppretting, bruke nesten halvannen uke på dette. Det var veldig ubehagelig.

Og, viktig å merke seg: MinIO deler alle disker for Erasure Coding i sett fra 4 til 16 disker, og bruker størst mulig størrelse på settet. Og deretter vil ett element informasjon bare bli lagret innenfor et sett.

Alt dette høres flott ut, men hvor vanskelig vil oppsettet være? La oss se. Vi tar kommandoen for oppstart og bare lister opp diskene der lagringsplassen må opprettes. Hvis alt er gjort riktig, vil rapporten vise antallet aktive disker. Og anbefalingen at det ikke er lurt å legge til halvparten av diskene på én vert, da dette kan føre til datatap.

c:minio>minio.exe server F: G: H: I: J: K:

Deretter trenger vi en agent for å administrere og konfigurere MinIO-serveren, som vi kan laste ned alt der også fra den offisielle nettsiden.

For å unngå å måtte skrive inn adressen og tilgangsnøklene hver gang (og dette er ikke trygt), er det praktisk å opprette et alias ved første oppstart med formelen mc alias set [YOUR-ACCESS-KEY] [YOUR-SECRET-KEY]

mc alias set veeamS3 https://172.17.32.52:9000 YOURS3ACCESSKEY YOURSECERTKE

Eller kan du umiddelbart legge til verten din:

mc config host add minio-veeam https://minio.jorgedelacruz.es YOURS3ACCESSKEY YOURSECERTKEY

Og så lager vi et immutable-bucket med denne vakre kommandoen

mc mb --debug -l veeamS3/immutable

mc:  PUT /immutable/ HTTP/1.1
Host: 172.17.32.52:9000
User-Agent: MinIO (windows; amd64) minio-go/v7.0.5 mc/2020-08-08T02:33:58Z
Content-Length: 0
Authorization: AWS4-HMAC-SHA256 Credential=minioadmin/20200819/us-east-1/s3/aws4_request, SignedHeaders=host;x-amz-bucket-object-lock-enabled;x-amz-content-sha256;x-amz-date, Signature=**REDACTED**
X-Amz-Bucket-Object-Lock-Enabled: true
X-Amz-Content-Sha256: UNSIGNED-PAYLOAD
X-Amz-Date: 20200819T092241Z
Accept-Encoding: gzip
mc:  HTTP/1.1 200 OK
Content-Length: 0
Accept-Ranges: bytes
Content-Security-Policy: block-all-mixed-content
Date: Wed, 19 Aug 2020 09:22:42 GMT
Location: /immutable
Server: MinIO/RELEASE.2020-08-16T18-39-38Z
Vary: Origin
X-Amz-Request-Id: 162CA0F9A3A3AEA0
X-Xss-Protection: 1; mode=block
mc:  Response Time: 253.0017ms

—debug lar deg se ikke bare den endelige meldingen, men mer detaljert informasjon.

-l betyr —with-lock, som betyr immutable

Hvis vi nå går tilbake til webgrensesnittet, vil vårt nye bucket komme opp der.

Det er alt for nå. Vi har opprettet et sikkert lagringssted og er klare til å gå videre til integrasjonen med Veeam.

Vi kan også forsikre oss om at alt fungerer som det skal:

c:minio>mc admin info veeamS3

● 172.17.32.52:9000
   Uptime: 32 minutes
   Version: 2020-08-16T18-39-38Z
   Network: 1/1 OK
   Drives: 6/6 OK
0 B Used, 1 Bucket, 0 Objects
6 drives online, 0 drives offline

MinIO og Veeam

Oppmerksomhet! Hvis du av en eller annen utrolig grunn ønsker å jobbe via HTTP, må du opprette en DWORD-nøkkel under HKEY_LOCAL_MACHINESOFTWAREVeeamVeeam Backup and Replication SOBRArchiveS3DisableTLS. Sett verdien til 1, og husk at vi absolutt ikke godkjenner slik atferd og ikke anbefaler det til noen.

Til slutt, vær forsiktig! Hvis du av en eller annen grunn fortsatt bruker Windows 2008 R2, vil du mest sannsynlig få en lignende feil når du prøver å koble MinIO til Veeam: Failed to establish connection to Amazon S3 endpoint. Dette løses med den offisielle oppdateringen fra Microsoft.

Vel, nå er forberedelsene over. La oss åpne VBR-grensesnittet og gå til Backup Infrastructure-fanen, hvor vi vil starte veiviseren for å legge til et nytt depot.

Selvfølgelig er vi interessert i Object storage, nemlig S3 Compatible. I det åpne veiviseren angir vi navnet, går gjennom trinnene med å spesifisere adressen og brukerkontoen. Husk om nødvendig å oppgi gatewayen som forespørslene til lagringen vil bli prosessert gjennom.

Deretter velger vi bucket, mappen og setter avmerkingen for å gjøre de nyeste sikkerhetskopiene immutable. Eller ikke. Men siden vi har laget et lagringssted med støtte for denne funksjonen, er det synd å ikke dra nytte av det.

Next > Finish og nyt resultatet.

Nå må vi legge det til i SOBR-repository som Capacity Tier. For dette kan vi enten opprette en ny eller redigere en eksisterende. Vi er interessert i trinnet Capacity Tier.

Her må vi velge hvilken scenario vi skal jobbe med. Alle alternativene er ganske godt beskrevet i en annen, artikkelen, så jeg vil ikke gjenta meg selv.

Når arbeidet med veiviseren er fullført, vil oppgavene for kopiering eller overføring av sikkerhetskopier automatisk bli startet. Men hvis planene dine ikke inkluderer å gi belastning til alle systemer med det samme, må du absolutt angi tillatte intervaller for arbeidet ved å bruke knappen Window.

Og selvsagt kan du lage separate Backup Copy-oppgaver. Noen mener at dette er mer praktisk, da de er noe mer transparente og forutsigbare for brukeren som ikke ønsker å gå i dybden på hvordan capacity tier fungerer. Det er mange detaljer der, så jeg anbefaler på nytt den relevante artikkelen i lenken ovenfor.