🥇MinIo för de minsta

MinIO är en utmärkt lösning när man enkelt och smidigt vill organisera objektlagring. Enkel konfiguration, många plattformar och bra prestanda har bidragit till dess folkliga kärlek. Så det fanns ingen annan väg än att för en månad sedan meddela om kompatibiliteten. Veeam Backup & Replication och MinIO. Inklusive en så viktig funktion som Immutability. Faktum är att MinIO har en hel med pseudoklassomkopplare i dokumentationen som handlar om vår integration.

Så idag ska vi prata om hur man:

Sätter upp MinIO väldigt snabbt.
Sätter upp MinIO något långsammare men avsevärt mer kvalitativt.
Använder det som Archive Tier för en skalbar Veeam SOBR-repository.

Vad är du?

En kort introduktion för dem som inte har stött på MinIO tidigare. Det är en öppen källkod objektlagring som är kompatibel med Amazon S3 API. Den släpps under Apache v2-licensen och följer filosofin om spartansk minimalism.

Det vill säga, den har ingen omfattande GUI med dashboards, grafer och många menyer. MinIO startar helt enkelt sin server med ett kommando, där man enkelt kan lagra data med hela kraften från S3 API. Men det bör noteras att denna enkelhet kan vara bedräglig när det handlar om resursanvändning. RAM och CPU utnyttjas effektivt, men orsakerna kommer att diskuteras nedan. Och för att säga det så, sådana maskiner som FreeNAS och TrueNAS använder faktiskt MinIO under huven.

Med det kan vi avsluta introduktionen.

Att sätta upp MinIO väldigt snabbt

Att konfigurera det är så snabbt att vi kommer att gå igenom det för Windows och Linux. Det finns alternativ för Docker och Kubernetes, och till och med för macOS, men principen är densamma överallt.

Så i fallet Windows går vi till den officiella webbplatsen https://min.io/download#/windows och laddar ner den senaste versionen. Där ser vi även en instruktion för att starta igång:

 minio.exe server F:Data

Och där finns även en länk till en något mer detaljerad Snabbstartsguide. Det finns ingen anledning att inte lita på instruktionerna, så vi startar och får ett svar som ser ut så här.

Det är allt! Lagringen fungerar och man kan börja arbeta med den. Jag skämtade inte när jag sa att MinIO är minimalism och fungerar enkelt. Om man följer länken som erbjuds vid uppstart, så är maxantalet funktioner där att skapa en bucket. Och man kan börja skriva data.

För Linux-användare är allt lika enkelt. Den enklaste instruktionen:


wget https://dl.min.io/server/minio/release/linux-amd64/minio
chmod +x minio
./minio server /data

Resultatet kommer att vara odiskutabelt från vad som har setts tidigare.

Inställningen av MinIO är något mer meningsfull.

Som vi förstår är den föregående stycket bara en lek för teständamål. Och, låt oss vara ärliga, för testning av MinIO används vi väldigt mycket, vilket vi inte skäms för att erkänna. Naturligtvis fungerar det, men att ta det längre än testmiljöerna är en annan sak. Därför tar vi fram filen och börjar förbättra den.

HTTPS

Det första obligatoriska steget mot produktion är kryptering. Det finns redan en miljon och ett tusen manualer om hur man lägger till certifikat till MinIO, men den övergripande planen ser ut som följer:

Skapa certifikat.
I Windows lägger vi det i C:Users%User%.miniocerts.
I Linux i ${HOME}/.minio/certs.
Starta om servern.

Det banala Let’s Encrypt är tråkigt och beskrivet överallt, så vår väg är samurajens väg, så i Windows laddar vi ner. Cygwin, och i Linux kontrollerar vi bara att openssl är installerat. Och vi utför lite konsoltrollande:

Skapa nycklar: openssl ecparam -genkey -name prime256v1 | openssl ec -out private.key.
Skapa certifikat från nyckeln: openssl req -new -x509 -days 3650 -key private.key -out public.crt.
Kopiera private.key och public.crt till den angivna mappen ovan.
Starta om MinIO.

Om allt gick som det skulle, bör status innehålla ungefär sådana rader.

Aktivera MinIO Erasure Coding.

Först några ord om ämnet. Kort sagt: detta är mjukvaruskydd för data mot skador och förlust. Som RAID, bara mycket mer pålitligt. Med klassisk RAID6 kan man förlora två diskar, men MinIO klarar att förlora hälften. Mer detaljerad teknik beskrivs i den. officiella guiden.. Men om vi tar det mest grundläggande, så handlar det om implementeringen av Reed-Solomon-koder: all information lagras i form av datablack som har paritetsblock. Och det verkar som om detta redan har gjorts många gånger, bara att det finns ett viktigt 'men': vi kan tydligt ange förhållandet mellan paritetsblock och datablack för de lagrade objekten.
Vill du ha 1:1? Varsågod!
Vill du ha 5:2? Inga problem!

En mycket viktig funktion om du använder flera noder och vill hitta din egen balans mellan maximal dataskydd och resursåtgång. MinIO använder som standard formeln N/2 (där N är det totala antalet diskar), vilket betyder att dina data delas mellan N/2 datadiskar och N/2 paritetsdiskar. Översatt till mänskligt språk: du kan förlora hälften av diskarna och återställa data. Denna fördelning ställs in genom Storage Class, vilket låter dig välja vad som är viktigare: tillförlitlighet eller kapacitet.

I guiden ges följande exempel: Antag att du har en installation med 16 diskar och du behöver lagra en fil som är 100 MB. Om standardinställningarna används (8 skivor för data, 8 för parityblock) kommer filen i slutändan att ta nästan dubbelt så mycket utrymme, det vill säga 200 MB. Om förhållandet mellan diskarna är 10/6 kommer det att krävas 160 MB. 14/2 – 114 MB.

En annan viktig skillnad från RAID: om diskar faller bort kommer MinIO att arbeta på objektnivå, återställa dem en efter en utan att stoppa hela systemet. Medan vanlig RAID måste återställa hela volymen, vilket kan ta en oförutsägbar tid. Utifrån författarens minne tog en diskhylla som tappade två diskar en och en halv vecka att räkna om. Det var ganska frustrerande.

Och ett viktigt meddelande: MinIO delar upp alla diskar för Erasure Coding i set med 4 till 16 diskar, vilket använder den maximalt möjliga storleken på setet. Och framöver kommer en informationsbit att lagras endast inom ett set.

Det låter allt mycket imponerande, men hur komplicerad kommer inställningen att vara? Låt oss ta en titt. Vi tar kommandot för att starta och listar bara diskarna på vilka lagret ska skapas. Om allt görs korrekt kommer vi att se antalet involverade diskar i rapporten. Och ett råd är att det är fel att lägga till hälften av diskarna på en värd, eftersom det kan leda till dataförlust.

c:minio>minio.exe server F: G: H: I: J: K:

Därefter, för att hantera och konfigurera MinIO-servern behöver vi en agent som vi kan ladda ner från där finns även den officiella webbplatsen.

För att inte behöva skriva adresser och åtkomstnycklar hela tiden (och det är inte säkert), är det praktiskt att skapa en alias direkt vid första starten enligt formeln mc alias set [YOUR-ACCESS-KEY] [YOUR-SECRET-KEY]

mc alias set veeamS3 https://172.17.32.52:9000 YOURS3ACCESSKEY YOURSECERTKE

Eller så kan du direkt lägga till din värd:

mc config host add minio-veeam https://minio.jorgedelacruz.es YOURS3ACCESSKEY YOURSECERTKEY

Och sedan skapar vi en immutable bucket med ett snyggt kommando

mc mb --debug -l veeamS3/immutable 

mc:  PUT /immutable/ HTTP/1.1
Host: 172.17.32.52:9000
User-Agent: MinIO (windows; amd64) minio-go/v7.0.5 mc/2020-08-08T02:33:58Z
Content-Length: 0
Authorization: AWS4-HMAC-SHA256 Credential=minioadmin/20200819/us-east-1/s3/aws4_request, SignedHeaders=host;x-amz-bucket-object-lock-enabled;x-amz-content-sha256;x-amz-date, Signature=**REDACTED**
X-Amz-Bucket-Object-Lock-Enabled: true
X-Amz-Content-Sha256: UNSIGNED-PAYLOAD
X-Amz-Date: 20200819T092241Z
Accept-Encoding: gzip
mc:  HTTP/1.1 200 OK
Content-Length: 0
Accept-Ranges: bytes
Content-Security-Policy: block-all-mixed-content
Date: Wed, 19 Aug 2020 09:22:42 GMT
Location: /immutable
Server: MinIO/RELEASE.2020-08-16T18-39-38Z
Vary: Origin
X-Amz-Request-Id: 162CA0F9A3A3AEA0
X-Xss-Protection: 1; mode=block
mc:  Response Time:  253.0017ms

—debug ger en möjlighet att se inte bara det sammanfattande meddelandet, utan mer detaljerad information.

-l betyder —with-lock, vilket innebär immutable

Om vi nu går tillbaka till webbgränssnittet, kommer vår nya bucket att visas där.

Detta är allt för nu. Vi har skapat ett säkert lagringsutrymme och är redo att gå vidare till integration med Veeam.

Vi kan också dubbelkolla att allt fungerar utmärkt:

c:minio>mc admin info veeamS3

● 172.17.32.52:9000
   Uptime: 32 minuter
   Version: 2020-08-16T18:39:38Z
   Network: 1/1 OK
   Drives: 6/6 OK
0 B Använt, 1 Bucket, 0 Objekt
6 enheter online, 0 enheter offline

MinIO och Veeam

Varning! Om du av någon otrolig anledning vill arbeta via HTTP, skapa en DWORD nyckel på adressen HKEY_LOCAL_MACHINESOFTWAREVeeamVeeam Backup and Replication SOBRArchiveS3DisableTLS. Ställ in dess värde till 1 och kom ihåg att vi bestämt inte rekommenderar sådan användning.

Varning igen! Om du av någon missförstånd fortfarande använder Windows 2008 R2, kommer du förmodligen att få ett fel som: Failed to establish connection to Amazon S3 endpoint när du försöker koppla MinIO till Veeam. Detta kan åtgärdas med en officiell patch från Microsoft.

Nåväl, förberedelserna är nu klara, låt oss öppna VBR-gränssnittet och gå till fliken Backup Infrastructure, där vi kallar på guiden för att lägga till ett nytt repository.

Självklart är vi intresserade av Object storage, nämligen S3 Compatible. I den öppnade guiden anger vi namn, genomför stegen angående adress och konto. Om det behövs, glöm inte att ange gatewayen genom vilken förfrågningar till lagringen kommer att proxys.

Därefter väljer vi bucket, mapp och sätter en bock i Make recent backups immutable. Eller så gör vi inte det. Men eftersom vi har skapat lagring med stöd för denna funktion, är det en skam att inte utnyttja den.

Next > Finish och njut av resultatet.

Nu måste vi lägga till det till SOBR-repot som Capacity Tier. Antingen skapar vi en ny eller redigerar en befintlig. Vi är intresserade av steget Capacity Tier.

Här måste vi välja vilken scenarie vi ska arbeta med. Alla alternativ är ganska väl beskrivna i en annan artikeln, så jag kommer inte att upprepa mig.

Och vid avslutningen av guiden kommer uppgifter för att kopiera eller flytta säkerhetskopior automatiskt att startas. Men om vi inte planerar att omedelbart belasta alla system, se till att ange tillåtna intervall för arbete via knappen Window.

Och självklart kan man göra separata Backup Copy-uppgifter. Vissa anser att det är bekvämare så, eftersom de är något mer genomskinliga och förutsägbara för användare som inte vill gå in i detaljerna kring capacity tier. Och det finns många detaljer där, så jag rekommenderar igen den relevanta artikeln i länken ovan.