MinIo za najmanje

MinIO je odlično rješenje kada je potrebno lako i jednostavno organizovati objektno skladište. Elementarna konfiguracija, mnoštvo platformi i dobra performansa doprinijeli su njegovoj popularnosti. Stoga nismo imali drugog izbora nego mjesec dana ranije objaviti informaciju o kompatibilnosti. Veeam Backup & Replication i MinIO. Uključujući tako važnu funkciju kao što je Immutability. U stvarnosti, MinIO ima cijelu sekciju u dokumentaciji posvećenoj našoj integraciji.

Zato ćemo danas pričati o tome kako:

  • Brzo konfigurisati MinIO.
  • Konfigurisati MinIO nešto sporije, ali znatno kvalitetnije.
  • Koristiti ga kao Archive Tier za skalabilni Veeam SOBR repozitorij.

MinIo za najmanje

Šta si ti?

Kratko uvod za one koji se nisu susretali s MinIO. To je open-source objektno skladište koje je kompatibilno s Amazon S3 API. Izdaje se pod Apache v2 licencom i slijedi filozofiju spartanskog minimalizma.

To znači da nema razrađenog GUI sa nadzornim pločama, grafikonima i brojnim menijima. MinIO jednostavno pokreće svoj server jednom komandom, na kojem možete lako skladištiti podatke, koristeći svu moć S3 API. Međutim, treba napomenuti da ta jednostavnost može biti obmanjujuća kada je u pitanju korištenje resursa. RAM i CPU se troše veoma dobro, ali o uzrocima će biti riječi kasnije. I, usput, takvi sistemi kao što su FreeNAS i TrueNAS pod haubom koriste upravo MinIO.

Na ovome uvodu možemo i završiti.

Konfiguracija MinIO veoma brzo

Konfiguracija je toliko brza da ćemo je razmotriti za Windows i Linux. Postoje opcije i za Docker, i za Kubernetes, i čak za macOS, ali poenta će svuda biti ista.

Dakle, u slučaju Windows, idemo na zvaničnu stranicu https://min.io/download#/windows i preuzimamo najnoviju verziju. Tamo također možemo vidjeti uputstvo za pokretanje:

 minio.exe server F:Data

I tu je link ka nešto detaljnijem Vodiču za brzo pokretanje. Uputstvima nema smisla ne vjerovati, zato pokrećemo i dobijamo otprilike ovakav odgovor.

MinIo za najmanje
Na tome je sve! Skladište radi i možete početi s njim raditi. Nisam se šelio kada sam rekao da je MinIO minimalizam i samo funkcioniše. Ako posjetite link ponuđen prilikom pokretanja, maksimalne dostupne funkcije tamo su - kreirati bucket. I možete početi unositi podatke.

Za ljubitelje Linuxa, sve ostaje podjednako jednostavno. Najjednostavnije uputstvo:


wget https://dl.min.io/server/minio/release/linux-amd64/minio
chmod +x minio
./minio server /data

Rezultat će biti neodvojiv od onoga što smo prethodno vidjeli. 

Podešavanje MinIO-a je nešto smislenije.

Kako razumijemo, prethodni pasus je bila igračka za testiranje. I, da budemo iskreni, upravo za testiranje MinIO-a koristimo široko, zbog čega se potpuno ne stidimo priznati. Naravno, funkcioniše, ali dalje od testnih okruženja to je stidno iznijeti. Stoga uzimamo datoteku i počinjemo je doraditi.

HTTPS

Prvi obavezni korak ka produkciji je enkripcija. Na mreži već postoji milion i jedan priručnik o dodavanju certifikata MinIO-u, ali njihov opšti plan je ovakav:

  • Kreiramo certifikat.
  • U slučaju Windows-a stavljamo ga u C:Users%User%.miniocerts.
  • U slučaju Linux-a u ${HOME}/.minio/certs. 
  • Ponovo pokrećemo server.

Banalan Let’s Encrypt je dosadan i opisano je svuda, tako da je naš put put samuraja, a u slučaju Windows-a preuzimamo Cygwin, a u slučaju Linux-a samo provjeravamo da li imamo instaliran openssl. I pravimo malo konzolne magije:

  • Kreiramo ključeve: openssl ecparam -genkey -name prime256v1 | openssl ec -out private.key.
  • Kreiramo certifikat na osnovu ključa: openssl req -new -x509 -days 3650 -key private.key -out public.crt.
  • Kopiramo private.key i public.crt u navedenu mapu iznad.
  • Ponovo pokrećemo MinIO.

Ako je sve prošlo kako treba, tada će se u statusu pojaviti otprilike ovakve linije.

MinIo za najmanje

Uključujemo MinIO Erasure Coding.

Prvo par riječi o temi. U dva kratka: ovo je softverska zaštita podataka od oštećenja i gubitka. Kao RAID, samo mnogo pouzdanije. Dok klasični RAID6 može priuštiti gubitak dva diska, MinIO mirno preživljava gubitak polovine. Detaljnije tehnologija je opisana u službenom vodiču.. Ali ako uzmemo samu suštinu, to je implementacija Reed-Solomon kodova: sve informacije se čuvaju u obliku blokova podataka, uz koje postoje paritetni blokovi. I kao da je to sve već urađeno mnogo puta, samo postoji važno «ali»: možemo jasno odrediti omjer paritetnih blokova i blokova podataka za pohranjene objekte.
Želite 1:1? Izvolite!
Želite 5:2? Bez problema!

Veoma važna funkcija ako koristite više čvorova i želite pronaći vlastitu ravnotežu između maksimalne sigurnosti podataka i potrošenih resursa. Iz kutije, MinIO koristi formulu N/2 (gde je N ukupan broj diskova), tj. deli vaše podatke između N/2 diskova za podatke i N/2 diskova za paritet. Prevedeno na razumljiv jezik: možete izgubiti polovinu diskova i povratiti podatke. Ova proporcija se određuje putem Storage Class, omogućavajući vam da sami odaberete šta je važnije: pouzdanost ili kapacitet.

U vodiču je naveden sledeći primer: pretpostavimo da imate instalaciju na 16 diskova i da treba da sačuvate datoteku veličine 100 MB. Ako se koriste podrazumevane postavke (8 diskova za podatke, 8 za blokove pariteta), datoteka će zauzeti gotovo dvostruki prostor, tj. 200 MB. Ako je odnos diskova 10/6, biće potrebno 160 MB. 14/2 — 114 MB.

Druga važna razlika u odnosu na RAID: u slučaju gubitka diskova, MinIO će raditi na nivou objekata, vraćajući ih jedan po jedan, bez zaustavljanja celog sistema. Dok će običan RAID biti primoran da vrati ceo volumen, što će trajati nepredvidivo vreme. Autor se seća da je držač diskova, koji je nakon gubitka dva diska, potrebno preurediti, trebalo više od nedelju dana. Bilo je vrlo neprijatno.

I, važno je napomenuti: MinIO deli sve diskove za Erasure Coding u setove od 4 do 16 diskova, koristeći maksimalnu mogućnost veličine seta. I dalje, jedan element informacije biće čuvan samo unutar jednog seta.

Sve ovo zvuči sjajno, ali koliko će komplikovana biti konfiguracija? Hajde da pogledamo. Uzimamo komandu za pokretanje i jednostavno navodimo diskove na kojima treba da kreiramo skladište. Ako je sve dobro urađeno, u izveštaju ćemo videti broj uključenih diskova. I savet da nije dobro dodavati odmah polovinu diskova na jedan host, jer to može dovesti do gubitka podataka.

c:minio>minio.exe server F: G: H: I: J: K:

MinIo za najmanje
Zatim, za upravljanje i konfiguraciju MinIO servera, potreban nam je agent, kojeg možete preuzeti sve tamo sa zvanične web stranice.

Da ne biste svaki put kucali adresu i pristupne ključeve (a to nije bezbedno), praktično je pri prvom pokretanju odmah kreirati alias po formuli mc alias set [YOUR-ACCESS-KEY] [YOUR-SECRET-KEY]

mc alias set veeamS3 https://172.17.32.52:9000 YOURS3ACCESSKEY YOURSECERTKE

Ili možete odmah dodati vaš host:

mc config host add minio-veeam https://minio.jorgedelacruz.es YOURS3ACCESSKEY YOURSECERTKEY

A potom ćemo stvoriti immutable bucket s lijepe komande

mc mb --debug -l veeamS3/immutable

mc:  PUT /immutable/ HTTP/1.1
Host: 172.17.32.52:9000
User-Agent: MinIO (windows; amd64) minio-go/v7.0.5 mc/2020-08-08T02:33:58Z
Content-Length: 0
Authorization: AWS4-HMAC-SHA256 Credential=minioadmin/20200819/us-east-1/s3/aws4_request, SignedHeaders=host;x-amz-bucket-object-lock-enabled;x-amz-content-sha256;x-amz-date, Signature=**REDACTED**
X-Amz-Bucket-Object-Lock-Enabled: true
X-Amz-Content-Sha256: UNSIGNED-PAYLOAD
X-Amz-Date: 20200819T092241Z
Accept-Encoding: gzip
mc:  HTTP/1.1 200 OK
Content-Length: 0
Accept-Ranges: bytes
Content-Security-Policy: block-all-mixed-content
Date: Wed, 19 Aug 2020 09:22:42 GMT
Location: /immutable
Server: MinIO/RELEASE.2020-08-16T18-39-38Z
Vary: Origin
X-Amz-Request-Id: 162CA0F9A3A3AEA0
X-Xss-Protection: 1; mode=block
mc:  Response Time:  253.0017ms

—debug omogućava prikaz ne samo završne poruke, već i detaljnijih informacija. 

-l znači —with-lock, što znači immutable

Ako se sada vratimo na web sučelje, naš novi bucket će se pojaviti.

MinIo za najmanje
Trenutno je to sve. Stvorili smo zaštićenu pohranu i spremni smo za integraciju s Veeam.

Također, možemo se uvjeriti da sve radi savršeno:

c:minio>mc admin info veeamS3

● 172.17.32.52:9000
   Uptime: 32 minutes
   Version: 2020-08-16T18:39:38Z
   Network: 1/1 OK
   Drives: 6/6 OK
0 B Used, 1 Bucket, 0 Objects
6 drives online, 0 drives offline

MinIO i Veeam

Pažnja! Ako iz nekog razloženog razloga želite raditi putem HTTP-a, na adresi HKEY_LOCAL_MACHINESOFTWAREVeeamVeeam Backup and Replication stvorite DWORD ključ SOBRArchiveS3DisableTLS. Postavite njegovu vrijednost na 1 i sjetite se da takvo ponašanje odlučno ne odobravamo i nikome ne savjetujemo.

Pažnja još jednom! Ako zbog nekog nesporazuma i dalje koristite Windows 2008 R2, prilikom pokušaja povezivanja MinIO-a s Veeam-om najvjerojatnije ćete dobiti otprilike ovu grešku: Failed to establish connection to Amazon S3 endpoint. Ovo se rješava službenim zakrpom od Microsoft.

Pa, s pripremama je gotovo, otvorimo VBR sučelje i pređimo na karticu Backup Infrastructure, gdje ćemo pokrenuti čarobnjaka za dodavanje novog repozitorija.

MinIo za najmanje
Naravno, zanimaju nas Object storage, a posebno S3 Compatible. U otvorenom čarobnjaku postavljamo ime, prolazimo korake s navođenjem adrese i korisničkog računa. Ako je potrebno, ne zaboravite navesti gateway preko kojeg će se proslijediti zahtjevi za pohranu.

MinIo za najmanje
Nakon toga biramo bucket, mapu i stavljamo oznaku Make recent backups immutable. Ili ne stavljamo. No, pošto smo stvorili pohranu s podrškom za ovu funkciju, šteta bi bila ne iskoristiti je.

MinIo za najmanje
Next > Finish i uživajte u rezultatu.

Sada ga treba dodati u SOBR repozitorij kao Capacity Tier. Da bismo to postigli, ili kreiramo novi, ili uređujemo postojeći. Zanima nas korak Capacity Tier.

MinIo za najmanje
Ovde treba da izaberemo na koji način ćemo raditi. Sve opcije su prilično dobro opisane u drugom članku, tako da se neću ponavljati

A po završetku rada čarobnjaka automatski će se pokrenuti zadaci za kopiranje ili premještanje rezervnih kopija. Ako ne planirate odmah opteretiti sve sisteme, obavezno postavite prihvatljive intervale za rad putem dugmeta Window.

MinIo za najmanje
I, naravno, možete napraviti posebne Backup Copy zadatke. Neki smatraju da je to čak praktičnije, jer su nešto transparentniji i predvidljiviji za korisnika koji ne želi da ulazi u detalje rada Capacity Tiera. A detalja ima dovoljno, pa još jednom preporučujem odgovarajući članak putem linka iznad.

I na kraju — odgovor na zagonetno pitanje: šta će se desiti ako pokušate da izbrišete rezervnu kopiju sa Immutable skladišta?

Evo odgovora:

MinIo za najmanje
To bi bilo sve za danas. Po uobičajenoj tradiciji, evo liste korisnih tema na tu temu:

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster