🥇MinIO pour les tout-petits

MinIO — une excellente solution pour organiser facilement et simplement un stockage d'objets. Une configuration élémentaire, de nombreuses plateformes et de bonnes performances ont conquis le cœur du public. Il n'y avait donc pas d'autre choix que d'annoncer il y a un mois la compatibilité Veeam Backup & Replication et MinIO. Y compris une fonction aussi importante que l'Immutabilité. En fait, MinIO propose tout un avec un commutateur de pseudo-classe dans la documentation consacrée à notre intégration.

Aujourd'hui, nous allons parler de comment :

Configurer MinIO très rapidement.
Configurer MinIO un peu moins vite, mais de manière beaucoup plus qualitative.
L'utiliser comme Archive Tier pour un référentiel extensible Veeam SOBR.

Qu'est-ce que tu es ?

Une brève introduction pour ceux qui n'ont jamais rencontré MinIO. Il s'agit d'un stockage d'objets open source, compatible avec l'API Amazon S3. Distribué sous la licence Apache v2, il adhère à une philosophie de minimalisme spartiate.

Cela signifie qu'il n'a pas d'interface graphique complexe avec tableaux de bord, graphiques et de nombreux menus. MinIO se lance simplement sur son serveur avec une seule commande, où vous pouvez stocker des données en utilisant toute la puissance de l'API S3. Mais il faut noter que cette simplicité peut être trompeuse en ce qui concerne les ressources utilisées. La RAM et le CPU sont consommés de manière notable, mais les raisons seront abordées plus bas. Et à propos, des systèmes comme FreeNAS et TrueNAS utilisent MinIO sous le capot.

C'est ainsi que nous pouvons terminer cette introduction.

La configuration de MinIO est très rapide

Elle est si rapide que nous l'examinerons pour Windows et Linux. Il y a des options pour Docker, Kubernetes, et même pour macOS, mais le principe restera le même partout.

Alors, dans le cas de Windows, allons sur le site officiel https://min.io/download#/windows et téléchargeons la dernière version. Nous y trouvons également les instructions de démarrage :

 minio.exe server F:Data

Et là-bas, un lien vers un guide un peu plus détaillé Quick start guide. Il n'y a pas de raison de ne pas croire les instructions, donc nous lançons et obtenons une réponse comme celle-ci.

Voilà ! Le stockage fonctionne et vous pouvez commencer à l'utiliser. Je ne rigolais pas quand je disais que MinIO est du minimalisme qui fonctionne simplement. Si vous suivez le lien proposé au démarrage, les fonctions disponibles maximales sont de créer un bucket. Vous pouvez commencer à écrire des données.

Pour les amateurs de Linux, tout reste tout aussi simple. Voici les instructions les plus simples :


wget https://dl.min.io/server/minio/release/linux-amd64/minio
chmod +x minio
./minio server /data

Le résultat sera indiscernable de ce que nous avons vu précédemment.

La configuration de MinIO est un peu plus significative.

Comme nous le comprenons, le paragraphe précédent est une farce pour des objectifs de test. Et, disons-le honnêtement, nous utilisons MinIO de manière assez extensive pour des tests, et cela ne nous dérange absolument pas de l'admettre. Bien sûr, cela fonctionne, mais il est embarrassant d'aller au-delà des bancs d'essai. Donc, prenons une lime et commençons à peaufiner.

HTTPS

Le premier pas obligatoire vers la production est le chiffrement. Il existe déjà des millions et des milliers de manuels sur l'ajout de certificats à MiniIO, mais leur plan général est le suivant :

Créons un certificat.
Dans le cas de Windows, placez-le dans C:Users%User%.miniocerts.
Dans le cas de Linux, dans ${HOME}/.minio/certs.
Redémarrez le serveur.

Un banal Let’s Encrypt est ennuyeux et décrit partout, donc notre chemin est celui du samouraï, par conséquent dans le cas de Windows, téléchargez Cygwin, et dans le cas de Linux, vérifiez simplement si openssl est installé. Et faisons un peu de magie en console :

Créons des clés : openssl ecparam -genkey -name prime256v1 | openssl ec -out private.key.
Créons un certificat à partir de la clé : openssl req -new -x509 -days 3650 -key private.key -out public.crt.
Copiez private.key et public.crt dans le dossier mentionné ci-dessus.
Redémarrez MinIO.

Si tout s'est bien passé, le statut affichera environ ces lignes.

Activez le codage de MinIO Erasure.

D'abord, quelques mots sur le sujet. En deux mots : il s'agit d'une protection logicielle des données contre les dommages et la perte. Comme RAID, mais beaucoup plus fiable. Si un RAID6 classique peut perdre deux disques, MinIO peut tranquillement gérer la perte de la moitié. La technologie est décrite en détail dans le guide officiel.. Mais si l'on prend l'essence même, c'est une mise en œuvre des codes de Reed-Solomon : toutes les informations sont stockées sous forme de blocs de données, avec des blocs de parité. Et il semblerait que cela ait déjà été fait plusieurs fois, mais il y a un « mais » important : nous pouvons spécifiquement indiquer le rapport des blocs de parité aux blocs de données pour les objets stockés.
Vous souhaitez 1:1 ? Pas de problème !
Vous souhaitez 5:2 ? Sans souci !

Une fonction très importante si vous utilisez plusieurs nœuds et souhaitez trouver votre propre équilibre entre la sécurité maximale des données et les ressources utilisées. Par défaut, MinIO utilise la formule N/2 (où N est le nombre total de disques), c'est-à-dire qu'il divise vos données entre N/2 disques de données et N/2 disques de parité. En d'autres termes, vous pouvez perdre la moitié des disques et récupérer les données. Ce ratio est défini par Classe de Stockage, vous permettant de choisir vous-même ce qui est le plus important : la fiabilité ou la capacité.

Le guide donne cet exemple : supposons que vous ayez une installation sur 16 disques et que vous deviez conserver un fichier de 100 Mo. Si les paramètres par défaut sont utilisés (8 disques pour les données, 8 pour les blocs de parité), alors le fichier occupera presque le double de l'espace, c'est-à-dire 200 Mo. Si le ratio de disques est de 10/6, il faudra 160 Mo. 14/2 nécessitera 114 Mo.

Une autre différence importante par rapport aux RAID : en cas de défaillance de disques, MinIO fonctionnera au niveau des objets, récupérant un à un, sans arrêter le travail de l'ensemble du système. Alors qu'un RAID classique devra restaurer l'ensemble du volume, ce qui prendra un temps imprévisible. À la mémoire de l'auteur, une baie de disques qui a subi la perte de deux disques a été recalculée pendant une semaine et demie. C'était assez désagréable.

Et, une remarque importante : MinIO divise tous les disques pour le Erasure Coding en ensembles de 4 à 16 disques, utilisant la taille maximale possible de l'ensemble. Et par la suite, un élément d'information sera stocké uniquement dans un ensemble.

Tout cela a l'air formidable, mais à quel point la configuration sera-t-elle complexe ? Regardons cela. Prenons la commande pour démarrer et simplement listons les disques sur lesquels le stockage doit être créé. Si tout est fait correctement, alors dans le rapport, nous verrons le nombre de disques impliqués. Et un conseil, il ne faut pas ajouter la moitié des disques sur un seul hôte, car cela pourrait entraîner une perte de données.

c:minio>minio.exe server F: G: H: I: J: K:

Ensuite, pour gérer et configurer le serveur MinIO, nous aurons besoin d'un agent, que vous pouvez télécharger tout là-bas sur le site officiel.

Pour ne pas écraser vos doigts chaque fois que vous tapez l'adresse et les clés d'accès (ce qui n'est pas sûr non plus), il est pratique de créer un alias dès le premier lancement selon la formule mc alias set [YOUR-ACCESS-KEY] [YOUR-SECRET-KEY]

mc alias set veeamS3 https://172.17.32.52:9000 YOURS3ACCESSKEY YOURSECERTKE

Ou vous pouvez immédiatement ajouter votre hôte :

mc config host add minio-veeam https://minio.jorgedelacruz.es YOURS3ACCESSKEY YOURSECERTKEY

Et ensuite, nous allons créer un bucket immutable avec cette belle commande

mc mb --debug -l veeamS3/immutable

mc:  PUT /immutable/ HTTP/1.1
Host: 172.17.32.52:9000
User-Agent: MinIO (windows; amd64) minio-go/v7.0.5 mc/2020-08-08T02:33:58Z
Content-Length: 0
Authorization: AWS4-HMAC-SHA256 Credential=minioadmin/20200819/us-east-1/s3/aws4_request, SignedHeaders=host;x-amz-bucket-object-lock-enabled;x-amz-content-sha256;x-amz-date, Signature=**REDACTED**
X-Amz-Bucket-Object-Lock-Enabled: true
X-Amz-Content-Sha256: UNSIGNED-PAYLOAD
X-Amz-Date: 20200819T092241Z
Accept-Encoding: gzip
mc:  HTTP/1.1 200 OK
Content-Length: 0
Accept-Ranges: bytes
Content-Security-Policy: block-all-mixed-content
Date: Wed, 19 Aug 2020 09:22:42 GMT
Location: /immutable
Server: MinIO/RELEASE.2020-08-16T18-39-38Z
Vary: Origin
X-Amz-Request-Id: 162CA0F9A3A3AEA0
X-Xss-Protection: 1; mode=block
mc:  Response Time: 253.0017ms

—debug permet de voir non seulement le message final, mais aussi des informations plus détaillées.

-l ce qui signifie —with-lock, ce qui signifie immutable

Si nous retournons maintenant à l'interface web, notre nouveau bucket apparaîtra là.

Pour l'instant, c'est tout. Nous avons créé un stockage sécurisé et sommes prêts à passer à l'intégration avec Veeam.

Nous pouvons également vérifier que tout fonctionne parfaitement :

c:minio>mc admin info veeamS3

● 172.17.32.52:9000
   Uptime: 32 minutes
   Version: 2020-08-16T18-39-38Z
   Network: 1/1 OK
   Drives: 6/6 OK
0 B Used, 1 Bucket, 0 Objects
6 drives online, 0 drives offline

MinIO et Veeam

Attention ! Si pour une raison improbable vous souhaitez travailler via HTTP, alors à l'adresse HKEY_LOCAL_MACHINESOFTWAREVeeamVeeam Backup and Replication, créez une clé DWORD SOBRArchiveS3DisableTLS. Définissez sa valeur à 1 et gardez à l'esprit que nous ne soutenons absolument pas ce comportement et ne le recommandons à personne.

Attention encore une fois ! Si, pour une raison quelconque, vous continuez à utiliser Windows 2008 R2, vous obtiendrez probablement une erreur similaire lors de la tentative de connexion de MinIO à Veeam : Échec de l'établissement d'une connexion à l'extrémité Amazon S3. Cela peut être corrigé avec le correctif officiel de par Microsoft.

Eh bien, les préparatifs sont terminés, ouvrons l'interface VBR et allons à l'onglet Infrastructure de sauvegarde, où nous allons appeler l'assistant d'ajout d'un nouveau référentiel.

Bien sûr, nous sommes intéressés par le stockage d'objets, notamment S3 Compatible. Dans l'assistant qui s'ouvre, nous donnons un nom, suivons les étapes en indiquant l'adresse et le compte. Si nécessaire, n'oubliez pas d'indiquer la passerelle par laquelle les requêtes vers le stockage seront proxy.

Puis, nous choisissons le bucket, le dossier et cochons la case Faire en sorte que les sauvegardes récentes soient immuables. Ou pas. Mais puisque nous avons créé un stockage avec cette fonction, ce serait dommage de ne pas en profiter.

Suivant > Terminer et profiter du résultat.

Nous devons maintenant l'ajouter au dépôt SOBR en tant que Capacity Tier. Pour cela, nous créons un nouveau dépôt ou modifions un existant. Nous nous intéressons à l'étape Capacity Tier.

Ici, nous devons choisir selon quel scénario nous allons travailler. Tous les scénarios sont assez bien décrits dans un autre article, donc je ne vais pas me répéter.

À la fin du travail de l'assistant, des tâches de copie ou de transfert de sauvegardes seront lancées automatiquement. Mais si vous ne souhaitez pas immédiatement solliciter toutes les systèmes, veillez à définir des intervalles acceptables pour le travail via le bouton Fenêtre.

Et, bien sûr, il est possible de créer des tâches de Backup Copy distinctes. Certains estiment que c'est même plus pratique, car elles sont un peu plus transparentes et prévisibles pour l'utilisateur qui ne veut pas s'attarder sur les détails du fonctionnement de la capacité tier. Et il y a suffisamment de détails à ce sujet, donc je recommande à nouveau de consulter l'article correspondant via le lien ci-dessus.