Nous récupérons des machines virtuelles à partir d'un Datastore mal initialisé. L'histoire d'une bêtise avec une fin heureuse.

Avertissement : Cette note est de nature divertissante. La densité d'informations utiles y est faible. Elle a été rédigée « pour soi ».

Introduction lyrique

La poubelle de fichiers de notre organisation tourne sur une machine virtuelle VMware ESXi 6 sous Windows Server 2016. Et ce n'est pas juste une poubelle. C'est un serveur d'échange de fichiers entre les départements : il y a du travail collaboratif, de la documentation de projet, et des dossiers d'imprimantes réseau. En résumé, c'est toute la vie productive.

Et donc, ce réceptacle de toute la vie productive a commencé à se bloquer. En fait, l'invité pouvait se bloquer silencieusement, sans affecter les autres. Il pouvait geler le serveur hôte tout entier et, par conséquent, toutes les autres machines invitées. Il pouvait se bloquer lui-même et bloquer les services clients de vSphere : c'est-à-dire que les processus des autres invités étaient vivants, les machines fonctionnaient correctement et répondaient, mais la poubelle de fichiers ne fonctionnait pas et le client vSphere ne pouvait pas se connecter à l'hôte. En résumé, il était impossible d'identifier un système. Les blocages pouvaient survenir le jour pendant une faible charge. Ils pouvaient se produire la nuit pendant une charge nulle. Ils pouvaient survenir la nuit lors de sauvegardes différentielles et d'une charge moyenne. Ils pouvaient se produire le week-end pendant des sauvegardes complètes et une charge élevée. Une dégradation évidente de la situation a été observée. Au départ, c'était une fois par an, puis une fois tous les six mois. À la fin de ma patience, c'était deux fois par semaine.
J'ai blâmé la mémoire vive. Mais je n'ai pas pu arrêter la poubelle même le week-end et faire fonctionner Memtest. Nous attendions les jours fériés de mai. Pendant les jours fériés de mai, j'ai exécuté Memtest et... aucune erreur n'a été trouvée.

J'étais émerveillé et j'ai décidé de prendre des vacances. Pendant que j'étais en vacances, la poubelle n'a pas rencontré de blocage. Et quand je suis revenu au travail un lundi, la poubelle était gelée. Elle a survécu à la sauvegarde complète et s'est immédiatement bloquée après. Une telle rentrée de vacances m'a poussé à décider de déplacer physiquement les disques de la machine invitée vers un autre hôte.

Et, bien qu'il soit depuis longtemps connu qu'il ne faut rien faire de sérieux le premier jour après des vacances, bien que je me sois préparé à ne pas travailler tout le chemin du travail, mon indignation face à un nouveau blocage a chassé de ma tête tant la préparation que les résolutions...

Les disques physiques ont été déplacés vers un autre hôte. Connexion à chaud. Dans les paramètres de stockage, sous l'onglet Disques des disques apparaissent. Dans l'onglet Datastores les stockages sur ces disques ne sont pas là. Rafraîchir ne s'affichent pas. Eh bien, bien sûr, la première pensée est — Ajouter du stockage. L'assistant d'ajout indique ce qu'il supporte. Bien sûr, il prend en charge VMFS. Je n'en doutais pas. Un coup d'œil rapide aux messages de l'assistant à chaque étape : Suivant, Suivant, Suivant, Terminer. Mon regard n'a même pas effleuré le petit cercle jaune avec un point d'exclamation en bas de la fenêtre à l'une des étapes de l'assistant.

À la fin de l'assistant, un nouveau Datastore est apparu dans la liste... ainsi que des Datastores provenant des autres disques physiques.

Je passe à la navigation dans le Datastore nouvellement ajouté, et il est... vide. Évidemment, je suis de nouveau tombé dans l'étonnement. 8 heures du matin, les 15 premières minutes au travail après des vacances, je n'ai même pas encore remué le sucre dans mon café. Et voilà ça. La première pensée a été — je n'ai pas tiré le bon disque de l'hôte 'd'origine'. J'ai vérifié si le Datastore recherché est présent dans l'hôte 'd'origine' : non, il n'est pas présent. La deuxième pensée était : « putain ! ». Je ne suis pas sûr, mais je pense que la troisième, la quatrième et au moins la cinquième pensée étaient similaires.

Pour dissiper les doutes, j'ai rapidement installé une nouvelle version d'ESXi, pris un disque aléatoire et, tout en lisant attentivement, j'ai parcouru les étapes de l'assistant. Oui. Lors de l'ajout d'un Datastore avec l'assistant, toutes les données sur le disque sont perdues sans possibilité de revenir en arrière ou de récupérer les données. Plus tard, j'ai lu sur un forum une évaluation de ce design d'assistant : shitsome crap. Et j'ai totalement été d'accord.

À partir de la sixième pensée, les idées ont pris un tournant plus constructif. D'accord. L'initialisation prend quelques secondes même pour un disque de 3 To. Cela signifie que c'est un formatage de haut niveau. Cela veut dire que seule la table de partitions a été réécrite. Cela signifie que les données sont toujours là. Donc, maintenant, recherchons un programme de déformatage et voilà.

Je démarre la machine avec l'image de démarrage de Strelec... Et je découvre que les programmes de récupération de partitions connaissent tout, sauf VMFS. Ils connaissent, par exemple, le formatage des partitions Synology, mais pas VMFS.

Le choix de programmes n'est pas encourageant : au mieux, GetDataBack et R.Saver trouvent des partitions NTFS avec une structure de répertoire vivante et des noms de fichiers valides. Mais cela ne me satisfait pas. J'ai besoin de deux fichiers vmdk : avec le disque système et le disque des fichiers poubelle.

Et là, je comprends que je vais probablement devoir installer Windows et restaurer à partir d'une sauvegarde de fichiers. En même temps, je me rappelle que j'avais un root DFS là-bas. Et aussi un système de droits d'accès aux dossiers des départements totalement fou par son ampleur et sa complexité. Ce n'est pas une option. La seule option acceptable en termes de temps est de restaurer l'état du système et du disque avec les données et tous les droits.

Encore des recherches sur Google, des forums, des KB, et encore des lamentations : VMware ESXi ne prévoit pas de mécanisme de récupération des données. Tous les fils de discussion se terminent de deux manières : soit quelqu'un a récupéré ses données grâce à DiskInternals VMFS Recovery, qui n'est pas bon marché, soit un spécialiste qui promeut activement ses services a aidé. vmfs-tools et dd. La solution d'acheter une licence pour DiskInternals VMFS Recovery à 700 $ n'est pas envisageable. L'accès d'un tiers venu d'un « territoire potentiel adversaire » aux données de l'entreprise n'est pas non plus une option. Il a cependant été découvert que UFS Explorer peut également lire les sections VMFS.

DiskInternals VMFS Recovery

A été téléchargé et la version d'essai a été installée. Le programme a réussi à voir la partition VMFS vide :

En mode Undelete (Fast Scan) a également trouvé le Datastore usé avec des dossiers machines virtuelles ayant des disques à l'intérieur :

L'aperçu a montré que les fichiers étaient vivants :

Le montage de la partition dans le système a été réussi, mais pour une raison inconnue, tous les trois dossiers contenaient la même machine virtuelle. Bien sûr, par loi de la malchance, ce n'était pas celle requise.

Trois lignes de honteLa tentative faite pour pirater le logiciel s'est soldée par un échec. En revanche, j'ai pu pirater UFS Explorer.

Je suis extrêmement opposé au vol de logiciels. Je ne prône absolument pas l'utilisation de moyens pour contourner la protection contre l'utilisation non autorisée.

J'étais dans une situation catastrophique et je n'étais absolument pas fier des mesures que j'avais prises.

UFS Explorer

Le scan du disque a montré la présence de 7 nœuds. Le nombre de nœuds coïncidait de façon "étonnante" avec le nombre de fichiers *-flat.vmdk découverts par VMFS Recovery :

La comparaison des tailles de fichiers et des tailles de nœuds a également montré une correspondance au byte près. Les noms des fichiers *-flat.vmdk ont également été récupérés, ainsi que leur appartenance aux machines virtuelles.

En fait, les disques vmdk du point de vue d'ESXi se composent de deux fichiers : un fichier de données (<nom de la machine>-flat.vmdk) et un fichier de « métadonnées » du disque (<nom de la machine>.vmdk). Si vous téléversez le fichier *-flat.vmdk depuis une machine locale dans le Datastore, ESXi ne le reconnaîtra pas comme un fichier disque valide. La base de connaissances de VMware contient un article sur la façon de créer manuellement un fichier de descripteur de disque : kb.vmware.com/s/article/1002511, mais je n'ai pas eu besoin de le faire, j'ai simplement copié le contenu des fichiers correspondants à partir de l'aperçu du contenu du fichier dans DiskInternals VMFS Recovery :

Après 4 heures d'extraction de 2,5 To de nœud depuis UFS Explorer et 20 heures de chargement dans le Datastore de l'hyperviseur, les fichiers de disque récupérés ont été connectés à une nouvelle machine virtuelle. Les disques ont été reconnus. Aucun perte de données n'a été constatée.

Source : habr.com