Slurm Mega. Installer un cluster prêt pour la production, 3 conseils utiles des intervenants et Slurm avec Luke Skywalker et R2D2.

Le 24 novembre s'est terminé le Slurm Mega, un cours intensif avancé sur Kubernetes. Le prochain Mega aura lieu à Moscou du 18 au 20 mai.

L'idée du Slurm Mega : nous plongeons sous le capot du cluster, examinons en théorie et en pratique les subtilités de l'installation et de la configuration d'un cluster prêt pour la production ("the-not-so-easy-way"), et discutons des mécanismes de sécurité et de haute disponibilité des applications.

Bonus du Mega : ceux qui suivent le Slurm Basique et le Slurm Mega obtiennent toutes les connaissances nécessaires pour passer l'examen de CKA au CNCF et bénéficient d'une réduction de 50 % sur l'examen.

Un grand merci à Selectel d'avoir fourni le cloud pour la pratique, ce qui a permis à chaque participant de travailler sur un véritable cluster, sans que nous ayons à ajouter 5000 de plus au prix du billet.

Je ne vais pas présenter Bondarev et Selivanov, pour ceux que cela intéresse, lisez ici.

Slurm Mega. Premier jour.

Le premier jour du Slurm Mega, nous avons chargé les participants avec 4 sujets. Pavel Selivanov a parlé du processus de création d'un cluster haute disponibilité de l'intérieur, du fonctionnement de Kubeadm, ainsi que des tests et du dépannage du cluster.

Première pause café. Habituellement un « appel pour l'enseignant », mais lors du Slurm, pendant que les élèves prennent leur café, les enseignants continuent de répondre aux questions.

Et malgré le fait que le nuage « Pause II » flotte au-dessus de Pavel Selivanov, il n'a pas l'intention de prendre une pause.

Sergueï Bondarev et Marcel Ibraev attendent leur tour d'entrer à la tribune.

Pendant la pause, je me suis approché de Sergueï Bondarev et lui ai demandé : « Que conseillerais-tu à tous les ingénieurs Kubernetes d'après ton expérience avec les clusters de nos clients ? »

Sergueï a donné un conseil simple : «Restreignez l'accès à l'API serveur depuis Internet. Parce que des menaces de sécurité sont régulièrement découvertes, permettant d'accéder au cluster par des utilisateurs non autorisés.»

Après quelques minutes et une bouteille d'eau minérale, Pavel Selivanov s'est jeté dans le vif du sujet avec le thème « Autorisation dans le cluster à l'aide d'un fournisseur externe », à savoir LDAP (Nginx + Python) et OIDC (Dex + Gangway).

Lors de la prochaine pause, Marcel Ibraev, un des intervenants de Slurm et Certified Kubernetes Administrator, a donné son conseil aux ingénieurs Kubernetes : «Je vais dire quelque chose qui semble banal, mais étant donné à quel point j'y fais souvent face, je soupçonne que ce n'est pas quelque chose que tout le monde prend en compte. Il ne faut pas croire aveuglément aux commentaires de How-To sur Internet qui expliquent à quel point telle ou telle solution fonctionne à merveille. Dans le contexte de Kubernetes, cela prend un sens particulier. En effet, Kubernetes est un système complexe et intégrer une solution qui n’a pas été testée spécifiquement pour votre projet et votre installation de cluster peut entraîner des conséquences fâcheuses, peu importe ce que l'on lit sur Internet à son sujet. Même Kubernetes, sans une approche réfléchie, peut nuire à votre projet, « Ce qui est bon pour les Russes est mortel pour les Allemands ». C'est pourquoi nous devons tester, vérifier, et expérimenter toute solution avant de l'implémenter. C'est ainsi que vous prendrez en compte tous les détails qui peuvent survenir.».

Après la pause déjeuner, Sergei Bondarev est entré en scène. Son sujet est la politique réseau, en particulier l'introduction au CNI et à la politique de sécurité réseau.

Il y a une multitude d'articles sur la politique réseau sur Internet. Parmi les administrateurs, il existe l'avis qu'on peut se passer des politiques réseau, mais les spécialistes de la sécurité apprécient beaucoup cet outil et exigent que les politiques réseau soient activées.

Le contrôle de Kubernetes a été pris par Pavel Selivanov avec le thème « Applications sécurisées et hautement disponibles dans le cluster ». Il a ses sujets de prédilection : PodSecurityPolicy, PodDisruptionBudget, LimitRange/ResourceQuota.

Voici le thème de Mégui, avec lequel Pavel s'est présenté à DevOpsConf : comment casser facilement et rapidement un cluster Kubernetes et obtenir tous les droits en 5 minutes..

Après avoir expliqué comment un cluster Kubernetes peut être facilement piraté, les administrateurs sceptiques disent : « Ah, je le savais, votre Kubernetes est une passoire ». Pavel explique qu'il est possible de configurer la sécurité dans le cluster et que ce n'est pas compliqué, simplement que par défaut, les paramètres de sécurité sont désactivés. Plus de détails dans la transcription. du rapport.

— Qui a cassé le cluster ? C'est lui qui a cassé le cluster ! Je peux le voir parfaitement d'ici !

Sur les Slёrms, il n'y a jamais rien de simple et facile pour éviter l'ennui. Mais cette fois, Telegram a décidé de montrer son cinquième point :

Marcel Ibraev, [22 novembre 2019, 16:52:52]:
Collègues, actuellement, des pannes sont observées dans le fonctionnement de Telegram, veuillez en tenir compte.

Cette première journée, riche en connaissances pratiques, se termine ici. Le deuxième jour sera encore plus axé sur la pratique, avec le lancement d'un cluster de base de données utilisant PostgreSQL, la mise en route d'un cluster RabbitMQ et la gestion des secrets dans Kubernetes.

Slurm Méga. Deuxième jour.

Le présentateur a commencé le deuxième jour par une annonce dynamique : « Ce matin, comme l'a dit Pavel hier, nous attend un véritable hardcore. En termes de chirurgiens, nous allons plonger dans les entrailles de Kubernetes ! »

Le maître de cérémonie est une histoire à part. L'un des problèmes de Slurm est que les gens se déconnectent et s'endorment à cause de la surcharge d'informations. Nous avons toujours cherché un moyen d'y remédier, et lors du dernier Slurm, de petits jeux avec le public avaient bien fonctionné. Cette fois-ci, nous avons engagé une personne spécialement formée. Dans le chat, beaucoup plaisantaient sur les « concours intéressants », mais le fait est que nous n'avons jamais vu de participants aussi dynamiques.

Marsel Ibraev a reçu de l'aide — et il a commencé à étudier les applications Stateful dans le cluster. Plus précisément, le lancement d'un cluster de bases de données utilisant PostgreSQL et le lancement d'un cluster RabbitMQ.

Après le déjeuner, Sergey Bondarev a commencé à traiter Kubernetes. Son sujet était « Stockage des secrets ». Il était accompagné de Mulder et Scully. Ils ont étudié la gestion des secrets dans Kubernetes et Vault. Et aussi « La vérité est ailleurs ».

Cela a continué jusqu'à tard dans la soirée, lorsque Pavel Selivanov a évoqué l'Horizontal Pod Autoscaler.

Slurm Méga. Troisième jour.

Dès le matin, Sergey Bondarev a réveillé le public avec des sujets sur la sauvegarde et la restauration après des pannes. Ils ont personnellement vérifié la sauvegarde et la restauration du cluster en utilisant Heptio Velero et etcd.

Sergey a poursuivi le thème de la rotation annuelle des certificats dans le cluster : le renouvellement des certificats du control-plane avec kubeadm. Juste avant le déjeuner, pour aiguiser l'appétit des participants ou le dégoûter totalement, Pavel Selivanov a soulevé le sujet du déploiement d'application.

Ils ont abordé les outils de templating et de déploiement, ainsi que les stratégies de déploiement.

Pavel Selivanov a présenté un nouveau sujet : Service Mesh, installation d'Istio. Le sujet était tellement riche qu'on pourrait en faire un atelier à part. Nous discutons des plans, restez à l'écoute pour les annonces.

L'essentiel, c'est que tout fonctionne correctement. Car le moment de la pratique est arrivé :
mise en place de CI/CD pour déployer simultanément l'application et mettre à jour le cluster. Dans les projets d'apprentissage, tout fonctionne bien. Mais la vie est parfois pleine de surprises.

Que la Slurm soit avec vous !

Source : habr.com