Slurm Mega. Εγκατάσταση ενός cluster έτοιμο για παραγωγή, 3 χρήσιμες συμβουλές από ηχεία και Slurm μαζί με τον Luke Skywalker και το R2D2

Στις 24 Νοεμβρίου ολοκληρώθηκε το Slurm Mega, ένα προχωρημένο εντατικό μάθημα για το Kubernetes. Επόμενο Mega θα διεξαχθεί στη Μόσχα στις 18-20 Μαΐου.

Slurm Mega. Εγκατάσταση ενός cluster έτοιμο για παραγωγή, 3 χρήσιμες συμβουλές από ηχεία και Slurm μαζί με τον Luke Skywalker και το R2D2

Η ιδέα του Slurm Mega: κοιτάμε κάτω από την κουκούλα του συμπλέγματος, αναλύουμε θεωρητικά και πρακτικά τις περιπλοκές εγκατάστασης και διαμόρφωσης ενός cluster έτοιμου για παραγωγή («οχι και τόσο εύκολος»), εξετάζουμε τους μηχανισμούς για τη διασφάλιση της ασφάλειας και της ανοχής σε σφάλματα των εφαρμογών.

Mega Bonus: Όσοι περάσουν το Slurm Basic και το Slurm Mega λαμβάνουν όλες τις απαραίτητες γνώσεις για να περάσουν τις εξετάσεις CKA σε CNCF και έκπτωση 50% στις εξετάσεις.

Ιδιαίτερες ευχαριστίες στην Selectel για την παροχή ενός cloud για εξάσκηση, χάρη στο οποίο κάθε συμμετέχων εργάστηκε στο δικό του πλήρες cluster και δεν χρειάστηκε να προσθέσουμε επιπλέον 5 χιλιάδες στην τιμή του εισιτηρίου για αυτό.

Δεν θα σας πω ποιοι είναι ο Bondarev και ο Selivanov, για όσους ενδιαφέρονται, Διαβάστε εδώ.

Slurm Mega. Πρώτη μέρα.

Την πρώτη μέρα του Slurm Mega φορτώσαμε τους συμμετέχοντες με 4 θέματα. Ο Pavel Selivanov μίλησε για τη διαδικασία δημιουργίας ενός συμπλέγματος ανακατεύθυνσης από το εσωτερικό, για τη δουλειά του Kubeadm, καθώς και για τη δοκιμή και την αντιμετώπιση προβλημάτων του συμπλέγματος.

Slurm Mega. Εγκατάσταση ενός cluster έτοιμο για παραγωγή, 3 χρήσιμες συμβουλές από ηχεία και Slurm μαζί με τον Luke Skywalker και το R2D2

Πρώτο διάλειμμα για καφέ. Συνήθως είναι «καμπάνα δασκάλου», αλλά στο Slurm, ενώ οι μαθητές πίνουν καφέ, οι δάσκαλοι συνεχίζουν να απαντούν σε ερωτήσεις.

Slurm Mega. Εγκατάσταση ενός cluster έτοιμο για παραγωγή, 3 χρήσιμες συμβουλές από ηχεία και Slurm μαζί με τον Luke Skywalker και το R2D2
Και παρά το γεγονός ότι το σύννεφο "Break II" αιωρείται πάνω από το κεφάλι του Πάβελ Σελιβάνοφ, δεν είναι η μοίρα του να πάει σε διάλειμμα.

Slurm Mega. Εγκατάσταση ενός cluster έτοιμο για παραγωγή, 3 χρήσιμες συμβουλές από ηχεία και Slurm μαζί με τον Luke Skywalker και το R2D2
Ο Σεργκέι Μποντάρεφ και ο Μαρσέλ Ιμπράεφ περιμένουν τη σειρά τους για να πάνε στον άμβωνα.

Κατά τη διάρκεια του διαλείμματος, πλησίασα τον Σεργκέι Μποντάρεφ και ρώτησα: «Τι συμβουλή θα δίνατε σε όλους τους μηχανικούς της Kubernetes με βάση την εμπειρία σας από τη συνεργασία με τα cluster των πελατών μας;»

Ο Σεργκέι έδωσε μια απλή σύσταση:Αποκλείστε την πρόσβαση από το Διαδίκτυο στον διακομιστή API. Επειδή κατά καιρούς υπάρχουν απειλές για την ασφάλεια που επιτρέπουν σε μη εξουσιοδοτημένους χρήστες να αποκτήσουν πρόσβαση στο σύμπλεγμα.»

Μετά από μερικά λεπτά και ένα μπουκάλι μεταλλικό νερό, ο Pavel Selivanov έσπευσε στη μάχη με τη σκιά του θέματος "Εξουσιοδότηση σε ένα σύμπλεγμα χρησιμοποιώντας έναν εξωτερικό πάροχο", δηλαδή LDAP (Nginx + Python) και OIDC (Dex + Gangway).

Στο επόμενο διάλειμμα, ο Marcel Ibraev, ομιλητής Slurm, Πιστοποιημένος Διαχειριστής Kubernetes, έδωσε τη συμβουλή του στους μηχανικούς της Kubernetes:Θα πω ένα φαινομενικά ασήμαντο πράγμα, αλλά λαμβάνοντας υπόψη πόσο συχνά το συναντώ αυτό, έχω την υποψία ότι δεν το λαμβάνουν όλοι υπόψη. Δεν πρέπει να πιστεύετε τυφλά οποιεσδήποτε οδηγίες από το Διαδίκτυο που θα σας πει πόσο τέλεια λειτουργεί αυτή ή η άλλη λύση. Στο πλαίσιο του Kubernetes, αυτό αποκτά ιδιαίτερη σημασία. Επειδή το Kubernetes είναι ένα πολύπλοκο σύστημα και η προσθήκη μιας λύσης σε αυτό που δεν έχει δοκιμαστεί στο συγκεκριμένο έργο σας και στην εγκατάσταση συμπλέγματος μπορεί να οδηγήσει σε τρομερές συνέπειες, παρά το γεγονός ότι έγραψαν στο Διαδίκτυο για την ψυχραιμία του. Ακόμη και το ίδιο το Kubernetes χωρίς μια ισορροπημένη προσέγγιση μπορεί να βλάψει το έργο σας, «αυτό που είναι καλό για έναν Ρώσο είναι ο θάνατος για έναν Γερμανό». Επομένως, δοκιμάζουμε, ελέγχουμε και δοκιμάζουμε οποιαδήποτε λύση πριν την εφαρμόσουμε μόνοι μας. Μόνο έτσι θα λάβετε υπόψη όλες τις αποχρώσεις που μπορεί να προκύψουν.».

Μετά το μεσημεριανό γεύμα, ο Σεργκέι Μποντάρεφ μπήκε στη μάχη. Το θέμα του είναι η πολιτική δικτύου, δηλαδή μια εισαγωγή στο CNI και την Πολιτική Ασφάλειας Δικτύων.

Slurm Mega. Εγκατάσταση ενός cluster έτοιμο για παραγωγή, 3 χρήσιμες συμβουλές από ηχεία και Slurm μαζί με τον Luke Skywalker και το R2D2

Το Διαδίκτυο είναι γεμάτο άρθρα σχετικά με την Πολιτική Δικτύου. Υπάρχει μια άποψη μεταξύ των διαχειριστών ότι οι Πολιτικές Δικτύου μπορούν να παραβλεφθούν, αλλά οι ειδικοί ασφαλείας αγαπούν πραγματικά αυτό το εργαλείο και απαιτούν να ενεργοποιηθούν οι Πολιτικές Δικτύου.

Ο Pavel Selivanov ανέλαβε το τιμόνι της Kubernetes από τον Sergey Bondarev με θέμα «Ασφαλείς και εξαιρετικά διαθέσιμες εφαρμογές σε ένα σύμπλεγμα». Έχει αγαπημένα θέματα: PodSecurityPolicy, PodDisruptionBudget, LimitRange/ResourceQuota.

Slurm Mega. Εγκατάσταση ενός cluster έτοιμο για παραγωγή, 3 χρήσιμες συμβουλές από ηχεία και Slurm μαζί με τον Luke Skywalker και το R2D2

Το θέμα του Mega, το οποίο μίλησε ο Pavel στο DevOpsConf: πώς να σπάσετε εύκολα και γρήγορα ένα σύμπλεγμα Kubernetes και να αποκτήσετε όλα τα δικαιώματα σε 5 λεπτά.

Αφού είπαν πόσο εύκολα μπορεί να χακαριστεί ένα σύμπλεγμα Kubernetes, οι δύσπιστοι διαχειριστές λένε: «Ναι, σας είπα, το Kubernetes σας είναι γεμάτο τρύπες». Ο Pavel εξηγεί ότι είναι δυνατή η διαμόρφωση της ασφάλειας σε ένα σύμπλεγμα και δεν είναι δύσκολο, απλώς οι ρυθμίσεις ασφαλείας είναι απενεργοποιημένες από προεπιλογή. Λεπτομέρειες σε μεταγραφή κανω ΑΝΑΦΟΡΑ.

Slurm Mega. Εγκατάσταση ενός cluster έτοιμο για παραγωγή, 3 χρήσιμες συμβουλές από ηχεία και Slurm μαζί με τον Luke Skywalker και το R2D2
— Ποιος έσπασε το σύμπλεγμα; Έσπασε το σύμπλεγμα! Μπορώ να δω τέλεια από εδώ!

Στο Slurms δεν είναι ποτέ όλα απλά και εύκολα, για να μην βαριέσαι. Αλλά αυτή τη φορά το Telegram αποφάσισε να δείξει σε όλους το πέμπτο σημείο:

Марсель Ибраев, [22 нояб. 2019 г., 16:52:52]:
Коллеги, в данный момент наблюдаются сбои в работе Телеграм, имейте это ввиду

Slurm Mega. Εγκατάσταση ενός cluster έτοιμο για παραγωγή, 3 χρήσιμες συμβουλές από ηχεία και Slurm μαζί με τον Luke Skywalker και το R2D2

Αυτό ολοκληρώθηκε η πρώτη μέρα, φωτεινή και γεμάτη με πρακτικές γνώσεις. Τη δεύτερη μέρα θα υπάρχει ακόμα περισσότερη εξάσκηση, εκκίνηση ενός συμπλέγματος βάσεων δεδομένων χρησιμοποιώντας ως παράδειγμα PostgreSQL, εκκίνηση ενός συμπλέγματος RabbitMQ, διαχείριση μυστικών στο Kubernetes.

Slurm Mega. Εγκατάσταση ενός cluster έτοιμο για παραγωγή, 3 χρήσιμες συμβουλές από ηχεία και Slurm μαζί με τον Luke Skywalker και το R2D2

Slurm Mega. Δεύτερη μέρα.

Ο παρουσιαστής ξεκίνησε τη δεύτερη μέρα με μια χαρούμενη ανακοίνωση: «Το πρωί, όπως το είπε χθες ο Πάβελ, μας περιμένει πραγματικός σκληροπυρηνικός. Στη γλώσσα των χειρουργών, θα μπούμε στα σπλάχνα των Kubernetes!».

Ο μαζικός διασκεδαστής είναι μια διαφορετική ιστορία. Ένα από τα προβλήματα με το Slurm είναι ότι οι άνθρωποι απενεργοποιούνται από την υπερφόρτωση πληροφοριών και αποκοιμούνται. Πάντα ψάχναμε έναν τρόπο να κάνουμε κάτι γι' αυτό και τα μικρά παιχνίδια με κοινό λειτούργησαν καλά στο τελευταίο Slurm. Αυτή τη φορά προσλάβαμε ένα ειδικά εκπαιδευμένο άτομο. Υπήρχαν πολλά αστεία στη συνομιλία για «ενδιαφέροντες διαγωνισμούς», αλλά το γεγονός παραμένει ότι δεν έχουμε δει ποτέ τόσο χαρούμενους συμμετέχοντες.

Slurm Mega. Εγκατάσταση ενός cluster έτοιμο για παραγωγή, 3 χρήσιμες συμβουλές από ηχεία και Slurm μαζί με τον Luke Skywalker και το R2D2

Ήρθαν στη διάσωση του Marcel Ibraev - και άρχισε να μελετά Stateful εφαρμογές στο σύμπλεγμα. Δηλαδή, εκκίνηση ενός συμπλέγματος βάσης δεδομένων χρησιμοποιώντας την PostgreSQL ως παράδειγμα και εκκίνηση ενός συμπλέγματος RabbitMQ.

Μετά το μεσημεριανό γεύμα, ο Sergey Bondarev άρχισε να εργάζεται στο K8S. Και το θέμα ήταν «Κρατώντας μυστικά». Ο Μόλντερ και η Σκάλλυ τον κάλυψαν. Σπούδασε μυστική διαχείριση στο Kubernetes και το Vault. Και επίσης «Η αλήθεια είναι εκεί έξω».

Slurm Mega. Εγκατάσταση ενός cluster έτοιμο για παραγωγή, 3 χρήσιμες συμβουλές από ηχεία και Slurm μαζί με τον Luke Skywalker και το R2D2

Το οποίο συνεχίστηκε μέχρι αργά το βράδυ, όταν ο Pavel Selivanov άρχισε να μιλά για το Horizontal Pod Autoscaler

Slurm Mega. Την ΤΡΙΤΗ μερα.

Απότομα και χαρούμενα, από το πρωί, ο Σεργκέι Μποντάρεφ ξεσήκωσε το κοινό με υποστήριξη και ανάκαμψη από αποτυχίες. Έλεγξα το αντίγραφο ασφαλείας και την ανάκτηση του συμπλέγματος χρησιμοποιώντας προσωπικά το Heptio Velero και etcd.

Slurm Mega. Εγκατάσταση ενός cluster έτοιμο για παραγωγή, 3 χρήσιμες συμβουλές από ηχεία και Slurm μαζί με τον Luke Skywalker και το R2D2

Ο Sergey συνέχισε το θέμα της ετήσιας εναλλαγής πιστοποιητικών στο σύμπλεγμα: ανανέωση πιστοποιητικών αεροπλάνου ελέγχου χρησιμοποιώντας kubeadm. Λίγο πριν το μεσημεριανό γεύμα, για να ανοίξει την όρεξη των συμμετεχόντων ή να την σκοτώσει εντελώς, ο Pavel Selivanov έθεσε το θέμα της ανάπτυξης της εφαρμογής.

Slurm Mega. Εγκατάσταση ενός cluster έτοιμο για παραγωγή, 3 χρήσιμες συμβουλές από ηχεία και Slurm μαζί με τον Luke Skywalker και το R2D2

Εξετάστηκαν τα εργαλεία προτύπων και ανάπτυξης, καθώς και στρατηγικές ανάπτυξης.

Ο Pavel Selivanov μίλησε για ένα νέο θέμα: Service Mesh, εγκατάσταση Istio. Το θέμα αποδείχθηκε τόσο πλούσιο που μπορείτε να κάνετε ένα ξεχωριστό εντατικό μάθημα για αυτό. Συζητάμε σχέδια, μείνετε συντονισμένοι για ανακοινώσεις.

Το κύριο πράγμα είναι ότι όλα λειτουργούν σωστά. Γιατί ήρθε η ώρα να εξασκηθείτε:
δημιουργία CI/CD για την ταυτόχρονη εκκίνηση της ανάπτυξης εφαρμογών και της ενημέρωσης συμπλέγματος. Στα εκπαιδευτικά έργα όλα λειτουργούν καλά. Και η ζωή μερικές φορές είναι γεμάτη εκπλήξεις.

Slurm Mega. Εγκατάσταση ενός cluster έτοιμο για παραγωγή, 3 χρήσιμες συμβουλές από ηχεία και Slurm μαζί με τον Luke Skywalker και το R2D2

Είθε το Slurm να είναι μαζί σας!

Πηγή: www.habr.com

Προσθέστε ένα σχόλιο