Γεια σε όλους! Με αυτό το άρθρο, η AERODISK ανοίγει ένα blog στο Habré. Ούρα, σύντροφοι!
Προηγούμενα άρθρα για το Habré συζήτησαν ερωτήσεις σχετικά με την αρχιτεκτονική και τη βασική διαμόρφωση των συστημάτων αποθήκευσης. Σε αυτό το άρθρο θα εξετάσουμε μια ερώτηση που δεν έχει καλυφθεί προηγουμένως, αλλά τίθεται συχνά - σχετικά με την ανοχή σφαλμάτων των συστημάτων αποθήκευσης AERODISK ENGINE. Η ομάδα μας θα κάνει τα πάντα για να διασφαλίσει ότι το σύστημα αποθήκευσης AERODISK θα σταματήσει να λειτουργεί, π.χ. σπάστο.
Έτυχε ότι άρθρα σχετικά με την ιστορία της εταιρείας μας, για τα προϊόντα μας, καθώς και ένα παράδειγμα επιτυχημένης εφαρμογής βρίσκονται ήδη στο Habré, για τα οποία Ευχαριστούμε πολύ τους συνεργάτες μας - τις εταιρείες TS Solution και Softline.
Επομένως, δεν θα εκπαιδεύσω εδώ τις δεξιότητες διαχείρισης αντιγραφής-επικόλλησης, αλλά απλώς θα παράσχω συνδέσμους προς τα πρωτότυπα αυτών των άρθρων:
Θέλω επίσης να μοιραστώ καλά νέα. Αλλά θα ξεκινήσω, φυσικά, με το πρόβλημα. Εμείς, ως νέος πωλητής, μεταξύ άλλων δαπανών, αντιμετωπίζουμε συνεχώς το γεγονός ότι πολλοί μηχανικοί και διαχειριστές απλά δεν γνωρίζουν πώς να λειτουργούν σωστά το σύστημα αποθήκευσης μας.
Είναι σαφές ότι η διαχείριση των περισσότερων συστημάτων αποθήκευσης μοιάζει περίπου η ίδια από τη σκοπιά ενός διαχειριστή, αλλά κάθε κατασκευαστής έχει τα δικά του χαρακτηριστικά. Και εδώ δεν είμαστε εξαίρεση.
Ως εκ τούτου, για να απλοποιήσουμε το έργο της εκπαίδευσης ειδικών πληροφορικής, αποφασίσαμε να αφιερώσουμε φέτος στη δωρεάν εκπαίδευση. Για να γίνει αυτό, σε πολλές μεγάλες πόλεις της Ρωσίας ανοίγουμε ένα δίκτυο Κέντρων Ικανότητας AERODISK, στο οποίο κάθε ενδιαφερόμενος τεχνικός μπορεί να παρακολουθήσει ένα μάθημα εντελώς δωρεάν και να λάβει πιστοποιητικό διαχείρισης συστημάτων αποθήκευσης AERODISK ENGINE.
Σε κάθε Κέντρο Ικανοτήτων θα εγκαταστήσουμε μια πλήρη επίδειξη βάσης από το σύστημα αποθήκευσης AERODISK και έναν φυσικό διακομιστή, στον οποίο ο δάσκαλός μας θα διεξάγει εκπαίδευση πρόσωπο με πρόσωπο. Θα δημοσιεύσουμε το πρόγραμμα εργασίας των Κέντρων Ικανότητας μόλις εμφανιστούν, αλλά έχουμε ήδη ανοίξει ένα κέντρο στο Νίζνι Νόβγκοροντ και η πόλη του Κρασνοντάρ είναι η επόμενη. Μπορείτε να εγγραφείτε για εκπαίδευση χρησιμοποιώντας τους παρακάτω συνδέσμους. Ακολουθούν οι επί του παρόντος γνωστές πληροφορίες σχετικά με πόλεις και ημερομηνίες:
- Νίζνι Νόβγκοροντ (ΗΔΗ ΑΝΟΙΧΤΟ - μπορείτε να εγγραφείτε εδώ );
Μέχρι τις 16 Απριλίου 2019 μπορείτε να επισκεφτείτε το κέντρο οποιαδήποτε ώρα εργασίας και στις 16 Απριλίου 2019 θα διοργανωθεί μεγάλο σεμινάριο κατάρτισης. - Κρασνοντάρ (ΑΝΟΙΓΕΙ ΣΥΝΤΟΜΑ - μπορείτε να εγγραφείτε εδώ );
Από τις 9 Απριλίου έως τις 25 Απριλίου 2019 μπορείτε να επισκεφτείτε το κέντρο οποιαδήποτε ώρα εργασίας και στις 25 Απριλίου 2019 θα διοργανωθεί ένα μεγάλο εκπαιδευτικό σεμινάριο. - Αικατερινούπολη (ΑΝΟΙΓΕΙ ΣΥΝΤΟΜΑ, ακολουθήστε τις πληροφορίες στον ιστότοπό μας ή στο Habré).
Μάιος-Ιούνιος 2019. - Νοβοσιμπίρσκ (ακολουθήστε τις πληροφορίες στον ιστότοπό μας ή στο Habré).
Οκτώβριος 2019 - Κρασνογιάρσκ (ακολουθήστε τις πληροφορίες στον ιστότοπό μας ή στο Habré).
Νοέμβριος 2019
Και, φυσικά, εάν η Μόσχα δεν είναι μακριά σας, τότε μπορείτε ανά πάσα στιγμή να επισκεφτείτε το γραφείο μας στη Μόσχα και να υποβληθείτε σε παρόμοια εκπαίδευση.
Ολα. Τελειώσαμε με το μάρκετινγκ, ας περάσουμε στην τεχνολογία!
Στο Habré θα δημοσιεύουμε τακτικά τεχνικά άρθρα σχετικά με τα προϊόντα μας, δοκιμές φόρτωσης, συγκρίσεις, χαρακτηριστικά χρήσης και ενδιαφέρουσες υλοποιήσεις.
Δοκιμές πρόσκρουσης συστήματος αποθήκευσης AERODISK ENGINE N2, δοκιμή αντοχής
ΠΡΟΣΟΧΗ! Αφού διαβάσετε το άρθρο, μπορείτε να πείτε: Λοιπόν, φυσικά, ο πωλητής θα ελέγξει τον εαυτό του, ώστε όλα να λειτουργούν "με ένα κτύπημα", συνθήκες θερμοκηπίου κ.λπ. Θα απαντήσω: τίποτα τέτοιο! Σε αντίθεση με τους ξένους ανταγωνιστές μας, βρισκόμαστε εδώ, κοντά σας, και μπορείτε πάντα να έρθετε σε εμάς (στη Μόσχα ή σε οποιαδήποτε Κεντρική Επιτροπή) και να δοκιμάσετε το σύστημα αποθήκευσης με οποιονδήποτε τρόπο. Έτσι, δεν έχει πολύ νόημα να προσαρμόσουμε τα αποτελέσματα σε μια ιδανική εικόνα του κόσμου, γιατί Ελέγχουμε πολύ εύκολα. Για όσους είναι πολύ τεμπέληδες να πάνε και δεν έχουν χρόνο, μπορούμε να οργανώσουμε δοκιμές εξ αποστάσεως. Έχουμε ένα ειδικό εργαστήριο για αυτό. Επικοινωνήστε μαζί μας.
ACHTUNG-2! Αυτή η δοκιμή δεν είναι δοκιμή φορτίου, γιατί εδώ μας ενδιαφέρει μόνο η ανοχή σφαλμάτων. Σε μερικές εβδομάδες, θα ετοιμάσουμε μια πιο ισχυρή βάση και θα πραγματοποιήσουμε δοκιμή φόρτωσης του συστήματος αποθήκευσης, δημοσιεύοντας τα αποτελέσματα εδώ (παρεμπιπτόντως, αιτήματα για δοκιμές γίνονται δεκτά).
Λοιπόν, πάμε να το σπάσουμε.
Περίπτερο δοκιμής
Το περίπτερό μας αποτελείται από το ακόλουθο υλικό:
- 1 x σύστημα αποθήκευσης Aerodisk Engine N2 (2 ελεγκτές, 64 GB cache, 8 θύρες xFC 8 Gb/s, 4 θύρες Ethernet 10 Gb/s SFP+, 4 θύρες Ethernet 1 Gb/s). Οι ακόλουθοι δίσκοι είναι εγκατεστημένοι στο σύστημα αποθήκευσης:
- 4 x SAS δίσκοι SSD 900 GB.
- 12 x SAS 10k δίσκους 1,2 TB;
- 1 x Φυσικός διακομιστής με Windows Server 2016 (2xXeon E5 2667 v3, 96 GB RAM, 2 θύρες xFC 8 Gb/s, 2 θύρες Ethernet 10 Gb/s SFP+).
- 2 x διακόπτης SAN 8G.
- 2 x διακόπτης LAN 10G.
Συνδέσαμε τον διακομιστή στο σύστημα αποθήκευσης μέσω διακοπτών μέσω FC και 10G Ethernet. Το διάγραμμα βάσης είναι παρακάτω.
Τα στοιχεία που χρειαζόμαστε, όπως το MPIO και το iSCSI initiator, είναι εγκατεστημένα στον Windows Server.
Οι ζώνες διαμορφώνονται στους διακόπτες FC, τα αντίστοιχα VLAN διαμορφώνονται στους διακόπτες LAN και το MTU 9000 είναι εγκατεστημένο στις θύρες αποθήκευσης, τους διακόπτες και τον κεντρικό υπολογιστή (πώς να τα κάνετε όλα αυτά περιγράφεται στην τεκμηρίωσή μας, επομένως δεν θα περιγράψουμε αυτή η διαδικασία εδώ).
Μεθοδολογία Δοκιμών
Το σχέδιο δοκιμών πρόσκρουσης έχει ως εξής:
- Έλεγχος αποτυχίας των θυρών FC και Ethernet.
- Έλεγχος διακοπής ρεύματος.
- Έλεγχος αστοχίας ελεγκτή.
- Έλεγχος για αποτυχία δίσκου σε ομάδα/ομάδα.
Όλες οι δοκιμές θα πραγματοποιηθούν υπό συνθήκες συνθετικού φορτίου, τις οποίες θα δημιουργήσουμε από το πρόγραμμα IOMETER. Παράλληλα, θα εκτελέσουμε τις ίδιες δοκιμές, αλλά υπό συνθήκες αντιγραφής μεγάλων αρχείων στο σύστημα αποθήκευσης.
Η διαμόρφωση IOmeter έχει ως εξής:
- Ανάγνωση/Εγγραφή – 70/30
- Block – 128k (αποφασίσαμε να πλύνουμε τα συστήματα αποθήκευσης σε μεγάλα μπλοκ)
- Αριθμός νημάτων – 128 (που μοιάζει πολύ με το παραγωγικό φορτίο)
- Πλήρως Τυχαίο
- Αριθμός Εργαζομένων – 4 (2 για FC, 2 για iSCSI)
Το τεστ έχει τους εξής στόχους:
- Βεβαιωθείτε ότι η διαδικασία συνθετικής φόρτωσης και αντιγραφής δεν θα διακόψει ή θα προκαλέσει σφάλματα σε διάφορα σενάρια αστοχίας.
- Βεβαιωθείτε ότι η διαδικασία εναλλαγής θυρών, ελεγκτών κ.λπ. είναι επαρκώς αυτοματοποιημένη και δεν απαιτεί ενέργειες διαχειριστή σε περίπτωση αστοχίας (δηλαδή κατά τη διάρκεια των failover, δεν μιλάμε για failback, φυσικά).
- Βεβαιωθείτε ότι οι πληροφορίες στα αρχεία καταγραφής εμφανίζονται σωστά.
Προετοιμασία του συστήματος υποδοχής και αποθήκευσης
Διαμορφώσαμε την πρόσβαση μπλοκ στο σύστημα αποθήκευσης χρησιμοποιώντας θύρες FC και Ethernet (FC και iSCSI, αντίστοιχα). Τα παιδιά από το TS Solution περιέγραψαν λεπτομερώς πώς να το κάνουν αυτό σε προηγούμενο άρθρο (). Και, φυσικά, κανείς δεν ακύρωσε τα εγχειρίδια και τα μαθήματα.
Δημιουργήσαμε μια υβριδική ομάδα χρησιμοποιώντας όλους τους δίσκους που είχαμε. 2 δίσκοι SSD προστέθηκαν στην κρυφή μνήμη, 2 δίσκοι SSD προστέθηκαν ως πρόσθετο επίπεδο αποθήκευσης (Online-tier). Ομαδοποιήσαμε 12 μονάδες SAS10k σε RAID-60P (τριπλή ισοτιμία) για να ελέγξουμε την αποτυχία τριών μονάδων δίσκου στην ομάδα ταυτόχρονα. Ένας δίσκος έμεινε για αυτόματη αντικατάσταση.
Συνδέσαμε δύο LUN (ένας μέσω FC, ένας μέσω iSCSI).
Ο ιδιοκτήτης και των δύο LUN είναι ο ελεγκτής Engine-0
Ας ξεκινήσουμε τη δοκιμή
Ενεργοποιούμε το IOMETER με την παραπάνω διαμόρφωση.
Καταγράφουμε απόδοση 1.8 GB/s και καθυστέρηση 3 χιλιοστών του δευτερολέπτου. Δεν υπάρχουν σφάλματα (Total Error Count).
Ταυτόχρονα, από την τοπική μονάδα δίσκου «C» του κεντρικού υπολογιστή μας, ξεκινάμε παράλληλα την αντιγραφή δύο μεγάλων αρχείων 100 GB σε LUN αποθήκευσης FC και iSCSI (δίσκοι E και G στα Windows), χρησιμοποιώντας άλλες διεπαφές.
Πάνω είναι η διαδικασία αντιγραφής στο LUN FC, παρακάτω στο iSCSI.
Δοκιμή #1: Απενεργοποίηση θυρών I/O
Πλησιάζουμε το σύστημα αποθήκευσης από πίσω))) και με μια ελαφριά κίνηση του χεριού βγάζουμε όλα τα καλώδια FC και Ethernet 10G από τον ελεγκτή Engine-0. Είναι σαν να πέρασε μια καθαρίστρια με σφουγγαρίστρα και αποφάσισε να πλύνει το πάτωμα ακριβώς εκεί που ήταν η μύξα και τα καλώδια (δηλαδή το χειριστήριο εξακολουθεί να λειτουργεί, αλλά οι θύρες I/O είναι νεκρές).
Ας δούμε το IOMETER και την αντιγραφή αρχείων. Η απόδοση έπεσε στα 0,5 GB/s, αλλά γρήγορα επέστρεψε στο προηγούμενο επίπεδο (σε περίπου 4-5 δευτερόλεπτα). Δεν υπάρχουν σφάλματα.
Η αντιγραφή αρχείων δεν έχει σταματήσει, υπάρχει πτώση στην ταχύτητα, αλλά δεν είναι καθόλου κρίσιμη (από 840 MB/s έπεσε στα 720 MB/s). Η αντιγραφή δεν έχει σταματήσει.
Εξετάζουμε τα αρχεία καταγραφής του συστήματος αποθήκευσης και βλέπουμε ένα μήνυμα σχετικά με τη μη διαθεσιμότητα των θυρών και την αυτόματη μετεγκατάσταση της ομάδας.
Ο πίνακας πληροφοριών μας λέει επίσης ότι δεν είναι όλα πολύ καλά με τις θύρες FC.
Το σύστημα αποθήκευσης επέζησε από βλάβη των θυρών I/O επιτυχώς.
Δοκιμή Νο. 2. Απενεργοποίηση του ελεγκτή αποθήκευσης
Σχεδόν αμέσως (αφού συνδέσαμε ξανά τα καλώδια στο σύστημα αποθήκευσης) αποφασίσαμε να ολοκληρώσουμε το σύστημα αποθήκευσης τραβώντας το χειριστήριο έξω από το πλαίσιο.
Και πάλι πλησιάζουμε το σύστημα αποθήκευσης από πίσω (μας άρεσε))) και αυτή τη φορά βγάζουμε τον ελεγκτή Engine-1, που αυτή τη στιγμή είναι ο ιδιοκτήτης του RDG (στο οποίο μετακόμισε η ομάδα).
Η κατάσταση στο IOmeter είναι η εξής. Το I/O σταμάτησε για περίπου 5 δευτερόλεπτα. Τα σφάλματα δεν συσσωρεύονται.
Μετά από 5 δευτερόλεπτα, η I/O συνεχίστηκε με περίπου την ίδια απόδοση, αλλά με λανθάνοντες χρόνους 35 χιλιοστών του δευτερολέπτου (οι καθυστερήσεις διορθώθηκαν μετά από περίπου μερικά λεπτά). Όπως φαίνεται από τα στιγμιότυπα οθόνης, η τιμή Συνολικού αριθμού σφαλμάτων είναι 0, δηλαδή δεν υπήρχαν σφάλματα γραφής ή ανάγνωσης.
Ας δούμε την αντιγραφή των αρχείων μας. Όπως μπορείτε να δείτε, δεν διακόπηκε, υπήρξε μια μικρή πτώση στην απόδοση, αλλά συνολικά όλα επέστρεψαν στα ίδια ~ 800 MB/s.
Πηγαίνουμε στο σύστημα αποθήκευσης και βλέπουμε μια κατάρα στον πίνακα πληροφοριών ότι το χειριστήριο Engine-1 δεν είναι διαθέσιμο (φυσικά, το σκοτώσαμε).
Βλέπουμε επίσης μια παρόμοια καταχώρηση στα αρχεία καταγραφής.
Ο ελεγκτής αποθήκευσης επέζησε επίσης από μια βλάβη επιτυχώς.
Δοκιμή Νο. 3: Αποσύνδεση του τροφοδοτικού.
Για κάθε ενδεχόμενο, ξεκινήσαμε ξανά την αντιγραφή αρχείων, αλλά δεν σταματήσαμε το IOMETER.
Τραβάμε τη μονάδα τροφοδοσίας.
Μια άλλη ειδοποίηση προστέθηκε στο σύστημα αποθήκευσης στον πίνακα πληροφοριών.
Επίσης, στο μενού αισθητήρων βλέπουμε ότι οι αισθητήρες που σχετίζονται με το αποσυρμένο τροφοδοτικό έχουν γίνει κόκκινο.
Το σύστημα αποθήκευσης συνεχίζει να λειτουργεί. Η βλάβη της μονάδας τροφοδοσίας δεν επηρεάζει σε καμία περίπτωση τη λειτουργία του συστήματος αποθήκευσης· από την πλευρά του οικοδεσπότη, οι ενδείξεις ταχύτητας αντιγραφής και IOMETER παρέμειναν αμετάβλητες.
Το τεστ διακοπής ρεύματος πέρασε επιτυχώς.
Πριν από την τελική δοκιμή, αποφασίσαμε να επαναφέρουμε λίγο στη ζωή το σύστημα αποθήκευσης, να επαναφέρουμε τον ελεγκτή και τη μονάδα τροφοδοσίας και επίσης να βάλουμε σε τάξη τα καλώδια, για τα οποία το σύστημα αποθήκευσης μας ενημέρωσε με χαρά με πράσινα εικονίδια στον πίνακα υγείας του .
Δοκιμή Νο. 4. Αποτυχία τριών δίσκων σε μια ομάδα
Πριν από αυτή τη δοκιμή, πραγματοποιήσαμε ένα πρόσθετο βήμα προετοιμασίας. Το γεγονός είναι ότι το σύστημα αποθήκευσης ENGINE παρέχει ένα πολύ χρήσιμο πράγμα - διαφορετικές πολιτικές ανακατασκευής. Το TS Solution έγραψε για αυτό το χαρακτηριστικό νωρίτερα, αλλά ας θυμηθούμε την ουσία του. Ο διαχειριστής αποθήκευσης μπορεί να καθορίσει την προτεραιότητα για την κατανομή πόρων κατά την ανακατασκευή. Είτε προς την κατεύθυνση της απόδοσης I/O, δηλαδή, η αναδόμηση διαρκεί περισσότερο, αλλά δεν υπάρχει μείωση απόδοσης. Ή προς την κατεύθυνση της ταχύτητας ανοικοδόμησης, αλλά η παραγωγικότητα θα μειωθεί. Ή μια ισορροπημένη επιλογή. Δεδομένου ότι η απόδοση αποθήκευσης κατά την αναδόμηση της ομάδας δίσκου είναι πάντα ο πονοκέφαλος του διαχειριστή, θα δοκιμάσουμε μια πολιτική με προκατάληψη προς την απόδοση I/O και σε βάρος της ταχύτητας αναδόμησης.
Τώρα ας ελέγξουμε για αποτυχία του δίσκου. Επίσης, ενεργοποιούμε την εγγραφή σε LUN (αρχεία και IOMETER). Εφόσον έχουμε μια ομάδα με τριπλή ισοτιμία (RAID-60P), αυτό σημαίνει ότι το σύστημα πρέπει να αντέξει την αποτυχία τριών δίσκων και μετά την αποτυχία, η αυτόματη αντικατάσταση πρέπει να λειτουργήσει, ένας δίσκος πρέπει να αντικαταστήσει έναν από τους αποτυχημένους δίσκους. στο RDG, και η ανοικοδόμηση πρέπει να ξεκινήσει σε αυτό.
Αρχίζουν. Αρχικά, μέσω της διεπαφής αποθήκευσης, ας επισημάνουμε τους δίσκους που θέλουμε να βγάλουμε (για να μην χάσουμε και τραβήξουμε το δίσκο αυτόματης αλλαγής).
Ελέγχουμε την ένδειξη στο υλικό. Όλα είναι εντάξει, βλέπουμε τρεις επισημασμένους δίσκους.
Και βγάζουμε αυτούς τους τρεις δίσκους.
Ας δούμε τι υπάρχει στον οικοδεσπότη. Και εκεί... δεν έγινε τίποτα το ιδιαίτερο.
Οι ενδείξεις αντιγραφής (είναι υψηλότερες από την αρχή, γιατί έχει ζεσταθεί η κρυφή μνήμη) και το IOMETER δεν αλλάζουν πολύ κατά την αφαίρεση των δίσκων και την έναρξη της ανακατασκευής (μέσα στο 5-10%).
Ας δούμε τι υπάρχει στο σύστημα αποθήκευσης.
Στο status του ομίλου βλέπουμε ότι έχει ξεκινήσει η διαδικασία αναδιάρθρωσης και είναι κοντά στην ολοκλήρωση.
Στον σκελετό RDG μπορείτε να δείτε ότι 2 δίσκοι είναι σε κόκκινη κατάσταση και ένας έχει ήδη αντικατασταθεί. Ο δίσκος αυτόματης αντικατάστασης δεν υπάρχει πλέον, αντικατέστησε τον 3ο αποτυχημένο δίσκο. Η αναδόμηση κράτησε αρκετά λεπτά, η εγγραφή αρχείων όταν απέτυχαν 3 δίσκοι δεν διακόπηκε και η απόδοση I/O δεν άλλαξε πολύ.
Το τεστ αποτυχίας δίσκου σίγουρα πέρασε επιτυχώς.
Συμπέρασμα
Σε αυτό το σημείο, αποφασίσαμε να σταματήσουμε τη βία κατά των συστημάτων αποθήκευσης. Ας συνοψίσουμε:
- Έλεγχος αποτυχίας θύρας FC - επιτυχής
- Έλεγχος αποτυχίας θύρας Ethernet - επιτυχής
- Έλεγχος αποτυχίας ελεγκτή - επιτυχής
- Δοκιμή διακοπής ρεύματος - Επιτυχής
- Έλεγχος αποτυχίας δίσκου στο grouppool - επιτυχής
Καμία από τις αστοχίες δεν σταμάτησε την εγγραφή ή δεν προκάλεσε σφάλματα στο συνθετικό φορτίο· φυσικά, υπήρξε ένα χτύπημα απόδοσης (και ξέρουμε πώς να το ξεπεράσουμε, το οποίο θα κάνουμε σύντομα), αλλά δεδομένου ότι πρόκειται για δευτερόλεπτα, είναι αρκετά αποδεκτό. Συμπέρασμα: η ανοχή σφαλμάτων όλων των εξαρτημάτων του συστήματος αποθήκευσης AERODISK λειτούργησε σε επίπεδο, δεν υπήρχαν σημεία αστοχίας.
Προφανώς, σε ένα άρθρο δεν μπορούμε να δοκιμάσουμε όλα τα σενάρια αποτυχίας, αλλά προσπαθήσαμε να καλύψουμε τα πιο δημοφιλή. Επομένως, στείλτε τα σχόλιά σας, τις προτάσεις σας για μελλοντικές δημοσιεύσεις και, φυσικά, την επαρκή κριτική. Θα χαρούμε να συζητήσουμε (ή καλύτερα, ελάτε στην προπόνηση, αντιγράφω το πρόγραμμα για κάθε ενδεχόμενο)! Μέχρι νέες δοκιμές!
- Νίζνι Νόβγκοροντ (ΗΔΗ ΑΝΟΙΧΤΟ - μπορείτε να εγγραφείτε εδώ );
Μέχρι τις 16 Απριλίου 2019 μπορείτε να επισκεφτείτε το κέντρο οποιαδήποτε ώρα εργασίας και στις 16 Απριλίου 2019 θα διοργανωθεί μεγάλο σεμινάριο κατάρτισης. - Κρασνοντάρ (ΑΝΟΙΓΕΙ ΣΥΝΤΟΜΑ - μπορείτε να εγγραφείτε εδώ );
Από τις 9 Απριλίου έως τις 25 Απριλίου 2019 μπορείτε να επισκεφτείτε το κέντρο οποιαδήποτε ώρα εργασίας και στις 25 Απριλίου 2019 θα διοργανωθεί ένα μεγάλο εκπαιδευτικό σεμινάριο. - Αικατερινούπολη (ΑΝΟΙΓΕΙ ΣΥΝΤΟΜΑ, ακολουθήστε τις πληροφορίες στον ιστότοπό μας ή στο Habré).
Μάιος-Ιούνιος 2019. - Νοβοσιμπίρσκ (ακολουθήστε τις πληροφορίες στον ιστότοπό μας ή στο Habré).
Οκτώβριος 2019 - Κρασνογιάρσκ (ακολουθήστε τις πληροφορίες στον ιστότοπό μας ή στο Habré).
Νοέμβριος 2019
Πηγή: www.habr.com