AERODISK इंजन N2 भंडारण प्रणाली का क्रैश परीक्षण, शक्ति परीक्षण

नमस्ते! इस लेख के साथ, AERODISK हैबे पर एक ब्लॉग खोलता है। हुर्रे, साथियों!

हैबे पर पिछले लेखों में भंडारण प्रणालियों की वास्तुकला और बुनियादी विन्यास के बारे में सवालों पर चर्चा की गई थी। इस लेख में हम एक ऐसे प्रश्न पर विचार करेंगे जिसे पहले कवर नहीं किया गया है, लेकिन अक्सर पूछा जाता है - एयरोडिस्क इंजन स्टोरेज सिस्टम की दोष सहनशीलता के बारे में। हमारी टीम यह सुनिश्चित करने के लिए सब कुछ करेगी कि AERODISK स्टोरेज सिस्टम काम करना बंद कर दे, यानी। इसे तोड़ना।

ऐसा हुआ कि हमारी कंपनी के इतिहास के बारे में, हमारे उत्पादों के बारे में, साथ ही सफल कार्यान्वयन का एक उदाहरण पहले से ही हैबे पर लटका हुआ है, जिसके लिए हमारे साझेदारों - टीएस सॉल्यूशन और सॉफ्टलाइन कंपनियों को बहुत धन्यवाद।

इसलिए, मैं यहां कॉपी-पेस्ट प्रबंधन कौशल का प्रशिक्षण नहीं दूंगा, बल्कि इन लेखों के मूल के लिंक प्रदान करूंगा:

• अनुच्छेद संख्या 1. कंपनी के इतिहास और एयरोडिस्क इंजन स्टोरेज सिस्टम की वास्तुकला के बारे में
• अनुच्छेद संख्या 2. एरोडिस्क इंजन स्टोरेज सिस्टम को जल्दी से कैसे सेट करें
• अनुच्छेद संख्या 3. सेफ सिटी परियोजना के हिस्से के रूप में 2018 फीफा विश्व कप के लिए बड़े पैमाने पर वीडियो निगरानी के कार्यान्वयन के बारे में एक दिलचस्प परियोजना

मैं भी अच्छी खबर साझा करना चाहता हूं. लेकिन निस्संदेह, मैं समस्या से शुरुआत करूंगा। हम, एक युवा विक्रेता के रूप में, अन्य लागतों के अलावा, लगातार इस तथ्य का सामना कर रहे हैं कि कई इंजीनियरों और प्रशासकों को यह नहीं पता है कि हमारी भंडारण प्रणाली को ठीक से कैसे संचालित किया जाए।
यह स्पष्ट है कि प्रशासक के दृष्टिकोण से अधिकांश भंडारण प्रणालियों का प्रबंधन लगभग एक जैसा ही दिखता है, लेकिन प्रत्येक निर्माता की अपनी विशेषताएं होती हैं। और हम यहां कोई अपवाद नहीं हैं.

इसलिए, आईटी विशेषज्ञों के प्रशिक्षण के कार्य को सरल बनाने के लिए, हमने इस वर्ष को निःशुल्क शिक्षा के लिए समर्पित करने का निर्णय लिया। ऐसा करने के लिए, रूस के कई बड़े शहरों में हम AERODISK सक्षमता केंद्रों का एक नेटवर्क खोल रहे हैं, जिसमें कोई भी इच्छुक तकनीकी विशेषज्ञ बिल्कुल मुफ्त पाठ्यक्रम ले सकता है और AERODISK इंजन भंडारण प्रणालियों के प्रशासन में प्रमाणपत्र प्राप्त कर सकता है।

प्रत्येक सक्षमता केंद्र में हम एयरोडिस्क स्टोरेज सिस्टम और एक भौतिक सर्वर से एक पूर्ण डेमो स्टैंड स्थापित करेंगे, जिस पर हमारे शिक्षक आमने-सामने प्रशिक्षण आयोजित करेंगे। हम सक्षमता केंद्रों के प्रकट होने पर उनके कार्य शेड्यूल को प्रकाशित करेंगे, लेकिन हमने पहले ही निज़नी नोवगोरोड में एक केंद्र खोल दिया है और क्रास्नोडार शहर अगला है। आप नीचे दिए गए लिंक का उपयोग करके प्रशिक्षण के लिए साइन अप कर सकते हैं। यहां शहरों और तारीखों के बारे में वर्तमान में ज्ञात जानकारी दी गई है:

• निज़नी नोवगोरोड (पहले से ही खुला है - आप यहां साइन अप कर सकते हैं https://aerodisk.promo/nn/);
  16 अप्रैल 2019 तक आप किसी भी कार्य समय पर केंद्र पर आ सकते हैं और 16 अप्रैल 2019 को एक बड़ा प्रशिक्षण पाठ्यक्रम आयोजित किया जाएगा।
• क्रास्नोडर (जल्द ही खुल रहा है - आप यहां साइन अप कर सकते हैं https://aerodisk.promo/krsnd/ );
  9 अप्रैल से 25 अप्रैल 2019 तक आप किसी भी कार्य समय पर केंद्र पर आ सकते हैं और 25 अप्रैल 2019 को एक बड़ा प्रशिक्षण पाठ्यक्रम आयोजित किया जाएगा।
• येकाटरिंगबर्ग (जल्द ही खुल रहा है, हमारी वेबसाइट या हैबे पर दी गई जानकारी का पालन करें);
  मई-जून 2019.
• नोवोसिबिर्स्क (हमारी वेबसाइट या हैबे पर जानकारी का पालन करें);
  अक्टूबर 2019.
• कार्सनोयार्क्स (हमारी वेबसाइट या हैबे पर जानकारी का पालन करें);
  नवंबर 2019.

और, निःसंदेह, यदि मास्को आपसे बहुत दूर नहीं है, तो आप किसी भी समय मास्को में हमारे कार्यालय में जा सकते हैं और इसी तरह का प्रशिक्षण ले सकते हैं।

सभी। हमने मार्केटिंग पूरी कर ली है, चलिए प्रौद्योगिकी की ओर बढ़ते हैं!

हैबे पर हम नियमित रूप से अपने उत्पादों, लोड परीक्षणों, तुलनाओं, उपयोग की विशेषताओं और दिलचस्प कार्यान्वयन के बारे में तकनीकी लेख प्रकाशित करेंगे।

AERODISK इंजन N2 भंडारण प्रणाली का क्रैश परीक्षण, शक्ति परीक्षण

चेतावनी! लेख पढ़ने के बाद, आप कह सकते हैं: ठीक है, निश्चित रूप से, विक्रेता स्वयं जाँच करेगा कि सब कुछ "धमाके के साथ", ग्रीनहाउस स्थितियों आदि में काम करता है। मैं उत्तर दूंगा: ऐसा कुछ नहीं! हमारे विदेशी प्रतिस्पर्धियों के विपरीत, हम यहां आपके करीब स्थित हैं, और आप हमेशा हमारे पास (मास्को या किसी केंद्रीय समिति में) आ सकते हैं और किसी भी तरह से हमारी भंडारण प्रणाली का परीक्षण कर सकते हैं। इस प्रकार, हमारे लिए परिणामों को दुनिया की एक आदर्श तस्वीर में समायोजित करने का कोई मतलब नहीं है, क्योंकि हमें जांचना बहुत आसान है. उन लोगों के लिए जो जाने में बहुत आलसी हैं और उनके पास समय नहीं है, हम दूरस्थ परीक्षण का आयोजन कर सकते हैं। इसके लिए हमारे पास एक विशेष प्रयोगशाला है। संपर्क करें।

अचतुंग-2! यह परीक्षण लोड परीक्षण नहीं है, क्योंकि यहां हम केवल दोष सहनशीलता की परवाह करते हैं। कुछ हफ़्तों में, हम एक अधिक शक्तिशाली स्टैंड तैयार करेंगे और भंडारण प्रणाली का लोड परीक्षण करेंगे, परिणाम यहां प्रकाशित करेंगे (वैसे, परीक्षण के अनुरोध स्वीकार किए जाते हैं)।

तो चलिए इसे तोड़ते हैं।

परीक्षण स्टैंड

हमारे स्टैंड में निम्नलिखित हार्डवेयर शामिल हैं:

• 1 x एयरोडिस्क इंजन N2 स्टोरेज सिस्टम (2 कंट्रोलर, 64GB कैश, 8xFC पोर्ट 8Gb/s, 4xईथरनेट पोर्ट 10Gb/s SFP+, 4xईथरनेट पोर्ट 1Gb/s); स्टोरेज सिस्टम में निम्नलिखित डिस्क स्थापित हैं:
• 4 x एसएएस एसएसडी डिस्क 900 जीबी;
• 12 x एसएएस 10k डिस्क 1,2 टीबी;
• विंडोज सर्वर 1 के साथ 2016 एक्स भौतिक सर्वर (2xXeon E5 2667 v3, 96GB RAM, 2xFC पोर्ट 8Gb/s, 2xईथरनेट पोर्ट 10Gb/s SFP+);
• 2 x SAN 8G स्विच;
• 2 एक्स लैन 10जी स्विच;

हमने एफसी और 10जी ईथरनेट दोनों के माध्यम से स्विच के माध्यम से सर्वर को स्टोरेज सिस्टम से जोड़ा। स्टैंड आरेख नीचे है.

हमें जिन घटकों की आवश्यकता है, जैसे MPIO और iSCSI आरंभकर्ता, वे Windows सर्वर पर स्थापित हैं।
ज़ोन को एफसी स्विच पर कॉन्फ़िगर किया गया है, संबंधित वीएलएएन को लैन स्विच पर कॉन्फ़िगर किया गया है, और एमटीयू 9000 को स्टोरेज पोर्ट, स्विच और होस्ट पर स्थापित किया गया है (यह सब कैसे करना है यह हमारे दस्तावेज़ में वर्णित है, इसलिए हम इसका वर्णन नहीं करेंगे यह प्रक्रिया यहाँ)।

परीक्षण पद्धति

क्रैश टेस्ट योजना इस प्रकार है:

• एफसी और ईथरनेट पोर्ट की विफलता की जाँच करना।
• बिजली विफलता की जाँच.
• नियंत्रक विफलता जाँच.
• समूह/पूल में डिस्क विफलता की जाँच करना।

सभी परीक्षण सिंथेटिक लोड स्थितियों के तहत किए जाएंगे, जिन्हें हम IOMETER प्रोग्राम द्वारा उत्पन्न करेंगे। समानांतर में, हम वही परीक्षण करेंगे, लेकिन बड़ी फ़ाइलों को स्टोरेज सिस्टम में कॉपी करने की शर्तों के तहत।

IOmeter कॉन्फ़िगरेशन इस प्रकार है:

• पढ़ें/लिखें - 70/30
• ब्लॉक - 128k (हमने भंडारण प्रणालियों को बड़े ब्लॉकों में धोने का निर्णय लिया)
• धागों की संख्या - 128 (जो उत्पादक भार के समान है)
• पूर्ण यादृच्छिक
• श्रमिकों की संख्या - 4 (एफसी के लिए 2, आईएससीएसआई के लिए 2)

परीक्षण के निम्नलिखित उद्देश्य हैं:

1. सुनिश्चित करें कि सिंथेटिक लोड और कॉपी प्रक्रिया विभिन्न विफलता परिदृश्यों के तहत बाधित या त्रुटियों का कारण नहीं बनेगी।
2. सुनिश्चित करें कि पोर्ट, कंट्रोलर इत्यादि को स्विच करने की प्रक्रिया पर्याप्त रूप से स्वचालित है और विफलताओं के मामले में प्रशासक की कार्रवाई की आवश्यकता नहीं है (यानी, विफलता के दौरान, हम निश्चित रूप से विफलता के बारे में बात नहीं कर रहे हैं)।
3. सुनिश्चित करें कि लॉग में जानकारी सही ढंग से प्रदर्शित हो।

होस्ट और भंडारण प्रणाली तैयार करना

हमने एफसी और ईथरनेट पोर्ट (क्रमशः एफसी और आईएससीएसआई) का उपयोग करके स्टोरेज सिस्टम पर ब्लॉक एक्सेस को कॉन्फ़िगर किया है। टीएस सॉल्यूशन के लोगों ने पिछले लेख में यह कैसे करना है इसका विस्तार से वर्णन किया है (https://habr.com/ru/company/tssolution/blog/432876/). और, ज़ाहिर है, किसी ने भी मैनुअल और पाठ्यक्रम रद्द नहीं किए।

हमारे पास मौजूद सभी ड्राइव्स का उपयोग करके हमने एक हाइब्रिड समूह स्थापित किया। 2 एसएसडी डिस्क को कैश में जोड़ा गया, 2 एसएसडी डिस्क को अतिरिक्त स्टोरेज टियर (ऑनलाइन-टियर) के रूप में जोड़ा गया। समूह में एक साथ तीन ड्राइव की विफलता की जांच करने के लिए हमने 12 SAS10k ड्राइव को RAID-60P (ट्रिपल पैरिटी) में समूहीकृत किया। एक डिस्क स्वतः प्रतिस्थापन के लिए छोड़ी गई थी।

हमने दो LUN कनेक्ट किए (एक FC के माध्यम से, एक iSCSI के माध्यम से)।

दोनों LUN का स्वामी इंजन-0 नियंत्रक है

आइए परीक्षण शुरू करें

हम उपरोक्त कॉन्फ़िगरेशन के साथ IOMETER को सक्षम करते हैं।

हम 1.8 जीबी/एस का थ्रूपुट और 3 मिलीसेकंड की विलंबता रिकॉर्ड करते हैं। कोई त्रुटि नहीं है (कुल त्रुटि गणना)।

साथ ही, हमारे होस्ट के स्थानीय ड्राइव "सी" से, हम समानांतर रूप से अन्य इंटरफेस का उपयोग करके एफसी और आईएससीएसआई स्टोरेज एलयूएन (विंडोज़ में ड्राइव ई और जी) में दो बड़ी 100 जीबी फ़ाइलों की प्रतिलिपि बनाना शुरू करते हैं।

ऊपर LUN FC में कॉपी करने की प्रक्रिया है, नीचे iSCSI में।

परीक्षण #1: I/O पोर्ट अक्षम करना

हम पीछे से स्टोरेज सिस्टम के पास जाते हैं))) और हाथ की हल्की सी हरकत से हम इंजन-10 कंट्रोलर से सभी एफसी और ईथरनेट 0जी केबल को बाहर निकाल देते हैं। यह ऐसा है जैसे एक सफाई करने वाली महिला पोछा लेकर वहां से गुजरी और उसने फर्श को वहीं धोने का फैसला किया, जहां पर स्नोट पड़ा था और केबल पड़े थे (यानी नियंत्रक अभी भी काम करता है, लेकिन I/O पोर्ट बंद हैं)।

आइए IOMETER और कॉपी की जा रही फ़ाइलों को देखें। थ्रूपुट 0,5 जीबी/सेकंड तक गिर गया, लेकिन जल्दी ही अपने पिछले स्तर पर वापस आ गया (लगभग 4-5 सेकंड में)। कोई त्रुटि नहीं है.

फ़ाइलों की प्रतिलिपि बनाना बंद नहीं हुआ है, गति में गिरावट आई है, लेकिन यह बिल्कुल भी महत्वपूर्ण नहीं है (840 एमबी/सेकंड से घटकर 720 एमबी/सेकेंड हो गया है)। नकल रुकी नहीं है.

हम स्टोरेज सिस्टम लॉग देखते हैं और पोर्ट की अनुपलब्धता और समूह के स्वचालित स्थानांतरण के बारे में एक संदेश देखते हैं।

सूचना पैनल हमें यह भी बताता है कि एफसी पोर्ट के साथ सब कुछ बहुत अच्छा नहीं है।

भंडारण प्रणाली I/O पोर्ट की विफलता से बच गई सफलतापूर्वक।

परीक्षण संख्या 2. भंडारण नियंत्रक को अक्षम करना

लगभग तुरंत (केबलों को स्टोरेज सिस्टम में वापस प्लग करने के बाद) हमने कंट्रोलर को चेसिस से बाहर खींचकर स्टोरेज सिस्टम को खत्म करने का फैसला किया।

फिर से हम पीछे से स्टोरेज सिस्टम के पास जाते हैं (हमें यह पसंद आया))) और इस बार हम इंजन-1 कंट्रोलर को बाहर निकालते हैं, जो इस समय आरडीजी का मालिक है (जिस पर समूह चला गया)।

आईओमीटर की स्थिति इस प्रकार है। I/O लगभग 5 सेकंड के लिए रुका। त्रुटियाँ एकत्रित नहीं होतीं।

5 सेकंड के बाद, I/O लगभग उसी थ्रूपुट के साथ फिर से शुरू हुआ, लेकिन 35 मिलीसेकंड की विलंबता के साथ (लगभग कुछ मिनटों के बाद विलंबता ठीक हो गई)। जैसा कि स्क्रीनशॉट से देखा जा सकता है, कुल त्रुटि गणना मान 0 है, यानी, कोई लेखन या पढ़ने में त्रुटियां नहीं थीं।

आइए हमारी फ़ाइलों की प्रतिलिपि बनाने पर नज़र डालें। जैसा कि आप देख सकते हैं, यह बाधित नहीं हुआ, प्रदर्शन में थोड़ी गिरावट आई, लेकिन कुल मिलाकर सब कुछ उसी ~ 800 एमबी/सेकेंड पर वापस आ गया।

हम भंडारण प्रणाली में जाते हैं और सूचना पैनल में एक अभिशाप देखते हैं कि इंजन -1 नियंत्रक अनुपलब्ध है (बेशक, हमने इसे मार दिया है)।

हम लॉग में भी ऐसी ही प्रविष्टि देखते हैं।

भंडारण नियंत्रक भी विफलता से बच गया सफलतापूर्वक।

परीक्षण संख्या 3: बिजली आपूर्ति को डिस्कनेक्ट करना।

बस मामले में, हमने फ़ाइलों को फिर से कॉपी करना शुरू कर दिया, लेकिन IOMETER को नहीं रोका।
हम बिजली आपूर्ति इकाई को खींचते हैं।

सूचना पैनल में भंडारण प्रणाली में एक और चेतावनी जोड़ी गई है।

इसके अलावा सेंसर मेनू में हम देखते हैं कि खींची गई बिजली आपूर्ति से जुड़े सेंसर लाल हो गए हैं।

भंडारण प्रणाली काम करती रहती है. बिजली आपूर्ति इकाई की विफलता किसी भी तरह से भंडारण प्रणाली के संचालन को प्रभावित नहीं करती है; मेजबान के दृष्टिकोण से, प्रतिलिपि गति और IOMETER संकेतक अपरिवर्तित रहे।

बिजली विफलता परीक्षण उत्तीर्ण हुआ सफलतापूर्वक।

अंतिम परीक्षण से पहले, हमने भंडारण प्रणाली को थोड़ा पुनर्जीवित करने, नियंत्रक और बिजली आपूर्ति इकाई को वापस लाने और केबलों को भी व्यवस्थित करने का निर्णय लिया, जिसके बारे में भंडारण प्रणाली ने खुशी से हमें अपने स्वास्थ्य पैनल में हरे आइकन के साथ सूचित किया। .

टेस्ट नंबर 4. एक समूह में तीन डिस्क की विफलता

इस परीक्षण से पहले, हमने तैयारी का एक अतिरिक्त चरण पूरा किया। तथ्य यह है कि इंजन भंडारण प्रणाली एक बहुत ही उपयोगी चीज प्रदान करती है - विभिन्न पुनर्निर्माण नीतियां। टीएस सॉल्यूशन ने इस सुविधा के बारे में पहले लिखा था, लेकिन आइए इसके सार को याद करें। भंडारण प्रशासक पुनर्निर्माण के दौरान संसाधन आवंटन के लिए प्राथमिकता निर्दिष्ट कर सकता है। या तो I/O प्रदर्शन की दिशा में, यानी पुनर्निर्माण में अधिक समय लगता है, लेकिन प्रदर्शन में कोई गिरावट नहीं होती है। या पुनर्निर्माण की गति की दिशा में, लेकिन उत्पादकता कम हो जाएगी। या एक संतुलित विकल्प. चूंकि डिस्क समूह पुनर्निर्माण के दौरान भंडारण प्रदर्शन हमेशा एक व्यवस्थापक का सिरदर्द होता है, हम I/O प्रदर्शन के प्रति पूर्वाग्रह और पुनर्निर्माण गति की कीमत पर एक नीति का परीक्षण करेंगे।

आइए अब डिस्क विफलता की जाँच करें। हम LUNs (फ़ाइलें और IOMETER) में रिकॉर्डिंग भी सक्षम करते हैं। चूँकि हमारे पास ट्रिपल पैरिटी (RAID-60P) वाला एक समूह है, इसका मतलब है कि सिस्टम को तीन डिस्क की विफलता का सामना करना होगा, और विफलता के बाद, ऑटो-रिप्लेसमेंट को काम करना होगा, एक डिस्क को विफल डिस्क में से एक की जगह लेनी होगी आरडीजी में, और इस पर पुनर्निर्माण शुरू होना चाहिए।

शुरू करना। सबसे पहले, स्टोरेज इंटरफ़ेस के माध्यम से, आइए उन डिस्क को हाइलाइट करें जिन्हें हम बाहर निकालना चाहते हैं (ताकि ऑटोचेंज डिस्क छूट न जाए और खींच न जाए)।

हम हार्डवेयर पर संकेत की जांच करते हैं। सब कुछ ठीक है, हम तीन हाइलाइट की गई डिस्क देखते हैं।

और हम इन तीन डिस्क को बाहर निकालते हैं।

आइए देखें कि मेज़बान पर क्या है। और उधर... कुछ खास नहीं हुआ.

प्रतिलिपि संकेतक (वे शुरुआत की तुलना में अधिक हैं, क्योंकि कैश गर्म हो गया है) और IOMETER डिस्क को हटाने और पुनर्निर्माण शुरू करने पर ज्यादा बदलाव नहीं करते हैं (5-10% के भीतर)।

आइए देखें कि भंडारण प्रणाली में क्या है।

समूह की स्थिति में हम देखते हैं कि पुनर्गठन की प्रक्रिया शुरू हो गई है और यह पूरी होने के करीब है।

आरडीजी स्केलेटन में आप देख सकते हैं कि 2 डिस्क लाल स्थिति में हैं, और एक को पहले ही बदला जा चुका है। ऑटोरिप्लेसमेंट डिस्क अब मौजूद नहीं है; इसने तीसरी विफल डिस्क को प्रतिस्थापित कर दिया है। पुनर्निर्माण में कई मिनट लगे, 3 डिस्क विफल होने पर फ़ाइलें लिखना बाधित नहीं हुआ, और I/O प्रदर्शन में बहुत अधिक बदलाव नहीं आया।

डिस्क विफलता परीक्षण निश्चित रूप से उत्तीर्ण हुआ सफलतापूर्वक।

निष्कर्ष

इस बिंदु पर, हमने भंडारण प्रणालियों के खिलाफ हिंसा को रोकने का निर्णय लिया। आइए संक्षेप में बताएं:

• एफसी पोर्ट विफलता जांच - सफल
• ईथरनेट पोर्ट विफलता जाँच - सफल
• नियंत्रक विफलता जाँच - सफल
• विद्युत विफलता परीक्षण - सफल
• ग्रुपपूल में डिस्क विफलता की जाँच - सफल

किसी भी विफलता ने रिकॉर्डिंग बंद नहीं की या सिंथेटिक लोड में त्रुटियां पैदा नहीं कीं; बेशक, एक प्रदर्शन प्रभावित हुआ था (और हम जानते हैं कि इसे कैसे दूर किया जाए, जो हम जल्द ही करेंगे), लेकिन यह देखते हुए कि ये कुछ सेकंड हैं, यह काफी स्वीकार्य है। निष्कर्ष: AERODISK भंडारण प्रणाली के सभी घटकों की दोष सहनशीलता ने स्तर पर काम किया, विफलता का कोई बिंदु नहीं था।

जाहिर है, एक लेख में हम सभी विफलता परिदृश्यों का परीक्षण नहीं कर सकते हैं, लेकिन हमने सबसे लोकप्रिय परिदृश्यों को कवर करने का प्रयास किया है। इसलिए, कृपया अपनी टिप्पणियाँ, भविष्य के प्रकाशनों के लिए सुझाव और निश्चित रूप से, पर्याप्त आलोचना भेजें। हमें चर्चा करने में खुशी होगी (या इससे भी बेहतर, प्रशिक्षण में आएं, मैं कार्यक्रम की नकल करूंगा)! नए परीक्षण होने तक!

• निज़नी नोवगोरोड (पहले से ही खुला है - आप यहां साइन अप कर सकते हैं https://aerodisk.promo/nn/);
  16 अप्रैल 2019 तक आप किसी भी कार्य समय पर केंद्र पर आ सकते हैं और 16 अप्रैल 2019 को एक बड़ा प्रशिक्षण पाठ्यक्रम आयोजित किया जाएगा।
• क्रास्नोडर (जल्द ही खुल रहा है - आप यहां साइन अप कर सकते हैं https://aerodisk.promo/krsnd/ );
  9 अप्रैल से 25 अप्रैल 2019 तक आप किसी भी कार्य समय पर केंद्र पर आ सकते हैं और 25 अप्रैल 2019 को एक बड़ा प्रशिक्षण पाठ्यक्रम आयोजित किया जाएगा।
• येकाटरिंगबर्ग (जल्द ही खुल रहा है, हमारी वेबसाइट या हैबे पर दी गई जानकारी का पालन करें);
  मई-जून 2019.
• नोवोसिबिर्स्क (हमारी वेबसाइट या हैबे पर जानकारी का पालन करें);
  अक्टूबर 2019.
• कार्सनोयार्क्स (हमारी वेबसाइट या हैबे पर जानकारी का पालन करें);
  नवंबर 2019.

स्रोत: www.habr.com