AERODISK ENGINE N2 स्टोरेज सिस्टमच्या क्रॅश चाचण्या, ताकद चाचणी

सर्वांना नमस्कार! या लेखासह, AERODISK Habré वर एक ब्लॉग उघडते. हुर्रे, कॉम्रेड्स!

Habré वरील मागील लेखांमध्ये स्टोरेज सिस्टमच्या आर्किटेक्चर आणि मूलभूत कॉन्फिगरेशनबद्दलच्या प्रश्नांवर चर्चा केली होती. या लेखात आम्ही अशा प्रश्नाचा विचार करू जो पूर्वी कव्हर केलेला नाही, परंतु बर्याचदा विचारला जातो - एरोडिस्क इंजिन स्टोरेज सिस्टमच्या दोष सहनशीलतेबद्दल. AERODISK स्टोरेज सिस्टम काम करणे थांबवते याची खात्री करण्यासाठी आमचा कार्यसंघ सर्वकाही करेल, उदा. तोड ते.

असे घडले की आमच्या कंपनीच्या इतिहासाबद्दल, आमच्या उत्पादनांबद्दलचे लेख तसेच यशस्वी अंमलबजावणीचे उदाहरण आधीच हॅब्रेवर टांगलेले आहेत, ज्यासाठी आमच्या भागीदारांना - टीएस सोल्यूशन आणि सॉफ्टलाइन कंपन्यांचे खूप आभार.

म्हणून, मी येथे कॉपी-पेस्ट व्यवस्थापन कौशल्ये प्रशिक्षित करणार नाही, परंतु फक्त या लेखांच्या मूळ लिंक प्रदान करेन:

• कलम क्रमांक १. कंपनीच्या इतिहासाबद्दल आणि एरोडिस्क इंजिन स्टोरेज सिस्टमच्या आर्किटेक्चरबद्दल
• कलम क्रमांक 2. एरोडिस्क इंजिन स्टोरेज सिस्टम त्वरीत कसे सेट करावे
• कलम क्र. 3. सेफ सिटी प्रकल्पाचा भाग म्हणून 2018 फिफा विश्वचषकासाठी मोठ्या प्रमाणावर व्हिडिओ पाळत ठेवण्याच्या अंमलबजावणीबद्दलचा एक मनोरंजक प्रकल्प

मलाही चांगली बातमी सांगायची आहे. पण मी अर्थातच समस्येपासून सुरुवात करेन. आम्ही, एक तरुण विक्रेता म्हणून, इतर खर्चांबरोबरच, सतत या वस्तुस्थितीचा सामना करतो की अनेक अभियंते आणि प्रशासकांना आमची स्टोरेज सिस्टम योग्यरित्या कशी चालवायची हे माहित नसते.
हे स्पष्ट आहे की बहुतेक स्टोरेज सिस्टम व्यवस्थापित करणे प्रशासकाच्या दृष्टिकोनातून अंदाजे समान दिसते, परंतु प्रत्येक निर्मात्याची स्वतःची वैशिष्ट्ये आहेत. आणि आम्ही येथे अपवाद नाही.

म्हणून, आयटी तज्ञांना प्रशिक्षण देण्याचे कार्य सुलभ करण्यासाठी, आम्ही हे वर्ष विनामूल्य शिक्षणासाठी समर्पित करण्याचा निर्णय घेतला. हे करण्यासाठी, रशियाच्या अनेक मोठ्या शहरांमध्ये आम्ही एरोडिस्क सक्षमता केंद्रांचे नेटवर्क उघडत आहोत, ज्यामध्ये कोणताही इच्छुक तांत्रिक तज्ञ विनामूल्य अभ्यासक्रम घेऊ शकतो आणि एअरोडिस्क इंजिन स्टोरेज सिस्टमचे व्यवस्थापन करण्यासाठी प्रमाणपत्र प्राप्त करू शकतो.

प्रत्येक सक्षमता केंद्रामध्ये आम्ही AERODISK स्टोरेज सिस्टीम आणि एक भौतिक सर्व्हर वरून पूर्ण डेमो स्टँड स्थापित करू, ज्यावर आमचे शिक्षक समोरासमोर प्रशिक्षण घेतील. आम्ही सक्षमता केंद्रांचे कार्य वेळापत्रक त्यांच्या स्वरूपावर प्रकाशित करू, परंतु आम्ही आधीच निझनी नोव्हगोरोडमध्ये एक केंद्र उघडले आहे आणि त्यानंतर क्रॅस्नोडार शहर आहे. तुम्ही खालील लिंक वापरून प्रशिक्षणासाठी साइन अप करू शकता. शहरे आणि तारखांबद्दल सध्या ज्ञात माहिती येथे आहे:

• निझनी नोवगोरोड (आधीपासूनच उघडले आहे - तुम्ही येथे साइन अप करू शकता https://aerodisk.promo/nn/);
  16 एप्रिल 2019 पर्यंत, तुम्ही कोणत्याही कामाच्या वेळी केंद्राला भेट देऊ शकता आणि 16 एप्रिल 2019 रोजी एक मोठा प्रशिक्षण वर्ग आयोजित केला जाईल.
• क्रास्नोदर (लवकरच सुरू होत आहे - तुम्ही येथे साइन अप करू शकता https://aerodisk.promo/krsnd/ );
  9 एप्रिल ते 25 एप्रिल 2019 पर्यंत तुम्ही कोणत्याही कामाच्या वेळी केंद्राला भेट देऊ शकता आणि 25 एप्रिल 2019 रोजी एक मोठा प्रशिक्षण वर्ग आयोजित केला जाईल.
• Екатеринбург (लवकरच उघडत आहे, आमच्या वेबसाइटवर किंवा Habré वरील माहितीचे अनुसरण करा);
  मे-जून 2019.
• Новосибирск (आमच्या वेबसाइटवर किंवा Habré वरील माहितीचे अनुसरण करा);
  ऑक्टोबर 2019.
• Красноярск (आमच्या वेबसाइटवर किंवा Habré वरील माहितीचे अनुसरण करा);
  नोव्हेंबर २०१९.

आणि, अर्थातच, जर मॉस्को तुमच्यापासून लांब नसेल, तर तुम्ही कधीही मॉस्कोमधील आमच्या कार्यालयाला भेट देऊ शकता आणि तत्सम प्रशिक्षण घेऊ शकता.

सर्व. आम्ही विपणन पूर्ण केले, चला तंत्रज्ञानाकडे वळूया!

Habré वर आम्ही आमच्या उत्पादनांबद्दल तांत्रिक लेख, लोड चाचण्या, तुलना, वापराची वैशिष्ट्ये आणि मनोरंजक अंमलबजावणी नियमितपणे प्रकाशित करू.

AERODISK ENGINE N2 स्टोरेज सिस्टमच्या क्रॅश चाचण्या, ताकद चाचणी

चेतावणी! लेख वाचल्यानंतर, आपण असे म्हणू शकता: ठीक आहे, अर्थातच, विक्रेता स्वतःची तपासणी करेल जेणेकरून सर्वकाही "बँगसह", ग्रीनहाऊस परिस्थिती इ. मी उत्तर देईन: असे काही नाही! आमच्या परदेशी स्पर्धकांच्या विपरीत, आम्ही येथे आहोत, तुमच्या जवळ आहोत आणि तुम्ही नेहमी आमच्याकडे (मॉस्को किंवा कोणत्याही केंद्रीय समितीमध्ये) येऊ शकता आणि आमच्या स्टोरेज सिस्टमची कोणत्याही प्रकारे चाचणी घेऊ शकता. अशा प्रकारे, जगाच्या आदर्श चित्रात परिणाम समायोजित करण्यात आपल्यासाठी फारसा अर्थ नाही, कारण आम्ही तपासणे खूप सोपे आहे. जे जाण्यासाठी खूप आळशी आहेत आणि त्यांच्याकडे वेळ नाही त्यांच्यासाठी आम्ही दूरस्थ चाचणी आयोजित करू शकतो. यासाठी आमच्याकडे विशेष प्रयोगशाळा आहे. आमच्याशी संपर्क साधा.

अचतुंग-2! ही चाचणी लोड चाचणी नाही, कारण येथे आम्ही फक्त दोष सहिष्णुतेची काळजी घेतो. दोन आठवड्यांत, आम्ही अधिक शक्तिशाली स्टँड तयार करू आणि स्टोरेज सिस्टमची लोड चाचणी करू, परिणाम येथे प्रकाशित करू (तसे, चाचण्यांच्या विनंत्या स्वीकारल्या जातात).

तर, चला ते खंडित करूया.

चाचणी स्टँड

आमच्या स्टँडमध्ये खालील हार्डवेअर असतात:

• 1 x एरोडिस्क इंजिन N2 स्टोरेज सिस्टम (2 कंट्रोलर, 64GB कॅशे, 8xFC पोर्ट 8Gb/s, 4xEthernet पोर्ट 10Gb/s SFP+, 4xEthernet पोर्ट 1Gb/s); खालील डिस्क स्टोरेज सिस्टममध्ये स्थापित केल्या आहेत:
• 4 x SAS SSD डिस्क 900 GB;
• 12 x SAS 10k डिस्क 1,2 TB;
• Windows Server 1 सह 2016 x भौतिक सर्व्हर (2xXeon E5 2667 v3, 96GB RAM, 2xFC पोर्ट 8Gb/s, 2xEthernet पोर्ट 10Gb/s SFP+);
• 2 x SAN 8G स्विच;
• 2 x LAN 10G स्विच;

आम्ही FC आणि 10G इथरनेट या दोन्ही मार्गे स्विचद्वारे स्टोरेज सिस्टमशी सर्व्हर कनेक्ट केला. स्टँड आकृती खाली आहे.

आम्हाला आवश्यक असलेले घटक, जसे की MPIO आणि iSCSI इनिशिएटर, Windows Server वर स्थापित केले आहेत.
FC स्विचेसवर झोन कॉन्फिगर केले आहेत, संबंधित VLAN LAN स्विचवर कॉन्फिगर केले आहेत आणि MTU 9000 स्टोरेज पोर्ट, स्विचेस आणि होस्टवर स्थापित केले आहेत (हे सर्व कसे करायचे ते आमच्या दस्तऐवजीकरणात वर्णन केले आहे, म्हणून आम्ही वर्णन करणार नाही. ही प्रक्रिया येथे आहे).

चाचणी पद्धत

क्रॅश चाचणी योजना खालीलप्रमाणे आहे:

• FC आणि इथरनेट पोर्टचे अपयश तपासत आहे.
• पॉवर अपयश तपासणी.
• कंट्रोलर अयशस्वी तपासणी.
• गट/पूल मध्ये डिस्क अपयश तपासत आहे.

सर्व चाचण्या सिंथेटिक लोडच्या परिस्थितीत केल्या जातील, ज्या आम्ही IOMETER प्रोग्रामद्वारे व्युत्पन्न करू. समांतर, आम्ही समान चाचण्या करू, परंतु स्टोरेज सिस्टममध्ये मोठ्या फायली कॉपी करण्याच्या अटींनुसार.

IOmeter कॉन्फिगरेशन खालीलप्रमाणे आहे:

• वाचा/लिहा – 70/30
• ब्लॉक - 128k (आम्ही मोठ्या ब्लॉक्समध्ये स्टोरेज सिस्टम धुण्याचे ठरवले आहे)
• थ्रेड्सची संख्या - 128 (जे उत्पादक लोडसारखे आहे)
• पूर्ण यादृच्छिक
• कामगारांची संख्या – 4 (FC साठी 2, iSCSI साठी 2)

चाचणीची खालील उद्दिष्टे आहेत:

1. सिंथेटिक लोड आणि कॉपी प्रक्रियेत व्यत्यय येणार नाही किंवा विविध अयशस्वी परिस्थितींमध्ये त्रुटी येणार नाहीत याची खात्री करा.
2. पोर्ट, कंट्रोलर इ. स्विच करण्याची प्रक्रिया पुरेशी स्वयंचलित आहे याची खात्री करा आणि अयशस्वी झाल्यास प्रशासकाच्या क्रियांची आवश्यकता नाही (म्हणजे, फेलओव्हर दरम्यान, आम्ही नक्कीच फेलबॅकबद्दल बोलत नाही).
3. नोंदींमधील माहिती योग्यरित्या प्रदर्शित होत असल्याची खात्री करा.

होस्ट आणि स्टोरेज सिस्टम तयार करत आहे

आम्ही FC आणि इथरनेट पोर्ट्स (अनुक्रमे FC आणि iSCSI) वापरून स्टोरेज सिस्टमवर ब्लॉक ऍक्सेस कॉन्फिगर केले. टीएस सोल्यूशनच्या मुलांनी मागील लेखात हे कसे करावे याबद्दल तपशीलवार वर्णन केले आहे (https://habr.com/ru/company/tssolution/blog/432876/). आणि, अर्थातच, कोणीही मॅन्युअल आणि अभ्यासक्रम रद्द केले नाहीत.

आमच्याकडे असलेल्या सर्व ड्राइव्हस् वापरून आम्ही एक संकरित गट तयार केला. कॅशेमध्ये 2 SSD डिस्क जोडल्या गेल्या, 2 SSD डिस्क अतिरिक्त स्टोरेज टियर (ऑनलाइन-टियर) म्हणून जोडल्या गेल्या. आम्ही एकाच वेळी तीन ड्राईव्हचे अपयश तपासण्यासाठी RAID-12P (ट्रिपल पॅरिटी) मध्ये 10 SAS60k ड्राइव्हस् गटबद्ध केले. ऑटोरिप्लेसमेंटसाठी एक डिस्क सोडली होती.

आम्ही दोन LUN कनेक्ट केले (एक FC द्वारे, एक iSCSI द्वारे).

दोन्ही LUN चा मालक इंजिन-0 कंट्रोलर आहे

चला चाचणी सुरू करूया

आम्ही वरील कॉन्फिगरेशनसह IOMETER सक्षम करतो.

आम्ही 1.8 GB/s चा थ्रूपुट आणि 3 मिलीसेकंदचा विलंब रेकॉर्ड करतो. कोणत्याही त्रुटी नाहीत (एकूण त्रुटी संख्या).

त्याच वेळी, आमच्या होस्टच्या स्थानिक ड्राइव्ह “C” वरून, आम्ही इतर इंटरफेस वापरून FC आणि iSCSI स्टोरेज LUN (Windows मध्ये E आणि G ड्राइव्हस्) मध्ये दोन मोठ्या 100GB फायली कॉपी करणे सुरू करतो.

वर LUN FC वर कॉपी करण्याची प्रक्रिया आहे, खाली iSCSI वर.

चाचणी #1: I/O पोर्ट अक्षम करत आहे

आम्ही मागून स्टोरेज सिस्टमकडे जातो))) आणि हाताच्या किंचित हालचालीने आम्ही इंजिन -10 कंट्रोलरमधून सर्व FC आणि इथरनेट 0G केबल्स बाहेर काढतो. हे असे आहे की एखादी स्वच्छता करणारी महिला मॉपसह चालत गेली आणि जिथे स्नॉट पडलेला होता आणि केबल्स पडल्या होत्या तिथेच मजला धुवायचे ठरवले (म्हणजे कंट्रोलर अजूनही काम करतो, परंतु I/O पोर्ट मृत आहेत).

चला IOMETER आणि फाईल्स कॉपी करणे पाहू. थ्रूपुट 0,5 GB/s पर्यंत घसरले, परंतु त्वरीत त्याच्या मागील स्तरावर परत आले (सुमारे 4-5 सेकंदात). कोणत्याही त्रुटी नाहीत.

फायली कॉपी करणे थांबले नाही, वेग कमी झाला आहे, परंतु ते अजिबात गंभीर नाही (840 MB/s वरून ते 720 MB/s पर्यंत घसरले). कॉपी करणे थांबलेले नाही.

आम्ही स्टोरेज सिस्टम लॉग पाहतो आणि पोर्ट्सची अनुपलब्धता आणि गटाच्या स्वयंचलित पुनर्स्थापनेबद्दल संदेश पाहतो.

माहिती पॅनेल आम्हाला हे देखील सांगते की FC पोर्टसह सर्व काही चांगले नाही.

स्टोरेज सिस्टम I/O पोर्टच्या अपयशातून वाचली यशस्वीरित्या

चाचणी क्रमांक 2. स्टोरेज कंट्रोलर अक्षम करणे

जवळजवळ ताबडतोब (केबल परत स्टोरेज सिस्टममध्ये प्लग केल्यानंतर) आम्ही चेसिसमधून कंट्रोलर बाहेर काढून स्टोरेज सिस्टम बंद करण्याचा निर्णय घेतला.

पुन्हा आम्ही मागून स्टोरेज सिस्टमकडे जातो (आम्हाला ते आवडले))) आणि यावेळी आम्ही इंजिन -1 कंट्रोलर बाहेर काढतो, जो या क्षणी आरडीजीचा मालक आहे (ज्याकडे गट हलवला आहे).

IOmeter मधील परिस्थिती खालीलप्रमाणे आहे. I/O सुमारे 5 सेकंद थांबले. चुका जमा होत नाहीत.

5 सेकंदांनंतर, I/O समान थ्रूपुटसह पुन्हा सुरू झाले, परंतु 35 मिलीसेकंदच्या विलंबांसह (सुमारे काही मिनिटांनंतर विलंब सुधारला). स्क्रीनशॉट्सवरून पाहिले जाऊ शकते, एकूण त्रुटी गणना मूल्य 0 आहे, म्हणजे, लेखन किंवा वाचन त्रुटी नाहीत.

चला आमच्या फाईल्स कॉपी करणे बघू. तुम्ही बघू शकता, यात व्यत्यय आला नाही, कार्यप्रदर्शनात थोडीशी घसरण झाली, परंतु एकूणच सर्व काही समान ~ 800 MB/s वर परत आले.

आम्ही स्टोरेज सिस्टमवर जातो आणि माहिती पॅनेलमध्ये एक शाप पाहतो की इंजिन -1 कंट्रोलर अनुपलब्ध आहे (अर्थातच, आम्ही ते मारले).

आम्ही लॉगमध्ये देखील एक समान नोंद पाहतो.

स्टोरेज कंट्रोलरही बिघाडातून वाचला यशस्वीरित्या

चाचणी क्रमांक 3: वीज पुरवठा खंडित करणे.

फक्त बाबतीत, आम्ही पुन्हा फाइल्स कॉपी करणे सुरू केले, परंतु IOMETER थांबवले नाही.
आम्ही वीज पुरवठा युनिट खेचतो.

माहिती पॅनेलमधील स्टोरेज सिस्टममध्ये आणखी एक अलर्ट जोडला गेला आहे.

तसेच सेन्सर्स मेनूमध्ये आपण पाहतो की बाहेर काढलेल्या वीज पुरवठ्याशी संबंधित सेन्सर लाल झाले आहेत.

स्टोरेज सिस्टम काम करत राहते. वीज पुरवठा युनिटच्या अपयशाचा कोणत्याही प्रकारे स्टोरेज सिस्टमच्या ऑपरेशनवर परिणाम होत नाही; होस्टच्या दृष्टिकोनातून, कॉपी गती आणि IOMETER निर्देशक अपरिवर्तित राहिले.

पॉवर अपयश चाचणी उत्तीर्ण यशस्वीरित्या

अंतिम चाचणीपूर्वी, आम्ही स्टोरेज सिस्टमला पुन्हा जिवंत करण्याचा निर्णय घेतला, कंट्रोलर आणि पॉवर सप्लाय युनिट परत ठेवण्याचा आणि केबल्स व्यवस्थित ठेवण्याचा निर्णय घेतला, ज्याबद्दल स्टोरेज सिस्टमने आनंदाने आम्हाला त्याच्या आरोग्य पॅनेलमध्ये हिरव्या चिन्हांसह माहिती दिली. .

चाचणी क्रमांक 4. एका गटातील तीन डिस्कचे अपयश

या चाचणीपूर्वी, आम्ही अतिरिक्त तयारीची पायरी केली. वस्तुस्थिती अशी आहे की इंजिन स्टोरेज सिस्टम एक अतिशय उपयुक्त गोष्ट प्रदान करते - भिन्न पुनर्निर्माण धोरणे. टीएस सोल्युशनने या वैशिष्ट्याबद्दल पूर्वी लिहिले आहे, परंतु त्याचे सार लक्षात घेऊया. स्टोरेज अॅडमिनिस्ट्रेटर पुनर्बांधणी दरम्यान संसाधन वाटपासाठी प्राधान्य निर्दिष्ट करू शकतो. एकतर I/O कार्यप्रदर्शनाच्या दिशेने, म्हणजे, पुनर्बांधणीला जास्त वेळ लागतो, परंतु कार्यप्रदर्शन कमी होत नाही. किंवा पुनर्निर्माण गतीच्या दिशेने, परंतु उत्पादकता कमी होईल. किंवा संतुलित पर्याय. डिस्क ग्रुप रीबिल्ड दरम्यान स्टोरेज परफॉर्मन्स नेहमीच प्रशासकाची डोकेदुखी असल्याने, आम्ही I/O कार्यप्रदर्शन आणि पुनर्बांधणीच्या गतीच्या खर्चावर पूर्वाग्रह असलेल्या धोरणाची चाचणी करू.

आता डिस्क अपयश तपासूया. आम्ही LUNs (फाईल्स आणि IOMETER) वर रेकॉर्डिंग सक्षम करतो. आमच्याकडे ट्रिपल पॅरिटी (RAID-60P) असलेला गट असल्याने, याचा अर्थ असा आहे की सिस्टमने तीन डिस्कच्या अपयशाचा सामना केला पाहिजे आणि अयशस्वी झाल्यानंतर, स्वयं-रिप्लेसमेंटने कार्य केले पाहिजे, एका डिस्कने अयशस्वी झालेल्यांपैकी एकाची जागा घेतली पाहिजे. RDG मध्ये, आणि त्यावर पुनर्बांधणी सुरू करणे आवश्यक आहे.

सुरू. प्रथम, स्टोरेज इंटरफेसद्वारे, आपण काढू इच्छित असलेल्या डिस्क्स हायलाइट करूया (जेणेकरुन ऑटोचेंज डिस्क चुकू नये आणि खेचू नये).

आम्ही हार्डवेअरवरील संकेत तपासतो. सर्व काही ठीक आहे, आम्हाला तीन हायलाइट केलेल्या डिस्क दिसतात.

आणि आम्ही या तीन डिस्क बाहेर काढतो.

यजमानावर काय आहे ते पाहूया. आणि तिथे... काही विशेष घडले नाही.

डिस्क काढताना आणि पुनर्बांधणी सुरू करताना (5-10% च्या आत) कॉपी करणारे संकेतक (ते सुरवातीपेक्षा जास्त आहेत, कारण कॅशे गरम झाले आहे) आणि IOMETER जास्त बदलत नाहीत.

स्टोरेज सिस्टमवर काय आहे ते पाहूया.

गटाच्या स्थितीत, आपण पाहतो की पुनर्रचनेची प्रक्रिया सुरू झाली आहे आणि ती पूर्ण होण्याच्या जवळ आहे.

RDG स्केलेटनमध्ये तुम्ही पाहू शकता की 2 डिस्क लाल स्थितीत आहेत आणि एक आधीच बदलली गेली आहे. ऑटोरिप्लेसमेंट डिस्क आता नाही; तिने 3री अयशस्वी डिस्क बदलली. पुनर्बांधणीला काही मिनिटे लागली, 3 डिस्क अयशस्वी झाल्यावर फाइल्स लिहिण्यात व्यत्यय आला नाही, आणि I/O कार्यप्रदर्शनात फारसा बदल झाला नाही.

डिस्क अपयश चाचणी निश्चितपणे उत्तीर्ण झाली यशस्वीरित्या

निष्कर्ष

या टप्प्यावर, आम्ही स्टोरेज सिस्टम विरुद्ध हिंसा थांबवण्याचा निर्णय घेतला. चला सारांश द्या:

• FC पोर्ट अयशस्वी तपास - यशस्वी
• इथरनेट पोर्ट अयशस्वी तपास - यशस्वी
• कंट्रोलर अयशस्वी तपासणी - यशस्वी
• पॉवर फेल्युअर टेस्ट - यशस्वी
• ग्रुपपूलमध्ये डिस्क अपयश तपासत आहे - यशस्वी

कोणत्याही अपयशाने रेकॉर्डिंग थांबवले नाही किंवा सिंथेटिक लोडमध्ये त्रुटी निर्माण झाल्या; अर्थातच, एक कामगिरी हिट झाली (आणि त्यावर मात कशी करायची हे आम्हाला माहित आहे, जे आम्ही लवकरच करू), परंतु हे काही सेकंद आहेत हे लक्षात घेता ते अगदी स्वीकार्य आहे. निष्कर्ष: AERODISK स्टोरेज सिस्टमच्या सर्व घटकांच्या दोष सहिष्णुतेने स्तरावर कार्य केले, अपयशाचे कोणतेही गुण नव्हते.

अर्थात, एका लेखात आम्ही सर्व अपयशी परिस्थिती तपासू शकत नाही, परंतु आम्ही सर्वात लोकप्रिय गोष्टी कव्हर करण्याचा प्रयत्न केला. म्हणून, कृपया आपल्या टिप्पण्या, भविष्यातील प्रकाशनांसाठी सूचना आणि अर्थातच पुरेशी टीका पाठवा. आम्हाला चर्चा करण्यात आनंद होईल (किंवा अजून चांगले, प्रशिक्षणासाठी या, मी शेड्यूलची नक्कल करतो)! नवीन चाचण्या होईपर्यंत!

• निझनी नोवगोरोड (आधीपासूनच उघडले आहे - तुम्ही येथे साइन अप करू शकता https://aerodisk.promo/nn/);
  16 एप्रिल 2019 पर्यंत, तुम्ही कोणत्याही कामाच्या वेळी केंद्राला भेट देऊ शकता आणि 16 एप्रिल 2019 रोजी एक मोठा प्रशिक्षण वर्ग आयोजित केला जाईल.
• क्रास्नोदर (लवकरच सुरू होत आहे - तुम्ही येथे साइन अप करू शकता https://aerodisk.promo/krsnd/ );
  9 एप्रिल ते 25 एप्रिल 2019 पर्यंत तुम्ही कोणत्याही कामाच्या वेळी केंद्राला भेट देऊ शकता आणि 25 एप्रिल 2019 रोजी एक मोठा प्रशिक्षण वर्ग आयोजित केला जाईल.
• Екатеринбург (लवकरच उघडत आहे, आमच्या वेबसाइटवर किंवा Habré वरील माहितीचे अनुसरण करा);
  मे-जून 2019.
• Новосибирск (आमच्या वेबसाइटवर किंवा Habré वरील माहितीचे अनुसरण करा);
  ऑक्टोबर 2019.
• Красноярск (आमच्या वेबसाइटवर किंवा Habré वरील माहितीचे अनुसरण करा);
  नोव्हेंबर २०१९.

स्त्रोत: www.habr.com