ఎల్బ్రస్ VS ఇంటెల్. ఏరోడిస్క్ వోస్టాక్ మరియు ఇంజిన్ స్టోరేజ్ సిస్టమ్‌ల పనితీరును పోల్చడం

అందరికి వందనాలు. రష్యన్ ఎల్బ్రస్ 8సి ప్రాసెసర్ ఆధారంగా మేము మీకు ఏరోడిస్క్ వోస్టాక్ డేటా స్టోరేజ్ సిస్టమ్‌ను పరిచయం చేస్తూనే ఉన్నాము.

ఈ ఆర్టికల్లో మేము (వాగ్దానం చేసినట్లు) ఎల్బ్రస్కి సంబంధించిన అత్యంత ప్రజాదరణ పొందిన మరియు ఆసక్తికరమైన అంశాలలో ఒకదానిని వివరంగా విశ్లేషిస్తాము, అవి ఉత్పాదకత. ఎల్బ్రస్ పనితీరుపై చాలా ఊహాగానాలు ఉన్నాయి మరియు ఖచ్చితంగా ధ్రువమైనవి. నిరాశావాదులు ఎల్బ్రస్ యొక్క ఉత్పాదకత ఇప్పుడు "ఏమీ లేదు" మరియు "అగ్ర" నిర్మాతలతో (అంటే, ప్రస్తుత వాస్తవంలో, ఎన్నటికీ) చేరుకోవడానికి దశాబ్దాలు పడుతుంది. మరోవైపు, ఎల్బ్రస్ 8C ఇప్పటికే మంచి ఫలితాలను చూపుతోందని, రాబోయే రెండేళ్లలో, కొత్త ప్రాసెసర్‌ల (ఎల్బ్రస్ 16C మరియు 32C) విడుదలతో మేము “క్యాచ్ అప్ మరియు ఓవర్‌టేక్” చేయగలమని ఆశావాదులు అంటున్నారు. ప్రపంచంలోని ప్రముఖ ప్రాసెసర్ తయారీదారులు.

మేము ఏరోడిస్క్ వద్ద ఆచరణాత్మక వ్యక్తులు, కాబట్టి మేము సరళమైన మరియు అత్యంత అర్థమయ్యే (మాకు) మార్గాన్ని తీసుకున్నాము: పరీక్షించండి, ఫలితాలను రికార్డ్ చేయండి మరియు ఆ తర్వాత మాత్రమే తీర్మానాలు చేయండి. ఫలితంగా, మేము చాలా పెద్ద సంఖ్యలో పరీక్షలను నిర్వహించాము మరియు Elbrus 8C e2k ఆర్కిటెక్చర్ (ఆహ్లాదకరమైన వాటితో సహా) యొక్క అనేక లక్షణాలను కనుగొన్నాము మరియు దీనిని Intel Xeon amd64 ఆర్కిటెక్చర్ ప్రాసెసర్‌లలోని సారూప్య నిల్వ సిస్టమ్‌లతో పోల్చాము.

అలాగే, మేము ఎల్బ్రస్‌లో పరీక్షలు, ఫలితాలు మరియు స్టోరేజ్ సిస్టమ్‌ల భవిష్యత్తు అభివృద్ధి గురించి మరింత వివరంగా మా తదుపరి వెబ్‌నార్ “OkoloIT”లో అక్టోబర్ 15.10.2020, 15 00:XNUMX గంటలకు మాట్లాడుతాము. మీరు దిగువ లింక్‌ని ఉపయోగించి నమోదు చేసుకోవచ్చు.

→ వెబ్‌నార్ కోసం నమోదు

పరీక్షా బల్ల

మేము రెండు స్టాండ్‌లను సృష్టించాము. రెండు స్టాండ్‌లు Linux నడుస్తున్న సర్వర్‌ని కలిగి ఉంటాయి, 16G FC ద్వారా రెండు స్టోరేజ్ కంట్రోలర్‌లకు స్విచ్‌లు మారతాయి, దీనిలో 12 SAS SSD 960 GB డిస్క్‌లు ఇన్‌స్టాల్ చేయబడ్డాయి (11,5 TB "రా కెపాసిటీ" లేదా 5,7 TB "ఉపయోగించదగిన" సామర్థ్యం, ​​మనం RAIDని ఉపయోగిస్తే -10).

క్రమపద్ధతిలో స్టాండ్ ఇలా కనిపిస్తుంది.

స్టాండ్ నంబర్ 1 e2k (ఎల్బ్రస్)

హార్డ్‌వేర్ కాన్ఫిగరేషన్ క్రింది విధంగా ఉంది:

• Linux సర్వర్ (2xIntel Xeon E5-2603 v4 (6 కోర్లు, 1,70Ghz), 64 GB DDR4, 2xFC అడాప్టర్ 16G 2 పోర్ట్‌లు) - 1 pc.
• FC 16 G మారండి - 2 pcs.
• నిల్వ వ్యవస్థ Aerodisk Vostok 2-E12 (2xElbrus 8C (8 కోర్లు, 1,20Ghz), 32 GB DDR3, 2xFE FC-అడాప్టర్ 16G 2 పోర్ట్, 12xSAS SSD 960 GB) - 1 pc.

స్టాండ్ నం. 2 amd64 (ఇంటెల్)

e2kలో సారూప్య కాన్ఫిగరేషన్‌తో పోల్చడం కోసం, మేము amd64కి సమానమైన ప్రాసెసర్‌తో సారూప్య నిల్వ కాన్ఫిగరేషన్‌ని ఉపయోగించాము:

• Linux సర్వర్ (2xIntel Xeon E5-2603 v4 (6 కోర్లు, 1,70Ghz), 64 GB DDR4, 2xFC అడాప్టర్ 16G 2 పోర్ట్‌లు) - 1 pc.
• FC 16 G మారండి - 2 pcs.
• స్టోరేజ్ సిస్టమ్ ఏరోడిస్క్ ఇంజిన్ N2 (2xIntel Xeon E5-2603 v4 (6 కోర్లు, 1,70Ghz), 32 GB DDR4, 2xFE FC-అడాప్టర్ 16G 2 పోర్ట్, 12xSAS SSD 960 GB) - 1 pc.

ముఖ్యమైన గమనిక: పరీక్షలో ఉపయోగించే Elbrus 8C ప్రాసెసర్లు DDR3 RAMకు మాత్రమే మద్దతు ఇస్తాయి, ఇది "చెడు, కానీ ఎక్కువ కాలం కాదు." Elbrus 8SV (మా వద్ద ఇది ఇంకా స్టాక్‌లో లేదు, కానీ త్వరలో అందుబాటులో ఉంటుంది) DDR4కి మద్దతు ఇస్తుంది.

టెస్ట్ మెథడాలజీ

లోడ్‌ను రూపొందించడానికి, మేము జనాదరణ పొందిన మరియు సమయం-పరీక్షించిన ఫ్లెక్సిబుల్ IO (FIO) ప్రోగ్రామ్‌ను ఉపయోగించాము.

రెండు నిల్వ సిస్టమ్‌లు మా కాన్ఫిగరేషన్ సిఫార్సుల ప్రకారం కాన్ఫిగర్ చేయబడ్డాయి, బ్లాక్ యాక్సెస్‌పై అధిక పనితీరు కోసం అవసరాల ఆధారంగా, మేము DDP (డైనమిక్ డిస్క్ పూల్) డిస్క్ పూల్‌లను ఉపయోగిస్తాము. పరీక్ష ఫలితాలను వక్రీకరించకుండా ఉండటానికి, మేము రెండు స్టోరేజ్ సిస్టమ్‌లలో కంప్రెషన్, డీప్లికేషన్ మరియు RAM కాష్‌ని నిలిపివేస్తాము.

8 D-LUNలు RAID-10లో సృష్టించబడ్డాయి, ఒక్కొక్కటి 500 GB, మొత్తం 4 TB (అంటే, ఈ కాన్ఫిగరేషన్ యొక్క సాధ్యమయ్యే ఉపయోగించగల సామర్థ్యంలో సుమారు 70%).

నిల్వ వ్యవస్థలను ఉపయోగించడం కోసం ప్రాథమిక మరియు ప్రసిద్ధ దృశ్యాలు అమలు చేయబడతాయి, ముఖ్యంగా:

మొదటి రెండు పరీక్షలు లావాదేవీల DBMS యొక్క ఆపరేషన్‌ను అనుకరిస్తాయి. ఈ పరీక్షల సమూహంలో మేము IOPS మరియు జాప్యంపై ఆసక్తి కలిగి ఉన్నాము.

1) చిన్న బ్లాక్‌లలో యాదృచ్ఛిక పఠనం 4k
a. బ్లాక్ పరిమాణం = 4k
బి. చదవడం/వ్రాయడం = 100%/0%
సి. పనుల సంఖ్య = 8
డి. క్యూ లోతు = 32
ఇ. లోడ్ క్యారెక్టర్ = పూర్తి యాదృచ్ఛికం

2) చిన్న బ్లాక్‌లలో యాదృచ్ఛిక రికార్డింగ్ 4k
a. బ్లాక్ పరిమాణం = 4k
బి. చదవడం/వ్రాయడం = 0%/100%
సి. పనుల సంఖ్య = 8
డి. క్యూ లోతు = 32
ఇ. లోడ్ క్యారెక్టర్ = పూర్తి యాదృచ్ఛికం

రెండవ రెండు పరీక్షలు DBMS యొక్క విశ్లేషణాత్మక భాగం యొక్క ఆపరేషన్‌ను అనుకరిస్తాయి. ఈ పరీక్షల సమూహంలో మేము IOPS మరియు జాప్యంపై కూడా ఆసక్తి కలిగి ఉన్నాము.

3) చిన్న బ్లాక్‌లలో సీక్వెన్షియల్ రీడింగ్ 4k
a. బ్లాక్ పరిమాణం = 4k
బి. చదవడం/వ్రాయడం = 100%/0%
సి. పనుల సంఖ్య = 8
డి. క్యూ లోతు = 32
ఇ. లోడ్ క్యారెక్టర్ = సీక్వెన్షియల్

4) చిన్న బ్లాక్‌లలో సీక్వెన్షియల్ రికార్డింగ్ 4k
a. బ్లాక్ పరిమాణం = 4k
బి. చదవడం/వ్రాయడం = 0%/100%
సి. పనుల సంఖ్య = 8
డి. క్యూ లోతు = 32
ఇ. లోడ్ క్యారెక్టర్ = సీక్వెన్షియల్

మూడవ గ్రూప్ టెస్ట్‌లు స్ట్రీమింగ్ రీడింగ్ (ఉదాహరణ: ఆన్‌లైన్ ప్రసారాలు, బ్యాకప్‌లను పునరుద్ధరించడం) మరియు స్ట్రీమింగ్ రికార్డింగ్ (ఉదాహరణ: వీడియో నిఘా, రికార్డింగ్ బ్యాకప్‌లు) పనిని అనుకరిస్తాయి. ఈ పరీక్షల సమూహంలో, మేము ఇకపై IOPSపై ఆసక్తిని కలిగి ఉండము, కానీ MB/s మరియు జాప్యంపై కూడా ఆసక్తిని కలిగి ఉన్నాము.

5) 128k పెద్ద బ్లాక్‌లలో సీక్వెన్షియల్ రీడింగ్
a. బ్లాక్ పరిమాణం = 128k
బి. చదవడం/వ్రాయడం = 0%/100%
సి. పనుల సంఖ్య = 8
డి. క్యూ లోతు = 32
ఇ. లోడ్ క్యారెక్టర్ = సీక్వెన్షియల్

6) 128k పెద్ద బ్లాక్‌లలో సీక్వెన్షియల్ రికార్డింగ్
a. బ్లాక్ పరిమాణం = 128k
బి. చదవడం/వ్రాయడం = 0%/100%
సి. పనుల సంఖ్య = 8
డి. క్యూ లోతు = 32
ఇ. లోడ్ క్యారెక్టర్ = సీక్వెన్షియల్

7 నిమిషాల శ్రేణి సన్నాహక సమయాన్ని మినహాయించి ప్రతి పరీక్ష ఒక గంట ఉంటుంది.

పరీక్ష ఫలితాలు

పరీక్ష ఫలితాలు రెండు పట్టికలలో సంగ్రహించబడ్డాయి.

ఎల్బ్రస్ 8S (SHD ఏరోడిస్క్ వోస్టాక్ 2-E12)

ఇంటెల్ జియాన్ E5-2603 v4 (స్టోరేజ్ సిస్టమ్ ఏరోడిస్క్ ఇంజిన్ N2)

ఫలితాలు చాలా ఆసక్తికరంగా మారాయి. రెండు సందర్భాల్లో, మేము నిల్వ సిస్టమ్ యొక్క ప్రాసెసింగ్ శక్తిని (70-90% వినియోగం) బాగా ఉపయోగించుకున్నాము మరియు ఈ పరిస్థితిలో, రెండు ప్రాసెసర్‌ల యొక్క లాభాలు మరియు నష్టాలు స్పష్టంగా కనిపిస్తాయి.

రెండు టేబుల్‌లలో, ప్రాసెసర్‌లు “విశ్వాసం” కలిగి ఉన్న మరియు మంచి ఫలితాలను చూపించే పరీక్షలు ఆకుపచ్చ రంగులో హైలైట్ చేయబడతాయి, అయితే ప్రాసెసర్‌లు “ఇష్టపడని” సందర్భాలు నారింజ రంగులో హైలైట్ చేయబడతాయి.

మేము చిన్న బ్లాకులలో యాదృచ్ఛిక లోడ్ గురించి మాట్లాడినట్లయితే, అప్పుడు:

• యాదృచ్ఛిక పఠనం యొక్క కోణం నుండి, ఇంటెల్ ఖచ్చితంగా ఎల్బ్రస్ కంటే ముందుంది, వ్యత్యాసం 2 రెట్లు;
• యాదృచ్ఛిక రికార్డింగ్ దృక్కోణం నుండి ఇది ఖచ్చితంగా డ్రా, రెండు ప్రాసెసర్‌లు దాదాపు సమానమైన మరియు మంచి ఫలితాలను చూపించాయి.

చిన్న బ్లాక్‌లలో సీక్వెన్షియల్ లోడ్‌లో చిత్రం భిన్నంగా ఉంటుంది:

• చదవడం మరియు వ్రాయడం రెండింటిలోనూ, ఇంటెల్ ఎల్బ్రస్ కంటే గణనీయంగా (2 రెట్లు) ముందుంది. అదే సమయంలో, ఎల్బ్రస్ IOPS సూచిక ఇంటెల్ కంటే తక్కువగా ఉంటే, కానీ మంచిగా (200-300 వేలు) కనిపిస్తే, ఆలస్యంతో స్పష్టమైన సమస్య ఉంది (అవి ఇంటెల్ కంటే మూడు రెట్లు ఎక్కువ). ముగింపు, ఎల్బ్రస్ 8C యొక్క ప్రస్తుత వెర్షన్ చిన్న బ్లాక్‌లలో సీక్వెన్షియల్ లోడ్‌లను నిజంగా "ఇష్టపడదు". స్పష్టంగా చేయవలసిన పని ఉంది.

కానీ పెద్ద బ్లాక్‌లతో సీక్వెన్షియల్ లోడ్‌లో, చిత్రం సరిగ్గా వ్యతిరేకం:

• రెండు ప్రాసెసర్‌లు MB/sలో దాదాపు సమాన ఫలితాలను చూపించాయి, కానీ ఒకటి ఉంది కానీ.... Elbrus యొక్క జాప్యం పనితీరు Intel (10/0,4 ms వర్సెస్ 0,5/5,1 ms) నుండి ఇదే ప్రాసెసర్ కంటే 6,5 (పది, కార్ల్!!!) రెట్లు మెరుగ్గా ఉంది (అంటే తక్కువ). మొదట ఇది లోపం అని మేము భావించాము, కాబట్టి మేము ఫలితాలను మళ్లీ తనిఖీ చేసాము, మళ్లీ పరీక్ష చేసాము, కానీ రీటెస్ట్ అదే చిత్రాన్ని చూపింది. ఇది ఇంటెల్ (మరియు, దాని ప్రకారం, amd2 ఆర్కిటెక్చర్) కంటే ఎల్బ్రస్ (మరియు సాధారణంగా e64k ఆర్కిటెక్చర్) యొక్క తీవ్రమైన ప్రయోజనం. ఈ విజయం మరింత అభివృద్ధి చెందాలని ఆశిద్దాం.

ఎల్బ్రస్ యొక్క మరొక ఆసక్తికరమైన లక్షణం ఉంది, ఇది శ్రద్ధగల రీడర్ పట్టికను చూడటం ద్వారా శ్రద్ధ చూపుతుంది. మీరు ఇంటెల్ యొక్క రీడ్ మరియు రైట్ పనితీరు మధ్య వ్యత్యాసాన్ని పరిశీలిస్తే, అన్ని పరీక్షలలో, చదవడం సగటున 50%+ కంటే ఎక్కువగా ఉంటుంది. ఇది అందరికీ (మనతో సహా) అలవాటు పడిన కట్టుబాటు. మీరు ఎల్బ్రస్‌ని చూస్తే, వ్రాత సూచికలు పఠన సూచికలకు చాలా దగ్గరగా ఉంటాయి; పఠనం రాయడానికి ముందు ఉంది, నియమం ప్రకారం, 10 - 30%, ఇక లేదు.

దీని అర్థం ఏమిటి? ఎల్బ్రస్ రచనను “నిజంగా ప్రేమిస్తున్నాడు”, మరియు ఇది, చదవడం కంటే వ్రాయడం స్పష్టంగా ఉండే పనులలో ఈ ప్రాసెసర్ చాలా ఉపయోగకరంగా ఉంటుందని సూచిస్తుంది (యారోవయా యొక్క చట్టాన్ని ఎవరు చెప్పారు?), ఇది నిస్సందేహంగా ప్రయోజనం e2k నిర్మాణం, మరియు ఈ ప్రయోజనాన్ని అభివృద్ధి చేయాలి.

ముగింపులు మరియు సమీప భవిష్యత్తు

డేటా నిల్వ పనుల కోసం ఎల్బ్రస్ మరియు ఇంటెల్ మధ్య-శ్రేణి ప్రాసెసర్‌ల తులనాత్మక పరీక్షలు దాదాపుగా సమానమైన మరియు సమానంగా విలువైన ఫలితాలను చూపించాయి, అయితే ప్రతి ప్రాసెసర్ దాని స్వంత ఆసక్తికరమైన లక్షణాలను చూపించింది.

ఇంటెల్ చిన్న బ్లాక్‌లలో యాదృచ్ఛికంగా చదవడంలో, అలాగే చిన్న బ్లాకులలో సీక్వెన్షియల్ రీడింగ్ మరియు రైటింగ్‌లో ఎల్‌బ్రస్‌ను బాగా అధిగమించింది.

చిన్న బ్లాక్‌లలో యాదృచ్ఛికంగా వ్రాసేటప్పుడు, రెండు ప్రాసెసర్‌లు సమాన ఫలితాలను చూపుతాయి.

జాప్యం పరంగా, స్ట్రీమింగ్ లోడ్‌లో ఎల్బ్రస్ ఇంటెల్ కంటే మెరుగ్గా కనిపిస్తోంది, అనగా. వరుస పఠనం మరియు పెద్ద బ్లాక్‌లలో వ్రాయడం.

అదనంగా, ఎల్బ్రస్, ఇంటెల్ మాదిరిగా కాకుండా, రీడ్ మరియు రైట్ లోడ్‌లను రెండింటినీ సమానంగా ఎదుర్కొంటుంది, ఇంటెల్‌తో, చదవడం ఎల్లప్పుడూ రాయడం కంటే మెరుగ్గా ఉంటుంది.
పొందిన ఫలితాల ఆధారంగా, ఎల్బ్రస్ 8C ప్రాసెసర్‌లో ఏరోడిస్క్ వోస్టాక్ డేటా స్టోరేజ్ సిస్టమ్‌ల వర్తింపు గురించి మేము ఈ క్రింది పనులలో ఒక తీర్మానాన్ని తీసుకోవచ్చు:

• వ్రాత కార్యకలాపాల ప్రాబల్యంతో సమాచార వ్యవస్థలు;
• ఫైల్ యాక్సెస్;
• ఆన్‌లైన్ ప్రసారాలు;
• సిసిటివి;
• బ్యాకప్;
• మీడియా కంటెంట్.

MCST బృందం ఇంకా పని చేయడానికి ఏదైనా ఉంది, కానీ వారి పని ఫలితం ఇప్పటికే కనిపిస్తుంది, ఇది సంతోషించదు.

ఈ పరీక్షలు e2k వెర్షన్ 4.19 కోసం Linux కెర్నల్‌లో నిర్వహించబడ్డాయి; ప్రస్తుతం బీటా పరీక్షల్లో (MCSTలో, బసాల్ట్ SPOలో మరియు ఇక్కడ ఏరోడిస్క్‌లో కూడా) Linux కెర్నల్ 5.4-e2k ఉంది, ఇందులో ఇతర విషయాలతోపాటు, ఇది ఉంది హై-స్పీడ్ సాలిడ్-స్టేట్ డ్రైవ్‌ల కోసం తీవ్రంగా పునఃరూపకల్పన చేయబడిన షెడ్యూలర్ మరియు అనేక ఆప్టిమైజేషన్‌లు. అలాగే, ప్రత్యేకంగా 5.x.x బ్రాంచ్ కెర్నల్స్ కోసం, MCST JSC కొత్త LCC కంపైలర్ వెర్షన్ 1.25ని విడుదల చేస్తుంది. ప్రాథమిక ఫలితాల ప్రకారం, అదే Elbrus 8C ప్రాసెసర్‌లో, కొత్త కంపైలర్, కెర్నల్ ఎన్విరాన్‌మెంట్, సిస్టమ్ యుటిలిటీస్ మరియు లైబ్రరీలతో కంపైల్ చేయబడిన కొత్త కెర్నల్ మరియు వాస్తవానికి, ఏరోడిస్క్ వోస్టాక్ సాఫ్ట్‌వేర్ పనితీరులో మరింత గణనీయమైన పెరుగుదలను అనుమతిస్తుంది. మరియు ఇది పరికరాలను భర్తీ చేయకుండా - అదే ప్రాసెసర్‌లో మరియు అదే ఫ్రీక్వెన్సీలతో.

సంవత్సరం చివరిలో కెర్నల్ 5.4 ఆధారంగా ఏరోడిస్క్ వోస్టాక్ వెర్షన్ విడుదల అవుతుందని మేము ఆశిస్తున్నాము మరియు కొత్త వెర్షన్‌కు సంబంధించిన పని పూర్తయిన వెంటనే, మేము పరీక్ష ఫలితాలను అప్‌డేట్ చేస్తాము మరియు వాటిని ఇక్కడ కూడా ప్రచురిస్తాము.

మేము ఇప్పుడు వ్యాసం ప్రారంభానికి తిరిగి వచ్చి, ఎవరు సరైనది అనే ప్రశ్నకు సమాధానం ఇస్తే: ఎల్బ్రస్ “ఏమీ లేదు” అని చెప్పే నిరాశావాదులు మరియు ప్రముఖ ప్రాసెసర్ తయారీదారులతో ఎప్పటికీ పట్టుకోలేరు లేదా “వారు ఇప్పటికే దాదాపు పట్టుకున్నారు” అని చెప్పే ఆశావాదులు పైకి మరియు త్వరలో అధిగమిస్తుంది "? మేము మూసలు మరియు మతపరమైన పక్షపాతాల నుండి కాకుండా, నిజమైన పరీక్షల నుండి ముందుకు సాగితే, ఆశావాదులు ఖచ్చితంగా సరైనదే.

మిడ్-లెవల్ amd64 ప్రాసెసర్‌లతో పోల్చినప్పుడు ఎల్బ్రస్ ఇప్పటికే మంచి ఫలితాలను చూపుతోంది. Elbrus 8-ke, వాస్తవానికి, Intel లేదా AMD నుండి సర్వర్ ప్రాసెసర్‌ల యొక్క టాప్-ఆఫ్-ది-లైన్ మోడల్‌లకు దూరంగా ఉంది, కానీ అది అక్కడ లక్ష్యంగా లేదు; ప్రాసెసర్‌లు 16C మరియు 32C ఈ ప్రయోజనం కోసం విడుదల చేయబడతాయి. అప్పుడు మాట్లాడుకుందాం.

ఈ ఆర్టికల్ తర్వాత ఎల్బ్రస్ గురించి మరిన్ని ప్రశ్నలు ఉంటాయని మేము అర్థం చేసుకున్నాము, కాబట్టి ఈ ప్రశ్నలకు ప్రత్యక్షంగా సమాధానం ఇవ్వడానికి మేము మరొక ఆన్‌లైన్ వెబ్‌నార్ “OkoloIT”ని నిర్వహించాలని నిర్ణయించుకున్నాము.

ఈసారి మా అతిథి MCST కంపెనీ డిప్యూటీ జనరల్ డైరెక్టర్, కాన్స్టాంటిన్ ట్రష్కిన్. మీరు క్రింది లింక్‌ని ఉపయోగించి వెబ్‌నార్ కోసం నమోదు చేసుకోవచ్చు.

→ వెబ్‌నార్ కోసం నమోదు

మీ అందరికీ ధన్యవాదాలు, ఎప్పటిలాగే, మేము నిర్మాణాత్మక విమర్శలు మరియు ఆసక్తికరమైన ప్రశ్నల కోసం ఎదురు చూస్తున్నాము.

మూలం: www.habr.com