Elbrus VS Intel. Aerodisk Vostok සහ Engine ගබඩා පද්ධතිවල කාර්ය සාධනය සංසන්දනය කිරීම

Elbrus VS Intel. Aerodisk Vostok සහ Engine ගබඩා පද්ධතිවල කාර්ය සාධනය සංසන්දනය කිරීම

ආයුබෝවන් සියල්ලටම. රුසියානු Elbrus 8C ප්‍රොසෙසරය මත පදනම් වූ Aerodisk VOSTOK දත්ත ගබඩා පද්ධතියට අපි ඔබට දිගටම හඳුන්වා දෙන්නෙමු.

මෙම ලිපියෙන් අපි (පොරොන්දු වූ පරිදි) Elbrus සම්බන්ධ වඩාත් ජනප්‍රිය හා සිත්ගන්නා මාතෘකාවක් වන ඵලදායිතාව විස්තරාත්මකව විශ්ලේෂණය කරන්නෙමු. එල්බ්‍රස්ගේ ක්‍රියාකාරිත්වය පිළිබඳ බොහෝ සමපේක්ෂන ඇත, සහ නියත වශයෙන්ම ධ්‍රැවීය ඒවා. අශුභවාදීන් පවසන්නේ Elbrus ගේ ඵලදායිතාව දැන් "කිසිවක් නැත", සහ "ඉහළම" නිෂ්පාදකයින් (එනම්, වර්තමාන යථාර්ථයේ දී, කිසිදාක) අල්ලා ගැනීමට දශක ගණනාවක් ගත වනු ඇති බවයි. අනෙක් අතට, ශුභවාදීන් පවසන්නේ Elbrus 8C දැනටමත් හොඳ ප්‍රතිඵල පෙන්වන බවත්, ඉදිරි වසර කිහිපය තුළ නව ප්‍රොසෙසර (Elbrus 16C සහ 32C) නිකුත් කිරීමත් සමඟ අපට “අල්ලා ගැනීමට සහ අභිබවා යාමට” හැකි වනු ඇති බවයි. ලොව ප්‍රමුඛ පෙළේ ප්‍රොසෙසර් නිෂ්පාදකයින්.

Aerodisk හි අපි ප්‍රායෝගික පුද්ගලයින් වන අතර, එබැවින් අපි සරලම සහ වඩාත්ම තේරුම්ගත හැකි (අපට) මාර්ගයක් ගත්තෙමු: පරීක්ෂා කරන්න, ප්‍රති results ල වාර්තා කර පසුව නිගමන උකහා ගන්න. එහි ප්‍රතිඵලයක් වශයෙන්, අපි සෑහෙන විශාල පරීක්ෂණ සංඛ්‍යාවක් පවත්වා Elbrus 8C e2k ගෘහ නිර්මාණ ශිල්පයේ (ප්‍රසන්න ඒවා ඇතුළුව) මෙහෙයුම් විශේෂාංග ගණනාවක් සොයා ගත් අතර, ඇත්ත වශයෙන්ම, මෙය Intel Xeon amd64 ගෘහ නිර්මාණ ප්‍රොසෙසරවල සමාන ගබඩා පද්ධති සමඟ සසඳන ලදී.

මාර්ගය වන විට, අපි 15.10.2020 ඔක්තෝබර් 15 වන දින 00:XNUMX ට අපගේ මීළඟ webinar “OkoloIT” හිදී Elbrus හි ගබඩා පද්ධතිවල පරීක්ෂණ, ප්‍රතිඵල සහ අනාගත සංවර්ධනය පිළිබඳව වඩාත් විස්තරාත්මකව කතා කරමු. ඔබට පහත සබැඳිය භාවිතයෙන් ලියාපදිංචි විය හැක.

වෙබ්නාර් සඳහා ලියාපදිංචි වීම

පරීක්ෂණ ස්ථාවරය

අපි ස්ථාවර දෙකක් නිර්මාණය කර ඇත. ස්ටෑන්ඩ් දෙකම Linux ධාවනය වන සේවාදායකයකින් සමන්විත වන අතර, 16G FC මඟින් ගබඩා පාලක දෙකක් වෙත මාරු වන අතර, එහි 12 SAS SSD 960 GB තැටි ස්ථාපනය කර ඇත ("අමු ධාරිතාව" 11,5 TB හෝ "භාවිතා කළ හැකි" ධාරිතාව 5,7 TB, අපි RAID භාවිතා කරන්නේ නම්. -10).

ක්රමානුකූලව ස්ථාවරය මේ ආකාරයෙන් පෙනේ.

Elbrus VS Intel. Aerodisk Vostok සහ Engine ගබඩා පද්ධතිවල කාර්ය සාධනය සංසන්දනය කිරීම

ස්ථාවර අංක 1 e2k (Elbrus)

දෘඪාංග වින්යාසය පහත පරිදි වේ:

  • Linux සේවාදායකය (2xIntel Xeon E5-2603 v4 (6 cores, 1,70Ghz), 64 GB DDR4, 2xFC ඇඩැප්ටරය 16G 2 වරායන්) - 1 pc.
  • FC 16 G - 2 pcs මාරු කරන්න.
  • ගබඩා පද්ධතිය Aerodisk Vostok 2-E12 (2xElbrus 8C (8 cores, 1,20Ghz), 32 GB DDR3, 2xFE FC-adaptor 16G 2 port, 12xSAS SSD 960 GB) - 1 pc.

ස්ථාවර අංක 2 amd64 (Intel)

e2k හි සමාන වින්‍යාසයක් සමඟ සංසන්දනය කිරීම සඳහා, අපි amd64 ට සමාන ප්‍රොසෙසරයක් සමඟ සමාන ගබඩා වින්‍යාසයක් භාවිතා කළෙමු:

  • Linux සේවාදායකය (2xIntel Xeon E5-2603 v4 (6 cores, 1,70Ghz), 64 GB DDR4, 2xFC ඇඩැප්ටරය 16G 2 වරායන්) - 1 pc.
  • FC 16 G - 2 pcs මාරු කරන්න.
  • ගබඩා පද්ධතිය Aerodisk එන්ජිම N2 (2xIntel Xeon E5-2603 v4 (6 cores, 1,70Ghz), 32 GB DDR4, 2xFE FC-adaptor 16G 2 port, 12xSAS SSD 960 GB) - 1 pc.

වැදගත් සටහන: පරීක්ෂණ සඳහා භාවිතා කරන Elbrus 8C ප්‍රොසෙසර DDR3 RAM සඳහා පමණක් සහය දක්වයි, මෙය ඇත්ත වශයෙන්ම “නරක, නමුත් දිගු කාලයක් නොවේ.” Elbrus 8SV (අප සතුව එය තවමත් තොගයේ නැත, නමුත් එය ඉක්මනින් ලැබෙනු ඇත) DDR4 සඳහා සහය දක්වයි.

පරීක්ෂණ ක්‍රමවේදය

භාරය උත්පාදනය කිරීම සඳහා, අපි ජනප්‍රිය සහ කාලය පරීක්ෂා කළ Flexible IO (FIO) වැඩසටහන භාවිතා කළෙමු.

බ්ලොක් ප්‍රවේශයේ ඉහළ කාර්ය සාධනය සඳහා වන අවශ්‍යතා මත පදනම්ව ගබඩා පද්ධති දෙකම අපගේ වින්‍යාස නිර්දේශයන්ට අනුව වින්‍යාස කර ඇත, එබැවින් අපි DDP (ගතික තැටි සංචිත) තැටි සංචිත භාවිතා කරමු. පරීක්ෂණ ප්රතිඵල විකෘති නොකිරීමට, අපි ගබඩා පද්ධති දෙකෙහිම සම්පීඩනය, අඩු කිරීම සහ RAM හැඹිලිය අක්රිය කරමු.

D-LUN 8ක් RAID-10, 500 GB බැගින් නිර්මාණය කරන ලද අතර, මුළු භාවිත කළ හැකි ධාරිතාව 4 TB (එනම්, මෙම වින්‍යාසයේ භාවිතා කළ හැකි ධාරිතාවෙන් ආසන්න වශයෙන් 70%).

ගබඩා පද්ධති භාවිතා කිරීම සඳහා මූලික සහ ජනප්‍රිය අවස්ථා ක්‍රියාත්මක කරනු ඇත, විශේෂයෙන්:

පළමු පරීක්ෂණ දෙක ගනුදෙනු DBMS ක්‍රියාකාරිත්වය අනුකරණය කරයි. මෙම පරීක්ෂණ සමූහය තුළ අපි IOPS සහ ප්‍රමාදය ගැන උනන්දු වෙමු.

1) කුඩා කුට්ටි 4k හි අහඹු කියවීම
ඒ. බ්ලොක් ප්‍රමාණය = 4k
බී. කියවන්න/ලියන්න = 100%/0%
c. වැඩ ගණන = 8
ඈ පෝලිම් ගැඹුර = 32
ඊ. පූරණ චරිතය = සම්පූර්ණ අහඹු

2) කුඩා කුට්ටි 4k හි අහඹු පටිගත කිරීම
ඒ. බ්ලොක් ප්‍රමාණය = 4k
බී. කියවන්න/ලියන්න = 0%/100%
c. වැඩ ගණන = 8
ඈ පෝලිම් ගැඹුර = 32
ඊ. පූරණ චරිතය = සම්පූර්ණ අහඹු

දෙවන පරීක්ෂණ දෙක DBMS හි විශ්ලේෂණාත්මක කොටසෙහි ක්‍රියාකාරිත්වය අනුකරණය කරයි. මෙම පරීක්ෂණ සමූහය තුළ අපි IOPS සහ ප්‍රමාදය ගැනද උනන්දු වෙමු.

3) කුඩා කුට්ටි 4k හි අනුක්‍රමික කියවීම
ඒ. බ්ලොක් ප්‍රමාණය = 4k
බී. කියවන්න/ලියන්න = 100%/0%
c. වැඩ ගණන = 8
ඈ පෝලිම් ගැඹුර = 32
ඊ. පූරණ චරිතය = අනුක්‍රමික

4) කුඩා කුට්ටි 4k හි අනුක්රමික පටිගත කිරීම
ඒ. බ්ලොක් ප්‍රමාණය = 4k
බී. කියවන්න/ලියන්න = 0%/100%
c. වැඩ ගණන = 8
ඈ පෝලිම් ගැඹුර = 32
ඊ. පූරණ චරිතය = අනුක්‍රමික

තෙවන පරීක්ෂණ කණ්ඩායම ප්‍රවාහ කියවීම (උදාහරණ: මාර්ගගත විකාශන, උපස්ථ ප්‍රතිසාධනය) සහ ප්‍රවාහ පටිගත කිරීමේ කාර්යය අනුකරණය කරයි (උදාහරණ: වීඩියෝ නිරීක්ෂණ, පටිගත කිරීමේ උපස්ථ). මෙම පරීක්ෂණ සමූහය තුළ, අපි තවදුරටත් IOPS ගැන උනන්දු නොවෙමු, නමුත් MB/s සහ ප්‍රමාදය ගැනද උනන්දු වෙමු.

5) 128k විශාල කොටස්වල අනුක්‍රමික කියවීම
ඒ. බ්ලොක් ප්‍රමාණය = 128k
බී. කියවන්න/ලියන්න = 0%/100%
c. වැඩ ගණන = 8
ඈ පෝලිම් ගැඹුර = 32
ඊ. පූරණ චරිතය = අනුක්‍රමික

6) 128k විශාල කොටස්වල අනුක්‍රමික පටිගත කිරීම
ඒ. බ්ලොක් ප්‍රමාණය = 128k
බී. කියවන්න/ලියන්න = 0%/100%
c. වැඩ ගණන = 8
ඈ පෝලිම් ගැඹුර = 32
ඊ. පූරණ චරිතය = අනුක්‍රමික

සෑම පරීක්ෂණයක්ම විනාඩි 7 ක අරාව උණුසුම් කිරීමේ කාලය හැර, පැයක් පවතිනු ඇත.

පරීක්ෂණ ප්‍රති .ල

පරීක්ෂණ ප්රතිඵල වගු දෙකකින් සාරාංශ කර ඇත.

Elbrus 8S (SHD Aerodisk Vostok 2-E12)

Elbrus VS Intel. Aerodisk Vostok සහ Engine ගබඩා පද්ධතිවල කාර්ය සාධනය සංසන්දනය කිරීම

Intel Xeon E5-2603 v4 (ගබඩා පද්ධතිය Aerodisk එන්ජිම N2)

Elbrus VS Intel. Aerodisk Vostok සහ Engine ගබඩා පද්ධතිවල කාර්ය සාධනය සංසන්දනය කිරීම

ප්රතිඵල අතිශයින්ම සිත්ගන්නා සුළු විය. අවස්ථා දෙකේදීම, අපි ගබඩා පද්ධතියේ සැකසුම් බලය (70-90% භාවිතය) හොඳින් භාවිතා කළ අතර, මෙම තත්ත්වය තුළ, ප්රොසෙසර දෙකෙහිම වාසි සහ අවාසි පැහැදිලිව පෙනේ.

වගු දෙකෙහිම, ප්‍රොසෙසර "විශ්වාසය දැනෙන" සහ හොඳ ප්‍රතිඵල පෙන්වන පරීක්ෂණ කොළ පැහැයෙන් උද්දීපනය වන අතර, ප්‍රොසෙසර "කැමති" නොවන අවස්ථා තැඹිලි පැහැයෙන් උද්දීපනය කෙරේ.

අපි කුඩා කොටස්වල අහඹු පැටවීම ගැන කතා කරන්නේ නම්, එසේ නම්:

  • අහඹු කියවීමේ දෘෂ්ටි කෝණයෙන්, Intel නිසැකවම Elbrus ට වඩා ඉදිරියෙන් සිටී, වෙනස 2 ගුණයකි;
  • අහඹු පටිගත කිරීමේ දෘෂ්ටි කෝණයෙන් එය නියත වශයෙන්ම දිනුම් ඇදීමක් වේ, ප්‍රොසෙසර දෙකම ආසන්න වශයෙන් සමාන සහ යහපත් ප්‍රතිඵල පෙන්නුම් කළේය.

කුඩා කුට්ටි වල අනුක්‍රමික පැටවීමකදී පින්තූරය වෙනස් වේ:

  • කියවීමේදී සහ ලිවීමේදී, Intel සැලකිය යුතු ලෙස (2 වතාවක්) Elbrus ට වඩා ඉදිරියෙන් සිටී. ඒ අතරම, එල්බ්‍රස්ට ඉන්ටෙල්ට වඩා අඩු අයිඕපීඑස් දර්ශකයක් තිබේ නම්, නමුත් හොඳ පෙනුමක් (200-300 දහසක්) නම්, ප්‍රමාදයන් පිළිබඳ පැහැදිලි ගැටළුවක් තිබේ (ඒවා ඉන්ටෙල්ට වඩා තුන් ගුණයකින් වැඩි ය). නිගමනය, Elbrus 8C හි වත්මන් අනුවාදය කුඩා කොටස්වල අනුක්‍රමික පැටවීම් වලට සැබවින්ම "කැමති නැත". පැහැදිලිවම කරන්න වැඩ ටිකක් තියෙනවා.

නමුත් විශාල කුට්ටි සහිත අනුක්‍රමික පැටවීමකදී, පින්තූරය හරියටම ප්‍රතිවිරුද්ධ වේ:

  • ප්‍රොසෙසර දෙකම MB/s වලින් ආසන්න වශයෙන් සමාන ප්‍රතිඵල පෙන්වයි, නමුත් එකක් ඇත නමුත්.... Elbrus හි ප්‍රමාද කාර්ය සාධනය Intel (10/0,4 ms සහ 0,5/5,1 ms) වෙතින් සමාන ප්‍රොසෙසරයකට වඩා 6,5 (දස, Karl!!!) ගුණයකින් (එනම් අඩු) වඩා හොඳය. මුලදී එය දෝෂයක් යැයි අපි සිතුවෙමු, එබැවින් අපි ප්‍රති result ලය නැවත පරීක්ෂා කර නැවත පරීක්ෂණයක් කළෙමු, නමුත් නැවත පරීක්ෂණයෙන් පෙන්නුම් කළේ එකම පින්තූරයයි. මෙය Intel (සහ, ඒ අනුව, amd2 ගෘහ නිර්මාණ ශිල්පය) ට වඩා Elbrus හි (සහ පොදුවේ e64k ගෘහ නිර්මාණ ශිල්පයේ) බරපතල වාසියකි. මේ සාර්ථකත්වය තව තවත් දියුණු වේවායි පතමු.

Elbrus හි තවත් රසවත් අංගයක් ඇත, අවධානයෙන් පාඨකයෙකුට මේසය දෙස බැලීමෙන් අවධානය යොමු කළ හැකිය. ඔබ Intel හි කියවීමේ සහ ලිවීමේ කාර්ය සාධනය අතර වෙනස දෙස බැලුවහොත්, සියලුම පරීක්ෂණ වලදී, කියවීම සාමාන්‍යයෙන් ලිවීමට වඩා 50%+ කින් පමණ ඉදිරියෙන් සිටී. මෙය සෑම කෙනෙකුම (අපි ද ඇතුළුව) පුරුදු වී ඇති සම්මතයයි. ඔබ එල්බ්‍රස් දෙස බැලුවහොත්, ලිවීමේ දර්ශක කියවීමේ දර්ශක වලට වඩා සමීප ය; කියවීම ලිවීමට වඩා ඉදිරියෙන්, රීතියක් ලෙස, 10 - 30% කින්, තවත් නැත.

මෙමගින් කුමක් වෙයිද? එල්බ්‍රස් ලිවීමට “ඇත්තටම ප්‍රිය කරන” බව සහ මෙයින් ඇඟවෙන්නේ කියවීමට වඩා ලිවීම පැහැදිලිව පවතින කාර්යයන් සඳහා මෙම ප්‍රොසෙසරය ඉතා ප්‍රයෝජනවත් වනු ඇති බවයි (යාරෝවායාගේ නීතිය කීවේ කවුද?), එය නිසැකවම වාසියකි e2k ගෘහ නිර්මාණ ශිල්පය, සහ මෙම වාසිය වර්ධනය කළ යුතුය.

නිගමන සහ නුදුරු අනාගතය

දත්ත ගබඩා කිරීමේ කාර්යයන් සඳහා එල්බ්‍රස් සහ ඉන්ටෙල් මධ්‍යම පරාසයේ ප්‍රොසෙසරවල සංසන්දනාත්මක පරීක්ෂණ ආසන්න වශයෙන් සමාන හා සමානව වටිනා ප්‍රතිඵල පෙන්නුම් කළ අතර එක් එක් ප්‍රොසෙසරය තමන්ගේම රසවත් විශේෂාංග පෙන්වීය.

ඉන්ටෙල් කුඩා කුට්ටිවල අහඹු ලෙස කියවීමේදී මෙන්ම කුඩා කොටස්වල අනුක්‍රමික කියවීම සහ ලිවීමේදී එල්බ්‍රස් අභිබවා ගියේය.

කුඩා කුට්ටි වල අහඹු ලෙස ලියන විට, ප්රොසෙසර දෙකම සමාන ප්රතිඵල පෙන්වයි.

ප්‍රමාදය අනුව, ප්‍රවාහ භාරයේදී එල්බ්‍රස් ඉන්ටෙල්ට වඩා සැලකිය යුතු ලෙස හොඳ පෙනුමක් ඇත, එනම්. අනුක්‍රමික කියවීම සහ විශාල කොටස්වල ලිවීම.

මීට අමතරව, එල්බ්‍රස්, ඉන්ටෙල් මෙන් නොව, කියවීමේ සහ ලිවීමේ බර යන දෙකටම සමානව මුහුණ දෙන අතර, ඉන්ටෙල් සමඟ, කියවීම ලිවීමට වඩා සෑම විටම වඩා හොඳය.
ලබාගත් ප්‍රති results ල මත පදනම්ව, පහත සඳහන් කාර්යයන් වලදී Elbrus 8C ප්‍රොසෙසරයේ Aerodisk Vostok දත්ත ගබඩා කිරීමේ පද්ධතිවල අදාළත්වය පිළිබඳව අපට නිගමනයකට එළඹිය හැකිය:

  • ලිවීමේ මෙහෙයුම්වල ප්රමුඛතාවයක් ඇති තොරතුරු පද්ධති;
  • ගොනු ප්රවේශය;
  • මාර්ගගත විකාශන;
  • සීසීටීවී;
  • උපස්ථ;
  • මාධ්ය අන්තර්ගතය.

MCST කණ්ඩායමට තවමත් වැඩ කිරීමට යමක් තිබේ, නමුත් ඔවුන්ගේ කාර්යයේ ප්රතිඵලය දැනටමත් පෙනෙන අතර, ඇත්ත වශයෙන්ම, ප්රීති විය නොහැක.

මෙම පරීක්ෂණ e2k අනුවාදය 4.19 සඳහා ලිනක්ස් කර්නලය මත සිදු කරන ලදී; දැනට බීටා පරීක්ෂණවල (MCST, Basalt SPO සහ මෙහි Aerodisk හි) Linux කර්නලය 5.4-e2k ඇත, එහි වෙනත් දේ අතර, එය ඇත. බරපතල ලෙස ප්‍රතිනිර්මාණය කරන ලද උපලේඛන සහ අධිවේගී ඝන-තත්‍ර ධාවකයන් සඳහා බොහෝ ප්‍රශස්තිකරණයන්. එසේම, විශේෂයෙන් 5.x.x ශාඛාවේ කර්නල් සඳහා, MCST JSC නව LCC සම්පාදකයක්, 1.25 අනුවාදය නිකුත් කරයි. මූලික ප්‍රතිඵලවලට අනුව, එම Elbrus 8C ප්‍රොසෙසරයේම, නව සම්පාදකයක්, කර්නල් පරිසරයක්, පද්ධති උපයෝගිතා සහ පුස්තකාල සමඟ සම්පාදනය කරන ලද නව කර්නලයක් සහ ඇත්ත වශයෙන්ම, Aerodisk VOSTOK මෘදුකාංගය කාර්ය සාධනයේ ඊටත් වඩා සැලකිය යුතු වැඩි වීමක් සඳහා ඉඩ ලබා දේ. මෙය උපකරණ ප්‍රතිස්ථාපනය නොකර - එකම ප්‍රොසෙසරයක සහ එකම සංඛ්‍යාත සමඟ.

වසර අවසානයේ දී කර්නලය 5.4 මත පදනම් වූ Aerodisk VOSTOK අනුවාදයක් නිකුත් කිරීමට අපි බලාපොරොත්තු වන අතර, නව අනුවාදයේ වැඩ අවසන් වූ වහාම, අපි පරීක්ෂණ ප්‍රතිඵල යාවත්කාලීන කර ඒවා මෙහි පළ කරන්නෙමු.

අපි දැන් ලිපියේ ආරම්භයට ආපසු ගොස් ප්‍රශ්නයට පිළිතුරු දෙන්නේ නම්, නිවැරදි කවුද: එල්බ්‍රස් “කිසිවක් නැත” යැයි පවසන අශුභවාදීන් සහ කිසි විටෙකත් ප්‍රමුඛ පෙළේ ප්‍රොසෙසර් නිෂ්පාදකයින් සමඟ සම්බන්ධ නොවනු ඇත, නැතහොත් “ඔවුන් දැනටමත් පාහේ අල්ලාගෙන ඇති” යැයි පවසන ශුභවාදීන් දක්වා සහ ඉක්මනින් අභිබවා යනු ඇත "? අප ඉදිරියට යන්නේ ඒකාකෘති සහ ආගමික අගතීන්ගෙන් නොව සැබෑ පරීක්ෂණ වලින් නම්, ශුභවාදීන් නියත වශයෙන්ම නිවැරදි ය.

මධ්‍යම මට්ටමේ amd64 ප්‍රොසෙසර සමඟ සසඳන විට Elbrus දැනටමත් හොඳ ප්‍රතිඵල පෙන්වයි. එල්බ්‍රස් 8-කේ, ඇත්ත වශයෙන්ම, ඉන්ටෙල් හෝ ඒඑම්ඩී වෙතින් සේවාදායක ප්‍රොසෙසරවල ඉහළ පෙළේ මාදිලි වලින් බොහෝ දුරස් ය, නමුත් එය එහි ඉලක්ක කර නොතිබුණි; ප්‍රොසෙසර 16C සහ 32C මේ සඳහා නිකුත් කෙරේ. එහෙනම් අපි කතා කරමු.

මෙම ලිපියෙන් පසුව Elbrus ගැන තවත් ප්‍රශ්න ඇති බව අපට වැටහෙනවා, ඒ නිසා අපි මෙම ප්‍රශ්න වලට සජීවීව පිළිතුරු දීමට "OkoloIT" තවත් මාර්ගගත webinar සංවිධානය කිරීමට තීරණය කළෙමු.

මෙවර අපගේ ආගන්තුකයා MCST සමාගමේ නියෝජ්‍ය සාමාන්‍ය අධ්‍යක්ෂ කොන්ස්ටන්ටින් ට්‍රෂ්කින් වනු ඇත. ඔබට පහත සබැඳිය භාවිතා කර webinar සඳහා ලියාපදිංචි විය හැක.

වෙබ්නාර් සඳහා ලියාපදිංචි වීම

ඔබ සැමට ස්තූතියි, සෑම විටම මෙන්, අපි නිර්මාණාත්මක විවේචන සහ රසවත් ප්‍රශ්න බලාපොරොත්තු වෙමු.

මූලාශ්රය: www.habr.com

අදහස් එක් කරන්න