අපි විෂමතා සොයන අතර ස්නායුක ජාල භාවිතයෙන් අසාර්ථක වීම් පුරෝකථනය කරමු

මෘදුකාංග පද්ධතිවල කාර්මික සංවර්ධනය සඳහා අවසාන නිෂ්පාදනයේ දෝෂ ඉවසීම මෙන්ම අසාර්ථක වීම් සහ අසාර්ථකවීම් සිදුවුවහොත් ඒවාට ඉක්මන් ප්‍රතිචාර දැක්වීම කෙරෙහි විශාල අවධානයක් අවශ්‍ය වේ. අධීක්ෂණය, ඇත්ත වශයෙන්ම, අසාර්ථකත්වයන් සහ අසාර්ථකත්වයන් වඩාත් කාර්යක්ෂමව හා ඉක්මනින් ප්රතිචාර දැක්වීමට උපකාරී වේ, නමුත් ප්රමාණවත් නොවේ. පළමුව, සේවාදායකයන් විශාල සංඛ්‍යාවක් නිරීක්ෂණය කිරීම ඉතා අපහසුය - විශාල පිරිසක් අවශ්‍ය වේ. දෙවනුව, එහි තත්වය පුරෝකථනය කිරීම සඳහා යෙදුම ක්‍රියා කරන ආකාරය පිළිබඳව ඔබට හොඳ අවබෝධයක් තිබිය යුතුය. ඒ නිසා අපි හදන සිස්ටම් ගැන, ඒවායේ ක් රියාකාරීත්වය, විශේෂාංග ගැන හොඳ අවබෝධයක් තියෙන ගොඩක් අය අවශ් යයි. ඔබ මෙය කිරීමට කැමති තරම් පිරිසක් සොයා ගත්තද, ඔවුන් පුහුණු කිරීමට බොහෝ කාලයක් ගත වේ යැයි අපි සිතමු.

මොනවා කරන්නද? කෘත්‍රිම බුද්ධිය අපේ පිහිටට එන්නේ මෙතැනදීය. ලිපිය කතා කරනු ඇත අනාවැකි නඩත්තු කිරීම (අනාවැකි නඩත්තු). මෙම ප්රවේශය ක්රියාකාරීව ජනප්රිය වෙමින් පවතී. හබ්රේ ඇතුළු ලිපි විශාල ප්‍රමාණයක් ලියා ඇත. විශාල සමාගම් ඔවුන්ගේ සේවාදායකයන්ගේ කාර්ය සාධනය පවත්වා ගැනීම සඳහා මෙම ප්රවේශය සම්පූර්ණයෙන්ම භාවිතා කරයි. ලිපි විශාල සංඛ්යාවක් අධ්යයනය කිරීමෙන් පසුව, අපි මෙම ප්රවේශය උත්සාහ කිරීමට තීරණය කළා. එයින් සිදු වූයේ කුමක්ද?

හැඳින්වීම

සංවර්ධිත මෘදුකාංග පද්ධතිය ඉක්මනින් හෝ පසුව ක්රියාත්මක වේ. පද්ධතිය අසාර්ථක නොවී ක්‍රියා කිරීම පරිශීලකයාට වැදගත් වේ. හදිසි තත්වයක් ඇති වුවහොත්, එය අවම ප්රමාදයකින් විසඳා ගත යුතුය.

මෘදුකාංග පද්ධතියක තාක්ෂණික සහාය සරල කිරීම සඳහා, විශේෂයෙන් බොහෝ සේවාදායකයන් තිබේ නම්, අධීක්ෂණ වැඩසටහන් සාමාන්‍යයෙන් භාවිතා කරනුයේ ක්‍රියාත්මක වන මෘදුකාංග පද්ධතියකින් ප්‍රමිතික ලබා ගැනීම, එහි තත්ත්වය හඳුනා ගැනීමට සහ අසාර්ථක වීමට හේතුව කුමක්ද යන්න තීරණය කිරීමට උපකාරී වේ. මෙම ක්‍රියාවලිය මෘදුකාංග පද්ධති අධීක්ෂණය ලෙස හැඳින්වේ.

රූපය 1. Grafana අධීක්ෂණ අතුරුමුහුණත

ප්‍රමිතික යනු මෘදුකාංග පද්ධතියක්, එහි ක්‍රියාත්මක පරිසරයක් හෝ ප්‍රමිතික ලැබුණු මොහොතේ කාල මුද්‍රාවක් සමඟ පද්ධතිය ක්‍රියාත්මක වන භෞතික පරිගණකයේ විවිධ දර්ශක වේ. ස්ථිතික විශ්ලේෂණයේදී, මෙම මිතික කාල ශ්‍රේණි ලෙස හැඳින්වේ. මෘදුකාංග පද්ධතියේ තත්වය නිරීක්ෂණය කිරීම සඳහා, ප්‍රමිතික ප්‍රස්ථාර ආකාරයෙන් පෙන්වනු ලැබේ: කාලය X අක්ෂයේ වන අතර අගයන් Y අක්ෂය දිගේ ඇත (රූපය 1). ක්‍රියාත්මක වන මෘදුකාංග පද්ධතියකින් (එක් එක් නෝඩ් එකකින්) ප්‍රමිතික දහස් ගණනක් ගත හැක. ඒවා ප්‍රමිතික අවකාශයක් (බහුමාන කාල ශ්‍රේණියක්) සාදයි.

සංකීර්ණ මෘදුකාංග පද්ධති සඳහා ප්‍රමිතික විශාල ප්‍රමාණයක් එකතු කර ඇති බැවින්, අතින් අධීක්‍ෂණය කිරීම අපහසු කාර්යයක් බවට පත්වේ. පරිපාලක විසින් විශ්ලේෂණය කරන ලද දත්ත ප්රමාණය අඩු කිරීම සඳහා, අධීක්ෂණ මෙවලම් තුළ ඇතිවිය හැකි ගැටළු ස්වයංක්රීයව හඳුනා ගැනීමට මෙවලම් අඩංගු වේ. උදාහරණයක් ලෙස, නිදහස් තැටි ඉඩ නිශ්චිත සීමාවට වඩා අඩු වූ විට ඔබට වෙඩි තැබීමට ප්‍රේරකයක් වින්‍යාසගත කළ හැක. ඔබට සේවාදායක වසා දැමීමක් හෝ සේවා වේගයෙහි බරපතල මන්දගාමිත්වයක් ස්වයංක්‍රීයව හඳුනාගත හැකිය. ප්‍රායෝගිකව, අධීක්ෂණ මෙවලම් දැනටමත් සිදු වී ඇති අසාර්ථකත්වයන් හඳුනා ගැනීම හෝ අනාගත අසාර්ථකත්වයේ සරල රෝග ලක්ෂණ හඳුනා ගැනීම සඳහා හොඳ කාර්යයක් කරයි, නමුත් පොදුවේ, සිදුවිය හැකි අසාර්ථකත්වය පුරෝකථනය කිරීම ඔවුන්ට ඉරිතලා යාමට අපහසු දෙයක් ලෙස පවතී. ප්‍රමිතික අතින් විශ්ලේෂණය හරහා පුරෝකථනය කිරීම සඳහා සුදුසුකම් ලත් විශේෂඥයින්ගේ සහභාගීත්වය අවශ්‍ය වේ. එය අඩු ඵලදායිතාවයකි. බොහෝ විය හැකි අසාර්ථකත්වයන් නොදැනුවත්වම විය හැක.

මෑතකදී, මෘදුකාංග පද්ධතිවල ඊනියා අනාවැකි නඩත්තු කිරීම විශාල තොරතුරු තාක්ෂණ මෘදුකාංග සංවර්ධන සමාගම් අතර වැඩි වැඩියෙන් ජනප්රිය වී ඇත. මෙම ප්‍රවේශයේ සාරය නම්, එය අසාර්ථක වීමට පෙර, කෘතිම බුද්ධිය භාවිතයෙන් මුල් අවධියේදී පද්ධති පිරිහීමට තුඩු දෙන ගැටළු සොයා ගැනීමයි. මෙම ප්රවේශය පද්ධතියේ අතින් අධීක්ෂණය සම්පූර්ණයෙන්ම බැහැර නොකරයි. එය සමස්තයක් ලෙස නිරීක්ෂණ ක්රියාවලියට සහායක වේ.

අනාවැකි නඩත්තු කිරීම ක්රියාත්මක කිරීම සඳහා ප්රධාන මෙවලම වන්නේ කාල ශ්රේණියේ විෂමතා සෙවීමේ කාර්යයයි විෂමතාවයක් ඇති වූ විට දත්තවල යම් කාලයකට පසු ඉහළ සම්භාවිතාවක් ඇත අසාර්ථක වීමක් හෝ අසාර්ථකත්වයක් ඇති වනු ඇත. විෂමතාවයක් යනු මෘදුකාංග පද්ධතියක ක්‍රියාකාරීත්වයේ යම් අපගමනයකි, එනම් එක් ආකාරයක ඉල්ලීමක් ක්‍රියාත්මක කිරීමේ වේගයේ පිරිහීම හඳුනා ගැනීම හෝ සේවාදායක සැසිවල නියත මට්ටමේ සාමාන්‍ය සේවා ඉල්ලීම් සංඛ්‍යාව අඩුවීම වැනි ය.

මෘදුකාංග පද්ධති සඳහා විෂමතා සෙවීමේ කාර්යයට එහි විශේෂතා ඇත. න්‍යායාත්මකව, සෑම මෘදුකාංග පද්ධතියක් සඳහාම පවතින ක්‍රම සංවර්ධනය කිරීම හෝ ශෝධනය කිරීම අවශ්‍ය වේ, මන්ද විෂමතා සෙවීම එය සිදු කරන දත්ත මත බෙහෙවින් රඳා පවතින අතර පද්ධතිය ක්‍රියාත්මක කිරීමේ මෙවලම් මත මෘදුකාංග පද්ධතිවල දත්ත බෙහෙවින් වෙනස් වේ. , එය ක්රියාත්මක වන්නේ කුමන පරිගණකයටද යන්න.

මෘදුකාංග පද්ධතිවල අසාර්ථකත්වය පුරෝකථනය කිරීමේදී විෂමතා සෙවීමේ ක්‍රම

පළමුවෙන්ම, අසාර්ථකත්වය පුරෝකථනය කිරීමේ අදහස ලිපියෙන් ආභාෂය ලැබූ බව පැවසීම වටී "තොරතුරු තාක්ෂණ අධීක්‍ෂණයේ යන්ත්‍ර ඉගෙනීම". අක්‍රමිකතා සඳහා ස්වයංක්‍රීය සෙවුම් සමඟ ප්‍රවේශයේ සඵලතාවය පරීක්ෂා කිරීම සඳහා, NPO Krista සමාගමේ එක් ව්‍යාපෘතියක් වන Web-consolidation මෘදුකාංග පද්ධතිය තෝරා ගන්නා ලදී. මීට පෙර, ලැබුණු ප්‍රමිතික මත පදනම්ව ඒ සඳහා අතින් අධීක්ෂණය සිදු කරන ලදී. පද්ධතිය තරමක් සංකීර්ණ බැවින්, ඒ සඳහා ප්‍රමිතික විශාල සංඛ්‍යාවක් ගනු ලැබේ: JVM දර්ශක (කසළ එකතු කරන්නා භාරය), කේතය ක්‍රියාත්මක වන මෙහෙයුම් පද්ධතියේ දර්ශක (අථත්‍ය මතකය, % OS CPU භාරය), ජාල දර්ශක (ජාල භාරය ), සේවාදායකයම (CPU භාරය , මතකය), වයිල්ෆ්ලයි මෙට්‍රික්ස් සහ සියලුම තීරණාත්මක උප පද්ධති සඳහා යෙදුමේ ප්‍රමිතික.

සියලුම ප්‍රමිතික ග්‍රැෆයිට් භාවිතයෙන් පද්ධතියෙන් ගනු ලැබේ. මුලදී, විස්පර් දත්ත සමුදාය ග්‍රැෆානා සඳහා සම්මත විසඳුමක් ලෙස භාවිතා කරන ලදී, නමුත් සේවාදායක පදනම වර්ධනය වන විට, DC තැටි උප පද්ධතියේ ධාරිතාව අවසන් වීමෙන් මිනිරන්ට තවදුරටත් එයට මුහුණ දීමට නොහැකි විය. මෙයින් පසු, වඩාත් ඵලදායී විසඳුමක් සොයා ගැනීමට තීරණය විය. තේරීම පක්ෂව සිදු කරන ලදී ග්රැෆයිට්+ක්ලික්හවුස්, එය විශාලත්වයේ අනුපිළිවෙලකින් තැටි උප පද්ධතියේ බර අඩු කිරීමට සහ වාඩිලාගෙන සිටින තැටි අවකාශය පස් හය ගුණයකින් අඩු කිරීමට හැකි විය. පහත දැක්වෙන්නේ ග්රැෆයිට්+ක්ලික්හවුස් භාවිතයෙන් මිනුම් එකතු කිරීමේ යාන්ත්රණයේ රූප සටහනකි (රූපය 2).

රූපය 2. ප්‍රමිතික එකතු කිරීමේ යෝජනා ක්‍රමය

රූප සටහන අභ්‍යන්තර ලියකියවිලි වලින් ලබාගෙන ඇත. එය Grafana (අප භාවිතා කරන අධීක්ෂණ UI) සහ මිනිරන් අතර සන්නිවේදනය පෙන්වයි. යෙදුමකින් ප්‍රමිතික ඉවත් කිරීම වෙනම මෘදුකාංගයකින් සිදු කෙරේ - jmxtrans. ඔහු ඒවා මිනිරන්වලට දමයි.
අසාර්ථකත්වයන් පුරෝකථනය කිරීම සඳහා ගැටළු ඇති කරන විශේෂාංග ගණනාවක් වෙබ් ඒකාබද්ධ කිරීමේ පද්ධතියට ඇත:

1. ප්රවණතාවය බොහෝ විට වෙනස් වේ. මෙම මෘදුකාංග පද්ධතිය සඳහා විවිධ අනුවාද තිබේ. ඒ සෑම එකක්ම පද්ධතියේ මෘදුකාංග කොටසෙහි වෙනස්කම් ගෙන එයි. ඒ අනුව, මේ ආකාරයෙන්, සංවර්ධකයින් දී ඇති පද්ධතියක මිතිකවලට සෘජුවම බලපෑම් කරන අතර ප්‍රවණතා වෙනසක් ඇති කළ හැකිය;
2. ක්‍රියාත්මක කිරීමේ විශේෂාංගය මෙන්ම සේවාදායකයින් මෙම පද්ධතිය භාවිතා කරන අරමුණු බොහෝ විට පෙර පිරිහීමෙන් තොරව විෂමතා ඇති කරයි;
3. සම්පූර්ණ දත්ත කට්ටලයට සාපේක්ෂව විෂමතා ප්රතිශතය කුඩා වේ (< 5%);
4. පද්ධතියෙන් දර්ශක ලැබීමේ හිඩැස් තිබිය හැක. සමහර කෙටි කාලයකදී, අධීක්ෂණ පද්ධතියට ප්‍රමිතික ලබා ගැනීමට නොහැකි වේ. උදාහරණයක් ලෙස, සේවාදායකය අධික ලෙස පටවා තිබේ නම්. ස්නායු ජාලයක් පුහුණු කිරීම සඳහා මෙය ඉතා වැදගත් වේ. සින්තටික් ලෙස හිඩැස් පිරවීමේ අවශ්යතාවක් තිබේ;
5. විෂමතා සහිත අවස්ථා බොහෝ විට අදාළ වන්නේ නිශ්චිත දිනයක්/මාසක්/කාලයක් (සෘතුමය) සඳහා පමණි. මෙම පද්ධතිය භාවිතා කරන්නන් විසින් එහි භාවිතය සඳහා පැහැදිලි රෙගුලාසි ඇත. ඒ අනුව, ප්‍රමිතික අදාළ වන්නේ නිශ්චිත කාලයක් සඳහා පමණි. පද්ධතිය නිරන්තරයෙන් භාවිතා කළ නොහැක, නමුත් සමහර මාස වලදී පමණි: වසර අනුව තෝරා ගැනීම. එක් අවස්ථාවකදී මෙට්‍රික් වල එකම හැසිරීම මෘදුකාංග පද්ධතියේ අසාර්ථකත්වයට හේතු විය හැකි නමුත් තවත් අවස්ථාවකදී නොවේ.
   ආරම්භ කිරීම සඳහා, මෘදුකාංග පද්ධතිවල දත්ත නිරීක්ෂණය කිරීමේදී විෂමතා හඳුනාගැනීමේ ක්‍රම විශ්ලේෂණය කරන ලදී. මෙම මාතෘකාව පිළිබඳ ලිපිවල, අනෙකුත් දත්ත කට්ටලයට සාපේක්ෂව විෂමතා ප්රතිශතය කුඩා වන විට, එය බොහෝ විට ස්නායු ජාල භාවිතා කිරීමට යෝජනා කරයි.

ස්නායුක ජාල දත්ත භාවිතයෙන් විෂමතා සෙවීම සඳහා මූලික තර්කනය රූප සටහන 3 හි පෙන්වා ඇත:

රූපය 3. ස්නායුක ජාලයක් භාවිතයෙන් විෂමතා සෙවීම

ප්රමිතික වත්මන් ප්රවාහයේ කවුළුව පුරෝකථනය කිරීම හෝ ප්රතිෂ්ඨාපනය කිරීමේ ප්රතිඵලය මත පදනම්ව, ක්රියාත්මක වන මෘදුකාංග පද්ධතියෙන් ලැබුණු අපගමනය ගණනය කරනු ලැබේ. මෘදුකාංග පද්ධතියෙන් සහ ස්නායුක ජාලයෙන් ලබාගත් මෙට්‍රික්ස් අතර විශාල වෙනසක් තිබේ නම්, වත්මන් දත්ත අංශය විෂම බව අපට නිගමනය කළ හැකිය. ස්නායු ජාල භාවිතය සඳහා පහත සඳහන් ගැටළු මාලාවක් පැන නගී:

1. ප්‍රවාහ මාදිලියේ නිවැරදිව ක්‍රියා කිරීමට, ස්නායුක ජාල ආකෘති පුහුණු කිරීම සඳහා දත්ත ඇතුළත් විය යුත්තේ “සාමාන්‍ය” දත්ත පමණි;
2. නිවැරදි හඳුනා ගැනීම සඳහා යාවත්කාලීන ආකෘතියක් තිබීම අවශ්‍ය වේ. ප්‍රමිතිකවල වෙනස්වන ප්‍රවණතා සහ සෘතුමයභාවය ආකෘතියේ ව්‍යාජ ධනාත්මක විශාල සංඛ්‍යාවක් ඇති කළ හැක. එය යාවත්කාලීන කිරීම සඳහා, ආකෘතිය යල් පැන ගිය කාලය පැහැදිලිව තීරණය කිරීම අවශ්ය වේ. ඔබ පසුව හෝ කලින් ආකෘතිය යාවත්කාලීන කරන්නේ නම්, බොහෝ විට, ව්යාජ ධනාත්මක විශාල සංඛ්යාවක් අනුගමනය කරනු ඇත.
   ව්‍යාජ ධනාත්මක කරුණු සෙවීම සහ වැළැක්වීම ගැන ද අප අමතක නොකළ යුතුය. ඒවා බොහෝ විට හදිසි අවස්ථා වලදී සිදුවනු ඇතැයි උපකල්පනය කෙරේ. කෙසේ වෙතත්, ඒවා ප්රමාණවත් පුහුණුවක් නොමැතිකම හේතුවෙන් ස්නායුක ජාල දෝෂයක ප්රතිවිපාකයක් විය හැකිය. ආකෘතියේ ව්යාජ ධනාත්මක සංඛ්යාව අවම කිරීම අවශ්ය වේ. එසේ නොමැති නම්, වැරදි අනාවැකි පද්ධතිය පරීක්ෂා කිරීමට අදහස් කරන පරිපාලක කාලය ගොඩක් නාස්ති කරනු ඇත. ඉක්මනින් හෝ පසුව පරිපාලකයා "පරණ" නිරීක්ෂණ පද්ධතියට ප්රතිචාර දැක්වීම නවත්වනු ඇත.

පුනරාවර්තන ස්නායු ජාලය

කාල ශ්‍රේණියේ විෂමතා හඳුනා ගැනීමට, ඔබට භාවිතා කළ හැකිය පුනරාවර්තන ස්නායු ජාලය LSTM මතකය සමඟ. එකම ගැටළුව වන්නේ එය පුරෝකථනය කළ කාල ශ්‍රේණි සඳහා පමණක් භාවිතා කළ හැකි වීමයි. අපගේ නඩුවේදී, සියලුම මිතික පුරෝකථනය කළ නොහැක. RNN LSTM කාල ශ්‍රේණියකට යෙදීමේ උත්සාහයක් රූප සටහන 4 හි පෙන්වා ඇත.

රූපය 4. LSTM මතක සෛල සහිත පුනරාවර්තන ස්නායුක ජාලයක උදාහරණය

රූප සටහන 4 වෙතින් දැකිය හැකි පරිදි, මෙම කාල සීමාව තුළ විෂමතා සෙවීමට RNN LSTM හට හැකි විය. ප්‍රති result ලය ඉහළ පුරෝකථන දෝෂයක් (මධ්‍යන්‍ය දෝෂයක්) ඇති විට, දර්ශකවල විෂමතාවයක් ඇත්ත වශයෙන්ම සිදුවී ඇත. තනි RNN LSTM භාවිතා කිරීම පැහැදිලිවම ප්‍රමාණවත් නොවනු ඇත, මන්ද එය ප්‍රමිතික කුඩා සංඛ්‍යාවකට අදාළ වේ. විෂමතා සෙවීම සඳහා සහායක ක්රමයක් ලෙස භාවිතා කළ හැකිය.

අසාර්ථක පුරෝකථනය සඳහා ස්වයං කේතකය

ස්වයං කේතකය - අත්යවශ්යයෙන්ම කෘතිම ස්නායු ජාලයක්. ආදාන ස්තරය සංකේතකය, ප්රතිදාන ස්ථරය විකේතකය. මෙම වර්ගයේ සියලුම ස්නායු ජාල වල අවාසිය නම් ඒවා විෂමතා හොඳින් ස්ථානගත නොකිරීමයි. සමමුහුර්ත ස්වයංක්‍රීය කේතක ගෘහ නිර්මාණ ශිල්පයක් තෝරා ගන්නා ලදී.

Figure 5. autoencoder මෙහෙයුමේ උදාහරණය

ස්වයංක්‍රීය කේතක සාමාන්‍ය දත්ත මත පුහුණු කර ඇති අතර පසුව ආකෘතියට ලබා දෙන දත්තවල විෂම දෙයක් සොයා ගනී. මෙම කාර්යය සඳහා ඔබට අවශ්ය දේ පමණි. ඉතිරිව ඇත්තේ මෙම කාර්යය සඳහා සුදුසු ස්වයංක්‍රීය කේතකය තෝරා ගැනීමයි. වාස්තු විද්‍යාත්මකව සරලම ස්වයංක්‍රීය කේතකය යනු ඉදිරියට එන, ආපසු නොඑන ස්නායුක ජාලයකි, එය බොහෝ දුරට සමාන වේ. බහු ස්ථර perceptron (බහු ස්ථර perceptron, MLP), ආදාන ස්ථරයක්, ප්රතිදාන ස්ථරයක් සහ ඒවා සම්බන්ධ කරන සැඟවුණු ස්ථර එකක් හෝ කිහිපයක් සමඟ.
කෙසේ වෙතත්, autoencoders සහ MLPs අතර ඇති වෙනස්කම් නම්, ස්වයංක්‍රීය කේතකය තුළ, ප්‍රතිදාන ස්ථරයට ආදාන ස්ථරයට සමාන නෝඩ් සංඛ්‍යාවක් තිබීම සහ ආදාන X මඟින් ලබා දී ඇති Y ඉලක්කගත අගයක් පුරෝකථනය කිරීමට පුහුණු කරනු වෙනුවට, ස්වයංක්‍රීය කේතකය පුහුණු කරනු ලැබේ. තමන්ගේම Xs ප්‍රතිනිර්මාණය කිරීම සඳහා. එබැවින්, ස්වයංක්‍රීය කේතක යනු අධීක්ෂණය නොකළ ඉගෙනුම් ආකෘති වේ.

ස්වයංක්‍රීය කේතකයේ කර්තව්‍යය වන්නේ ආදාන දෛශික X හි ඇති විෂම මූලද්‍රව්‍යවලට අනුරූප වන කාල දර්ශක r0 ... rn සොයා ගැනීමයි. මෙම බලපෑම ලබා ගන්නේ වර්ග දෝෂය සෙවීමෙනි.

රූපය 6. සමමුහුර්ත ස්වයංක්‍රීය කේතකය

ස්වයංක්‍රීය කේතකය තෝරා ගන්නා ලදී සමමුහුර්ත ගෘහ නිර්මාණ ශිල්පය. එහි වාසි: ප්‍රවාහ සැකසුම් මාදිලිය භාවිතා කිරීමේ හැකියාව සහ අනෙකුත් ගෘහ නිර්මාණ ශිල්පයට සාපේක්ෂව ස්නායු ජාල පරාමිතීන් සාපේක්ෂව කුඩා සංඛ්‍යාවක්.

ව්යාජ ධනාත්මක අවම කිරීම සඳහා යාන්ත්රණය

සංවර්ධනය වෙමින් පවතින විෂමතා හඳුනාගැනීමේ ආකෘතිය සඳහා විවිධ අසාමාන්‍ය තත්වයන් මෙන්ම ස්නායුක ජාලයේ ප්‍රමාණවත් පුහුණුවක් නොමැති තත්වයක් ඇතිවිය හැකි බැවින්, ව්‍යාජ ධනාත්මක කරුණු අවම කිරීම සඳහා යාන්ත්‍රණයක් සකස් කිරීම අවශ්‍ය බව තීරණය විය. මෙම යාන්ත්‍රණය පරිපාලක විසින් වර්ගීකරණය කරන ලද සැකිලි පදනමක් මත පදනම් වේ.

ගතික කාල රේඛා පරිවර්තනය සඳහා ඇල්ගොරිතම (DTW ඇල්ගොරිතම, ඉංග්‍රීසි ගතික කාල විපර්යාසයෙන්) ඔබට කාල අනුපිළිවෙල අතර ප්‍රශස්ත ලිපි හුවමාරුව සොයා ගැනීමට ඉඩ සලසයි. කථන හඳුනාගැනීමේදී මුලින්ම භාවිතා කළේ: කථන සංඥා දෙකක් එකම මුල් කථන වාක්‍ය ඛණ්ඩය නියෝජනය කරන්නේ කෙසේද යන්න තීරණය කිරීමට භාවිතා කරයි. පසුව, වෙනත් ප්‍රදේශවල ඒ සඳහා අයදුම්පත් සොයා ගන්නා ලදී.

ව්‍යාජ ධනාත්මක අවම කිරීමේ ප්‍රධාන මූලධර්මය වන්නේ ස්නායුක ජාල භාවිතයෙන් අනාවරණය වූ සැක සහිත අවස්ථා වර්ගීකරණය කරන ක්‍රියාකරුවෙකුගේ සහාය ඇතිව ප්‍රමිති දත්ත සමුදායක් රැස් කිරීමයි. ඊළඟට, වර්ගීකරණය කරන ලද ප්‍රමිතිය පද්ධතිය අනාවරණය කරගත් අවස්ථාව සමඟ සංසන්දනය කර, නඩුව අසත්‍යද නැතහොත් අසාර්ථක වීමට හේතු වේද යන්න පිළිබඳව නිගමනයකට එළඹේ. DTW ඇල්ගොරිතම කාල ශ්‍රේණි දෙකක් සංසන්දනය කිරීම සඳහා නිශ්චිතවම භාවිතා වේ. ප්රධාන අවම කිරීමේ මෙවලම තවමත් වර්ගීකරණයයි. සමුද්දේශ අවස්ථා විශාල ප්‍රමාණයක් එකතු කිරීමෙන් පසු, බොහෝ අවස්ථාවන්හි සමානකම සහ සමාන ඒවා සිදුවීම හේතුවෙන් පද්ධතිය ක්‍රියාකරුගෙන් අඩුවෙන් විමසීමට පටන් ගනී යැයි අපේක්ෂා කෙරේ.

ප්රතිඵලයක් වශයෙන්, ඉහත විස්තර කර ඇති ස්නායුක ජාල ක්රම මත පදනම්ව, "වෙබ්-ඒකාබද්ධ" පද්ධතියේ අසාර්ථකත්වය පුරෝකථනය කිරීම සඳහා පර්යේෂණාත්මක වැඩසටහනක් ගොඩනගා ඇත. මෙම වැඩසටහනේ පරමාර්ථය වූයේ, අපගේ මෘදුකාංග පද්ධති සඳහා මෙම ප්‍රවේශයේ නිපුණතාවය තක්සේරු කිරීම සඳහා පවතින අධීක්ෂණ දත්ත සහ පෙර අසාර්ථකත්වයන් පිළිබඳ තොරතුරු දැනට පවතින ලේඛනාගාරය භාවිතා කිරීමයි. වැඩසටහනේ යෝජනා ක්රමය රූප සටහන 7 හි පහත දැක්වේ.

රූපය 7. මෙට්‍රික් අවකාශ විශ්ලේෂණය මත පදනම් වූ අසාර්ථක පුරෝකථන යෝජනා ක්‍රමය

රූප සටහනේ, ප්‍රධාන කොටස් දෙකක් වෙන්කර හඳුනාගත හැකිය: අධීක්ෂණ දත්ත ප්‍රවාහයේ (මිතික) විෂම කාල පරිච්ඡේද සෙවීම සහ ව්‍යාජ ධනාත්මක අවම කිරීමේ යාන්ත්‍රණය. සටහන: පර්යේෂණාත්මක අරමුණු සඳහා, මිනිරන් එය සුරැකෙන දත්ත සමුදායෙන් JDBC සම්බන්ධතාවයක් හරහා දත්ත ලබා ගනී.
සංවර්ධනයේ ප්රතිඵලයක් ලෙස ලබාගත් අධීක්ෂණ පද්ධතියේ අතුරු මුහුණත පහත දැක්වේ (රූපය 8).

රූපය 8. පර්යේෂණාත්මක නිරීක්ෂණ පද්ධතියේ අතුරු මුහුණත

අතුරු මුහුණත ලැබුණු ප්‍රමිතික මත පදනම්ව විෂමතා ප්‍රතිශතය පෙන්වයි. අපගේ නඩුවේදී, රිසිට්පත අනුකරණය කර ඇත. අප සතුව දැනටමත් සති කිහිපයක් සඳහා සියලු දත්ත ඇති අතර අසාර්ථක වීමට තුඩු දෙන විෂමතාවක් පරීක්ෂා කිරීමට එය ක්‍රමයෙන් පූරණය කරමින් සිටිමු. පහළ තත්ව තීරුව ස්වයංක්‍රීය කේතකයක් භාවිතයෙන් තීරණය කරනු ලබන, දී ඇති වේලාවක දත්ත විෂමතාවයේ සමස්ත ප්‍රතිශතය පෙන්වයි. එසේම, RNN LSTM මගින් ගණනය කරනු ලබන පුරෝකථනය කරන ලද ප්‍රමිතික සඳහා වෙනම ප්‍රතිශතයක් ප්‍රදර්ශනය කෙරේ.

RNN LSTM ස්නායු ජාලය භාවිතයෙන් CPU කාර්ය සාධනය මත පදනම් වූ විෂමතා හඳුනාගැනීමේ උදාහරණයක් (Figure 9).

රූපය 9. RNN LSTM සොයාගැනීම

තරමක් සරල නඩුවක්, අත්‍යවශ්‍යයෙන්ම සාමාන්‍ය පිටසක්වල, නමුත් පද්ධති අසාර්ථක වීමට තුඩු දෙන, RNN LSTM භාවිතයෙන් සාර්ථකව ගණනය කරන ලදී. මෙම කාල පරිච්ෙඡ්දය තුළ විෂමතා දර්ශකය 85-95% වේ; 80% ට වැඩි සියල්ල (ඉදිරිපත් කිරීම පර්යේෂණාත්මකව තීරණය කරන ලදී) විෂමතාවයක් ලෙස සැලකේ.
යාවත්කාලීන කිරීමෙන් පසු පද්ධතිය ආරම්භ කිරීමට නොහැකි වූ විට විෂමතා හඳුනාගැනීමේ උදාහරණයක්. මෙම තත්ත්වය autoencoder මගින් අනාවරණය වේ (රූපය 10).

Figure 10. autoencoder හඳුනාගැනීමේ උදාහරණය

රූපයෙන් ඔබට පෙනෙන පරිදි, PermGen එක මට්ටමක සිරවී ඇත. ස්වයංක්‍රීය කේතකය මෙය අමුතු දෙයක් ලෙස සැලකුවේ එය මීට පෙර එවැනි දෙයක් දැක නොතිබූ බැවිනි. මෙහිදී පද්ධතිය නැවත ක්‍රියාකාරී තත්ත්වයට පත්වන තෙක් විෂමතාව 100%ක් පවතී. සියලුම ප්‍රමිතික සඳහා විෂමතාවයක් ප්‍රදර්ශනය කෙරේ. කලින් සඳහන් කළ පරිදි, autoencoder හට විෂමතා ස්ථානගත කළ නොහැක. මෙම අවස්ථාවන්හිදී මෙම කාර්යය ඉටු කිරීමට ක්රියාකරු කැඳවනු ලැබේ.

නිගමනය

PC "වෙබ්-ඒකාබද්ධ කිරීම" වසර කිහිපයක් තිස්සේ සංවර්ධනය වෙමින් පවතී. පද්ධතිය තරමක් ස්ථායී තත්ත්වයක පවතින අතර, වාර්තාගත සිදුවීම් ගණන කුඩා වේ. කෙසේ වෙතත්, අසාර්ථක වීමට මිනිත්තු 5 - 10 කට පෙර අසාර්ථක වීමට තුඩු දෙන විෂමතා සොයා ගැනීමට හැකි විය. සමහර අවස්ථාවලදී, අසාර්ථක වීමක් කල්තියා දැනුම් දීම "අලුත්වැඩියා" කටයුතු සිදු කිරීම සඳහා වෙන් කර ඇති නියමිත කාලය ඉතිරි කර ගැනීමට උපකාරී වේ.

සිදු කරන ලද අත්හදා බැලීම් මත පදනම්ව, අවසාන නිගමනවලට එළඹීමට ඉක්මන් වැඩිය. මෙතෙක් ප්‍රතිඵල පරස්පරයි. එක් අතකින්, ස්නායුක ජාල මත පදනම් වූ ඇල්ගොරිතම "ප්රයෝජනවත්" විෂමතා සොයා ගැනීමට හැකි බව පැහැදිලිය. අනෙක් අතට, ව්යාජ ධනාත්මක විශාල ප්රතිශතයක් ඉතිරිව ඇති අතර, ස්නායුක ජාලයක සුදුසුකම් ලත් විශේෂඥයෙකු විසින් අනාවරණය කරන ලද සියලුම විෂමතා හඳුනාගත නොහැකිය. අවාසි අතර දැන් ස්නායු ජාලයට සාමාන්‍ය ක්‍රියාකාරිත්වය සඳහා ගුරුවරයෙකු සමඟ පුහුණුව අවශ්‍ය වේ.

අසාර්ථක පුරෝකථන පද්ධතිය තවදුරටත් වර්ධනය කර එය සතුටුදායක තත්ත්වයකට ගෙන ඒම සඳහා ක්රම කිහිපයක් අපේක්ෂා කළ හැකිය. මෙය පද්ධතියේ තත්වයට බෙහෙවින් බලපාන වැදගත් ප්‍රමිතික ලැයිස්තුවට එකතු කිරීම සහ එයට බලපාන්නේ නැති අනවශ්‍ය ඒවා ඉවත දැමීම හේතුවෙන් අසාර්ථක වීමට තුඩු දෙන විෂමතා සහිත සිද්ධීන් පිළිබඳ වඩාත් සවිස්තරාත්මක විශ්ලේෂණයකි. එසේම, අපි මෙම දිශාවට ගමන් කරන්නේ නම්, අසාර්ථකත්වයට තුඩු දෙන විෂමතා සමඟ අපගේ නඩු සඳහා විශේෂිත ඇල්ගොරිතමයන් විශේෂිත කිරීමට උත්සාහ කළ හැකිය. තවත් ක්රමයක් තිබේ. මෙය ස්නායුක ජාල ගෘහ නිර්මාණ ශිල්පයේ වැඩිදියුණු කිරීමක් වන අතර එමඟින් පුහුණු කාලය අඩු කිරීමත් සමඟ හඳුනාගැනීමේ නිරවද්‍යතාවය වැඩි කරයි.

මෙම ලිපියේ අදාළත්වය ලිවීමට සහ පවත්වා ගැනීමට මට උපකාර කළ මගේ සගයන්ට මම මගේ කෘතඥතාව පළ කරමි: වික්ටර් වර්බිට්ස්කි සහ සර්ජි ෆිනොජෙනොව්.

මූලාශ්රය: www.habr.com