நரம்பியல் நெட்வொர்க்குகளைப் பயன்படுத்தி நாங்கள் முரண்பாடுகளைத் தேடுகிறோம் மற்றும் தோல்விகளைக் கணிக்கிறோம்

தொழில்துறை மென்பொருள் மேம்பாட்டிற்கு இறுதி தயாரிப்பின் தவறு சகிப்புத்தன்மையில் அதிக கவனம் தேவை, அதே போல் தோல்விகள் மற்றும் குறைபாடுகள் ஏற்பட்டால் அவற்றுக்கு விரைவான பதிலும் தேவை. கண்காணிப்பு நிச்சயமாக தோல்விகள் மற்றும் குறைபாடுகளுக்கு மிகவும் திறம்பட மற்றும் விரைவாக பதிலளிக்க உதவுகிறது, ஆனால் அது போதாது. முதலாவதாக, அதிக எண்ணிக்கையிலான சேவையகங்களைக் கண்காணிப்பது மிகவும் கடினம் - இதற்கு அதிக எண்ணிக்கையிலான மக்கள் தேவை. இரண்டாவதாக, அதன் நிலையை கணிக்க பயன்பாட்டின் கட்டமைப்பை முழுமையாகப் புரிந்துகொள்வது அவசியம். இதன் விளைவாக, நாம் உருவாக்கும் அமைப்புகள், அவற்றின் அளவீடுகள் மற்றும் குறிப்பிட்ட அம்சங்கள் பற்றிய முழுமையான புரிதல் கொண்ட பலர் நமக்குத் தேவை. இதைச் செய்ய போதுமான மக்கள் தயாராக இருப்பதைக் கண்டாலும், அவர்களுக்குப் பயிற்சி அளிப்பதற்கு இன்னும் கணிசமான நேரம் எடுக்கும் என்று வைத்துக் கொள்வோம்.

எனவே நாம் என்ன செய்ய வேண்டும்? இங்குதான் செயற்கை நுண்ணறிவு நமக்கு உதவுகிறது. இந்தக் கட்டுரை விவாதிக்கும் முன்கணிப்பு பராமரிப்பு (முன்கணிப்பு பராமரிப்பு). இந்த அணுகுமுறை வேகமாக பிரபலமடைந்து வருகிறது. ஹப்ர் உட்பட, இதைப் பற்றி ஏராளமான கட்டுரைகள் எழுதப்பட்டுள்ளன. பெரிய நிறுவனங்கள் தங்கள் சேவையகங்களின் செயல்திறனைப் பராமரிக்க இந்த அணுகுமுறையை தீவிரமாகப் பயன்படுத்துகின்றன. ஏராளமான கட்டுரைகளை மதிப்பாய்வு செய்த பிறகு, அதை முயற்சிக்க முடிவு செய்தோம். இதனால் என்ன பலன் கிடைத்தது?

அறிமுகம்

உருவாக்கப்பட்ட மென்பொருள் அமைப்பு இறுதியில் செயல்பாட்டுக்கு வருகிறது. கணினி எந்தவித இடையூறும் இல்லாமல் செயல்படுவது பயனருக்கு முக்கியம். அவசரநிலை ஏற்பட்டால், அதை குறைந்தபட்ச தாமதங்களுடன் தீர்க்க வேண்டும்.

ஒரு மென்பொருள் அமைப்பிற்கான தொழில்நுட்ப ஆதரவை எளிமைப்படுத்த, குறிப்பாக பல சேவையகங்கள் இருந்தால், கண்காணிப்பு நிரல்கள் பொதுவாகப் பயன்படுத்தப்படுகின்றன. இந்த நிரல்கள் இயங்கும் மென்பொருள் அமைப்பிலிருந்து அளவீடுகளைச் சேகரித்து, அதன் நிலையைக் கண்டறிய உதவுகின்றன, மேலும் தோல்விக்கான காரணத்தைக் கண்டறிய உதவுகின்றன. இந்த செயல்முறை மென்பொருள் அமைப்பு கண்காணிப்பு என்று அழைக்கப்படுகிறது.

படம் 1. கிராஃபனா கண்காணிப்பு இடைமுகம்

அளவீடுகள் என்பது ஒரு மென்பொருள் அமைப்பு, அதன் செயல்பாட்டு சூழல் அல்லது கணினி இயங்கும் இயற்பியல் கணினியின் பல்வேறு குறிகாட்டிகளாகும், மேலும் அளவீடுகள் பெறப்பட்ட தருணத்தைக் குறிக்கும் நேர முத்திரையும் இதில் அடங்கும். நிலையான பகுப்பாய்வில், மெட்ரிக் தரவு நேரத் தொடர் என்று அழைக்கப்படுகிறது. ஒரு மென்பொருள் அமைப்பின் நிலையைக் கண்காணிக்க, அளவீடுகள் வரைபடங்களாகக் காட்டப்படும்: நேரம் x-அச்சிலும் மதிப்புகள் y-அச்சிலும் உள்ளன (படம் 1). இயங்கும் மென்பொருள் அமைப்பிலிருந்து (ஒரு முனைக்கு) பல ஆயிரம் அளவீடுகளைச் சேகரிக்கலாம். இந்த அளவீடுகள் ஒரு மெட்ரிக் இடத்தை (பல பரிமாண நேரத் தொடர்) உருவாக்குகின்றன.

சிக்கலான மென்பொருள் அமைப்புகள் அதிக எண்ணிக்கையிலான அளவீடுகளைச் சேகரிப்பதால், கைமுறை கண்காணிப்பு ஒரு சிக்கலான பணியாகிறது. நிர்வாகி பகுப்பாய்வு செய்ய வேண்டிய தரவின் அளவைக் குறைக்க, கண்காணிப்பு கருவிகளில் சாத்தியமான சிக்கல்களைத் தானாக அடையாளம் காண்பதற்கான கருவிகள் அடங்கும். எடுத்துக்காட்டாக, இலவச வட்டு இடம் ஒரு குறிப்பிட்ட வரம்பை அடையும் போது ஒரு தூண்டுதலைச் செயல்படுத்த கட்டமைக்க முடியும். சேவையக பணிநிறுத்தங்கள் அல்லது முக்கியமான சேவை மந்தநிலைகளையும் தானாகவே கண்டறியலாம். நடைமுறையில், கண்காணிப்பு கருவிகள் கடந்த கால தோல்விகளைக் கண்டறிவதில் அல்லது எதிர்கால தோல்விகளின் எளிய அறிகுறிகளைக் கண்டறிவதில் மிகவும் சிறந்தவை, ஆனால் சாத்தியமான தோல்விகளைக் கணிப்பது ஒரு கடினமான விஷயமாகவே உள்ளது. கைமுறை அளவீட்டு பகுப்பாய்வு மூலம் கணிக்க தகுதிவாய்ந்த நிபுணர்களின் ஈடுபாடு தேவைப்படுகிறது மற்றும் அது பயனற்றது. பெரும்பாலான சாத்தியமான தோல்விகள் கண்டறியப்படாமல் போகலாம்.

சமீபத்தில், மென்பொருள் அமைப்புகளின் முன்னறிவிப்பு பராமரிப்பு என்று அழைக்கப்படுவது பெரிய ஐடி மென்பொருள் மேம்பாட்டு நிறுவனங்களிடையே பெருகிய முறையில் பிரபலமாகி வருகிறது. இந்த அணுகுமுறை, தோல்விக்கு முன்னர், ஆரம்ப கட்டத்திலேயே கணினி சீரழிவுக்கு வழிவகுக்கும் சிக்கல்களை அடையாளம் காண செயற்கை நுண்ணறிவைப் பயன்படுத்துகிறது. இந்த அணுகுமுறை கையேடு கணினி கண்காணிப்பை முற்றிலுமாக நீக்குவதில்லை, மாறாக ஒட்டுமொத்த கண்காணிப்பு செயல்முறைக்கு ஒரு நிரப்பியாக செயல்படுகிறது.

முன்கணிப்பு பராமரிப்பை செயல்படுத்துவதற்கான முக்கிய கருவி, நேரத் தொடரில் முரண்பாடுகளைத் தேடும் பணியாகும், ஏனெனில் ஒரு ஒழுங்கின்மை ஏற்படும் போது சிறிது நேரத்திற்குப் பிறகு தரவுகளில் அதிக நிகழ்தகவு உள்ளது ஒரு செயலிழப்பு அல்லது செயலிழப்பு ஏற்படும்ஒரு ஒழுங்கின்மை என்பது ஒரு மென்பொருள் அமைப்பின் செயல்திறனில் ஏற்படும் விலகலாகும், அதாவது ஒற்றை வகை கோரிக்கையை செயல்படுத்தும் வேகத்தில் ஏற்படும் குறைவு அல்லது நிலையான அளவிலான கிளையன்ட் அமர்வுகளுடன் செயலாக்கப்படும் கோரிக்கைகளின் சராசரி எண்ணிக்கையில் குறைவு.

மென்பொருள் அமைப்புகளில் முரண்பாடுகளைக் கண்டறியும் பணிக்கு அதன் சொந்த பிரத்தியேகங்கள் உள்ளன. வெறுமனே, ஒவ்வொரு மென்பொருள் அமைப்பும் ஏற்கனவே உள்ள முறைகளை உருவாக்குதல் அல்லது மேம்படுத்துதல் தேவைப்படுகிறது, ஏனெனில் முரண்பாடுகளைக் கண்டறிதல் அது செயலாக்கப்படும் தரவைப் பொறுத்தது, மேலும் மென்பொருள் அமைப்புகளில் உள்ள தரவு, கணினி இயங்கும் கணினி உட்பட பயன்படுத்தப்படும் செயல்படுத்தல் கருவிகளைப் பொறுத்து பெரிதும் மாறுபடும்.

மென்பொருள் அமைப்பு தோல்விகளைக் கணிப்பதில் முரண்பாடுகளைக் கண்டறிவதற்கான முறைகள்

முதலாவதாக, தோல்வி கணிப்பு என்ற யோசனை கட்டுரையால் ஈர்க்கப்பட்டது என்று சொல்வது மதிப்பு. ஐடி கண்காணிப்பில் இயந்திர கற்றல்தானியங்கி ஒழுங்கின்மை கண்டறிதல் அணுகுமுறையின் செயல்திறனை சோதிக்க, NPO கிறிஸ்டாவின் திட்டமான வலை ஒருங்கிணைப்பு மென்பொருள் அமைப்பு தேர்ந்தெடுக்கப்பட்டது. இதன் விளைவாக வரும் அளவீடுகளின் கையேடு கண்காணிப்பு இந்த அமைப்பிற்கு முன்னர் செய்யப்பட்டது. அமைப்பின் சிக்கலான தன்மை காரணமாக, அதிக எண்ணிக்கையிலான அளவீடுகள் சேகரிக்கப்படுகின்றன: JVM அளவீடுகள் (குப்பை சேகரிப்பான் சுமை), OS அளவீடுகள் (மெய்நிகர் நினைவகம், % CPU சுமை), நெட்வொர்க் அளவீடுகள் (நெட்வொர்க் சுமை), சர்வர் தானே (CPU சுமை, நினைவக சுமை), வைல்ட்ஃபிளை அளவீடுகள் மற்றும் அனைத்து முக்கியமான துணை அமைப்புகளுக்கான பயன்பாட்டின் சொந்த அளவீடுகள்.

அனைத்து அளவீடுகளும் கிராஃபைட்டைப் பயன்படுத்தி அமைப்பிலிருந்து சேகரிக்கப்படுகின்றன. ஆரம்பத்தில், விஸ்பர் தரவுத்தளம் கிராஃபானாவிற்கான நிலையான தீர்வாகப் பயன்படுத்தப்பட்டது, ஆனால் கிளையன்ட் தளம் வளர்ந்தவுடன், கிராஃபைட் நிலைத்தன்மையற்றதாக மாறியது, தரவு மையத்தின் வட்டு துணை அமைப்பின் செயல்திறனைக் குறைத்தது. இதற்குப் பிறகு, மிகவும் திறமையான தீர்வைக் கண்டறிய முடிவு செய்யப்பட்டது. தேர்வு ஆதரவாக செய்யப்பட்டது கிராஃபைட்+கிளிக்ஹவுஸ், இது வட்டு துணை அமைப்பின் சுமையை ஒரு வரிசையால் குறைத்து, ஐந்து முதல் ஆறு மடங்கு வரை ஆக்கிரமிக்கப்பட்ட வட்டு இடத்தைக் குறைத்தது. கிராஃபைட்+கிளிக்ஹவுஸைப் பயன்படுத்தி அளவீடுகள் சேகரிப்பு பொறிமுறையின் வரைபடம் கீழே உள்ளது (படம் 2).

படம் 2. அளவீடுகளை எடுப்பதற்கான திட்டம்

இந்த வரைபடம் உள் ஆவணங்களிலிருந்து எடுக்கப்பட்டது. இது கிராஃபானா (நாம் பயன்படுத்தும் கண்காணிப்பு பயனர் இடைமுகம்) மற்றும் கிராஃபைட் இடையேயான தரவு பரிமாற்றத்தைக் காட்டுகிறது. தனி மென்பொருளைப் பயன்படுத்தி பயன்பாட்டிலிருந்து அளவீடுகள் சேகரிக்கப்படுகின்றன - ஜேஎம்எக்ஸ்டிரான்ஸ்அவர் அவற்றை கிராஃபைட்டிலும் வைக்கிறார்.
வலை ஒருங்கிணைப்பு அமைப்பு தோல்வி கணிப்புக்கான சிக்கல்களை உருவாக்கும் பல அம்சங்களைக் கொண்டுள்ளது:

1. போக்குகள் அடிக்கடி மாறுகின்றன. கொடுக்கப்பட்ட மென்பொருள் அமைப்பின் பல்வேறு பதிப்புகள் வெளியிடப்படுகின்றன. ஒவ்வொரு பதிப்பும் அமைப்பின் மென்பொருளில் மாற்றங்களை அறிமுகப்படுத்துகிறது. இதன் விளைவாக, டெவலப்பர்கள் அமைப்பின் அளவீடுகளை நேரடியாகப் பாதிக்கிறார்கள் மற்றும் போக்கு மாற்றத்தைத் தூண்டலாம்.
2. செயல்படுத்தல் அம்சங்கள், அதே போல் வாடிக்கையாளர்கள் இந்த அமைப்பைப் பயன்படுத்தும் நோக்கங்கள், பெரும்பாலும் முன் சீரழிவு இல்லாமல் முரண்பாடுகளை ஏற்படுத்துகின்றன;
3. முழு தரவுத் தொகுப்பிற்கும் ஒப்பிடும்போது முரண்பாடுகளின் சதவீதம் சிறியது (< 5%);
4. கணினியிலிருந்து அளவீடுகளைப் பெறுவதில் இடைவெளிகள் ஏற்படலாம். குறிப்பிட்ட குறுகிய காலத்தில், கண்காணிப்பு அமைப்பு அளவீடுகளைப் பெற முடியாமல் போகலாம். உதாரணமாக, சேவையகம் அதிக சுமையுடன் இருந்தால். நரம்பியல் வலையமைப்பைப் பயிற்றுவிப்பதற்கு இது மிகவும் முக்கியமானது. இடைவெளிகளை செயற்கையாக நிரப்புவது அவசியமாகிறது;
5. முரண்பாடுகள் பெரும்பாலும் ஒரு குறிப்பிட்ட தேதி/மாதம்/நேரத்திற்கு (பருவகாலம்) மட்டுமே பொருத்தமானவை. பயனர்கள் இதைப் பயன்படுத்துவதற்கு இந்த அமைப்பு தெளிவான வழிகாட்டுதல்களைக் கொண்டுள்ளது. அதன்படி, அளவீடுகள் ஒரு குறிப்பிட்ட நேரத்திற்கு மட்டுமே பொருத்தமானவை. இந்த அமைப்பு தொடர்ச்சியாகப் பயன்படுத்தப்படாமல், குறிப்பிட்ட மாதங்களில் மட்டுமே, ஆண்டைப் பொறுத்து தேர்ந்தெடுக்கப்பட்ட முறையில் பயன்படுத்தப்படலாம். ஒரே அளவீட்டு நடத்தை ஒரு சந்தர்ப்பத்தில் மென்பொருள் அமைப்பு தோல்விக்கு வழிவகுக்கும், ஆனால் மற்றொரு சந்தர்ப்பத்தில் அல்ல என்ற சூழ்நிலைகள் எழுகின்றன.
   தொடங்குவதற்கு, மென்பொருள் அமைப்பு கண்காணிப்புத் தரவில் முரண்பாடுகளைக் கண்டறிவதற்கான முறைகளை நாங்கள் பகுப்பாய்வு செய்தோம். இந்தத் தலைப்பில் உள்ள கட்டுரைகள் பெரும்பாலும் தரவுத்தொகுப்பின் மற்ற பகுதிகளுடன் ஒப்பிடும்போது முரண்பாடுகளின் சதவீதம் சிறியதாக இருக்கும்போது நரம்பியல் நெட்வொர்க்குகளைப் பயன்படுத்த பரிந்துரைக்கின்றன.

நரம்பியல் வலையமைப்பு தரவைப் பயன்படுத்தி முரண்பாடுகளைக் கண்டறிவதற்கான அடிப்படை தர்க்கம் படம் 3 இல் காட்டப்பட்டுள்ளது:

படம் 3. நரம்பியல் வலையமைப்பைப் பயன்படுத்தி முரண்பாடுகளைத் தேடுதல்

தற்போதைய மெட்ரிக் ஓட்ட சாளரத்தின் முன்னறிவிப்பு அல்லது மறுகட்டமைப்பின் அடிப்படையில், இயங்கும் மென்பொருள் அமைப்பிலிருந்து பெறப்பட்ட தரவிலிருந்து விலகல் கணக்கிடப்படுகிறது. மென்பொருள் அமைப்பிலிருந்தும் நரம்பியல் வலையமைப்பிலிருந்தும் பெறப்பட்ட அளவீடுகளுக்கு இடையே குறிப்பிடத்தக்க வேறுபாடு இருந்தால், தற்போதைய தரவுப் பிரிவு முரண்பாடானது என்று முடிவு செய்யலாம். நரம்பியல் வலைப்பின்னல்களைப் பயன்படுத்தும் போது பின்வரும் சவால்கள் எழுகின்றன:

1. ஸ்ட்ரீமிங் பயன்முறையில் சரியாக வேலை செய்ய, நரம்பியல் நெட்வொர்க் மாதிரிகளைப் பயிற்றுவிப்பதற்கான தரவு "சாதாரண" தரவை மட்டுமே உள்ளடக்கியிருக்க வேண்டும்;
2. துல்லியமான கண்டறிதலுக்கு ஒரு புதுப்பித்த மாதிரி அவசியம். அளவீடுகளில் போக்குகள் மற்றும் பருவநிலையை மாற்றுவது அதிக எண்ணிக்கையிலான தவறான நேர்மறைகளை ஏற்படுத்தும். ஒரு மாதிரியைப் புதுப்பிக்க, மாதிரி காலாவதியான நேரத்தை தெளிவாக வரையறுப்பது முக்கியம். மாதிரியை மிக விரைவாகவோ அல்லது தாமதமாகவோ புதுப்பிப்பது அதிக எண்ணிக்கையிலான தவறான நேர்மறைகளுக்கு வழிவகுக்கும்.
   அடிக்கடி ஏற்படும் தவறான நேர்மறைகளை அடையாளம் கண்டு தடுக்க நினைவில் கொள்வதும் முக்கியம். அவசரகால சூழ்நிலைகளில் இவை பெரும்பாலும் நிகழும் என்று எதிர்பார்க்கப்படுகிறது. இருப்பினும், போதுமான பயிற்சி இல்லாததால் ஏற்படும் நரம்பியல் வலையமைப்பு பிழையின் விளைவாகவும் அவை இருக்கலாம். மாதிரியால் உருவாக்கப்படும் தவறான நேர்மறைகளின் எண்ணிக்கையைக் குறைப்பது அவசியம். இல்லையெனில், தவறான கணிப்புகள் கணிசமான அளவு நிர்வாகி நேரத்தை வீணடிக்கும், இல்லையெனில் அது அமைப்பைச் சோதிப்பதற்காக அர்ப்பணிக்கப்படும். விரைவில் அல்லது பின்னர், நிர்வாகி ஒரு "சித்தப்பிரமை" கண்காணிப்பு அமைப்புக்கு பதிலளிப்பதை நிறுத்திவிடுவார்.

மீண்டும் மீண்டும் நிகழும் நரம்பியல் வலையமைப்பு

காலத் தொடரில் உள்ள முரண்பாடுகளைக் கண்டறிய, ஒருவர் விண்ணப்பிக்கலாம் தொடர்ச்சியான நரம்பியல் வலையமைப்பு LSTM நினைவகத்துடன். ஒரே பிரச்சனை என்னவென்றால், அதை கணிக்கக்கூடிய நேரத் தொடருக்கு மட்டுமே பயன்படுத்த முடியும். எங்கள் விஷயத்தில், அனைத்து அளவீடுகளும் கணிக்கக்கூடியவை அல்ல. ஒரு நேரத் தொடருக்கு RNN LSTM ஐப் பயன்படுத்துவதற்கான முயற்சி படம் 4 இல் காட்டப்பட்டுள்ளது.

படம் 4. LSTM நினைவக செல்களைக் கொண்ட ஒரு தொடர்ச்சியான நரம்பியல் வலையமைப்பின் எடுத்துக்காட்டு.

படம் 4 காட்டுவது போல், இந்தக் காலகட்டத்தில் RNN LSTM முரண்பாடுகளைக் கண்டறிவதில் வெற்றிகரமாக இருந்தது. முடிவு அதிக சராசரி பிழையைக் கொண்டிருக்கும் இடங்களில், ஒரு மெட்ரிக் ஒழுங்கின்மை உண்மையில் ஏற்பட்டது. RNN LSTM ஐ மட்டும் பயன்படுத்துவது தெளிவாகப் போதாது, ஏனெனில் இது ஒரு சிறிய எண்ணிக்கையிலான அளவீடுகளுக்குப் பொருந்தும். இது ஒரு துணை ஒழுங்கின்மை கண்டறிதல் முறையாகப் பயன்படுத்தப்படலாம்.

தோல்வி கணிப்புக்கான ஆட்டோஎன்கோடர்

தானியங்கு குறியாக்கி – அடிப்படையில் ஒரு செயற்கை நரம்பியல் வலையமைப்பு. உள்ளீட்டு அடுக்கு குறியாக்கி, வெளியீட்டு அடுக்கு குறிவிலக்கி. இந்த வகை அனைத்து நரம்பியல் வலையமைப்புகளின் குறைபாடு முரண்பாடுகளை உள்ளூர்மயமாக்கும் அவற்றின் மோசமான திறன் ஆகும். ஒரு ஒத்திசைவான தானியங்கு குறியாக்கி கட்டமைப்பு தேர்ந்தெடுக்கப்பட்டது.

படம் 5. தானியங்கு குறியாக்கியின் செயல்பாட்டிற்கான எடுத்துக்காட்டு

தானியங்கு குறியாக்கிகள் சாதாரண தரவுகளில் பயிற்சியளிக்கப்படுகின்றன, பின்னர் மாதிரிக்கு வழங்கப்படும் தரவில் ஏதேனும் முரண்பாடான தகவலைக் கண்டறியின்றன. இந்தப் பணிக்குத் தேவையானது இதுதான். இந்தப் பணிக்கு எந்த தானியங்கு குறியாக்கி பொருத்தமானது என்பதுதான் மீதமுள்ள ஒரே தேர்வு. கட்டிடக்கலை ரீதியாக, ஒரு தானியங்கு குறியாக்கியின் எளிமையான வடிவம் ஒரு ஃபீட்ஃபார்வர்டு நியூரல் நெட்வொர்க் ஆகும், இது மிகவும் ஒத்திருக்கிறது பல அடுக்கு பெர்செப்ட்ரான் (மல்டிலேயர் பெர்செப்ட்ரான், MLP), ஒரு உள்ளீட்டு அடுக்கு, ஒரு வெளியீட்டு அடுக்கு மற்றும் ஒன்று அல்லது அதற்கு மேற்பட்ட மறைக்கப்பட்ட அடுக்குகளை இணைக்கிறது.
இருப்பினும், ஆட்டோஎன்கோடர்களுக்கும் MLP களுக்கும் இடையிலான வேறுபாடுகள் என்னவென்றால், ஒரு ஆட்டோஎன்கோடரில், வெளியீட்டு அடுக்கு உள்ளீட்டு அடுக்கைப் போலவே அதே எண்ணிக்கையிலான முனைகளைக் கொண்டுள்ளது, மேலும் ஒரு உள்ளீடு X கொடுக்கப்பட்டால் இலக்கு மதிப்பு Y ஐக் கணிக்கக் கற்றுக்கொள்வதற்குப் பதிலாக, ஒரு ஆட்டோஎன்கோடர் அதன் சொந்த X ஐ மறுகட்டமைக்கக் கற்றுக்கொள்கிறது. எனவே, ஆட்டோஎன்கோடர்கள் மேற்பார்வை செய்யப்படாத கற்றல் மாதிரிகள்.

உள்ளீட்டு திசையன் X இல் உள்ள முரண்பாடான கூறுகளுடன் தொடர்புடைய நேர குறியீடுகள் r0 … rn ஐக் கண்டுபிடிப்பதே தானியங்கு குறியாக்கியின் பணியாகும். இந்த விளைவு சதுரப் பிழையைத் தேடுவதன் மூலம் அடையப்படுகிறது.

படம் 6. சின்க்ரோனஸ் ஆட்டோஎன்கோடர்

தானியங்கு குறியாக்கி தேர்ந்தெடுக்கப்பட்டது ஒத்திசைவான கட்டமைப்புஅதன் நன்மைகளில் ஸ்ட்ரீமிங் செயலாக்கத்தைப் பயன்படுத்தும் திறன் மற்றும் பிற கட்டமைப்புகளுடன் ஒப்பிடும்போது ஒப்பீட்டளவில் குறைந்த எண்ணிக்கையிலான நரம்பியல் நெட்வொர்க் அளவுருக்கள் ஆகியவை அடங்கும்.

தவறான எச்சரிக்கை குறைப்பு வழிமுறை

பல்வேறு அசாதாரண சூழ்நிலைகளின் சாத்தியக்கூறு மற்றும் போதுமான நரம்பியல் வலையமைப்பு பயிற்சி இல்லாததன் சாத்தியக்கூறு காரணமாக, உருவாக்கப்படும் ஒழுங்கின்மை கண்டறிதல் மாதிரிக்கான தவறான நேர்மறைகளைக் குறைப்பதற்கான ஒரு பொறிமுறையை உருவாக்க முடிவு செய்யப்பட்டது. இந்த பொறிமுறையானது நிர்வாகியால் வகைப்படுத்தப்பட்ட ஒரு டெம்ப்ளேட் தரவுத்தளத்தை அடிப்படையாகக் கொண்டது.

டைனமிக் காலவரிசை உருமாற்ற வழிமுறை DTW வழிமுறை (ஆங்கில வார்த்தையான "டைனமிக் டைம் வார்பிங்" என்பதிலிருந்து வந்தது) நேர வரிசைகளுக்கு இடையிலான உகந்த கடிதப் பரிமாற்றத்தைக் கண்டறிய அனுமதிக்கிறது. இது முதலில் பேச்சு அங்கீகாரத்தில் பயன்படுத்தப்பட்டது: இரண்டு பேச்சு சமிக்ஞைகள் ஒரே அசல் பேசும் சொற்றொடரை எவ்வாறு பிரதிநிதித்துவப்படுத்துகின்றன என்பதைத் தீர்மானிக்க இது பயன்படுத்தப்பட்டது. பின்னர் இது பிற துறைகளிலும் பயன்படுத்தப்பட்டது.

தவறான நேர்மறைகளைக் குறைப்பதற்கான அடிப்படைக் கொள்கை, நரம்பியல் நெட்வொர்க்குகளைப் பயன்படுத்தி கண்டறியப்பட்ட சந்தேகத்திற்கிடமான வழக்குகளை வகைப்படுத்தும் ஒரு ஆபரேட்டரைப் பயன்படுத்தி குறிப்பு வழக்குகளின் தரவுத்தளத்தை சேகரிப்பதாகும். வகைப்படுத்தப்பட்ட குறிப்பு வழக்கு பின்னர் அமைப்பால் கண்டறியப்பட்ட வழக்குடன் ஒப்பிடப்பட்டு, வழக்கு தவறானதா அல்லது தோல்வியை ஏற்படுத்துகிறதா என்பது குறித்து ஒரு முடிவுக்கு வருகிறது. இரண்டு நேரத் தொடர்களை ஒப்பிடுவதற்கு DTW வழிமுறை பயன்படுத்தப்படுகிறது. தவறான நேர்மறைகளைக் குறைப்பதற்கான முதன்மை கருவியாக வகைப்பாடு உள்ளது. அதிக எண்ணிக்கையிலான குறிப்பு வழக்குகளைச் சேகரித்த பிறகு, பெரும்பாலான வழக்குகளின் ஒற்றுமை மற்றும் ஒத்த நிகழ்வுகள் காரணமாக அமைப்புக்கு குறைவான ஆபரேட்டர் வினவல்கள் தேவைப்படும் என்று கருதப்படுகிறது.

இறுதியாக, மேலே விவரிக்கப்பட்ட நரம்பியல் நெட்வொர்க் முறைகளின் அடிப்படையில், வலை ஒருங்கிணைப்பு அமைப்பில் தோல்விகளைக் கணிக்கும் ஒரு சோதனை நிரல் உருவாக்கப்பட்டது. இந்த திட்டத்தின் குறிக்கோள், ஏற்கனவே உள்ள கண்காணிப்பு தரவு காப்பகம் மற்றும் கடந்த கால தோல்விகள் பற்றிய தகவல்களைப் பயன்படுத்தி எங்கள் மென்பொருள் அமைப்புகளுக்கு இந்த அணுகுமுறையின் பொருத்தத்தை மதிப்பிடுவதாகும். நிரலின் ஓட்ட விளக்கப்படம் கீழே, படம் 7 இல் காட்டப்பட்டுள்ளது.

படம் 7. மெட்ரிக் ஸ்பேஸ் பகுப்பாய்வின் அடிப்படையில் தோல்வி கணிப்பு திட்டம்

வரைபடம் இரண்டு முக்கிய தொகுதிகளைக் காட்டுகிறது: கண்காணிப்பு தரவு ஓட்டத்தில் (அளவீடுகள்) முரண்பாடான காலகட்டங்களைத் தேடுதல் மற்றும் தவறான நேர்மறைகளைக் குறைப்பதற்கான ஒரு வழிமுறை. குறிப்பு: சோதனை நோக்கங்களுக்காக, தரவுத்தளத்திலிருந்து JDBC இணைப்பு வழியாக தரவு மீட்டெடுக்கப்படுகிறது, அங்கு அது கிராஃபைட் மூலம் சேமிக்கப்படும்.
இதன் விளைவாக வரும் கண்காணிப்பு அமைப்பின் இடைமுகம் கீழே கொடுக்கப்பட்டுள்ளது (படம் 8).

படம் 8. சோதனை கண்காணிப்பு அமைப்பின் இடைமுகம்

பெறப்பட்ட அளவீடுகளில் உள்ள முரண்பாடுகளின் சதவீதத்தை இடைமுகம் காட்டுகிறது. எங்கள் விஷயத்தில், தரவு உருவகப்படுத்தப்பட்டுள்ளது. பல வாரங்களுக்கு ஏற்கனவே அனைத்து தரவும் எங்களிடம் உள்ளது மற்றும் தோல்விக்கு வழிவகுக்கும் முரண்பாடுகளை சோதிக்க படிப்படியாக அதை ஏற்றுகிறோம். குறைந்த நிலைப் பட்டி, ஒரு குறிப்பிட்ட நேரத்தில் தரவில் உள்ள முரண்பாடுகளின் ஒட்டுமொத்த சதவீதத்தைக் காட்டுகிறது, இது தானியங்கு குறியாக்கியைப் பயன்படுத்தி தீர்மானிக்கப்படுகிறது. RNN LSTM ஆல் கணக்கிடப்பட்ட ஒரு தனி சதவீதம், கணிக்கப்பட்ட அளவீடுகளுக்கும் காட்டப்படும்.

RNN LSTM நரம்பியல் வலையமைப்பைப் பயன்படுத்தி CPU அளவீடுகளில் முரண்பாடுகளைக் கண்டறிவதற்கான ஒரு எடுத்துக்காட்டு (படம் 9).

படம் 9. RNN LSTM கண்டறிதல்

மிகவும் எளிமையான ஒரு நிகழ்வு, அடிப்படையில் கணினி தோல்விக்கு வழிவகுக்கும் ஒரு சாதாரண புறம்பானது, RNN LSTM ஐப் பயன்படுத்தி வெற்றிகரமாக கணக்கிடப்பட்டது. இந்த நேர இடைவெளியில் ஒழுங்கின்மை விகிதம் 85–95% ஆகும்; 80% க்கு மேல் உள்ள எதுவும் (வரம்பு சோதனை ரீதியாக தீர்மானிக்கப்பட்டது) ஒரு ஒழுங்கின்மையாகக் கருதப்படுகிறது.
ஒழுங்கின்மை கண்டறிதலுக்கான ஒரு எடுத்துக்காட்டு: புதுப்பித்தலுக்குப் பிறகு கணினி துவக்கத் தவறியது. இந்த நிலைமை ஆட்டோஎன்கோடரால் கண்டறியப்படுகிறது (படம் 10).

படம் 10. தானியங்கு குறியாக்கி கண்டறிதலுக்கான எடுத்துக்காட்டு

படத்தில் இருந்து நீங்கள் பார்க்க முடியும் என, PermGen ஒரு மட்டத்தில் சிக்கிக் கொண்டுள்ளது. இதற்கு முன்பு இதுபோன்ற எதையும் பார்த்ததில்லை என்பதால் தானியங்கு குறியாக்கி இதை விசித்திரமாகக் கண்டறிந்தது. இங்கே, அமைப்பு மீண்டும் செயல்படும் நிலைக்குத் திரும்பும் வரை ஒழுங்கின்மை 100% நீடிக்கும். இந்த ஒழுங்கின்மை அனைத்து அளவீடுகளிலும் பிரதிபலிக்கிறது. முன்னர் குறிப்பிட்டபடி, தானியங்கு குறியாக்கி முரண்பாடுகளை உள்ளூர்மயமாக்க முடியாது. இதுபோன்ற சூழ்நிலைகளில் இந்த செயல்பாட்டைச் செய்ய ஆபரேட்டர் அழைக்கப்படுகிறார்.

முடிவுக்கு

வலை-ஒருங்கிணைப்பு மென்பொருள் தொகுப்பு பல ஆண்டுகளாக உருவாக்கத்தில் உள்ளது. இந்த அமைப்பு ஒப்பீட்டளவில் நிலையானது, மேலும் பதிவு செய்யப்பட்ட சம்பவங்களின் எண்ணிக்கை குறைவாக உள்ளது. இருப்பினும், தோல்விகளுக்கு வழிவகுக்கும் முரண்பாடுகளை அவை ஏற்படுவதற்கு 5-10 நிமிடங்களுக்கு முன்பே எங்களால் அடையாளம் காண முடிந்தது. சில சந்தர்ப்பங்களில், தோல்விகள் குறித்த ஆரம்ப அறிவிப்பு திட்டமிடப்பட்ட பராமரிப்பு நேரத்தை மிச்சப்படுத்த உதவும்.

நாங்கள் நடத்திய சோதனைகளிலிருந்து உறுதியான முடிவுகளை எடுப்பது மிக விரைவில். இதுவரை கிடைத்த முடிவுகள் முரண்பாடாக உள்ளன. ஒருபுறம், நரம்பியல் வலையமைப்பு அடிப்படையிலான வழிமுறைகள் "பயனுள்ள" முரண்பாடுகளைக் கண்டறியும் திறன் கொண்டவை என்பது தெளிவாகிறது. மறுபுறம், தவறான நேர்மறைகளின் அதிக விகிதம் உள்ளது, மேலும் தகுதிவாய்ந்த நிபுணரால் கண்டறியப்பட்ட அனைத்து முரண்பாடுகளும் நரம்பியல் வலையமைப்பால் கண்டறியப்படுவதில்லை. மற்றொரு குறைபாடு என்னவென்றால், நரம்பியல் வலையமைப்புகள் தற்போது சரியாகச் செயல்பட மேற்பார்வையிடப்பட்ட கற்றல் தேவைப்படுகிறது.

தோல்வி முன்கணிப்பு அமைப்பின் மேலும் மேம்பாட்டிற்கும் அதன் திருப்திகரமான நிறைவுக்கும் பல வழிகளைக் கருத்தில் கொள்ளலாம். தோல்வியை ஏற்படுத்தும் முரண்பாடுகள் பற்றிய விரிவான பகுப்பாய்வு இதில் அடங்கும், இதன் மூலம் அமைப்பின் நிலையை கணிசமாக பாதிக்கும் முக்கியமான அளவீடுகளின் பட்டியலை விரிவுபடுத்துதல் மற்றும் எந்த தாக்கத்தையும் ஏற்படுத்தாத தேவையற்றவற்றை நிராகரித்தல் ஆகியவை அடங்கும். மேலும், இந்த திசையில் நாம் நகர்ந்தால், நமது தோல்வியை ஏற்படுத்தும் முரண்பாடு நிகழ்வுகளுக்கு குறிப்பாக வழிமுறைகளை வடிவமைக்க முயற்சி செய்யலாம். மற்றொரு அணுகுமுறை நரம்பியல் நெட்வொர்க் கட்டமைப்புகளைச் செம்மைப்படுத்துவதாகும், இதன் மூலம் கண்டறிதல் துல்லியத்தை அதிகரிப்பது மற்றும் பயிற்சி நேரத்தைக் குறைப்பது.

இந்தக் கட்டுரையை எழுதவும் அதன் பொருத்தத்தைப் பராமரிக்கவும் எனக்கு உதவிய எனது சக ஊழியர்களுக்கு நான் நன்றி தெரிவிக்க விரும்புகிறேன்: விக்டர் வெர்பிட்ஸ்கி மற்றும் செர்ஜி ஃபினோஜெனோவ்.

ஆதாரம்: www.habr.com