மெஷின் லேர்னிங் குமிழி வெடித்துவிட்டதா அல்லது புதிய விடியலின் தொடக்கமா?

சமீபத்தில் வெளியானது கட்டுரை, இது சமீபத்திய ஆண்டுகளில் இயந்திர கற்றலில் ஒரு நல்ல போக்கைக் காட்டுகிறது. சுருக்கமாக: கடந்த இரண்டு ஆண்டுகளில் இயந்திரக் கற்றல் தொடக்கங்களின் எண்ணிக்கை வெகுவாகக் குறைந்துள்ளது.

சரி. "குமிழி வெடித்ததா", "எப்படி வாழ்வது" என்பதைப் பார்ப்போம், மேலும் இந்த சறுக்கல் முதலில் எங்கிருந்து வருகிறது என்பதைப் பற்றி பேசலாம்.

முதலில், இந்த வளைவின் பூஸ்டர் என்ன என்பதைப் பற்றி பேசலாம். அவள் எங்கிருந்து வந்தாள்? அவர்கள் எல்லாவற்றையும் நினைவில் வைத்திருப்பார்கள் வெற்றி இமேஜ்நெட் போட்டியில் 2012 இல் இயந்திர கற்றல். எல்லாவற்றிற்கும் மேலாக, இது முதல் உலகளாவிய நிகழ்வு! ஆனால் உண்மையில் அப்படி இல்லை. மற்றும் வளைவின் வளர்ச்சி சிறிது முன்னதாகவே தொடங்குகிறது. நான் அதை பல புள்ளிகளாக உடைப்பேன்.

1. 2008 இல் "பெரிய தரவு" என்ற வார்த்தை தோன்றியது. உண்மையான தயாரிப்புகள் தொடங்கப்பட்டன தோன்றும் 2010 முதல். பெரிய தரவு இயந்திர கற்றலுடன் நேரடியாக தொடர்புடையது. பெரிய தரவு இல்லாமல், அந்த நேரத்தில் இருந்த அல்காரிதம்களின் நிலையான செயல்பாடு சாத்தியமற்றது. மேலும் இவை நரம்பியல் நெட்வொர்க்குகள் அல்ல. 2012 வரை, நரம்பியல் நெட்வொர்க்குகள் ஒரு சிறுபான்மையினரின் பாதுகாப்பில் இருந்தன. ஆனால் பின்னர் முற்றிலும் மாறுபட்ட வழிமுறைகள் வேலை செய்யத் தொடங்கின, இது பல ஆண்டுகளாக அல்லது பல தசாப்தங்களாக இருந்தது: எஸ்.வி.எம்(1963,1993), சீரற்ற காடு (1995) அடாபூஸ்ட் (2003),... அந்த ஆண்டுகளின் தொடக்கங்கள் முதன்மையாக கட்டமைக்கப்பட்ட தரவுகளின் தானியங்கி செயலாக்கத்துடன் தொடர்புடையவை: பணப் பதிவேடுகள், பயனர்கள், விளம்பரம், இன்னும் பல.

   இந்த முதல் அலையின் வழித்தோன்றல் என்பது XGBoost, CatBoost, LightGBM போன்ற கட்டமைப்புகளின் தொகுப்பாகும்.

2. 2011-2012 இல் மாற்றத்தக்க நரம்பியல் நெட்வொர்க்குகள் பல பட அங்கீகாரப் போட்டிகளில் வென்றார். அவற்றின் உண்மையான பயன்பாடு சற்று தாமதமானது. 2014 ஆம் ஆண்டில் மிகப்பெரிய அர்த்தமுள்ள தொடக்கங்களும் தீர்வுகளும் தோன்றத் தொடங்கின என்று நான் கூறுவேன். நியூரான்கள் இன்னும் செயல்படுகின்றன என்பதை ஜீரணிக்க இரண்டு வருடங்கள் ஆனது, ஒரு நியாயமான நேரத்தில் நிறுவப்பட்டு தொடங்கக்கூடிய வசதியான கட்டமைப்பை உருவாக்க, ஒருங்கிணைக்கும் நேரத்தை உறுதிப்படுத்தும் மற்றும் விரைவுபடுத்தும் முறைகளை உருவாக்க.

   கன்வல்யூஷனல் நெட்வொர்க்குகள் கணினி பார்வை சிக்கல்களைத் தீர்ப்பதை சாத்தியமாக்கியது: படத்தில் உள்ள படங்கள் மற்றும் பொருள்களின் வகைப்பாடு, பொருள் கண்டறிதல், பொருள்கள் மற்றும் நபர்களின் அங்கீகாரம், படத்தை மேம்படுத்துதல் போன்றவை.

3. 2015-2017. தொடர்ச்சியான நெட்வொர்க்குகள் அல்லது அவற்றின் ஒப்புமைகள் (LSTM, GRU, TransformerNet, முதலியன) அடிப்படையில் அல்காரிதம்கள் மற்றும் திட்டங்களின் ஏற்றம். நன்றாகச் செயல்படும் பேச்சு-க்கு-உரை அல்காரிதம்கள் மற்றும் இயந்திர மொழிபெயர்ப்பு அமைப்புகள் தோன்றியுள்ளன. அடிப்படை அம்சங்களைப் பிரித்தெடுப்பதற்காக அவை ஓரளவுக்கு மாற்றியமைக்கும் நெட்வொர்க்குகளை அடிப்படையாகக் கொண்டவை. உண்மையில் பெரிய மற்றும் நல்ல தரவுத்தொகுப்புகளைச் சேகரிக்கக் கற்றுக்கொண்டதன் காரணமாக ஓரளவுக்கு.

“குமிழி வெடித்ததா? பரபரப்பு சூடுபிடித்ததா? அவர்கள் பிளாக்செயினாக இறந்தார்களா?
இல்லையெனில்! நாளை சிரி உங்கள் மொபைலில் வேலை செய்வதை நிறுத்திவிடும், நாளை மறுநாள் டெஸ்லாவுக்கு டர்னுக்கும் கங்காருவுக்கும் வித்தியாசம் தெரியாது.

நரம்பியல் நெட்வொர்க்குகள் ஏற்கனவே வேலை செய்கின்றன. அவை டஜன் கணக்கான சாதனங்களில் உள்ளன. அவை உண்மையில் பணம் சம்பாதிக்கவும், சந்தை மற்றும் உங்களைச் சுற்றியுள்ள உலகத்தை மாற்றவும் உங்களை அனுமதிக்கின்றன. ஹைப் கொஞ்சம் வித்தியாசமாகத் தெரிகிறது:

நரம்பியல் நெட்வொர்க்குகள் இனி புதியவை அல்ல. ஆம், பலருக்கு அதிக எதிர்பார்ப்புகள் இருக்கும். ஆனால் ஏராளமான நிறுவனங்கள் நியூரான்களைப் பயன்படுத்தவும் அவற்றின் அடிப்படையில் தயாரிப்புகளை உருவாக்கவும் கற்றுக்கொண்டன. நியூரான்கள் புதிய செயல்பாட்டை வழங்குகின்றன, வேலைகளை குறைக்க உங்களை அனுமதிக்கின்றன மற்றும் சேவைகளின் விலையை குறைக்கின்றன:

• உற்பத்தி நிறுவனங்கள் உற்பத்தி வரி குறைபாடுகளை பகுப்பாய்வு செய்ய வழிமுறைகளை ஒருங்கிணைத்து வருகின்றன.
• கால்நடை பண்ணைகள் மாடுகளை கட்டுப்படுத்தும் அமைப்புகளை வாங்குகின்றன.
• தானாக இணைகிறது.
• தானியங்கி அழைப்பு மையங்கள்.
• SnapChat இல் வடிப்பான்கள். (சரி, குறைந்தது ஏதாவது பயனுள்ளது!)

ஆனால் முக்கிய விஷயம், மற்றும் மிகவும் வெளிப்படையானது அல்ல: "இனி புதிய யோசனைகள் எதுவும் இல்லை, அல்லது அவை உடனடி மூலதனத்தை கொண்டு வராது." நரம்பியல் நெட்வொர்க்குகள் டஜன் கணக்கான சிக்கல்களைத் தீர்த்துள்ளன. மேலும் அவர்கள் முடிவெடுப்பார்கள். இருந்த அனைத்து தெளிவான யோசனைகளும் பல ஸ்டார்ட்அப்களுக்கு வழிவகுத்தன. ஆனால் மேற்பரப்பில் இருந்த அனைத்தும் ஏற்கனவே சேகரிக்கப்பட்டுவிட்டன. கடந்த இரண்டு ஆண்டுகளில், நரம்பியல் நெட்வொர்க்குகளைப் பயன்படுத்துவதற்கான ஒரு புதிய யோசனையையும் நான் காணவில்லை. ஒரு புதிய அணுகுமுறையும் இல்லை (சரி, GAN களில் சில சிக்கல்கள் உள்ளன).

ஒவ்வொரு அடுத்தடுத்த தொடக்கமும் மேலும் மேலும் சிக்கலானது. திறந்த தரவைப் பயன்படுத்தி நியூரானைப் பயிற்றுவிக்கும் இரண்டு பையன்கள் இதற்கு இனி தேவையில்லை. இதற்கு புரோகிராமர்கள், சர்வர், குறிப்பான்களின் குழு, சிக்கலான ஆதரவு போன்றவை தேவை.

இதன் விளைவாக, குறைவான தொடக்கங்கள் உள்ளன. ஆனால் அதிக உற்பத்தி உள்ளது. உரிமத் தகடு அங்கீகாரத்தைச் சேர்க்க வேண்டுமா? சந்தையில் பொருத்தமான அனுபவமுள்ள நூற்றுக்கணக்கான வல்லுநர்கள் உள்ளனர். நீங்கள் யாரையாவது பணியமர்த்தலாம் மற்றும் ஓரிரு மாதங்களில் உங்கள் பணியாளர் அமைப்பை உருவாக்குவார். அல்லது ரெடிமேட் வாங்கவும். ஆனால் புதிதாக ஸ்டார்ட்அப் செய்கிறாரா?.. பைத்தியம்!

நீங்கள் ஒரு பார்வையாளர் கண்காணிப்பு அமைப்பை உருவாக்க வேண்டும் - 3-4 மாதங்களில் நீங்கள் சொந்தமாக உருவாக்கி, உங்கள் வணிகத்திற்காக அதைக் கூர்மைப்படுத்தினால், உரிமங்களின் கொத்துக்கு ஏன் பணம் செலுத்த வேண்டும்.

டஜன் கணக்கான பிற தொழில்நுட்பங்கள் கடந்து வந்த அதே பாதையில் இப்போது நரம்பியல் நெட்வொர்க்குகள் செல்கின்றன.

1995 முதல் "இணையதள டெவலப்பர்" என்ற கருத்து எவ்வாறு மாறிவிட்டது என்பதை நினைவில் கொள்கிறீர்களா? சந்தை இன்னும் நிபுணர்களால் நிறைவுற்றதாக இல்லை. தொழில் வல்லுநர்கள் மிகக் குறைவு. ஆனால் 5-10 ஆண்டுகளில் ஜாவா புரோகிராமருக்கும் நியூரல் நெட்வொர்க் டெவலப்பருக்கும் அதிக வித்தியாசம் இருக்காது என்று நான் பந்தயம் கட்ட முடியும். சந்தையில் போதுமான இரண்டு நிபுணர்களும் இருப்பார்கள்.

நியூரான்களால் தீர்க்கப்படக்கூடிய ஒரு வகை பிரச்சனைகள் இருக்கும். ஒரு பணி எழுந்துள்ளது - ஒரு நிபுணரை நியமிக்கவும்.

"அடுத்தது என்ன? வாக்குறுதியளிக்கப்பட்ட செயற்கை நுண்ணறிவு எங்கே?

ஆனால் இங்கே ஒரு சிறிய ஆனால் சுவாரஸ்யமான தவறான புரிதல் உள்ளது :)

இன்று இருக்கும் தொழில்நுட்ப அடுக்கு, வெளிப்படையாக, செயற்கை நுண்ணறிவுக்கு நம்மை அழைத்துச் செல்லாது. யோசனைகளும் அவற்றின் புதுமையும் பெரும்பாலும் தங்களைத் தீர்ந்துவிட்டன. தற்போதைய வளர்ச்சியின் நிலை என்ன என்பதைப் பற்றி பேசலாம்.

கட்டுப்பாடுகள்

சுய-ஓட்டுநர் கார்களுடன் தொடங்குவோம். இன்றைய தொழில்நுட்பத்தில் முழு தன்னாட்சி கார்களை உருவாக்குவது சாத்தியம் என்பது தெளிவாகத் தெரிகிறது. ஆனால் இது எத்தனை வருடங்களில் நடக்கும் என்று தெரியவில்லை. இது ஓரிரு ஆண்டுகளில் நடக்கும் என்று டெஸ்லா நம்புகிறார் -

இன்னும் பலர் உள்ளனர் சிறப்பு, 5-10 ஆண்டுகள் என மதிப்பிடுபவர்கள்.

பெரும்பாலும், என் கருத்துப்படி, 15 ஆண்டுகளில் நகரங்களின் உள்கட்டமைப்பு தானாகவே மாறும், தன்னாட்சி கார்களின் தோற்றம் தவிர்க்க முடியாததாக மாறும் மற்றும் அதன் தொடர்ச்சியாக மாறும். ஆனால் இதை புத்திசாலித்தனமாக கருத முடியாது. நவீன டெஸ்லா என்பது தரவுகளை வடிகட்டுதல், தேடுதல் மற்றும் மறுபயன்பாடு ஆகியவற்றுக்கான மிகவும் சிக்கலான பைப்லைன் ஆகும். இவை விதிகள்-விதிமுறைகள், தரவு சேகரிப்பு மற்றும் அவற்றின் மீது வடிகட்டிகள் (இங்கே இங்கே நான் இதைப் பற்றி இன்னும் கொஞ்சம் எழுதினேன், அல்லது பாருங்கள் இந்த மதிப்பெண்கள்).

முதல் சிக்கல்

இதைத்தான் நாம் பார்க்கிறோம் முதல் அடிப்படை பிரச்சனை. பெரிய தரவு. நரம்பியல் நெட்வொர்க்குகள் மற்றும் இயந்திர கற்றலின் தற்போதைய அலைக்கு இதுவே பிறந்தது. இப்போதெல்லாம், சிக்கலான மற்றும் தானியங்கி ஒன்றைச் செய்ய, உங்களுக்கு நிறைய தரவு தேவை. நிறைய மட்டுமல்ல, மிக மிக அதிகம். அவற்றின் சேகரிப்பு, குறிப்பது மற்றும் பயன்படுத்துவதற்கு தானியங்கு வழிமுறைகள் தேவை. சூரியனை எதிர்கொள்ளும் டிரக்குகளை கார் பார்க்க வைக்க விரும்புகிறோம் - முதலில் அவற்றில் போதுமான எண்ணிக்கையை சேகரிக்க வேண்டும். கார் பைத்தியம் பிடிக்காமல் இருக்க வேண்டும் என்று நாங்கள் விரும்புகிறோம் - மேலும் மாதிரிகள்.

மேலும், ஒரு உதாரணம் போதாது. நூற்றுக்கணக்கா? ஆயிரமா?

இரண்டாவது பிரச்சனை

இரண்டாவது பிரச்சனை — நமது நரம்பியல் வலையமைப்பு என்ன புரிந்து கொண்டது என்பதை காட்சிப்படுத்தல். இது மிகவும் அற்பமான பணி. இப்போது வரை, இதை எவ்வாறு காட்சிப்படுத்துவது என்பது சிலருக்குப் புரியும். இந்தக் கட்டுரைகள் மிகச் சமீபத்தியவை, இவை தொலைதூரத்தில் இருந்தாலும் சில எடுத்துக்காட்டுகள்:
காட்சிப்படுத்தல் அமைப்புமுறைகள் மீது தொல்லை. நியூரான் எதைப் பொருத்த முனைகிறது + அது தொடக்கத் தகவலாக எதைக் கருதுகிறது என்பதை இது நன்றாகக் காட்டுகிறது.

காட்சிப்படுத்தல் கவனம் மொழிபெயர்ப்புகள். உண்மையில், அத்தகைய நெட்வொர்க் எதிர்வினைக்கு என்ன காரணம் என்பதைக் காட்ட ஈர்ப்பு பெரும்பாலும் துல்லியமாகப் பயன்படுத்தப்படலாம். பிழைத்திருத்தம் மற்றும் தயாரிப்பு தீர்வுகள் இரண்டிற்கும் இதுபோன்ற விஷயங்களை நான் பார்த்திருக்கிறேன். இந்த தலைப்பில் நிறைய கட்டுரைகள் உள்ளன. ஆனால் தரவு மிகவும் சிக்கலானது, வலுவான காட்சிப்படுத்தலை எவ்வாறு அடைவது என்பதைப் புரிந்துகொள்வது மிகவும் கடினம்.

சரி, ஆம், "மெஷ்ஷின் உள்ளே என்ன இருக்கிறது என்று பாருங்கள் வடிகட்டிகள்" இந்த படங்கள் 3-4 ஆண்டுகளுக்கு முன்பு பிரபலமாக இருந்தன, ஆனால் படங்கள் அழகாக இருப்பதை அனைவரும் விரைவாக உணர்ந்தனர், ஆனால் அவை அதிக அர்த்தத்தை கொண்டிருக்கவில்லை.

டஜன் கணக்கான பிற கேஜெட்டுகள், முறைகள், ஹேக்குகள், நெட்வொர்க்கின் உட்புறங்களை எவ்வாறு காண்பிப்பது என்பது பற்றிய ஆராய்ச்சி ஆகியவற்றை நான் குறிப்பிடவில்லை. இந்த கருவிகள் வேலை செய்கிறதா? பிரச்சனை என்ன என்பதை விரைவாகப் புரிந்துகொள்ளவும், நெட்வொர்க்கைப் பிழைத்திருத்தவும் அவை உங்களுக்கு உதவுகின்றனவா?.. கடைசி சதவீதத்தைப் பெறவா? சரி, அது அதே தான்:

நீங்கள் Kaggle இல் எந்த போட்டியையும் பார்க்கலாம். மற்றும் மக்கள் எப்படி இறுதி முடிவுகளை எடுக்கிறார்கள் என்பதற்கான விளக்கம். நாங்கள் 100-500-800 யூனிட் மாடல்களை அடுக்கி வைத்தோம், அது வேலை செய்தது!

நான் மிகைப்படுத்துகிறேன், நிச்சயமாக. ஆனால் இந்த அணுகுமுறைகள் விரைவான மற்றும் நேரடியான பதில்களை வழங்காது.

போதுமான அனுபவம், வெவ்வேறு விருப்பங்களைச் சுற்றிக் கொண்டு, உங்கள் சிஸ்டம் ஏன் இப்படி ஒரு முடிவை எடுத்தது என்பது பற்றி நீங்கள் தீர்ப்பளிக்கலாம். ஆனால் அமைப்பின் நடத்தையை சரிசெய்வது கடினமாக இருக்கும். ஊன்றுகோலை நிறுவவும், வாசலை நகர்த்தவும், தரவுத்தொகுப்பைச் சேர்க்கவும், மற்றொரு பின்தள நெட்வொர்க்கை எடுக்கவும்.

மூன்றாவது பிரச்சனை

மூன்றாவது அடிப்படைப் பிரச்சனை - கட்டங்கள் புள்ளியியல் கற்பிக்கின்றன, தர்க்கத்தை அல்ல. புள்ளிவிவரப்படி இது முகம்:

தர்க்கரீதியாக, இது மிகவும் ஒத்ததாக இல்லை. நரம்பியல் நெட்வொர்க்குகள் கட்டாயப்படுத்தப்படாவிட்டால் சிக்கலான எதையும் கற்றுக் கொள்ளாது. அவர்கள் எப்போதும் சாத்தியமான எளிய அறிகுறிகளை கற்பிக்கிறார்கள். உங்களுக்கு கண், மூக்கு, தலை இருக்கிறதா? எனவே இது முகம்! அல்லது கண்கள் முகத்தை குறிக்காது என்பதற்கு ஒரு உதாரணம் கொடுங்கள். மீண்டும் - மில்லியன் கணக்கான எடுத்துக்காட்டுகள்.

கீழே நிறைய அறை இருக்கிறது

இந்த மூன்று உலகளாவிய பிரச்சனைகள் தான் தற்போது நரம்பியல் நெட்வொர்க்குகள் மற்றும் இயந்திர கற்றல் வளர்ச்சியை கட்டுப்படுத்துகின்றன என்று நான் கூறுவேன். இந்த சிக்கல்கள் அதை மட்டுப்படுத்தாத இடத்தில், அது ஏற்கனவே தீவிரமாக பயன்படுத்தப்படுகிறது.

இதுதான் முடிவா? நரம்பியல் நெட்வொர்க்குகள் அதிகமாக உள்ளதா?

தெரியவில்லை. ஆனால், நிச்சயமாக, எல்லோரும் நம்பவில்லை.

நான் மேலே எடுத்துக்காட்டிய அடிப்படைச் சிக்கல்களைத் தீர்ப்பதற்கு பல அணுகுமுறைகள் மற்றும் திசைகள் உள்ளன. ஆனால் இதுவரை, இந்த அணுகுமுறைகள் எதுவும் அடிப்படையில் புதிதாக ஒன்றைச் செய்ய, இன்னும் தீர்க்கப்படாத ஒன்றைத் தீர்க்க சாத்தியமாக்கவில்லை. இதுவரை, அனைத்து அடிப்படைத் திட்டங்களும் நிலையான அணுகுமுறைகளின் (டெஸ்லா) அடிப்படையில் செய்யப்படுகின்றன அல்லது நிறுவனங்கள் அல்லது நிறுவனங்களின் (கூகுள் மூளை, ஓபன்ஏஐ) சோதனைத் திட்டங்களாகவே இருக்கின்றன.

தோராயமாகச் சொன்னால், உள்ளீட்டுத் தரவின் சில உயர்நிலைப் பிரதிநிதித்துவத்தை உருவாக்குவதே முக்கிய திசையாகும். ஒரு வகையில், "நினைவகம்". நினைவகத்தின் எளிய எடுத்துக்காட்டு பல்வேறு "உட்பொதித்தல்" - பட பிரதிநிதித்துவங்கள். சரி, எடுத்துக்காட்டாக, அனைத்து முக அங்கீகார அமைப்புகள். சுழற்சி, வெளிச்சம் அல்லது தெளிவுத்திறனைச் சார்ந்து இல்லாத சில நிலையான பிரதிநிதித்துவத்தை ஒரு முகத்திலிருந்து பெற நெட்வொர்க் கற்றுக்கொள்கிறது. அடிப்படையில், நெட்வொர்க் மெட்ரிக் "வெவ்வேறு முகங்கள் தொலைவில் உள்ளன" மற்றும் "ஒரே முகங்கள் நெருக்கமாக உள்ளன" என்பதைக் குறைக்கிறது.

அத்தகைய பயிற்சிக்கு, பல்லாயிரக்கணக்கான எடுத்துக்காட்டுகள் தேவை. ஆனால் இதன் விளைவாக "ஒரே-ஷாட் கற்றல்" சில அடிப்படைகள் உள்ளன. இப்போது ஒரு நபரை நினைவில் கொள்ள நூற்றுக்கணக்கான முகங்கள் தேவையில்லை. ஒரே ஒரு முகம் அவ்வளவுதான் நாம் நாம் கண்டுபிடிக்கலாம்!
ஒரே ஒரு பிரச்சனை... கட்டம் மிகவும் எளிமையான பொருட்களை மட்டுமே கற்றுக்கொள்ள முடியும். முகங்களை வேறுபடுத்த முயற்சிக்கும்போது, ​​ஆனால், எடுத்துக்காட்டாக, "ஆடைகளால் மக்கள்" (பணி மீண்டும் அடையாளம் காணுதல்) - தரம் பல அளவுகளில் குறைகிறது. மேலும் கோணங்களில் மிகவும் வெளிப்படையான மாற்றங்களை நெட்வொர்க் இனி கற்றுக்கொள்ள முடியாது.

மேலும் மில்லியன் கணக்கான உதாரணங்களிலிருந்து கற்றுக்கொள்வதும் ஒருவித வேடிக்கையானது.

தேர்தல்களை கணிசமாக குறைக்கும் வேலை உள்ளது. எடுத்துக்காட்டாக, முதல் படைப்புகளில் ஒன்றை உடனடியாக நினைவுபடுத்தலாம் ஒன்ஷாட் கற்றல் Google இலிருந்து:

உதாரணமாக, இதுபோன்ற பல படைப்புகள் உள்ளன 1 அல்லது 2 அல்லது 3.

ஒரே ஒரு கழித்தல் உள்ளது - பொதுவாக சில எளிய, "MNIST" எடுத்துக்காட்டுகளில் பயிற்சி நன்றாக வேலை செய்கிறது. சிக்கலான பணிகளுக்குச் செல்லும்போது, ​​​​உங்களுக்கு ஒரு பெரிய தரவுத்தளம், பொருள்களின் மாதிரி அல்லது சில வகையான மந்திரம் தேவை.
பொதுவாக, ஒரு ஷாட் பயிற்சியில் வேலை செய்வது மிகவும் சுவாரஸ்யமான தலைப்பு. நீங்கள் நிறைய யோசனைகளைக் காணலாம். ஆனால் பெரும்பாலும், நான் பட்டியலிட்ட இரண்டு சிக்கல்கள் (ஒரு பெரிய தரவுத்தொகுப்பில் முன்பயிற்சி / சிக்கலான தரவுகளின் உறுதியற்ற தன்மை) கற்றலில் பெரிதும் தலையிடுகின்றன.

மறுபுறம், GANகள்-உருவாக்கும் விரோத நெட்வொர்க்குகள்-உட்பொதித்தல் என்ற தலைப்பை அணுகுகின்றன. இந்த தலைப்பில் ஹப்ரே பற்றிய கட்டுரைகளை நீங்கள் படித்திருக்கலாம். (1, 2,3)
GAN இன் ஒரு அம்சம் சில உள் நிலை இடத்தை உருவாக்குவது (அடிப்படையில் அதே உட்பொதித்தல்), இது ஒரு படத்தை வரைய உங்களை அனுமதிக்கிறது. இருக்கலாம் лица, இருக்கமுடியும் செயல்கள்.

GAN இல் உள்ள சிக்கல் என்னவென்றால், உருவாக்கப்பட்ட பொருள் மிகவும் சிக்கலானது, அதை "ஜெனரேட்டர்-பாகுபாடு" தர்க்கத்தில் விவரிப்பது மிகவும் கடினம். இதன் விளைவாக, GAN இன் உண்மையான பயன்பாடுகள் டீப்ஃபேக் என்று கேள்விப்பட்டவை, இது மீண்டும் முகப் பிரதிநிதித்துவங்களைக் கையாளுகிறது (இதற்கு ஒரு பெரிய அடிப்படை உள்ளது).

வேறு சில பயனுள்ள பயன்பாடுகளை நான் பார்த்திருக்கிறேன். பொதுவாக சில வகையான தந்திரங்கள், படங்களை வரைந்து முடித்தல்.

மீண்டும். இது எப்படி நம்மை ஒளிமயமான எதிர்காலத்திற்குச் செல்ல அனுமதிக்கும் என்று யாருக்கும் தெரியாது. நரம்பியல் வலையமைப்பில் தர்க்கம்/இடத்தை பிரதிநிதித்துவப்படுத்துவது நல்லது. ஆனால் எங்களுக்கு ஏராளமான எடுத்துக்காட்டுகள் தேவை, நியூரான் இதை எவ்வாறு பிரதிபலிக்கிறது என்பது எங்களுக்குப் புரியவில்லை, நியூரானை எவ்வாறு சில சிக்கலான யோசனைகளை நினைவில் வைப்பது என்பது எங்களுக்குப் புரியவில்லை.

வலுவூட்டல் கற்றல் - இது முற்றிலும் மாறுபட்ட திசையில் இருந்து ஒரு அணுகுமுறை. Goவில் Google எப்படி அனைவரையும் வென்றது என்பது உங்களுக்கு நினைவிருக்கும். ஸ்டார்கிராஃப்ட் மற்றும் டோட்டாவில் சமீபத்திய வெற்றிகள். ஆனால் இங்கே எல்லாம் மிகவும் ரோஸி மற்றும் நம்பிக்கைக்குரியதாக இல்லை. அவர் RL மற்றும் அதன் சிக்கல்கள் பற்றி சிறப்பாக பேசுகிறார் இந்த கட்டுரை.

ஆசிரியர் எழுதியதை சுருக்கமாகச் சொல்லுங்கள்:

• பெட்டிக்கு வெளியே உள்ள மாதிரிகள் பெரும்பாலான சந்தர்ப்பங்களில் பொருந்தாது / மோசமாக வேலை செய்கின்றன
• நடைமுறை சிக்கல்களை வேறு வழிகளில் தீர்க்க எளிதானது. பாஸ்டன் டைனமிக்ஸ் அதன் சிக்கலான தன்மை / கணிக்க முடியாத தன்மை / கணக்கீட்டு சிக்கலான தன்மை காரணமாக RL ஐப் பயன்படுத்துவதில்லை.
• RL வேலை செய்ய, உங்களுக்கு ஒரு சிக்கலான செயல்பாடு தேவை. உருவாக்குவது/எழுதுவது பெரும்பாலும் கடினமாக இருக்கும்
• மாடல்களைப் பயிற்றுவிப்பது கடினம். பம்ப் அப் மற்றும் உள்ளூர் ஆப்டிமாவில் இருந்து வெளியேற நீங்கள் நிறைய நேரம் செலவிட வேண்டும்
• இதன் விளைவாக, மாதிரியை மீண்டும் செய்வது கடினம், சிறிய மாற்றங்களுடன் மாதிரி நிலையற்றது
• ரேண்டம் எண் ஜெனரேட்டர் வரை, சில வகையான இடதுசாரி வடிவங்களை அடிக்கடி பொருத்துகிறது

முக்கிய விஷயம் என்னவென்றால், RL இன்னும் உற்பத்தியில் வேலை செய்யவில்லை. கூகுள் சில சோதனைகள் ( 1, 2 ) ஆனால் நான் ஒரு தயாரிப்பு முறையைப் பார்த்ததில்லை.

ஞாபகம். மேலே விவரிக்கப்பட்ட எல்லாவற்றின் குறைபாடும் கட்டமைப்பின் பற்றாக்குறை. இதையெல்லாம் ஒழுங்கமைக்க முயற்சிப்பதற்கான அணுகுமுறைகளில் ஒன்று நரம்பியல் நெட்வொர்க்கிற்கு தனி நினைவகத்திற்கான அணுகலை வழங்குவதாகும். அதனால் அவள் அங்குள்ள படிகளின் முடிவுகளைப் பதிவுசெய்து மீண்டும் எழுதலாம். பின்னர் நரம்பியல் வலையமைப்பை தற்போதைய நினைவக நிலை மூலம் தீர்மானிக்க முடியும். இது கிளாசிக் செயலிகள் மற்றும் கணினிகளுக்கு மிகவும் ஒத்ததாகும்.

மிகவும் பிரபலமான மற்றும் பிரபலமான கட்டுரை - டீப் மைண்டிலிருந்து:

புத்திசாலித்தனத்தைப் புரிந்துகொள்வதற்கான திறவுகோல் இதுதான் என்று தெரிகிறது? ஆனால் அநேகமாக இல்லை. பயிற்சிக்கு கணினிக்கு இன்னும் பெரிய அளவிலான தரவு தேவைப்படுகிறது. மேலும் இது முக்கியமாக கட்டமைக்கப்பட்ட அட்டவணை தரவுகளுடன் வேலை செய்கிறது. மேலும், போது பேஸ்புக் முடிவு செய்தார் இதே போன்ற பிரச்சனை, பின்னர் அவர்கள் "ஸ்க்ரூ மெமரி, நியூரானை மிகவும் சிக்கலாக்க வேண்டும், மேலும் பல உதாரணங்களைக் கொண்டுள்ளனர் - அது தானாகவே கற்றுக் கொள்ளும்" என்ற பாதையை எடுத்தனர்.

பிரித்தெடுத்தல். ஒரு அர்த்தமுள்ள நினைவகத்தை உருவாக்க மற்றொரு வழி, அதே உட்பொதிவுகளை எடுத்துக்கொள்வதாகும், ஆனால் பயிற்சியின் போது, ​​அவற்றில் "அர்த்தங்களை" முன்னிலைப்படுத்த அனுமதிக்கும் கூடுதல் அளவுகோல்களை அறிமுகப்படுத்துங்கள். எடுத்துக்காட்டாக, ஒரு கடையில் மனித நடத்தையை வேறுபடுத்தி அறிய நரம்பியல் வலையமைப்பைப் பயிற்றுவிக்க விரும்புகிறோம். நாங்கள் நிலையான பாதையைப் பின்பற்றினால், ஒரு டஜன் நெட்வொர்க்குகளை உருவாக்க வேண்டியிருக்கும். ஒருவர் ஒருவரைத் தேடுகிறார், இரண்டாவது அவர் என்ன செய்கிறார் என்பதைத் தீர்மானிக்கிறார், மூன்றாவது அவரது வயது, நான்காவது அவரது பாலினம். தனி தர்க்கம் கடையின் ஒரு பகுதியைப் பார்க்கிறது. மூன்றாவது அதன் பாதையை தீர்மானிக்கிறது.

அல்லது, எல்லையற்ற தரவு இருந்தால், சாத்தியமான அனைத்து விளைவுகளுக்கும் ஒரு நெட்வொர்க்கைப் பயிற்றுவிப்பது சாத்தியமாகும் (வெளிப்படையாக, அத்தகைய தரவு வரிசையை சேகரிக்க முடியாது).

பிரித்தெடுத்தல் அணுகுமுறை நமக்குச் சொல்கிறது - நெட்வொர்க்கைப் பயிற்றுவிப்போம், அதுவே கருத்துக்களுக்கு இடையில் வேறுபடுகிறது. வீடியோவின் அடிப்படையில் அது ஒரு உட்பொதிப்பை உருவாக்கும், அங்கு ஒரு பகுதி செயலை தீர்மானிக்கும், ஒருவர் தரையில் உள்ள நிலையை சரியான நேரத்தில் தீர்மானிக்கும், ஒருவர் நபரின் உயரத்தை தீர்மானிக்கும், மேலும் ஒருவர் நபரின் பாலினத்தை தீர்மானிக்கும். அதே நேரத்தில், பயிற்சியின் போது, ​​​​இதுபோன்ற முக்கிய கருத்துகளுடன் பிணையத்தை நான் கேட்கவில்லை, மாறாக அதை முன்னிலைப்படுத்தவும், குழுவாகவும் இருக்க விரும்புகிறேன். இதுபோன்ற சில கட்டுரைகள் உள்ளன (அவற்றில் சில 1, 2, 3) மற்றும் பொதுவாக அவை மிகவும் தத்துவார்த்தமானவை.

ஆனால் இந்த திசையில், குறைந்தபட்சம் கோட்பாட்டளவில், ஆரம்பத்தில் பட்டியலிடப்பட்ட சிக்கல்களை மறைக்க வேண்டும்.

"சுவர் நிறம் / தரை நிறம் / பொருளின் வடிவம் / பொருளின் நிறம் / முதலியன" அளவுருக்களின் படி படத்தின் சிதைவு.

"அளவு, புருவங்கள், நோக்குநிலை, தோல் நிறம், முதலியன" அளவுருக்கள் படி ஒரு முகத்தின் சிதைவு.

மற்ற

தரவுத்தளத்தை எப்படியாவது குறைக்க, மேலும் பலதரப்பட்ட தரவுகளுடன் பணிபுரிய உங்களை அனுமதிக்கும் பல, உலகளாவிய அல்லாத பல பகுதிகள் உள்ளன.

கவனம். இதை ஒரு தனி முறையாகப் பிரிப்பதில் அர்த்தமில்லை. மற்றவர்களை மேம்படுத்தும் அணுகுமுறை மட்டுமே. பல கட்டுரைகள் அவருக்கு அர்ப்பணிக்கப்பட்டுள்ளன (1,2,3) பயிற்சியின் போது குறிப்பிடத்தக்க பொருள்களுக்கு நெட்வொர்க்கின் பதிலை மேம்படுத்துவதே கவனத்தின் முக்கிய அம்சமாகும். பெரும்பாலும் வெளிப்புற இலக்கு பதவி அல்லது ஒரு சிறிய வெளிப்புற நெட்வொர்க்.

3D உருவகப்படுத்துதல். நீங்கள் ஒரு நல்ல 3D இன்ஜினை உருவாக்கினால், பயிற்சியின் 90% தரவை நீங்கள் அடிக்கடி மறைக்க முடியும் (கிட்டத்தட்ட 99% தரவு ஒரு நல்ல இயந்திரத்தால் மூடப்பட்ட ஒரு உதாரணத்தையும் நான் பார்த்தேன்). உண்மையான தரவைப் பயன்படுத்தி 3D இன்ஜினில் பயிற்சி பெற்ற நெட்வொர்க்கை எவ்வாறு உருவாக்குவது என்பது குறித்து பல யோசனைகள் மற்றும் ஹேக்குகள் உள்ளன (நன்றாக சரிசெய்தல், பாணி பரிமாற்றம் போன்றவை). ஆனால் பெரும்பாலும் ஒரு நல்ல இயந்திரத்தை உருவாக்குவது தரவைச் சேகரிப்பதை விட பல ஆர்டர்கள் மிகவும் கடினம். என்ஜின்கள் உருவாக்கப்பட்ட போது எடுத்துக்காட்டுகள்:
ரோபோ பயிற்சி (Google, மூளைத்தோட்டம்)
பயிற்சி அமர்வுகள் அங்கீகாரம் கடையில் உள்ள பொருட்கள் (ஆனால் நாங்கள் செய்த இரண்டு திட்டங்களில், அது இல்லாமல் எளிதாக செய்யலாம்).
டெஸ்லாவில் பயிற்சி (மீண்டும், மேலே உள்ள வீடியோ).

கண்டுபிடிப்புகள்

முழுக் கட்டுரையும் ஒரு வகையில் முடிவுகளே. நான் செய்ய விரும்பிய முக்கிய செய்தி "இலவசங்கள் முடிந்துவிட்டன, நியூரான்கள் இனி எளிய தீர்வுகளை வழங்காது." இப்போது நாம் சிக்கலான முடிவுகளை எடுக்க கடினமாக உழைக்க வேண்டும். அல்லது சிக்கலான அறிவியல் ஆராய்ச்சி செய்து கடினமாக உழைக்கவும்.

பொதுவாக, தலைப்பு விவாதத்திற்குரியது. ஒருவேளை வாசகர்களுக்கு இன்னும் சுவாரஸ்யமான உதாரணங்கள் இருக்கிறதா?

ஆதாரம்: www.habr.com