ڇا مشين لرننگ بلبلا ڦاٽي آهي، يا اهو هڪ نئين صبح جي شروعات آهي؟

تازو جاري ڪيو ويو هڪ مضمون، جيڪو تازو سالن ۾ مشين لرننگ ۾ سٺو رجحان ڏيکاري ٿو. مختصر ۾: مشين سکيا جي شروعاتن جو تعداد گذريل ٻن سالن ۾ گهٽجي ويو آهي.

خير. اچو ته ڏسون ته ”ڇا بلبل ڦاٽو آهي“، ”جيئڻ ڪيئن جاري رکجي“ ۽ ان بابت ڳالهايون ته هي ٻوٽو پهرين جاءِ کان ڪٿان اچي ٿو.

پهرين، اچو ته ان بابت ڳالهايون ته هن وکر جو بوسٹر ڇا هو. هوءَ ڪٿان آئي؟ اهي شايد سڀ ڪجهه ياد ڪندا فتح 2012 ۾ تصويري نيٽ مقابلي ۾ مشين لرننگ. آخرڪار، هي پهريون عالمي واقعو آهي! پر حقيقت ۾ ائين ناهي. ۽ وکر جي واڌ ٿورو اڳ شروع ٿئي ٿو. مان ان کي ڪيترن ئي نقطن ۾ ورهائي ڇڏيندس.

1. 2008 ۾ "وڏي ڊيٽا" جي اصطلاح جو اڀار ڏٺو. حقيقي مصنوعات شروع ٿي ظاهر ٿيندو 2010 کان وٺي. وڏي ڊيٽا سڌو سنئون مشين جي سکيا سان لاڳاپيل آهي. وڏي ڊيٽا کان سواء، ان وقت موجود الگورتھم جو مستحڪم آپريشن ناممڪن آهي. ۽ اهي نيورل نيٽ ورڪ نه آهن. 2012 تائين، نيورل نيٽ ورڪ هڪ حد تائين اقليت جي محفوظ هئا. پر پوء مڪمل طور تي مختلف الگورتھم ڪم ڪرڻ شروع ڪيو، جيڪي سالن تائين موجود هئا، يا ڏهاڪن کان به: ايس وي ايم(1963,1993) بي ترتيب ٻيلو (1995)، ادا بوسٽ (2003)،... انهن سالن جي شروعات بنيادي طور تي ٺهيل ڊيٽا جي خودڪار پروسيسنگ سان لاڳاپيل آهن: نقد رجسٽر، استعمال ڪندڙ، اشتهار، گهڻو ڪجهه.

   هن پهرين لهر مان نڪتل فريم ورڪ جو هڪ سيٽ آهي جهڙوڪ XGBoost، CatBoost، LightGBM، وغيره.

2. 2011-2012 ۾ convolutional neural نيٽ ورڪ تصويرن جي سڃاڻپ جا ڪيترائي مقابلا کٽيا. انهن جي حقيقي استعمال ۾ ڪجهه دير هئي. مان چوندس ته 2014 ۾ وڏي پئماني تي بامعني شروعات ۽ حل ظاهر ٿيڻ شروع ٿيا. ان کي هضم ڪرڻ ۾ ٻه سال لڳي ويا ته نيورون اڃا به ڪم ڪن ٿا، آسان فريم ورڪ ٺاهڻ لاءِ جيڪي مناسب وقت ۾ انسٽال ۽ لانچ ڪري سگهجن، طريقا ٺاهيا وڃن جيڪي ڪنورجنسي وقت کي مستحڪم ۽ تيز ڪن.

   Convolutional networks ان کي ممڪن بڻايو ته ڪمپيوٽر جي وژن جي مسئلن کي حل ڪرڻ: تصويرن ۾ تصويرن ۽ شين جي درجه بندي، اعتراض جي ڳولا، شين ۽ ماڻهن جي سڃاڻپ، تصوير جي بهتري وغيره وغيره.

3. 2015-2017. بار بار نيٽ ورڪ يا انهن جي اينالاگس (LSTM، GRU، TransformerNet، وغيره) جي بنياد تي الگورتھم ۽ منصوبن جو بوم. سٺي ڪم ڪندڙ اسپيچ-ٽو-ٽيڪسٽ الگورتھم ۽ مشين ترجمي وارو نظام ظاهر ٿيو آهي. اهي جزوي طور تي بنيادي خصوصيتن کي ڪڍڻ لاء سازشي نيٽ ورڪ تي ٻڌل آهن. جزوي طور تي ان حقيقت جي ڪري ته اسان واقعي وڏو ۽ سٺو ڊيٽا سيٽ گڏ ڪرڻ سکيو.

”ڇا بلبل ڦاٽو آهي؟ ڇا hype overheated آهي؟ ڇا اهي هڪ بلاڪچين وانگر مري ويا؟
ٻي صورت ۾! سڀاڻي سري توهان جي فون تي ڪم ڪرڻ بند ڪري ڇڏيندي، ۽ سڀاڻي کان پوءِ ٽيسلا هڪ موڙ ۽ ڪانگارو جي وچ ۾ فرق نه ڄاڻندو.

نيورل نيٽ ورڪ اڳ ۾ ئي ڪم ڪري رهيا آهن. اهي ڪيترن ئي ڊوائيسز ۾ آهن. اهي واقعي توهان کي پئسا ڪمائڻ جي اجازت ڏين ٿا، مارڪيٽ ۽ توهان جي چوڌاري دنيا کي تبديل ڪريو. Hype ٿورو مختلف نظر اچي ٿو:

اهو صرف اهو آهي ته نيورل نيٽ ورڪ هاڻي ڪجهه نوان نه آهن. ها، ڪيترن ئي ماڻهن کي وڏيون اميدون آهن. پر ڪمپنين جو هڪ وڏو تعداد نيورسن کي استعمال ڪرڻ ۽ انهن جي بنياد تي مصنوعات ٺاهڻ سکيو آهي. نيورسن نئين ڪارڪردگي مهيا ڪن ٿا، توهان کي نوڪريون ڪٽڻ جي اجازت ڏين ٿا، ۽ خدمتن جي قيمت گھٽائي:

• پيداواري ڪمپنيون پيداوار واري لائن تي خرابين جو تجزيو ڪرڻ لاءِ الگورتھم کي گڏ ڪري رهيون آهن.
• لائيو اسٽاڪ فارمز ڳئون کي سنڀالڻ لاءِ سسٽم خريد ڪندا آهن.
• خودڪار گڏ ڪرڻ.
• خودڪار ڪال سينٽر.
• SnapChat ۾ فلٽر. (چڱو، گهٽ ۾ گهٽ ڪجهه مفيد!)

پر بنيادي شيء، ۽ سڀ کان وڌيڪ واضح ناهي: "اتي وڌيڪ نوان خيال نه آهن، يا اهي فوري سرمائي نه آڻيندا." نيورل نيٽ ورڪ ڪيترن ئي مسئلن کي حل ڪيو آهي. ۽ اهي اڃا به وڌيڪ فيصلو ڪندا. سڀ پڌرا خيال جيڪي موجود هئا انهن ڪيترن ئي شروعاتن کي جنم ڏنو. پر هر شيءِ جيڪا مٿاڇري تي هئي سا گڏ ٿي چڪي هئي. گذريل ٻن سالن کان، مون کي نيورل نيٽ ورڪ جي استعمال لاءِ هڪ به نئون خيال نه آيو آهي. ھڪڙو نئون طريقو نه آھي (چڱو، ٺيڪ، GANs سان ڪجھ مسئلا آھن).

۽ هر ايندڙ شروعات وڌيڪ ۽ وڌيڪ پيچيده آهي. اهو هاڻي ٻن ماڻهن جي ضرورت ناهي جيڪي کليل ڊيٽا استعمال ڪندي نيورون کي تربيت ڏين ٿا. ان جي ضرورت آهي پروگرامر، هڪ سرور، مارڪرز جي هڪ ٽيم، پيچيده سپورٽ وغيره.

نتيجي طور، اتي ٿورڙا شروع آهن. پر اتي وڌيڪ پيداوار آهي. لائسنس پليٽ جي سڃاڻپ شامل ڪرڻ جي ضرورت آهي؟ مارڪيٽ تي لاڳاپيل تجربو رکندڙ سوين ماهر آهن. توهان ڪنهن کي نوڪري ڪري سگهو ٿا ۽ ڪجهه مهينن ۾ توهان جو ملازم سسٽم ٺاهيندو. يا تيار ٿيل خريد ڪريو. پر هڪ نئين شروعات ڪري رهيا آهيو؟.. چريو!

توهان کي هڪ دورو ڪندڙ ٽريڪنگ سسٽم ٺاهڻ جي ضرورت آهي - لائسنس جي هڪ گروپ لاءِ ڇو ادا ڪريو جڏهن توهان 3-4 مهينن ۾ پنهنجو پاڻ ٺاهي سگهو ٿا، ان کي پنهنجي ڪاروبار لاءِ تيز ڪريو.

ھاڻي نيورل نيٽ ورڪ ان ئي رستي تان ھلي رھيا آھن جنھن مان ڪيترن ئي ٻين ٽيڪنالاجيون گذريون آھن.

ڇا توهان کي ياد آهي ته ڪيئن "ويب سائيٽ ڊولپر" جو تصور 1995 کان تبديل ٿي چڪو آهي؟ مارڪيٽ اڃا تائين ماهرن سان ڀريل نه آهي. اتي تمام ٿورا پروفيشنل آهن. پر مان شرط لڳائي سگهان ٿو ته 5-10 سالن ۾ جاوا پروگرامر ۽ نيورل نيٽ ورڪ ڊولپر جي وچ ۾ گهڻو فرق نه هوندو. مارڪيٽ تي ٻنهي ماهرن جي ڪافي هوندي.

هتي صرف مسئلن جو هڪ طبقو هوندو جيڪو نيورون ذريعي حل ڪري سگهجي ٿو. هڪ ڪم پيدا ٿيو آهي - هڪ ماهر ڀرتي ڪريو.

”اڳتي ڇا آهي؟ ڪٿي آهي واعدو ڪيل مصنوعي ذهانت؟

پر هتي هڪ ننڍڙو پر دلچسپ غلط فهمي آهي :)

ٽيڪنالاجي جو اسٽيڪ جيڪو اڄ موجود آهي، ظاهري طور تي، اسان کي مصنوعي ذهانت ڏانهن نه آڻيندو. خيالن ۽ انهن جي نواڻ گهڻو ڪري پاڻ کي ختم ڪري ڇڏيو آهي. اچو ته ان جي باري ۾ ڳالهايون جيڪي ترقي جي موجوده سطح تي رکن ٿا.

پابنديون

اچو ته خود ڊرائيونگ ڪارن سان شروع ڪريون. اهو واضح ٿئي ٿو ته اڄ جي ٽيڪنالاجي سان مڪمل طور تي خودمختيار ڪارون ٺاهڻ ممڪن آهي. پر اهو واضح ناهي ته اهو ڪيترو سالن ۾ ٿيندو. ٽسلا کي يقين آهي ته اهو ڪجهه سالن ۾ ٿيندو.

ٻيا به ڪيترائي آهن ماهرجنهن جو اندازو آهي 5-10 سال.

گهڻو ڪري، منهنجي خيال ۾، 15 سالن ۾ شهرن جو بنيادي ڍانچو پاڻ ۾ اهڙيءَ طرح تبديل ٿي ويندو، جو خود مختيار ڪارن جو وجود ناگزير ٿي ويندو ۽ اهو ان جو تسلسل بڻجي ويندو. پر ان کي عقل نه ٿو سمجهي سگهجي. جديد ٽسلا ڊيٽا فلٽرنگ، ڳولا ۽ ٻيهر تربيت لاءِ هڪ تمام پيچيده پائپ لائن آهي. اهي ضابطا آهن- ضابطا- ضابطا، ڊيٽا گڏ ڪرڻ ۽ انهن تي فلٽر (هتي هتي مون ان بابت ٿورو وڌيڪ لکيو، يا مان ڏسو هي نشان).

پهريون مسئلو

۽ اھو اھو آھي جتي اسان ڏسون ٿا پهريون بنيادي مسئلو. وڏي ڊيٽا. اهو ئي آهي جيڪو نيورل نيٽ ورڪ ۽ مشين لرننگ جي موجوده لهر کي جنم ڏنو. اڄڪلهه، ڪجهه پيچيده ۽ خودڪار ڪرڻ لاء، توهان کي تمام گهڻو ڊيٽا جي ضرورت آهي. نه رڳو گهڻو، پر تمام گهڻو، تمام گهڻو. اسان کي انھن جي گڏ ڪرڻ، نشان ھڻڻ ۽ استعمال ڪرڻ لاءِ پاڻمرادو الگورتھم جي ضرورت آھي. اسان ڪار کي سج جي سامهون ٽرڪون ڏسڻ چاهيون ٿا - اسان کي پهريان انهن مان ڪافي تعداد گڏ ڪرڻ گهرجي. اسان چاهيون ٿا ته ڪار چريو نه ٿي وڃي سائيڪل سان گڏ ٽرڪن ڏانهن وڌو - وڌيڪ نمونا.

ان کان سواء، هڪ مثال ڪافي نه آهي. سوين؟ هزارين؟

Secondيو مسئلو

Secondيو مسئلو - جيڪو اسان جي اعصابي نيٽ ورڪ کي سمجھيو ويو آهي ان جو تصور. هي هڪ تمام غير معمولي ڪم آهي. هينئر تائين، ٿورا ماڻهو سمجهن ٿا ته هن کي ڪيئن تصور ڪجي. اهي آرٽيڪل تمام تازو آهن، اهي صرف چند مثال آهن، جيتوڻيڪ پري به:
زير نظر textures سان جنون. اهو چڱيءَ طرح ڏيکاري ٿو ته نيورون ڪهڙي شيءِ کي درست ڪري ٿو + جيڪو ان کي شروعاتي معلومات سمجهي ٿو.

زير نظر تي ڌيان ترجما. حقيقت ۾، ڪشش اڪثر ڪري استعمال ڪري سگھجن ٿا اهو ڏيکارڻ لاءِ ته اهڙي نيٽ ورڪ ردعمل جو سبب ڇا آهي. مون ڊيبگنگ ۽ پراڊڪٽ حل ٻنهي لاءِ اهڙيون شيون ڏٺيون آهن. ھن موضوع تي ڪيترائي مضمون آھن. پر وڌيڪ پيچيده ڊيٽا، وڌيڪ ڏکيو اهو سمجهڻ آهي ته ڪيئن مضبوط بصريت حاصل ڪجي.

خير، ها، سٺي پراڻي سيٽ جو ”ڏسو ڇا آهي ميش اندر فلٽر" اهي تصويرون 3-4 سال اڳ مشهور هيون، پر هرڪو جلدي سمجهي ويو ته اهي تصويرون خوبصورت آهن، پر انهن جي معني نه هئي.

مون ڪيترن ئي ٻين گيجٽ جو ذڪر نه ڪيو آهي، طريقن، هيڪس، تحقيق تي نيٽ ورڪ جي اندرين کي ڪيئن ظاهر ڪجي. ڇا اهي اوزار ڪم ڪن ٿا؟ ڇا اھي توھان کي جلدي سمجھڻ ۾ مدد ڪن ٿا ته مسئلو ڇا آھي ۽ نيٽ ورڪ کي ڊيبگ ڪريو؟... آخري سيڪڙو حاصل ڪريو؟ خير، اهو ساڳيو آهي:

توهان Kaggle تي ڪنهن به مقابلي کي ڏسي سگهو ٿا. ۽ هڪ وضاحت ته ڪيئن ماڻهو حتمي فيصلا ڪن ٿا. اسان ماڊل جا 100-500-800 يونٽ اسٽيڪ ڪيا ۽ اهو ڪم ڪيو!

مان مبالغو آهيان، يقينا. پر اهي طريقا تڪڙو ۽ سڌو جواب نه ڏيندا آهن.

ڪافي تجربو حاصل ڪرڻ، مختلف اختيارن جي چوڌاري پڪڙڻ سان، توهان فيصلو ڪري سگھو ٿا ته توهان جي سسٽم اهڙو فيصلو ڇو ڪيو. پر سسٽم جي رويي کي درست ڪرڻ ڏکيو ٿيندو. هڪ ڪرچ نصب ڪريو، حد کي منتقل ڪريو، ڊيٽا سيٽ شامل ڪريو، ٻيو پس منظر نيٽ ورڪ وٺو.

ٽيون مسئلو

ٽيون بنيادي مسئلو - گرڊ انگ اکر سيکاري، منطق نه. شمارياتي طور تي هي منهن:

منطقي طور تي، اهو بلڪل ساڳيو ناهي. اعصابي نيٽ ورڪ ڪجھ به پيچيده نه سکندا آهن جيستائين انهن کي مجبور نه ڪيو وڃي. اهي هميشه ممڪن طور تي آسان نشانيون سيکاريندا آهن. ڇا توهان کي اکيون آهن، هڪ نڪ، هڪ سر؟ سو هي آهي منهن! يا ڪو مثال ڏيو جتي اکين جو مطلب منهن نه آهي. ۽ ٻيهر - لکين مثال.

هيٺان ڪمرو ڪافي آهي

مان چوان ٿو ته اهي ٽي عالمي مسئلا آهن جيڪي هن وقت نيورل نيٽ ورڪ ۽ مشين لرننگ جي ترقي کي محدود ڪن ٿا. ۽ جتي اهي مسئلا ان کي محدود نه ڪيو، اهو اڳ ۾ ئي فعال طور تي استعمال ڪيو ويو آهي.

هي آخر آهي؟ ڇا نيورل نيٽ ورڪ مٿي آهن؟

اڻڄاتل. پر، يقينا، هرڪو اميد ناهي.

بنيادي مسئلن کي حل ڪرڻ لاءِ ڪيترائي طريقا ۽ طريقا آھن جن کي مون مٿي نمايان ڪيو آھي. پر هن وقت تائين، انهن طريقن مان ڪنهن به اهو ممڪن نه ڪيو آهي ته بنيادي طور تي ڪجهه نئون ڪرڻ، ڪنهن شيء کي حل ڪرڻ لاء جيڪو اڃا تائين حل نه ڪيو ويو آهي. هينئر تائين، سڀئي بنيادي منصوبا مستحڪم اندازن (ٽيسلا) جي بنياد تي ڪيا پيا وڃن، يا ادارن يا ڪارپوريشنن جا ٽيسٽ پروجيڪٽ (گوگل دماغ، اوپن اي آءِ).

عام طور تي ڳالهائڻ، مکيه هدايت ان پٽ ڊيٽا جي ڪجهه اعلي سطحي نمائندگي ٺاهڻ آهي. هڪ معنى ۾، "ياداشت". ميموري جو آسان ترين مثال مختلف آهي "Embedding" - تصوير جي نمائندگي. خير، مثال طور، سڀ منهن جي سڃاڻپ سسٽم. نيٽ ورڪ هڪ منهن مان ڪجهه مستحڪم نمائندگي حاصل ڪرڻ سکي ٿو جيڪو گردش، روشني، يا قرارداد تي منحصر نه آهي. لازمي طور تي، نيٽ ورڪ ميٽرڪ کي گھٽ ڪري ٿو "مختلف منهن پري آهن" ۽ "ساڳئي منهن ويجھا آهن."

اهڙي تربيت لاءِ ڏهن ۽ سوين هزارين مثالن جي ضرورت آهي. پر نتيجو "ون شاٽ لرننگ" جي ڪجهه اصولن کي برداشت ڪري ٿو. هاڻي اسان کي ڪنهن ماڻهوءَ کي ياد ڪرڻ لاءِ سوين چهرن جي ضرورت ناهي. صرف هڪ منهن ۽ اهو سڀ اسان آهيون اچو ته معلوم ڪريون!
هتي صرف هڪ مسئلو آهي... گرڊ صرف ڪافي سادو شيون سکي سگهي ٿو. جڏهن فرق ڪرڻ جي ڪوشش ڪريو منهن نه، پر، مثال طور، "ماڻهو ڪپڙا طرفان" (ڪم ٻيهر سڃاڻپ) - معيار جي شدت جي ڪيترن ئي حڪمن جي ڪري ٿي. ۽ نيٽ ورڪ هاڻي نه سکي سگهي ٿو واضح طور تي واضح تبديليون زاوين ۾.

۽ لکين مثالن مان سکڻ به هڪ قسم جو مزو آهي.

چونڊن ۾ وڏي پئماني تي گهٽتائي جو ڪم آهي. مثال طور، هڪ فوري طور تي پهرين ڪم مان هڪ کي ياد ڪري سگهو ٿا OneShot سکيا گوگل کان:

اهڙا ڪيترائي ڪم آهن، مثال طور 1 يا 2 يا 3.

هتي هڪ مائنس آهي - عام طور تي تربيت ڪجهه سادي، "MNIST" مثالن تي سٺو ڪم ڪري ٿي. ۽ جڏهن پيچيده ڪمن ڏانهن وڌو ٿا، توهان کي هڪ وڏي ڊيٽابيس جي ضرورت آهي، شين جو هڪ نمونو، يا ڪنهن قسم جو جادو.
عام طور تي، هڪ شاٽ ٽريننگ تي ڪم هڪ تمام دلچسپ موضوع آهي. توهان تمام گهڻو خيال ڳوليندا آهيو. پر سڀ کان وڌيڪ حصي لاء، ٻه مسئلا جيڪي مون درج ڪيا آهن (پيچيده ڊيٽا تي وڏي ڊيٽا سيٽ / عدم استحڪام تي اڳڀرائي) سکيا سان تمام گهڻو مداخلت ڪن ٿا.

ٻئي طرف، GANs- جنريٽو مخالف نيٽ ورڪ- ايمبيڊنگ جي موضوع جي حوالي سان. توهان شايد هن موضوع تي Habré تي مضمونن جو هڪ گروپ پڙهيو آهي. (1, 2,3)
GAN جي هڪ خصوصيت ڪجهه اندروني رياست جي جڳهه جي ٺهڻ آهي (لازمي طور تي ساڳيو ايمبيڊنگ)، جيڪو توهان کي تصوير ڪڍڻ جي اجازت ڏئي ٿو. ٿي سگهي ٿو منهن، ٿي سگهي ٿو عمل.

GAN سان مسئلو اهو آهي ته پيدا ڪيل شئي جيتري پيچيده آهي، اوترو ئي وڌيڪ ڏکيو آهي ان کي بيان ڪرڻ ”جنريٽر-تضمير ڪندڙ“ منطق ۾. نتيجي طور، GAN جي صرف حقيقي ايپليڪيشنون جيڪي ٻڌندا آهن DeepFake، جيڪي ٻيهر، منهن جي نمائندگي کي هٿي وٺن ٿا (جنهن لاء هڪ وڏو بنياد آهي).

مون ڏٺو آهي تمام ٿورا ٻيا مفيد استعمال. عام طور تي تصويرن جي ڊرائنگ کي ختم ڪرڻ ۾ ڪجهه قسم جي چال شامل آهي.

۽ ٻيهر. ڪنهن کي به ڪا خبر ناهي ته اهو اسان کي ڪيئن روشن مستقبل ڏانهن وڃڻ جي اجازت ڏيندو. هڪ اعصابي نيٽ ورڪ ۾ منطق / خلا جي نمائندگي ڪرڻ سٺو آهي. پر اسان کي وڏي تعداد ۾ مثالن جي ضرورت آهي، اسان اهو نه ٿا سمجهون ته نيورون پنهنجي پاڻ ۾ ڪيئن نمائندگي ڪري ٿو، اسان اهو نه ٿا سمجهون ته نيورون کي ڪيئن ياد رکڻ لاء ڪجهه واقعي پيچيده خيال.

تقسيم جي سکيا - هي هڪ مڪمل طور تي مختلف طرفن کان هڪ طريقو آهي. يقيناً توهان کي ياد آهي ته ڪيئن گوگل هر ڪنهن کي گو ۾ هارايو. Starcraft ۽ Dota ۾ تازيون فتوحات. پر هتي هر شيء ايترو گلابي ۽ واعدو کان پري آهي. هو RL ۽ ان جي پيچيدگين بابت بهترين ڳالهائيندو آهي هي آرٽيڪل.

مختصر طور بيان ڪرڻ لاءِ ته مصنف ڇا لکيو آهي:

• باڪس کان ٻاهر ماڊل مناسب نه هوندا آهن / اڪثر ڪيسن ۾ خراب ڪم ڪن ٿا
• عملي مسئلا ٻين طريقن سان حل ڪرڻ آسان آهن. Boston Dynamics RL استعمال نه ڪندو آھي ان جي پيچيدگي/غير متوقع/ڪمپيوٽيشنل پيچيدگي جي ڪري
• RL ڪم ڪرڻ لاء، توهان کي هڪ پيچيده فنڪشن جي ضرورت آهي. اهو ٺاهڻ / لکڻ اڪثر ڏکيو آهي
• ماڊل ٽريننگ ڪرڻ ڏکيو. توهان کي پمپ ڪرڻ ۽ مقامي آپٽما مان نڪرڻ لاءِ گهڻو وقت خرچ ڪرڻو پوندو
• نتيجي طور، ماڊل کي ورجائڻ ڏکيو آهي، ماڊل ٿورڙي تبديلين سان غير مستحڪم آهي
• گهڻو ڪري ڪجهه بي ترتيب نمونن کي ختم ڪري ٿو، جيتوڻيڪ هڪ بي ترتيب نمبر جنريٽر

اهم نقطو اهو آهي ته آر ايل اڃا تائين پيداوار ۾ ڪم نٿو ڪري. گوگل ڪجھ تجربا ڪيا آھن ( 1, 2 ). پر مون ھڪڙو ھڪڙو پراڊڪٽ سسٽم نه ڏٺو آھي.

هوندي آهي. مٿي بيان ڪيل هر شيءِ جي گهٽتائي ساخت جي کوٽ آهي. انهن سڀني کي صاف ڪرڻ جي ڪوشش ڪرڻ جو هڪ طريقو اهو آهي ته نيورل نيٽ ورڪ کي الڳ ميموري تائين رسائي فراهم ڪرڻ. ته جيئن هوءَ اتي پنهنجي قدمن جا نتيجا رڪارڊ ۽ ٻيهر لکي سگهي. پوء نيورل نيٽ ورڪ موجوده ياداشت جي حالت طرفان طئي ڪري سگهجي ٿو. اهو تمام گهڻو ملندڙ جلندڙ آهي کلاسک پروسيسرز ۽ ڪمپيوٽرن سان.

سڀ کان وڌيڪ مشهور ۽ مشهور هڪ مضمون - DeepMind کان:

اهو لڳي ٿو ته اهو عقل کي سمجهڻ جي ڪنجي آهي؟ پر شايد نه. سسٽم اڃا تائين تربيت لاء ڊيٽا جي وڏي مقدار جي ضرورت آهي. ۽ اهو ڪم ڪري ٿو بنيادي طور تي ٺهيل ٽيبلر ڊيٽا سان. ان کان سواء، جڏهن Facebook فيصلو ڪيو ساڳيو مسئلو، پوءِ هنن رستو اختيار ڪيو ”اسڪريو ميموري، بس نيورون کي وڌيڪ پيچيده ٺاهيو، ۽ وڌيڪ مثال ڏيو- ۽ اهو پاڻ ئي سکندو.

تڪرار. هڪ بامعني ياداشت ٺاهڻ جو هڪ ٻيو طريقو اهو آهي ته ساڳيون ايمبيڊنگس وٺو، پر ٽريننگ دوران، اضافي معيار متعارف ڪرايو جيڪي توهان کي انهن ۾ ”معني“ کي اجاگر ڪرڻ جي اجازت ڏين. مثال طور، اسان هڪ ذخيري ۾ انساني رويي جي وچ ۾ فرق ڪرڻ لاء هڪ اعصابي نيٽ ورڪ کي تربيت ڏيڻ چاهيون ٿا. جيڪڏهن اسان معياري رستو تي عمل ڪيو، اسان کي هڪ درجن نيٽ ورڪ ٺاهڻو پوندو. هڪ شخص کي ڳولي رهيو آهي، ٻيو اهو طئي ڪري رهيو آهي ته هو ڇا ڪري رهيو آهي، ٽيون هن جي عمر آهي، چوٿين هن جي جنس آهي. الڳ منطق اسٽور جي حصي تي نظر اچي ٿو جتي اهو ڪندو آهي/تربيت ڏني وئي آهي هن کي ڪرڻ لاءِ. ٽيون ان جي رفتار کي طئي ڪري ٿو، وغيره.

يا، جيڪڏهن ڊيٽا جي هڪ لامحدود مقدار هئي، پوء اهو ممڪن هوندو ته هڪ نيٽ ورڪ کي سڀني ممڪن نتيجن لاء تربيت ڏيڻ (ظاهر آهي، ڊيٽا جي اهڙي صف گڏ نه ٿي سگهي).

Disentanglement طريقه اسان کي ٻڌائي ٿو - اچو ته نيٽ ورڪ کي تربيت ڏيو ته جيئن اهو پاڻ تصورن جي وچ ۾ فرق ڪري سگهي. انهي ڪري ته اهو وڊيو جي بنياد تي هڪ ايمبيڊنگ ٺاهيندو، جتي هڪ علائقو عمل جو تعين ڪندو، هڪ وقت ۾ فرش تي پوزيشن جو تعين ڪندو، هڪ شخص جي قد جو تعين ڪندو، ۽ هڪ شخص جي جنس جو تعين ڪندو. ساڳئي وقت، جڏهن ٽريننگ، مان چاهيان ٿو ته نيٽ ورڪ کي اهڙين اهم تصورن سان تقريبا نه، بلڪه ان کي نمايان ڪرڻ ۽ گروپ جي علائقن لاء. اهڙا ڪيترائي مضمون آهن (انهن مان ڪجهه 1, 2, 3) ۽ عام طور تي اهي ڪافي نظرياتي آهن.

پر هي هدايت، گهٽ ۾ گهٽ نظرياتي طور، شروع ۾ ڏنل مسئلن کي ڍڪڻ گهرجي.

تصوير جي خراب ٿيڻ جي ماپ مطابق "ديوار جو رنگ/فرش جو رنگ/آبجڪٽ جي شڪل/آبجڪٽ جو رنگ/وغيره."

پيرا ميٽرز جي مطابق هڪ منهن جو سڙڻ ”سائيز، ابرو، رخ، چمڙي جو رنگ، وغيره“.

Прочее

اهڙا ٻيا به ڪيترائي آهن، نه ته عالمي، علائقا جيڪي توهان کي اجازت ڏين ٿا ته ڪنهن نه ڪنهن طرح ڊيٽابيس کي گهٽائي، ڪم ڪري وڌيڪ متفاوت ڊيٽا، وغيره.

ڌيان. اهو شايد احساس ناهي ته هن کي الڳ طريقي سان الڳ ڪرڻ لاء. صرف هڪ طريقو جيڪو ٻين کي بهتر بڻائي ٿو. ڪيترائي مضمون هن لاءِ وقف آهن (1,2,3). ڌيان جو نقطو خاص طور تي ٽريننگ دوران اهم شين جي نيٽ ورڪ جي جواب کي وڌائڻ آهي. گهڻو ڪري ڪجهه قسم جي خارجي حدف جي نامزدگي، يا هڪ ننڍڙو خارجي نيٽ ورڪ.

3D تخليق. جيڪڏهن توهان هڪ سٺي 3D انجڻ ٺاهيندا آهيو، توهان اڪثر ڪري سگهو ٿا 90٪ ٽريننگ ڊيٽا ان سان گڏ (مون هڪ مثال به ڏٺو آهي جتي تقريبن 99٪ ڊيٽا هڪ سٺي انجڻ سان ڍڪيل هئي). 3D انجڻ جي ڪم تي حقيقي ڊيٽا (فائن ٽيوننگ، انداز جي منتقلي، وغيره) استعمال ڪندي تربيت يافته نيٽ ورڪ کي ڪيئن ٺاهيو وڃي ان بابت ڪيترائي خيال ۽ هيڪس آهن. پر اڪثر ڪري هڪ سٺي انجڻ ٺاهڻ ڊيٽا گڏ ڪرڻ جي ڀيٽ ۾ شدت جي ڪيترن ئي حڪم وڌيڪ ڏکيو آهي. مثال جڏهن انجن ٺاهيا ويا:
روبوٽ ٽريننگ (گوگل, دماغي باغ)
تربيتي سيشن سڃاڻڻ اسٽور ۾ سامان (پر ٻن منصوبن ۾ اسان ڪيو، اسان آساني سان ان کان سواء ڪيو).
Tesla تي ٽريننگ (ٻيهر، وڊيو مٿي).

پهچڻ

سڄو مضمون، هڪ لحاظ کان، نتيجو آهي. شايد مکيه پيغام جيڪو مون ٺاهڻ چاهيو هو اهو هو "مفت ختم ٿي ويا آهن، نيورون هاڻي آسان حل فراهم نه ڪندا آهن." هاڻي اسان کي پيچيده فيصلا ڪرڻ لاء سخت محنت ڪرڻ جي ضرورت آهي. يا پيچيده سائنسي تحقيق ڪندي محنت ڪريو.

عام طور تي، موضوع قابل بحث آهي. ٿي سگهي ٿو پڙهندڙن کي وڌيڪ دلچسپ مثال آهن؟

جو ذريعو: www.habr.com