ڪجھ مهينا اڳ، گوگل کان اسان جا ساٿي Kaggle تي سنسني ۾ حاصل ڪيل تصويرن لاء هڪ درجه بندي ٺاهڻ لاء هڪ مقابلو "جلدي، ٺاھيو!" ٽيم، جنهن ۾ Yandex ڊولپر رومن Vlasov شامل هئا، مقابلي ۾ چوٿين جاء ورتي. جنوري جي مشين لرننگ ٽريننگ تي، رومن پنھنجي ٽيم جي خيالن، ڪلاسيفائر جي آخري عمل درآمد، ۽ پنھنجي مخالفن جي دلچسپ طريقن سان حصيداري ڪئي.
- هيلو سڀ! منهنجو نالو روما ولاسوف آهي، اڄ مان توهان کي Quick، Draw بابت ٻڌائيندس! Doodle سڃاڻڻ جو چيلنج.
اسان جي ٽيم ۾ پنج ماڻهو هئا. مان ضم ٿيڻ جي آخري تاريخ کان اڳ ۾ شامل ٿيو. اسان بدقسمت هئاسين، اسان کي ٿورڙو ڌڪيو ويو، پر اسان کي پئسن جي پوزيشن کان ڌڪايو ويو، ۽ اهي سون جي پوزيشن کان ڇڪي ويا. ۽ اسان هڪ معزز چوٿين جاء ورتي.
(مقابلي دوران، ٽيمن پاڻ کي هڪ درجه بندي ۾ ڏٺو، جيڪا تجويز ڪيل ڊيٽا سيٽ جي هڪ حصي تي ڏيکاريل نتيجن جي بنياد تي ٺاهي وئي هئي. حتمي درجه بندي، بدلي ۾، ڊيٽا سيٽ جي ٻئي حصي تي ٺاهي وئي. ائين ڪيو ويو آهي. ته مقابلي ۾ حصو وٺندڙ پنهنجي الگورٿم کي مخصوص ڊيٽا سان ترتيب نه ڏيندا آهن، تنهن ڪري، فائنل ۾، جڏهن درجه بندي جي وچ ۾ مٽائيندي، پوزيشن ٿورو مٿي ٿينديون آهن (انگريزي شيڪ اپ کان - ملائڻ لاء): ٻين ڊيٽا تي، نتيجو ٿي سگهي ٿو. رومن جي ٽيم ٽاپ ٽين ۾ پهرين نمبر تي هئي، ان معاملي ۾، ٽاپ ٽيون رقم آهي، مانيٽري ريٽنگ زون، ڇاڪاڻ ته صرف پهرين ٽن هنڌن کي نقد انعام ڏنو ويو هو. چوٿين جڳهه. ساڳيء طرح، ٻي ٽيم فتح وڃائي، سونا پوزيشن. - ايڊ.)
مقابلي ۾ پڻ اهم هو ته Evgeniy Babakhnin هڪ گرانڊ ماسٽر حاصل ڪيو، ايوان سوسين هڪ ماسٽر حاصل ڪيو، رومن سولوووف هڪ گرانڊ ماسٽر رهيو، Alex Parinov هڪ ماسٽر حاصل ڪيو، مان هڪ ماهر بڻجي ويو، ۽ هاڻي مان هڪ ماسٽر آهيان.
هي جلدي ڇا آهي، ڊرايو؟ هي گوگل طرفان هڪ خدمت آهي. گوگل جو مقصد AI کي مشهور ڪرڻ هو ۽ هن سروس سان اهو ڏيکارڻ چاهي ٿو ته نيورل نيٽ ورڪ ڪيئن ڪم ڪن ٿا. توھان اتي وڃو، اچو ته ٺاھيون تي ڪلڪ ڪريو، ۽ ھڪڙو نئون صفحو پاپ اپ ٿيندو جتي توھان کي چيو ويندو آھي: ھڪڙو زگ زيگ ٺاھيو، توھان وٽ ھي ڪم ڪرڻ لاءِ 20 سيڪنڊ آھن. توھان ڪوشش ڪري رھيا آھيو 20 سيڪنڊن ۾ زگ زيگ ٺاھيو، مثال طور ھتي. جيڪڏھن توھان ڪامياب ٿيو، نيٽ ورڪ چوي ٿو اھو ھڪڙو زگ زيگ آھي ۽ توھان اڳتي وڌو. اهڙيون رڳو ڇهه تصويرون آهن.
جيڪڏهن گوگل جو نيٽ ورڪ سڃاڻڻ ۾ ناڪام ٿيو ته توهان ڇا ٺاهيو، هڪ ڪراس ڪم تي رکيل هئي. بعد ۾ آئون توهان کي ٻڌايان ٿو ته مستقبل ۾ ان جو مطلب ڇا ٿيندو ته ڇا ڊرائنگ نيٽ ورڪ جي سڃاڻپ آهي يا نه.
هن خدمت ۾ استعمال ڪندڙن جي ڪافي وڏي تعداد گڏ ڪئي، ۽ سڀئي تصويرون جيڪي صارفين ٺاهيا آهن لاگ ان ڪيون ويون آهن.
اسان تقريبن 50 ملين تصويرون گڏ ڪرڻ جو انتظام ڪيو. ان کان پوء، اسان جي مقابلي لاء ٽرين ۽ امتحان جي تاريخ ٺاهي وئي. رستي جي ذريعي، ٽيسٽ ۾ ڊيٽا جي مقدار ۽ طبقن جو تعداد هڪ سبب لاء بولڊ ۾ نمايان ٿيل آهي. مان توهان کي انهن جي باري ۾ ٿوري دير کان پوء ٻڌائيندس.
ڊيٽا فارميٽ هن ريت هئي. اهي صرف آر بي بي تصويرون نه آهن، پر، تقريبن ڳالهائڻ، هر شيء جو لاگ ان صارف ڪيو. لفظ اسان جو ھدف آھي، ملڪي ڪوڊ اھو آھي جتي ڊوڊل جو ليکڪ آھي، ٽائم اسٽيمپ وقت آھي. تسليم ٿيل ليبل صرف ڏيکاري ٿو ته نيٽ ورڪ گوگل کان تصوير کي سڃاڻي ٿو يا نه. ۽ ڊرائنگ بذات خود هڪ تسلسل آهي، هڪ وکر جو تقريبن جيڪو صارف پوائنٽن سان ٺاهي ٿو. ۽ وقت. اهو وقت آهي تصوير ٺاهڻ جي شروعات کان.
ڊيٽا ٻن فارميٽ ۾ پيش ڪيا ويا. هي پهريون فارميٽ آهي، ۽ ٻيو سادو آهي. انهن اتان کان وقت ڪڍي ڇڏيو ۽ پوائنٽن جي هن سيٽ کي پوائنٽن جي ننڍڙن سيٽن سان لڳايو. ان لاءِ استعمال ڪيائون . توھان وٽ پوائنٽن جو ھڪڙو وڏو سيٽ آھي جيڪو صرف ھڪڙي سڌي لڪير کي لڳندو آھي، پر حقيقت ۾ توھان ھن لڪير کي صرف ٻن پوائنٽن سان لڳائي سگھو ٿا. هي الورورٿم جو خيال آهي.
ڊيٽا ھيٺ ڏنل طور تي ورهايو ويو. هر شي يونيفارم آهي، پر ڪجهه ٻاهران آهن. جڏهن اسان مسئلو حل ڪيو، اسان ان کي نه ڏٺو. بنيادي شيء اها آهي ته اتي ڪي به طبقا نه هئا جيڪي واقعي ٿورڙا هئا، اسان کي وزن وارا نمونا ۽ ڊيٽا جي اوور نموني ڪرڻ جي ضرورت نه هئي.
تصويرون ڪهڙيون نظر آيون؟ هي آهي ”هوائي جهاز“ ڪلاس ۽ ان جا مثال سڃاتل ۽ اڻ سڃاتل ليبلن سان. انهن جو تناسب 1 کان 9 جي چوڌاري هو. جيئن توهان ڏسي سگهو ٿا، ڊيٽا ڪافي شور آهي. مان سمجهان ٿو ته اهو هڪ هوائي جهاز آهي. جيڪڏهن توهان نظر نه ٿا اچن، اڪثر ڪيسن ۾ اهو صرف شور آهي. ڪنهن به ”هوائي جهاز“ لکڻ جي ڪوشش ڪئي، پر بظاهر فرانسيسي ۾.
گهڻن شرڪت ڪندڙن صرف گرڊ ورتو، ڊيٽا جي هن ترتيب مان آر بي بي تصويرن وانگر ڊيٽا ڪڍيا، ۽ انهن کي نيٽ ورڪ ۾ اڇلائي ڇڏيو. مون لڳ ڀڳ ساڳيءَ طرح ٺاھيو: مون رنگن جو ھڪڙو پيلٽ ورتو، ھڪڙي رنگ سان پھرين لڪير ٺاھيو، جيڪا ھن پيلٽ جي شروعات ۾ ھئي، آخري لڪير ٻي سان، جيڪا پيلٽ جي آخر ۾ ھئي، ۽ انھن جي وچ ۾. مون هن پيليٽ کي استعمال ڪندي هر جڳهه تي مداخلت ڪئي. رستي جي ذريعي، اهو بهتر نتيجو ڏنو ته جيڪڏهن توهان پهرين سلائڊ تي ٺاهيو - صرف ڪارو ۾.
ٻين ٽيم جي ميمبرن، جهڙوڪ ايوان سوسن، ڊرائنگ لاء ٿورڙي مختلف طريقن جي ڪوشش ڪئي. هڪ چينل سان هن صرف گريڊي تصوير ٺاهي، ٻئي چينل سان هن هر اسٽروڪ کي گريڊيئينٽ سان شروع کان آخر تائين، 32 کان 255 تائين، ۽ ٽئين چينل سان هن 32 کان 255 تائين سڀني اسٽروڪ تي گريڊينٽ ٺاهي.
هڪ ٻي دلچسپ ڳالهه اها آهي ته Alex Parinov ملڪ ڪوڊ استعمال ڪندي نيٽ ورڪ تي معلومات اپ لوڊ ڪئي.
مقابلي ۾ استعمال ٿيل ميٽرڪ مطلب آهي اوسط صحت واري. مقابلي لاء هن ميٽرڪ جو جوهر ڇا آهي؟ توهان ٽي اڳڪٿيون ڏئي سگهو ٿا، ۽ جيڪڏهن انهن ٽنهي ۾ صحيح اڳڪٿي نه آهي، ته توهان کي 0 ملندو. جيڪڏهن هڪ صحيح آهي، ته پوء ان جي ترتيب کي حساب ۾ رکيو ويندو. ۽ ھدف جو نتيجو شمار ڪيو ويندو 1 ورهايل توھان جي اڳڪٿي جي ترتيب سان. مثال طور، توھان ٽي اڳڪٿيون ڪيون آھن، ۽ صحيح ھڪڙو پھريون آھي، پوء توھان 1 کي 1 سان ورهايو ۽ 1 حاصل ڪريو. جيڪڏھن اڳڪٿي ڪندڙ صحيح آھي ۽ ان جي ترتيب 2 آھي، پوء 1 کي 2 سان ورهايو، توھان حاصل ڪريو 0,5. خير، وغيره.
ڊيٽا جي اڳڀرائي سان - تصويرون ڪيئن ٺاهجن وغيره وغيره - اسان ٿورو فيصلو ڪيو آهي. اسان ڪهڙن فن تعمير کي استعمال ڪيو؟ اسان استعمال ڪرڻ جي ڪوشش ڪئي فٽ آرڪيٽيڪچر جهڙوڪ PNASNet، SENet، ۽ اهڙيون اڳ ۾ ئي کلاسک آرڪيٽيڪچرز جيئن SE-Res-NeXt، اهي تيزيء سان نوان مقابلا داخل ڪري رهيا آهن. اتي پڻ ResNet ۽ DenseNet هئا.
اسان اهو ڪيئن سيکاريو؟ سڀئي ماڊل جيڪي اسان ورتيون آهن اڳ ۾ تربيت يافته هئا imagenet تي. جيتوڻيڪ ڊيٽا جو تمام گهڻو آهي، 50 ملين تصويرون، پر ان جي باوجود، جيڪڏهن توهان تصوير نيٽ تي اڳ-تربيت ٿيل نيٽ ورڪ وٺو، اهو بهتر نتيجا ڏيکاري ٿو ته توهان صرف ان کي شروع کان تربيت ڏني آهي.
اسان ڪھڙي تدريسي ٽيڪنالاجي استعمال ڪئي؟ هي آهي Cosing Annealing with Warm Restarts، جنهن بابت مان ٿوري دير بعد ڳالهائيندس. هي هڪ ٽيڪنڪ آهي جنهن کي آئون استعمال ڪريان ٿو تقريبن منهنجي سڀني تازن مقابلن ۾، ۽ انهن سان گڏ اهو نڪتو ته گرڊ کي چڱي طرح ٽريننگ ڏيڻ لاء، هڪ سٺو گهٽ ۾ گهٽ حاصل ڪرڻ لاء.
اڳيون پليٽ تي سکيا جي شرح کي گھٽايو. توهان نيٽ ورڪ جي تربيت شروع ڪريو، هڪ خاص سکيا جي شرح مقرر ڪريو، ان کي سيکارڻ جاري رکو، ۽ توهان جو نقصان آهستي آهستي هڪ خاص قدر تائين پهچندو. توھان ھن کي چيڪ ڪريو، مثال طور، ڏھن دورن لاء نقصان بلڪل تبديل نه ٿيو آھي. توھان پنھنجي سکيا جي شرح کي ڪجھ قدر گھٽايو ۽ سکيا جاري رکو. اهو ٿورڙو وري گهٽجي ٿو، ڪجهه گهٽ ۾ گهٽ ڪنورجي ٿو، ۽ توهان ٻيهر سکيا جي شرح کي گهٽ ڪريو ٿا، ۽ ائين ئي، جيستائين توهان جو نيٽ ورڪ آخرڪار تبديل نه ٿئي.
اڳيون هڪ دلچسپ ٽيڪنڪ آهي: سکيا جي شرح کي خراب نه ڪريو، بيچ جي سائيز کي وڌايو. ساڳئي نالي سان هڪ مضمون آهي. جڏهن توهان هڪ نيٽ ورڪ کي تربيت ڏيو ٿا، توهان کي سکڻ جي شرح کي گهٽائڻ جي ضرورت ناهي، توهان صرف بيچ جي سائيز کي وڌائي سگهو ٿا.
هن ٽيڪنڪ، رستي ۾، Alex Parinov استعمال ڪيو ويو. هن 408 جي برابر هڪ بيچ سان شروع ڪيو، ۽ جڏهن هن جو نيٽ ورڪ ڪجهه پليٽ تي پهچي ويو، هن صرف بيچ جي سائيز کي ٻيڻو ڪيو، وغيره.
درحقيقت، مون کي ياد ناهي ته هن جي بيچ جي سائيز ڪهڙي قيمت تي پهچي، پر دلچسپ ڳالهه اها آهي ته ڪيگل تي ٽيمون هيون جن هڪ ئي ٽيڪنڪ استعمال ڪئي، انهن جي بيچ جي سائيز 10000 جي لڳ ڀڳ هئي. رستي جي ذريعي، جديد فريم ورڪ لاء گہرے سکيا، جهڙوڪ PyTorch، مثال طور، توهان کي اهو ڪرڻ جي اجازت ڏئي ٿي بلڪل آساني سان. توھان پنھنجو بيچ ٺاھيو ۽ ان کي نيٽ ورڪ تي جمع ڪريو جيئن اھو آھي، مڪمل طور تي، پر ان کي حصن ۾ ورهايو ته جيئن اھو توھان جي وڊيو ڪارڊ ۾ اچي، گريڊيئنٽس کي ڳڻيو، ۽ توھان جي پوري بيچ لاء گريڊيئنٽ کي ڳڻڻ کان پوء، تازه ڪاري ڪريو. وزن.
رستي ۾، وڏي بيچ جي سائيز اڃا تائين هن مقابلي ۾ شامل ڪئي وئي هئي، ڇاڪاڻ ته ڊيٽا ڪافي شور هئي، ۽ هڪ وڏي بيچ جي سائيز توهان کي وڌيڪ صحيح انداز ۾ گريجوئيٽ جي اندازي ۾ مدد ڪئي.
Pseudo-labeling پڻ استعمال ڪيو ويو، اڪثر ڪري رومن سولويوف طرفان استعمال ڪيو ويو. هن بيچز ۾ ٽيسٽ مان اٽڪل اڌ ڊيٽا نموني ڪئي، ۽ گرڊ کي اهڙين بيچن تي تربيت ڏني.
تصويرن جي سائيز اهم آهي، پر حقيقت اها آهي ته توهان وٽ تمام گهڻو ڊيٽا آهي، توهان کي ڊگهي وقت تائين ٽريننگ ڪرڻ جي ضرورت آهي، ۽ جيڪڏهن توهان جي تصوير جي سائيز ڪافي وڏي آهي، ته توهان تمام گهڻي وقت تائين ٽريننگ ڪندا. پر اهو توهان جي آخري درجه بندي جي معيار ۾ گهڻو اضافو نه ڪيو، تنهنڪري اهو ڪجهه قسم جي واپار کي استعمال ڪرڻ جي قابل هو. ۽ اسان صرف انهن تصويرن جي ڪوشش ڪئي جيڪا سائيز ۾ تمام وڏي نه هئي.
اهو سڀ ڪيئن سکيو ويو؟ پهرين، ننڍي سائيز جون تصويرون ورتيون ويون، انهن تي ڪيترائي دور هليا ويا، ان ۾ ڪافي وقت لڳي ويو. پوءِ وڏي سائيز جون تصويرون ڏنيون ويون، نيٽ ورڪ کي تربيت ڏني وئي، پوءِ اڃا به وڌيڪ، اڃا به وڌيڪ، ته جيئن ان کي شروع کان تربيت نه ڪجي ۽ گهڻو وقت ضايع نه ٿئي.
اصلاح ڪندڙن بابت. اسان SGD ۽ آدم استعمال ڪيو. هن طريقي سان اهو ممڪن هو ته هڪ واحد ماڊل حاصل ڪرڻ، جنهن جي رفتار ڏني وئي 0,941-0,946 عوامي ليڊر بورڊ تي، جيڪا ڪافي سٺي آهي.
جيڪڏهن توهان ماڊل کي ڪجهه طريقي سان گڏ ڪريو ٿا، توهان کي 0,951 جي چوڌاري ڪٿي به ملندو. جيڪڏهن توهان هڪ وڌيڪ ٽيڪنڪ استعمال ڪندا آهيو، توهان عوامي بورڊ تي 0,954 جو فائنل سکور حاصل ڪندا، جيئن اسان حاصل ڪيو. پر انهي تي وڌيڪ بعد ۾. اڳيون آئون توهان کي ٻڌايان ٿو ته اسان ماڊل ڪيئن گڏ ڪيا، ۽ ڪيئن اسان اهڙي آخري رفتار حاصل ڪرڻ ۾ ڪامياب ٿي ويا.
اڳتي آئون ڳالهائڻ چاهيندس Cosing Annealing with Warm Restarts or Stochastic Gradient Descent with Warm Restarts. عام طور تي ڳالهائڻ، اصول ۾، توهان ڪنهن به اصلاحي کي استعمال ڪري سگهو ٿا، پر نقطو اهو آهي: جيڪڏهن توهان صرف هڪ نيٽ ورڪ کي تربيت ڏيو ۽ اهو آهستي آهستي ڪجهه گهٽ ۾ گهٽ ٿي وڃي، پوء سڀ ڪجهه ٺيڪ آهي، توهان کي هڪ نيٽ ورڪ ملندو، اهو ڪجهه غلطيون ڪري ٿو، پر توهان ان کي ٿوري مختلف تربيت ڏئي سگهي ٿو. توھان ڪجھ ابتدائي سکيا جي شرح مقرر ڪندا، ۽ ھن فارمولا جي مطابق ان کي ھلڪي گھٽ ڪندا. توهان ان کي گهٽ ڪريو، توهان جو نيٽ ورڪ ڪجهه گهٽ ۾ گهٽ اچي ٿو، پوء توهان وزن بچايو، ۽ ٻيهر سکيا جي شرح مقرر ڪريو جيڪا ٽريننگ جي شروعات ۾ هئي، اهڙي طرح هن گهٽ ۾ گهٽ کان اڳتي وڌندي، ۽ ٻيهر توهان جي سکيا جي شرح کي گهٽايو.
اهڙيء طرح، توهان هڪ ئي وقت ۾ ڪيترائي گهٽ ۾ گهٽ گهمڻ ڪري سگهو ٿا، جنهن ۾ توهان جو نقصان ٿيندو، پلس يا مائنس، ساڳيو. پر حقيقت اها آهي ته انهن وزنن سان نيٽ ورڪ توهان جي تاريخ تي مختلف غلطيون ڏيندو. انهن جي اوسط ڪرڻ سان، توهان کي ڪجهه قسم جو اندازو لڳندو، ۽ توهان جي رفتار وڌيڪ هوندي.
انهي بابت ته اسان اسان جا ماڊل ڪيئن گڏ ڪيا. پريزنٽيشن جي شروعات ۾، مون چيو ته امتحان ۾ ڊيٽا جي مقدار ۽ طبقن جي تعداد تي ڌيان ڏيو. جيڪڏهن توهان ٽيسٽ سيٽ ۾ ٽارگيٽ جي تعداد ۾ 1 شامل ڪيو ۽ ڪلاسن جي تعداد سان ورهايو ته توهان کي 330 نمبر ملندو، ۽ اهو فورم تي لکيل هو - ته ٽيسٽ ۾ ڪلاس متوازن آهن. اهو استعمال ڪري سگهجي ٿو.
ان جي بنياد تي، رومن سولويوف هڪ ميٽرڪ سان گڏ آيو، اسان ان کي سڏيو پراکسي اسڪور، جيڪو ليڊر بورڊ سان تمام سٺو تعلق رکي ٿو. نقطو آهي: توهان هڪ اڳڪٿي ڪريو ٿا، توهان جي اڳڪٿي ڪندڙن جي مٿين 1 کي وٺو ۽ هر طبقي جي شين جو تعداد ڳڻيو. اڳيون، هر قيمت مان 330 گھٽايو ۽ نتيجو مطلق قدر شامل ڪريو.
هيٺيون قيمتون حاصل ڪيون ويون. هي اسان جي مدد ڪئي پروبنگ ليڊر بورڊ ٺاهڻ ۾ نه، پر مقامي طور تي صحيح ڪرڻ ۽ اسان جي ensembles لاءِ ڪوئفينٽس چونڊيو.
هڪ ensemble سان توهان اهڙي رفتار حاصل ڪري سگهو ٿا. مان ٻيو ڇا ڪري سگهان ٿو؟ فرض ڪريو توهان معلومات استعمال ڪئي آهي ته توهان جي ٽيسٽ ۾ ڪلاس متوازن آهن.
توازن مختلف هو. - انهن ماڻهن کان توازن پيدا ڪيو جن پهرين جڳهه ورتي.
اسان ڇا ڪيو؟ اسان جو توازن بلڪل سادو هو، اهو Evgeny Babakhnin تجويز ڪيو هو. اسان پھريون پنھنجي اڳڪٿين کي ٽاپ 1 ۽ انھن مان چونڊيل اميدوارن جي حساب سان ترتيب ڏنو - ته جيئن ڪلاسن جو تعداد 330 کان وڌيڪ نه ٿئي. پر ڪجھ ڪلاسن لاءِ توھان 330 کان گھٽ اڳڪٿي ڪندڙن سان ختم ڪريو ٿا. ٺيڪ آھي، اچو ته پڻ ٽاپ 2 ۽ ٽاپ 3 جي ترتيب سان ترتيب ڏيو. ، ۽ اسان اميدوارن کي به چونڊينداسين.
اسان جي توازن پهرين جڳهه جي توازن کان ڪيئن مختلف هئي؟ انهن هڪ ورهاڱي وارو طريقو استعمال ڪيو، سڀ کان وڌيڪ مشهور ڪلاس کڻڻ ۽ ان طبقي لاءِ امڪانن کي ڪجهه ننڍين انگن سان گهٽائي ڇڏيو، جيستائين اهو طبقو وڌيڪ مقبول نه رهيو. اسان ايندڙ مقبول ترين ڪلاس ورتو. تنهن ڪري اهي انهن کي گهٽائيندا رهيا جيستائين سڀني طبقن جو تعداد برابر نه ٿي وڃي.
هرڪو استعمال ڪيو پلس يا مائنس هڪ طريقو نيٽ ورڪن کي ٽرين ڪرڻ لاء، پر هرڪو استعمال نه ڪيو بيلنسنگ. توازن استعمال ڪندي، توهان سون ۾ وڃي سگهو ٿا، ۽ جيڪڏهن توهان خوش قسمت آهيو، پوء پئسا ۾.
تاريخ کان اڳ ڪيئن عمل ڪجي؟ هر ڪنهن تاريخ، پلس يا مائنس، ساڳئي طريقي سان اڳڀرائي ڪئي - هٿ سان ٺهيل خاصيتون ٺاهڻ، وقت کي مختلف اسٽروڪ رنگن سان انڪوڊ ڪرڻ جي ڪوشش وغيره. Alexey Nozdrin-Plotnitsky، جنهن اٺين جاءِ ورتي، ان بابت ٻڌايو.
هن ان کي مختلف ڪيو. هن چيو ته توهان جا اهي سڀئي هٿرادو فيچر ڪم نٿا ڪن، توهان کي اهو ڪرڻ جي ضرورت ناهي، توهان جي نيٽ ورڪ کي اهو سڀ پاڻ ئي سکڻ گهرجي. ۽ ان جي بدران، هو سکيا ماڊلز سان گڏ آيو جيڪي توهان جي ڊيٽا کي اڳڀرائي ڪن ٿا. هن اصل ڊيٽا ان ۾ اڇلائي بغير اڳڪٿي ڪرڻ جي - پوائنٽ ڪوآرڊينيٽس ۽ ٽائيم.
پوءِ هن فرق کي همراهن جي بنياد تي ورتو، ۽ اهو سڀ ڪجهه وقت جي بنياد تي اوسط ڪيو. ۽ هو هڪ ڊگهو ميٽرڪس سان آيو. هن 1xn سائيز جو ميٽرڪس حاصل ڪرڻ لاءِ ان تي ڪيترائي ڀيرا 64D ڪنووليوشن لاڳو ڪيو، جتي n پوائنٽن جو ڪل تعداد آهي، ۽ 64 ٺاهيو ويو آهي نتيجي ۾ پيدا ٿيندڙ ميٽرڪس کي ڪنهن به ڪنووليشنل نيٽ ورڪ جي پرت کي فيڊ ڪرڻ لاءِ، جيڪو چينلن جي تعداد کي قبول ڪري ٿو. - 64. هن هڪ 64xn ميٽرڪس حاصل ڪيو، پوءِ ان مان ڪجهه سائيز جو ٽينسر ٺاهڻ ضروري هو ته جيئن چينلن جو تعداد 64 جي برابر هجي. هن 0 کان 32 جي رينج ۾ سڀني پوائنٽس X، Y کي نارمل ڪيو. 32x32 سائيز جو ٽينسر. مون کي خبر ناهي ته هو 32x32 ڇو چاهي ٿو، اهو صرف انهي طريقي سان ٿيو. ۽ هن همراهه تي هن 64xn سائيز جي هن ميٽرڪس جو هڪ ٽڪرو رکيو. تنهن ڪري اهو صرف هڪ 32x32x64 ٽينسر سان ختم ٿي ويو آهي جيڪو توهان اڳتي وڌائي سگهو ٿا توهان جي ڪنوولوشنل نيورل نيٽورڪ ۾. اهو سڀ ڪجهه چوڻ چاهيان ٿو.
جو ذريعو: www.habr.com