چند مہینے پہلے، گوگل سے ہمارے ساتھیوں نے Kaggle پر سنسنی خیز میں حاصل کردہ تصاویر کے لیے ایک درجہ بندی بنانے کا مقابلہ "جلدی، ڈرا!" ٹیم، جس میں Yandex کے ڈویلپر رومن Vlasov شامل تھے، نے مقابلے میں چوتھی پوزیشن حاصل کی۔ جنوری کی مشین لرننگ ٹریننگ میں، رومن نے اپنی ٹیم کے خیالات، درجہ بندی کے حتمی نفاذ، اور اپنے مخالفین کے دلچسپ طرز عمل کا اشتراک کیا۔
- سب کو سلام! میرا نام روما ولاسوف ہے، آج میں آپ کو کوئیک، ڈرا کے بارے میں بتاؤں گا! ڈوڈل ریکگنیشن چیلنج۔
ہماری ٹیم میں پانچ لوگ تھے۔ میں انضمام کی آخری تاریخ سے پہلے ہی شامل ہوا تھا۔ ہم بدقسمت تھے، ہمیں تھوڑا سا ہلایا گیا، لیکن ہم پیسے کی پوزیشن سے ہل گئے، اور وہ سونے کی پوزیشن سے ہل گئے۔ اور ہم نے ایک باوقار چوتھا مقام حاصل کیا۔
(مقابلے کے دوران، ٹیموں نے خود کو ایک درجہ بندی میں دیکھا، جو کہ مجوزہ ڈیٹا سیٹ کے ایک حصے پر دکھائے گئے نتائج کی بنیاد پر تشکیل دیا گیا تھا۔ حتمی درجہ بندی، اس کے نتیجے میں، ڈیٹا سیٹ کے دوسرے حصے پر بنائی گئی تھی۔ ایسا کیا جاتا ہے۔ کہ مقابلے کے شرکاء اپنے الگورتھم کو مخصوص اعداد و شمار میں ایڈجسٹ نہیں کرتے ہیں۔ اس لیے، فائنل میں، درجہ بندی کے درمیان سوئچ کرتے وقت، پوزیشنز تھوڑی ہل جاتی ہیں (انگریزی شیک اپ سے - مکس کرنے کے لیے): دوسرے ڈیٹا پر، نتیجہ نکل سکتا ہے۔ مختلف ہونے کے لیے۔ رومان کی ٹیم ٹاپ تھری میں پہلے نمبر پر تھی۔ اس معاملے میں، ٹاپ تھری پیسہ، مانیٹری ریٹنگ زون ہے، کیونکہ صرف پہلی تین جگہوں کو ہی نقد انعام دیا گیا تھا۔ ہلچل کے بعد، ٹیم پہلے ہی چوتھی پوزیشن۔ اسی طرح، دوسری ٹیم جیت سے محروم ہوگئی، گولڈ پوزیشن۔
مقابلہ اس لحاظ سے بھی اہم تھا کہ Evgeniy Babakhnin نے گرینڈ ماسٹر حاصل کیا، Ivan Sosin کو ماسٹر ملا، رومن Soloviev نے گرینڈ ماسٹر حاصل کیا، Alex Parinov کو ماسٹر ملا، میں ایک ماہر بن گیا، اور اب میں پہلے سے ہی ایک ماسٹر ہوں۔
یہ کیا ہے کوئیک، ڈرا؟ یہ گوگل کی طرف سے ایک سروس ہے۔ گوگل کا مقصد اے آئی کو مقبول بنانا تھا اور اس سروس کے ساتھ یہ دکھانا چاہتا تھا کہ نیورل نیٹ ورک کیسے کام کرتے ہیں۔ آپ وہاں جائیں، چلو ڈرا کریں پر کلک کریں، اور ایک نیا صفحہ کھل جائے گا جہاں آپ کو بتایا گیا ہے: ایک زگ زیگ کھینچیں، آپ کے پاس ایسا کرنے کے لیے 20 سیکنڈ ہیں۔ آپ 20 سیکنڈ میں زگ زیگ بنانے کی کوشش کر رہے ہیں، جیسے یہاں، مثال کے طور پر۔ اگر آپ کامیاب ہو جاتے ہیں، تو نیٹ ورک کہتا ہے کہ یہ زگ زیگ ہے اور آپ آگے بڑھتے ہیں۔ ایسی صرف چھ تصویریں ہیں۔
اگر گوگل کا نیٹ ورک یہ پہچاننے میں ناکام رہا کہ آپ نے کیا کھینچا ہے، تو اس کام پر ایک کراس لگا دیا گیا تھا۔ بعد میں میں آپ کو بتاؤں گا کہ مستقبل میں اس کا کیا مطلب ہوگا کہ آیا کسی ڈرائنگ کو نیٹ ورک کے ذریعے پہچانا جاتا ہے یا نہیں۔
اس سروس نے کافی تعداد میں صارفین کو اکٹھا کیا، اور صارفین کی کھینچی گئی تمام تصاویر لاگ ان کر دی گئیں۔
ہم تقریباً 50 ملین تصاویر جمع کرنے میں کامیاب ہوئے۔ اس سے ہمارے مقابلے کی ٹرین اور ٹیسٹ کی تاریخ بنی۔ ویسے، ٹیسٹ میں ڈیٹا کی مقدار اور کلاسز کی تعداد کو ایک وجہ سے بولڈ میں ہائی لائٹ کیا گیا ہے۔ ان کے بارے میں تھوڑی دیر بعد بتاؤں گا۔
ڈیٹا فارمیٹ مندرجہ ذیل تھا۔ یہ صرف آر جی بی امیجز نہیں ہیں، بلکہ، تقریباً بولیں تو، صارف کے ہر کام کا ایک لاگ۔ لفظ ہمارا ہدف ہے، کنٹری کوڈ وہ ہے جہاں سے ڈوڈل کا مصنف ہے، ٹائم اسٹیمپ وقت ہے۔ تسلیم شدہ لیبل صرف یہ دکھاتا ہے کہ آیا نیٹ ورک نے گوگل سے تصویر کو پہچانا یا نہیں۔ اور ڈرائنگ بذات خود ایک ترتیب ہے، ایک منحنی خطوط کا تخمینہ ہے جسے صارف پوائنٹس کے ساتھ کھینچتا ہے۔ اور اوقات۔ یہ تصویر بنانے کے آغاز سے ہی وقت ہے۔
ڈیٹا کو دو فارمیٹس میں پیش کیا گیا۔ یہ پہلا فارمیٹ ہے، اور دوسرا آسان ہے۔ انہوں نے وہاں سے ٹائمنگ کاٹ دی اور پوائنٹس کے اس سیٹ کو پوائنٹس کے چھوٹے سیٹ کے ساتھ لگوایا۔ اس کے لیے انہوں نے استعمال کیا۔ . آپ کے پاس پوائنٹس کا ایک بڑا مجموعہ ہے جو صرف ایک سیدھی لائن کا تخمینہ لگاتا ہے، لیکن درحقیقت آپ صرف دو پوائنٹس کے ساتھ اس لائن کا تخمینہ لگا سکتے ہیں۔ یہ الگورتھم کا خیال ہے۔
اعداد و شمار کو مندرجہ ذیل طور پر تقسیم کیا گیا تھا۔ سب کچھ یکساں ہے، لیکن کچھ آؤٹ لیرز ہیں۔ جب ہم نے مسئلہ حل کیا تو ہم نے اس کی طرف نہیں دیکھا۔ اہم بات یہ ہے کہ ایسی کوئی کلاسیں نہیں تھیں جو واقعی بہت کم تھیں، ہمیں وزنی نمونے لینے اور ڈیٹا اوور سیمپلنگ کرنے کی ضرورت نہیں تھی۔
تصویریں کیسی لگ رہی تھیں؟ یہ "ہوائی جہاز" کی کلاس ہے اور اس کی مثالیں لیبلز کے ساتھ تسلیم شدہ اور غیر تسلیم شدہ ہیں۔ ان کا تناسب کہیں 1 سے 9 کے آس پاس تھا۔ جیسا کہ آپ دیکھ سکتے ہیں، ڈیٹا کافی شور والا ہے۔ مجھے لگتا ہے کہ یہ ہوائی جہاز ہے۔ اگر آپ پہچانے بغیر دیکھیں تو زیادہ تر معاملات میں یہ صرف شور ہوتا ہے۔ یہاں تک کہ کسی نے "ہوائی جہاز" لکھنے کی کوشش کی لیکن بظاہر فرانسیسی میں۔
زیادہ تر شرکاء نے آسانی سے گرڈ لیا، لائنوں کی اس ترتیب سے آرجیبی تصویروں کے طور پر ڈیٹا کھینچا، اور انہیں نیٹ ورک میں پھینک دیا۔ میں نے تقریباً اسی طرح کھینچا: میں نے رنگوں کا ایک پیلیٹ لیا، ایک رنگ کے ساتھ پہلی لائن کھینچی، جو اس پیلیٹ کے شروع میں تھی، دوسری کے ساتھ آخری لائن، جو پیلیٹ کے آخر میں تھی، اور ان کے درمیان۔ میں نے اس پیلیٹ کا استعمال کرتے ہوئے ہر جگہ مداخلت کی۔ ویسے، یہ اس سے بہتر نتیجہ دیتا ہے اگر آپ پہلی سلائیڈ کی طرح ڈرا کرتے ہیں - صرف سیاہ میں۔
ٹیم کے دیگر اراکین، جیسے ایوان سوسن نے ڈرائنگ کے لیے قدرے مختلف طریقوں کی کوشش کی۔ ایک چینل کے ساتھ اس نے صرف ایک سرمئی تصویر کھینچی، دوسرے چینل کے ساتھ اس نے ہر اسٹروک کو شروع سے آخر تک 32 سے 255 تک گراڈینٹ کے ساتھ کھینچا، اور تیسرے چینل کے ساتھ اس نے 32 سے 255 تک تمام اسٹروک پر گراڈینٹ کھینچا۔
ایک اور دلچسپ بات یہ ہے کہ الیکس پرینوف نے کنٹری کوڈ کا استعمال کرتے ہوئے نیٹ ورک پر معلومات اپ لوڈ کیں۔
مقابلے میں استعمال ہونے والا میٹرک اوسط درستگی ہے۔ مقابلہ کے لیے اس میٹرک کا جوہر کیا ہے؟ آپ تین پیشین گوئیاں دے سکتے ہیں، اور اگر ان تینوں میں کوئی صحیح پیشین گوئی نہیں ہے، تو آپ کو 0 ملے گا۔ اگر کوئی صحیح ہے، تو اس کی ترتیب کو مدنظر رکھا جاتا ہے۔ اور ہدف کا نتیجہ آپ کی پیشین گوئی کی ترتیب سے 1 تقسیم کرنے پر شمار کیا جائے گا۔ مثال کے طور پر، آپ نے تین پیشین گوئیاں کیں، اور صحیح پہلا ہے، پھر آپ 1 کو 1 سے تقسیم کریں اور 1 حاصل کریں۔ اگر پیشین گوئی درست ہے اور اس کی ترتیب 2 ہے، تو 1 کو 2 سے تقسیم کریں، آپ کو 0,5 ملے گا۔ ٹھیک ہے، وغیرہ
ڈیٹا پری پروسیسنگ کے ساتھ - تصویریں کیسے بنائیں اور اسی طرح - ہم نے تھوڑا سا فیصلہ کیا ہے۔ ہم نے کون سے فن تعمیر کا استعمال کیا؟ ہم نے PNASNet، SENet جیسے موٹے فن تعمیرات اور SE-Res-NeXt جیسے پہلے سے ہی کلاسک فن تعمیر کو استعمال کرنے کی کوشش کی، وہ تیزی سے نئے مقابلوں میں داخل ہو رہے ہیں۔ ResNet اور DenseNet بھی تھے۔
ہم نے یہ کیسے سکھایا؟ ہم نے جو بھی ماڈل لیے ہیں وہ امیج نیٹ پر پہلے سے تربیت یافتہ تھے۔ اگرچہ بہت زیادہ ڈیٹا ہے، 50 ملین تصاویر، لیکن پھر بھی، اگر آپ امیج نیٹ پر پہلے سے تربیت یافتہ نیٹ ورک لیتے ہیں، تو اس سے بہتر نتائج ظاہر ہوتے ہیں اگر آپ نے اسے شروع سے ہی تربیت دی ہے۔
ہم نے کونسی تدریسی تکنیک استعمال کی؟ یہ ہے Cosing Annealing with Warm Restarts، جس کے بارے میں میں تھوڑی دیر بعد بات کروں گا۔ یہ ایک ایسی تکنیک ہے جسے میں اپنے تقریباً تمام حالیہ مقابلوں میں استعمال کرتا ہوں، اور ان کے ساتھ یہ گرڈز کو اچھی طرح سے تربیت دینے کے لیے، اچھی کم از کم حاصل کرنے کے لیے نکلتا ہے۔
اگلا سطح مرتفع پر سیکھنے کی شرح کو کم کریں۔ آپ نیٹ ورک کی تربیت شروع کرتے ہیں، سیکھنے کی ایک مخصوص شرح طے کرتے ہیں، اسے پڑھانا جاری رکھتے ہیں، اور آپ کا نقصان آہستہ آہستہ ایک خاص قدر میں بدل جاتا ہے۔ آپ اسے چیک کریں، مثال کے طور پر، دس عہدوں کے لیے نقصان بالکل نہیں بدلا ہے۔ آپ اپنی سیکھنے کی شرح کو کچھ قدر سے کم کرتے ہیں اور سیکھنا جاری رکھتے ہیں۔ یہ دوبارہ تھوڑا سا گرتا ہے، کچھ کم سے کم کنورج ہوتا ہے، اور آپ دوبارہ سیکھنے کی شرح کو کم کرتے ہیں، اور اسی طرح، جب تک کہ آپ کا نیٹ ورک آخرکار کنورج نہ ہوجائے۔
اگلا ایک دلچسپ تکنیک ہے: سیکھنے کی شرح کو خراب نہ کریں، بیچ کا سائز بڑھائیں۔ اسی نام کا ایک مضمون ہے۔ جب آپ نیٹ ورک کو تربیت دیتے ہیں، تو آپ کو سیکھنے کی شرح کو کم کرنے کی ضرورت نہیں ہے، آپ صرف بیچ کا سائز بڑھا سکتے ہیں۔
یہ تکنیک، ویسے، الیکس پارینوف نے استعمال کی تھی۔ اس نے 408 کے برابر بیچ کے ساتھ شروعات کی، اور جب اس کا نیٹ ورک کسی سطح مرتفع پر پہنچ گیا، تو اس نے بیچ کا سائز دوگنا کر دیا۔
درحقیقت، مجھے یاد نہیں ہے کہ اس کے بیچ کا سائز کس قدر تک پہنچا، لیکن دلچسپ بات یہ ہے کہ کاگل پر ایسی ٹیمیں تھیں جنہوں نے یہی تکنیک استعمال کی، ان کے بیچ کا سائز تقریباً 10000 تھا۔ ویسے، گہری سیکھنے کے لیے جدید فریم ورک، جیسے PyTorch، مثال کے طور پر، آپ کو یہ بہت آسانی سے کرنے کی اجازت دیتا ہے۔ آپ اپنا بیچ تیار کرتے ہیں اور اسے نیٹ ورک پر جمع کراتے ہیں جیسا کہ یہ ہے، مکمل طور پر، لیکن اسے ٹکڑوں میں تقسیم کریں تاکہ یہ آپ کے ویڈیو کارڈ میں فٹ ہو جائے، گریڈینٹ کا حساب لگائیں، اور پورے بیچ کے لیے گریڈینٹ کا حساب لگانے کے بعد، اپ ڈیٹ کریں۔ وزن
ویسے، اس مقابلے میں بڑے بیچ کے سائز کو ابھی بھی شامل کیا گیا تھا، کیونکہ ڈیٹا کافی شور والا تھا، اور ایک بڑے بیچ سائز نے آپ کو میلان کا زیادہ درست اندازہ لگانے میں مدد کی۔
سیوڈو لیبلنگ بھی استعمال کی گئی تھی، زیادہ تر رومن سولوویف استعمال کرتے تھے۔ اس نے ٹیسٹ سے تقریباً آدھے ڈیٹا کا نمونہ بیچوں میں لیا، اور ایسے بیچوں پر گرڈ کو تربیت دی۔
تصویروں کا سائز اہمیت رکھتا ہے، لیکن حقیقت یہ ہے کہ آپ کے پاس بہت زیادہ ڈیٹا ہے، آپ کو طویل عرصے تک تربیت دینے کی ضرورت ہے، اور اگر آپ کی تصویر کا سائز کافی بڑا ہے، تو آپ بہت طویل عرصے تک تربیت حاصل کریں گے۔ لیکن اس نے آپ کے حتمی درجہ بندی کے معیار میں زیادہ اضافہ نہیں کیا، لہذا یہ کسی قسم کی تجارت کا استعمال کرنے کے قابل تھا۔ اور ہم نے صرف ان تصویروں کو آزمایا جو سائز میں بہت بڑی نہیں تھیں۔
یہ سب کیسے سیکھا؟ پہلے چھوٹے سائز کی تصویریں لی گئیں، ان پر کئی دور چلائے گئے، اس میں کافی وقت لگا۔ پھر بڑے سائز کی تصویریں دی گئیں، نیٹ ورک کو تربیت دی گئی، پھر اس سے بھی زیادہ، اس سے بھی زیادہ، تاکہ اسے شروع سے تربیت نہ دی جائے اور زیادہ وقت ضائع نہ ہو۔
اصلاح کرنے والوں کے بارے میں۔ ہم نے SGD اور آدم کا استعمال کیا۔ اس طرح ایک واحد ماڈل حاصل کرنا ممکن ہوا، جس نے عوامی لیڈر بورڈ پر 0,941-0,946 کی رفتار دی، جو کہ کافی اچھی ہے۔
اگر آپ ماڈلز کو کسی طرح سے جوڑتے ہیں، تو آپ کو 0,951 کے آس پاس کہیں مل جائے گا۔ اگر آپ ایک اور تکنیک استعمال کرتے ہیں، تو آپ کو پبلک بورڈ پر 0,954 کا حتمی اسکور ملے گا، جیسا کہ ہم نے حاصل کیا ہے۔ لیکن بعد میں اس پر مزید۔ اگلا میں آپ کو بتاؤں گا کہ ہم نے ماڈلز کو کیسے اسمبل کیا، اور ہم اس طرح کی حتمی رفتار کیسے حاصل کرنے میں کامیاب ہوئے۔
اگلا میں وارم ری اسٹارٹس کے ساتھ Cosing Annealing یا Warm Restarts کے ساتھ Stochastic Gradient Descent کے بارے میں بات کرنا چاہوں گا۔ موٹے الفاظ میں، اصولی طور پر، آپ کسی بھی اصلاح کار کو استعمال کر سکتے ہیں، لیکن بات یہ ہے: اگر آپ صرف ایک نیٹ ورک کو تربیت دیتے ہیں اور آہستہ آہستہ یہ کچھ کم سے کم تک بدل جاتا ہے، تو سب کچھ ٹھیک ہے، آپ کو ایک نیٹ ورک ملے گا، اس سے کچھ غلطیاں ہوتی ہیں، لیکن آپ اسے تھوڑا مختلف طریقے سے تربیت دے سکتے ہیں۔ آپ کچھ ابتدائی سیکھنے کی شرح مقرر کریں گے، اور اس فارمولے کے مطابق اسے آہستہ آہستہ کم کریں گے۔ آپ اسے کم کرتے ہیں، آپ کا نیٹ ورک کچھ کم سے کم ہوجاتا ہے، پھر آپ وزن بچاتے ہیں، اور دوبارہ سیکھنے کی شرح کو سیٹ کرتے ہیں جو تربیت کے آغاز میں تھا، اس طرح اس کم سے کم سے کہیں اوپر جاتا ہے، اور آپ کی سیکھنے کی شرح دوبارہ کم ہوجاتی ہے۔
اس طرح، آپ ایک ساتھ کئی کم از کم ملاحظہ کر سکتے ہیں، جس میں آپ کا نقصان، جمع یا مائنس، ایک جیسا ہوگا۔ لیکن حقیقت یہ ہے کہ ان وزن والے نیٹ ورک آپ کی تاریخ پر مختلف غلطیاں دیں گے۔ ان کی اوسط سے، آپ کو ایک قسم کا تخمینہ ملے گا، اور آپ کی رفتار زیادہ ہوگی۔
اس بارے میں کہ ہم نے اپنے ماڈلز کو کیسے اکٹھا کیا۔ پریزنٹیشن کے آغاز میں، میں نے کہا کہ ٹیسٹ میں ڈیٹا کی مقدار اور کلاسز کی تعداد پر توجہ دیں۔ اگر آپ ٹیسٹ سیٹ میں اہداف کی تعداد میں 1 کا اضافہ کرتے ہیں اور کلاسوں کی تعداد سے تقسیم کرتے ہیں، تو آپ کو نمبر 330 ملے گا، اور یہ فورم پر لکھا گیا تھا - کہ ٹیسٹ میں کلاسز متوازن ہیں۔ یہ استعمال کیا جا سکتا ہے.
اس کی بنیاد پر، رومن سولوویف ایک میٹرک لے کر آئے، ہم نے اسے پراکسی سکور کہا، جو لیڈر بورڈ کے ساتھ کافی حد تک تعلق رکھتا ہے۔ نقطہ یہ ہے کہ: آپ ایک پیشین گوئی کرتے ہیں، اپنے پیشین گوئی کرنے والوں میں سے سب سے اوپر 1 لیں اور ہر کلاس کے لیے اشیاء کی تعداد گنیں۔ اگلا، ہر قدر سے 330 کو گھٹائیں اور نتیجے میں آنے والی مطلق قدروں کو شامل کریں۔
درج ذیل اقدار حاصل کی گئیں۔ اس سے ہمیں پروبنگ لیڈر بورڈ بنانے میں مدد نہیں ملی، بلکہ مقامی طور پر توثیق کرنے اور اپنے جوڑوں کے لیے گتانکوں کو منتخب کرنے میں مدد ملی۔
ایک جوڑ کے ساتھ آپ کو اتنی رفتار مل سکتی ہے۔ میں اور کیا کر سکتا تھا؟ فرض کریں کہ آپ نے یہ معلومات استعمال کیں کہ آپ کے ٹیسٹ میں کلاسز متوازن ہیں۔
توازن مختلف تھا۔ - پہلی پوزیشن لینے والے لڑکوں سے توازن۔
ہم نے کیا کیا؟ ہمارا توازن بہت آسان تھا، یہ ایوجینی باباخنین نے تجویز کیا تھا۔ ہم نے سب سے پہلے اپنی پیشین گوئیوں کو ٹاپ 1 کے حساب سے ترتیب دیا اور ان میں سے امیدواروں کو منتخب کیا - تاکہ کلاسز کی تعداد 330 سے زیادہ نہ ہو۔ لیکن کچھ کلاسوں کے لیے آپ 330 سے کم پیشین گوئوں کے ساتھ ختم ہوتے ہیں۔ ٹھیک ہے، آئیے ٹاپ 2 اور ٹاپ 3 کے لحاظ سے بھی ترتیب دیں اور ہم امیدواروں کا انتخاب بھی کریں گے۔
ہمارا توازن پہلی جگہ کے توازن سے کیسے مختلف تھا؟ انہوں نے ایک تکراری نقطہ نظر کا استعمال کیا، سب سے زیادہ مقبول طبقے کو لے کر اور اس کلاس کے امکانات کو کچھ چھوٹی تعداد سے کم کر دیا جب تک کہ وہ کلاس زیادہ مقبول نہ ہو۔ ہم نے اگلی مقبول ترین کلاس لی۔ چنانچہ وہ ان کو نیچے کرتے رہے یہاں تک کہ تمام طبقات کی تعداد برابر ہو گئی۔
نیٹ ورکس کو تربیت دینے کے لیے ہر ایک نے پلس یا مائنس ون طریقہ استعمال کیا، لیکن ہر ایک نے توازن کا استعمال نہیں کیا۔ توازن کا استعمال کرتے ہوئے، آپ سونے میں جا سکتے ہیں، اور اگر آپ خوش قسمت تھے، تو پیسے میں.
تاریخ سے پہلے کیسے عمل کیا جائے؟ ہر ایک نے تاریخ، جمع یا مائنس، اسی طرح سے پہلے سے تیار کیا - ہاتھ سے تیار کردہ خصوصیات بنانا، مختلف اسٹروک رنگوں کے ساتھ اوقات کو انکوڈ کرنے کی کوشش کرنا وغیرہ۔ 8 ویں نمبر پر آنے والے Alexey Nozdrin-Plotnitsky نے اس بارے میں بات کی۔
اس نے اسے مختلف طریقے سے کیا۔ انہوں نے کہا کہ آپ کی یہ تمام دستکاری کام نہیں کرتی، آپ کو ایسا کرنے کی ضرورت نہیں، آپ کے نیٹ ورک کو یہ سب خود سیکھنا چاہیے۔ اور اس کے بجائے، وہ سیکھنے کے ماڈیول لے کر آیا جو آپ کے ڈیٹا کو پہلے سے پروسیس کرتا ہے۔ اس نے پہلے سے پروسیسنگ کے بغیر اصل ڈیٹا ان میں پھینک دیا - پوائنٹ کوآرڈینیٹ اور ٹائمنگ۔
پھر اس نے نقاط کی بنیاد پر فرق لیا، اور اوقات کی بنیاد پر اس کا اوسط لگایا۔ اور وہ ایک طویل میٹرکس لے کر آیا۔ اس نے 1xn سائز کا میٹرکس حاصل کرنے کے لیے اس پر کئی بار 64D convolution کا اطلاق کیا، جہاں n پوائنٹس کی کل تعداد ہے، اور 64 اس لیے بنایا جاتا ہے کہ نتیجے میں آنے والے میٹرکس کو کسی بھی کنوولوشنل نیٹ ورک کی تہہ تک پہنچایا جائے، جو چینلز کی تعداد کو قبول کرتا ہے۔ - 64. اس نے 64xn میٹرکس حاصل کیا، پھر اس سے کچھ سائز کا ٹینسر بنانا ضروری تھا تاکہ چینلز کی تعداد 64 کے برابر ہو۔ اس نے ایک بنانے کے لیے 0 سے 32 کی حد میں تمام پوائنٹس X، Y کو نارمل کیا۔ 32x32 سائز کا ٹینسر۔ مجھے نہیں معلوم کہ وہ 32x32 کیوں چاہتا تھا، یہ اسی طرح ہوا ہے۔ اور اس کوآرڈینیٹ پر اس نے 64xn سائز کے اس میٹرکس کا ایک ٹکڑا رکھا۔ تو یہ صرف ایک 32x32x64 ٹینسر کے ساتھ ختم ہوا جسے آپ اپنے convolutional neural نیٹ ورک میں مزید ڈال سکتے ہیں۔ میں بس یہی کہنا چاہتا تھا۔
ماخذ: www.habr.com