GitHub کے منصوبے ، جس نے مختلف پروگرامنگ زبانوں میں کوڈ کو پارس کرنے، درجہ بندی کرنے اور تجزیہ کرنے کے لیے ضروری مشین لرننگ ماڈل اور ڈیٹا سیٹ تیار کیے ہیں۔ CodeSearchNet، جیسا کہ ، میں تشریحات کے ساتھ کوڈ کے ٹکڑوں کا ایک بڑا مجموعہ شامل ہے جو کوڈ کے کام کو باقاعدہ بناتا ہے۔ ٹریننگ ماڈلز کے اجزاء اور CodeSearchNet استعمال کرنے کی مثالیں Tensorflow فریم ورک کا استعمال کرتے ہوئے Python میں لکھی گئی ہیں اور MIT لائسنس کے تحت.
CodeSearchNet تخلیق کرتے وقت، قدرتی زبان کے متن کو پارس کرنے والی ٹیکنالوجیز استعمال کی گئیں، جس سے مشین لرننگ سسٹم کو نہ صرف نحوی خصوصیات بلکہ کوڈ کے ذریعے انجام پانے والے اعمال کے معنی کو بھی مدنظر رکھا گیا۔ گٹ ہب سسٹم پر سوالات کا استعمال کرتے ہوئے سیمنٹک کوڈ تلاش کو منظم کرنے کے تجربات میں (مثال کے طور پر، "سٹرنگز کی فہرست کو ترتیب دینے" کی درخواست کرتے وقت، متعلقہ الگورتھم کے نفاذ کے ساتھ کوڈ ظاہر ہوتا ہے)۔
مجوزہ ڈیٹاسیٹ میں 2 ملین سے زیادہ کوڈ-کمنٹ لنکس شامل ہیں، جو موجودہ اوپن لائبریریوں کے ماخذ متن کی بنیاد پر تیار کیے گئے ہیں۔ کوڈ انفرادی افعال یا طریقوں کے مکمل ماخذ متن کا احاطہ کرتا ہے، اور تبصرہ فنکشن کے ذریعے انجام پانے والے اعمال کی وضاحت کرتا ہے (تفصیلی دستاویزات فراہم کی جاتی ہیں)۔ فی الحال، ڈیٹا سیٹ Python، JavaScript، Ruby، Go، Java اور PHP کے لیے تیار کیے گئے ہیں۔ مختلف قسم کے نیورل نیٹ ورکس کی تربیت کے لیے مجوزہ ڈیٹا سیٹس کے استعمال کی مثالیں فراہم کی گئی ہیں، بشمول , , (BERT) اور .
قدرتی زبان کی تلاش کے طریقہ کار کو تیار کرنے کے لیے، CodeSearchNet چیلنج کا ایک سیٹ بھی تیار کیا گیا ہے، بشمول
تقریباً 4 ہزار ماہر تشریحات کے ساتھ سوالات جو CodeSearchNet Corpus ڈیٹاسیٹ میں سب سے زیادہ ممکنہ کوڈ بائنڈنگز کو بیان کرتے ہیں، جس میں تقریباً 6 ملین طریقوں اور افعال کا احاطہ کیا گیا ہے ( تقریباً 20 جی بی)۔ CodeSearchNet چیلنج قدرتی زبان کے کوڈ کو تلاش کرنے کے لیے مخصوص طریقوں کی تاثیر کا جائزہ لینے کے لیے ایک معیار کے طور پر کام کر سکتا ہے۔ ٹولز کا استعمال تیار
کوڈ سرچ انجن۔
ماخذ: opennet.ru