GitHub جيثب: مشروع ، والتي أعدت نماذج التعلم الآلي ومجموعات البيانات اللازمة لتحليل وتصنيف وتحليل التعليمات البرمجية في لغات البرمجة المختلفة. CodeSearchNet، على غرار ، يتضمن مجموعة كبيرة من مقتطفات التعليمات البرمجية مع التعليقات التوضيحية التي تضفي الطابع الرسمي على ما تفعله التعليمات البرمجية. تمت كتابة مكونات نماذج التدريب وأمثلة استخدام CodeSearchNet بلغة Python باستخدام إطار عمل Tensorflow و بموجب ترخيص معهد ماساتشوستس للتكنولوجيا.
عند إنشاء CodeSearchNet، تم استخدام تقنيات تحليل النص باللغة الطبيعية، مما مكّن أنظمة التعلم الآلي من مراعاة ليس فقط الميزات النحوية، ولكن أيضًا معنى الإجراءات التي يؤديها الكود. نظام جيثب في تجارب تنظيم البحث عن الكود الدلالي باستخدام الاستعلامات (على سبيل المثال، عند طلب "فرز قائمة السلاسل"، يتم عرض التعليمات البرمجية مع تنفيذ الخوارزميات المقابلة).
تتضمن مجموعة البيانات المقترحة أكثر من مليوني رابط للتعليقات البرمجية، تم إعدادها بناءً على النصوص المصدرية للمكتبات المفتوحة الموجودة. يغطي الكود النص المصدر الكامل للوظائف أو الطرق الفردية، ويصف التعليق الإجراءات التي تقوم بها الوظيفة (يتم توفير الوثائق التفصيلية). حاليًا، يتم إعداد مجموعات البيانات لـ Python وJavaScript وRuby وGo وJava وPHP. يتم تقديم أمثلة على استخدام مجموعات البيانات المقترحة لتدريب أنواع مختلفة من الشبكات العصبية، بما في ذلك , , (بيرت) و .
ولتطوير آليات البحث باللغة الطبيعية، تم أيضًا إعداد مجموعة من تحديات CodeSearchNet، بما في ذلك
استعلامات تحتوي على حوالي 4 آلاف تعليق توضيحي للخبراء تصف روابط التعليمات البرمجية الأكثر احتمالية في مجموعة بيانات CodeSearchNet Corpus، والتي تغطي حوالي 6 ملايين طريقة ووظيفة ( حوالي 20 جيجابايت). يمكن أن يكون تحدي CodeSearchNet بمثابة معيار لتقييم فعالية طرق معينة للبحث في رموز اللغة الطبيعية. استخدام الأدوات معد
محرك بحث الكود.
المصدر: opennet.ru