GitHub ने कोड खोज और विश्लेषण के लिए मशीन लर्निंग के उपयोग में विकास की शुरुआत की है

GitHub प्रस्तुत परियोजना कोडसर्चनेट, जिसने विभिन्न प्रोग्रामिंग भाषाओं में कोड को पार्स करने, वर्गीकृत करने और विश्लेषण करने के लिए आवश्यक मशीन लर्निंग मॉडल और डेटा सेट तैयार किए हैं। CodeSearchNet, के समान IMAGEnet, इसमें एनोटेशन के साथ कोड स्निपेट का एक बड़ा संग्रह शामिल है जो कोड को औपचारिक बनाता है। प्रशिक्षण मॉडल के लिए घटक और CodeSearchNet का उपयोग करने के उदाहरण Tensorflow ढांचे का उपयोग करके पायथन में लिखे गए हैं द्वारा वितरित एमआईटी लाइसेंस के तहत।

CodeSearchNet बनाते समय, प्राकृतिक भाषा पाठ पार्सिंग प्रौद्योगिकियों का उपयोग किया गया था, जिससे मशीन लर्निंग सिस्टम न केवल वाक्यात्मक विशेषताओं को ध्यान में रख सके, बल्कि कोड द्वारा किए गए कार्यों के अर्थ को भी ध्यान में रख सके। गिटहब प्रणाली लागू प्रश्नों का उपयोग करके सिमेंटिक कोड खोज को व्यवस्थित करने के प्रयोगों में प्राकृतिक भाषा (उदाहरण के लिए, जब "स्ट्रिंग्स की सूची को क्रमबद्ध करने" का अनुरोध किया जाता है, तो संबंधित एल्गोरिदम के कार्यान्वयन के साथ कोड प्रदर्शित होता है)।

प्रस्तावित डेटासेट में 2 मिलियन से अधिक कोड-टिप्पणी लिंक शामिल हैं, जो मौजूदा खुले पुस्तकालयों के स्रोत ग्रंथों के आधार पर तैयार किए गए हैं। कोड व्यक्तिगत कार्यों या विधियों के संपूर्ण स्रोत पाठ को कवर करता है, और टिप्पणी फ़ंक्शन द्वारा किए गए कार्यों का वर्णन करती है (विस्तृत दस्तावेज़ प्रदान किया गया है)। वर्तमान में, पायथन, जावास्क्रिप्ट, रूबी, गो, जावा और PHP के लिए डेटासेट तैयार किए जाते हैं। विभिन्न प्रकार के तंत्रिका नेटवर्क के प्रशिक्षण के लिए प्रस्तावित डेटासेट का उपयोग करने के उदाहरण प्रदान किए गए हैं न्यूरल-बैग-ऑफ़-वर्ड्स, RNN, आत्म-ध्यान (बर्ट) और 1डी-सीएनएन+सेल्फ-अटेंशन हाइब्रिड.

प्राकृतिक भाषा खोज तंत्र विकसित करने के लिए, CodeSearchNet चैलेंज का एक सेट अतिरिक्त रूप से तैयार किया गया है
99 विशिष्ट कोडसर्चनेट कॉर्पस डेटासेट में सबसे संभावित कोड बाइंडिंग का वर्णन करने वाले लगभग 4 हजार विशेषज्ञ एनोटेशन वाले प्रश्न, लगभग 6 मिलियन तरीकों और कार्यों को कवर करते हैं (आकार निर्धारित करें लगभग 20 जीबी)। CodeSearchNet चैलेंज प्राकृतिक भाषा कोड खोजने के लिए कुछ तरीकों की प्रभावशीलता का मूल्यांकन करने के लिए एक बेंचमार्क के रूप में काम कर सकता है। उपकरणों का उपयोग करना क्यूबफ्लो तैयार
उदाहरण कोड खोज इंजन.

स्रोत: opennet.ru