GitHub ले कोड खोज र विश्लेषणको लागि मेसिन लर्निङको प्रयोगमा विकासहरू खोलेको छ

GitHub परिचय प्रोजेक्ट CodeSearchNet, जसले विभिन्न प्रोग्रामिङ भाषाहरूमा कोड पार्सिङ, वर्गीकरण र विश्लेषणका लागि आवश्यक मेसिन लर्निङ मोडेल र डेटा सेटहरू तयार गरेको छ। CodeSearchNet, जस्तै IMAGEnet, कोडले के गर्छ भनेर औपचारिकता दिने एनोटेसनहरू सहितको कोड स्निपेटहरूको ठूलो सङ्ग्रह समावेश गर्दछ। प्रशिक्षण मोडेलका लागि कम्पोनेन्टहरू र CodeSearchNet प्रयोग गर्ने उदाहरणहरू Tensorflow फ्रेमवर्क प्रयोग गरेर पाइथनमा लेखिएका छन्। द्वारा वितरित MIT लाइसेन्स अन्तर्गत।

CodeSearchNet सिर्जना गर्दा, प्राकृतिक भाषा पाठ पार्सिङ टेक्नोलोजीहरू प्रयोग गरिन्थ्यो, मेसिन लर्निङ प्रणालीहरूलाई सिन्ट्याक्टिक सुविधाहरू मात्र होइन, तर कोडद्वारा गरिएका कार्यहरूको अर्थलाई पनि ध्यानमा राख्न सक्षम पार्दै। GitHub प्रणाली लागू गरियो प्रश्नहरू प्रयोग गरेर सिमान्टिक कोड खोज व्यवस्थित गर्ने प्रयोगहरूमा प्राकृतिक भाषा (उदाहरणका लागि, "स्ट्रिङहरूको सूची क्रमबद्ध" अनुरोध गर्दा, सम्बन्धित एल्गोरिदमहरूको कार्यान्वयनको साथ कोड प्रदर्शित हुन्छ)।

प्रस्तावित डाटासेटमा 2 मिलियन भन्दा बढी कोड-टिप्पणी लिङ्कहरू समावेश छन्, जुन अवस्थित खुला पुस्तकालयहरूको स्रोत पाठहरूमा आधारित बनाइएको छ। कोडले व्यक्तिगत प्रकार्य वा विधिहरूको पूर्ण स्रोत पाठलाई कभर गर्दछ, र टिप्पणीले प्रकार्यद्वारा गरिएका कार्यहरू वर्णन गर्दछ (विस्तृत कागजात प्रदान गरिएको छ)। हाल, डेटासेटहरू पाइथन, जाभास्क्रिप्ट, रुबी, गो, जाभा र PHP को लागि तयार छन्। उदाहरणहरू सहित विभिन्न प्रकारका तंत्रिका सञ्जालहरू प्रशिक्षणको लागि प्रस्तावित डाटासेटहरू प्रयोग गर्ने बारे प्रदान गरिएको छ न्यूरल-ब्याग-अफ-वर्ड्स, RNN, आत्म-ध्यान (BERT) र 1D-CNN+Self-Attention Hybrid.

प्राकृतिक भाषा खोज संयन्त्रको विकास गर्न, CodeSearchNet Challenge को एक सेट पनि तयार गरिएको छ, जसमा
99 सामान्य लगभग 4 मिलियन विधि र प्रकार्यहरू कभर गर्ने CodeSearchNet Corpus डेटासेटमा सबैभन्दा सम्भावित कोड बाइन्डिङहरू वर्णन गर्ने लगभग 6 हजार विशेषज्ञ एनोटेशनहरू भएका प्रश्नहरू (आकार सेट गर्नुहोस् लगभग 20 GB)। CodeSearchNet Challenge ले प्राकृतिक भाषा कोड खोज्नका लागि निश्चित विधिहरूको प्रभावकारिता मूल्याङ्कन गर्न बेन्चमार्कको रूपमा काम गर्न सक्छ। उपकरणहरू प्रयोग गर्दै कुबेफ्लो तयार
एक उदाहरण कोड खोज इन्जिन।

स्रोत: opennet.ru