GitHub ने कोड शोध आणि विश्लेषणासाठी मशीन लर्निंगच्या वापरामध्ये विकास उघडला आहे

GitHub ओळख करून दिली प्रकल्प CodeSearchNet, ज्याने विविध प्रोग्रामिंग भाषांमध्ये कोड पार्सिंग, वर्गीकरण आणि विश्लेषणासाठी आवश्यक मशीन लर्निंग मॉडेल आणि डेटा सेट तयार केले आहेत. CodeSearchNet, सारखे इमेजनेट, कोड स्निपेट्सच्या मोठ्या संग्रहाचा समावेश आहे ज्यामध्ये कोड काय करतो हे औपचारिकपणे भाष्य करतात. प्रशिक्षण मॉडेलचे घटक आणि कोडसर्चनेट वापरण्याची उदाहरणे टेन्सरफ्लो फ्रेमवर्क वापरून पायथॉनमध्ये लिहिली जातात आणि द्वारा वितरित MIT परवान्या अंतर्गत.

CodeSearchNet तयार करताना, नैसर्गिक भाषेतील मजकूर पार्सिंग तंत्रज्ञानाचा वापर केला गेला, ज्यामुळे मशीन लर्निंग सिस्टीम केवळ वाक्यरचनात्मक वैशिष्ट्येच नव्हे तर कोडद्वारे केलेल्या क्रियांचा अर्थ देखील विचारात घेण्यास सक्षम करते. GitHub प्रणाली लागू वर क्वेरी वापरून सिमेंटिक कोड शोध आयोजित करण्याच्या प्रयोगांमध्ये नैसर्गिक भाषा (उदाहरणार्थ, "स्ट्रिंगची सूची क्रमवारी लावण्याची" विनंती करताना, संबंधित अल्गोरिदमच्या अंमलबजावणीसह कोड प्रदर्शित केला जातो).

प्रस्तावित डेटासेटमध्ये 2 दशलक्षाहून अधिक कोड-टिप्पणी लिंक समाविष्ट आहेत, जे विद्यमान खुल्या लायब्ररींच्या स्त्रोत मजकुरावर आधारित तयार केले आहेत. कोड वैयक्तिक फंक्शन्स किंवा पद्धतींचा संपूर्ण स्त्रोत मजकूर कव्हर करतो आणि टिप्पणी फंक्शनद्वारे केलेल्या क्रियांचे वर्णन करते (तपशीलवार दस्तऐवजीकरण प्रदान केले आहे). सध्या, Python, JavaScript, Ruby, Go, Java आणि PHP साठी डेटासेट तयार केले जातात. यासह विविध प्रकारच्या न्यूरल नेटवर्क्सचे प्रशिक्षण देण्यासाठी प्रस्तावित डेटासेट वापरण्याची उदाहरणे दिली आहेत न्यूरल-बॅग-ऑफ-वर्ड्स, आरएनएन, स्वत:चे लक्ष (BERT) आणि 1D-CNN+सेल्फ-अटेंशन हायब्रिड.

नैसर्गिक भाषा शोध यंत्रणा विकसित करण्यासाठी, CodeSearchNet Challenge चा संच देखील तयार करण्यात आला आहे, ज्यामध्ये
99 ठराविक CodeSearchNet Corpus डेटासेटमधील बहुधा कोड बाइंडिंग्सचे वर्णन करणाऱ्या सुमारे 4 हजार तज्ञ भाष्यांसह क्वेरी, सुमारे 6 दशलक्ष पद्धती आणि कार्ये समाविष्ट करतात (आकार सेट करा सुमारे 20 GB). CodeSearchNet चॅलेंज नैसर्गिक भाषा कोड शोधण्यासाठी विशिष्ट पद्धतींच्या परिणामकारकतेचे मूल्यमापन करण्यासाठी बेंचमार्क म्हणून काम करू शकते. साधने वापरणे कुबेफ्लो तयार
उदाहरण कोड शोध इंजिन.

स्त्रोत: opennet.ru