GitHub-მა გახსნა განვითარებები მანქანური სწავლების გამოყენებაში კოდების საძიებლად და ანალიზისთვის

GitHub შემოიღო პროექტი CodeSearchNet, რომელმაც მოამზადა მანქანური სწავლების მოდელები და მონაცემთა ნაკრები, რომელიც აუცილებელია სხვადასხვა პროგრამირების ენაზე კოდების გარჩევის, კლასიფიკაციისა და ანალიზისთვის. CodeSearchNet, მსგავსი IMAGEnet, მოიცავს კოდის ფრაგმენტების დიდ კოლექციას ანოტაციებით, რომლებიც აფორმებს იმას, რასაც კოდი აკეთებს. კომპონენტები ტრენინგის მოდელებისთვის და CodeSearchNet-ის გამოყენების მაგალითები დაწერილია პითონში Tensorflow-ის ფრეიმერის გამოყენებით და ვრცელდება MIT ლიცენზიით.

CodeSearchNet-ის შექმნისას გამოყენებული იქნა ბუნებრივი ენის ტექსტის ანალიზების ტექნოლოგიები, რაც საშუალებას აძლევდა მანქანური სწავლების სისტემებს გაითვალისწინონ არა მხოლოდ სინტაქსური მახასიათებლები, არამედ კოდის მიერ შესრულებული მოქმედებების მნიშვნელობა. GitHub სისტემა გამოყენებითი ექსპერიმენტებში სემანტიკური კოდის ძიების ორგანიზების შესახებ შეკითხვის გამოყენებით ბუნებრივი ენა (მაგალითად, „სტრიქონების სიის დახარისხების“ მოთხოვნისას ნაჩვენებია კოდი შესაბამისი ალგორითმების განხორციელებით).

შემოთავაზებული მონაცემთა ნაკრები მოიცავს 2 მილიონზე მეტ კოდ-კომენტარულ ბმულს, რომელიც მომზადებულია არსებული ღია ბიბლიოთეკების წყაროს ტექსტებზე დაყრდნობით. კოდი მოიცავს ცალკეული ფუნქციების ან მეთოდების სრულ საწყის ტექსტს, ხოლო კომენტარი აღწერს ფუნქციის მიერ შესრულებულ მოქმედებებს (მოწოდებულია დეტალური დოკუმენტაცია). ამჟამად, მონაცემთა ნაკრები მზადდება Python, JavaScript, Ruby, Go, Java და PHP-სთვის. მოცემულია შემოთავაზებული მონაცემთა ნაკრების გამოყენების მაგალითები სხვადასხვა ტიპის ნერვული ქსელების ტრენინგისთვის, მათ შორის ნეირონული ტომარა სიტყვების, RNN, საკუთარი თავის ყურადღება (BERT) და 1D-CNN + თვითყურადღების ჰიბრიდი.

ბუნებრივი ენის ძიების მექანიზმების შესამუშავებლად, დამატებით მომზადდა CodeSearchNet Challenge-ის ნაკრები, მათ შორის
99 ტიპიური მოთხოვნა დაახლოებით 4 ათასი ექსპერტის ანოტაციით, რომელიც აღწერს კოდის ყველაზე სავარაუდო კავშირებს CodeSearchNet Corpus მონაცემთა ბაზაში, რომელიც მოიცავს დაახლოებით 6 მილიონ მეთოდსა და ფუნქციას (კომპლექტი ზომა დაახლოებით 20 GB). CodeSearchNet Challenge შეიძლება გახდეს საორიენტაციო ნიშანი ბუნებრივი ენის კოდის ძიების გარკვეული მეთოდების ეფექტურობის შესაფასებლად. ხელსაწყოების გამოყენება კუბეფლოუ მომზადებული
მაგალითად კოდის საძიებო სისტემა.

წყარო: opennet.ru