GitHub એ કોડ શોધ અને વિશ્લેષણ માટે મશીન લર્નિંગના ઉપયોગમાં વિકાસ ખોલ્યો છે

GitHub રજૂઆત કરી પ્રોજેક્ટ કોડસર્ચનેટ, જેમાં વિવિધ પ્રોગ્રામિંગ ભાષાઓમાં કોડને પાર્સિંગ, વર્ગીકરણ અને વિશ્લેષણ માટે જરૂરી મશીન લર્નિંગ મોડલ અને ડેટા સેટ તૈયાર કર્યા છે. CodeSearchNet, સમાન ઈમેજનેટ, એનોટેશન સાથે કોડ સ્નિપેટ્સનો મોટો સંગ્રહ શામેલ છે જે કોડ શું કરે છે તે ઔપચારિક બનાવે છે. ટેન્સરફ્લો ફ્રેમવર્ક અને દ્વારા વિતરિત MIT લાયસન્સ હેઠળ.

CodeSearchNet બનાવતી વખતે, કુદરતી ભાષાના ટેક્સ્ટ પાર્સિંગ ટેક્નોલોજીનો ઉપયોગ કરવામાં આવ્યો હતો, જે મશીન લર્નિંગ સિસ્ટમ્સને માત્ર સિન્ટેક્ટિક સુવિધાઓ જ નહીં, પરંતુ કોડ દ્વારા કરવામાં આવતી ક્રિયાઓના અર્થને પણ ધ્યાનમાં લેવા સક્ષમ બનાવે છે. GitHub સિસ્ટમ લાગુ પડે છે પર ક્વેરીઝનો ઉપયોગ કરીને સિમેન્ટીક કોડ શોધ ગોઠવવાના પ્રયોગોમાં કુદરતી ભાષા (ઉદાહરણ તરીકે, જ્યારે "શબ્દમાળાઓની સૂચિને સૉર્ટ કરવા" માટે વિનંતી કરવામાં આવે છે, ત્યારે અનુરૂપ અલ્ગોરિધમ્સના અમલીકરણ સાથેનો કોડ પ્રદર્શિત થાય છે).

સૂચિત ડેટાસેટમાં 2 મિલિયનથી વધુ કોડ-ટિપ્પણી લિંક્સ શામેલ છે, જે હાલની ઓપન લાઇબ્રેરીઓના સ્ત્રોત ટેક્સ્ટના આધારે તૈયાર કરવામાં આવી છે. કોડ વ્યક્તિગત કાર્યો અથવા પદ્ધતિઓના સંપૂર્ણ સ્રોત ટેક્સ્ટને આવરી લે છે, અને ટિપ્પણી કાર્ય દ્વારા કરવામાં આવતી ક્રિયાઓનું વર્ણન કરે છે (વિગતવાર દસ્તાવેજીકરણ પ્રદાન કરવામાં આવે છે). હાલમાં, ડેટાસેટ્સ Python, JavaScript, Ruby, Go, Java અને PHP માટે તૈયાર કરવામાં આવે છે. વિવિધ પ્રકારના ન્યુરલ નેટવર્કને તાલીમ આપવા માટે સૂચિત ડેટાસેટ્સનો ઉપયોગ કરવાના ઉદાહરણો આપવામાં આવ્યા છે, જેમાં સમાવેશ થાય છે ન્યુરલ-બેગ-ઓફ-વર્ડ્સ, આરએનએન, સ્વ-ધ્યાન (BERT) અને 1D-CNN+સેલ્ફ-એટેન્શન હાઇબ્રિડ.

નેચરલ લેંગ્વેજ સર્ચ મિકેનિઝમ વિકસાવવા માટે, કોડસર્ચનેટ ચેલેન્જનો એક સેટ પણ તૈયાર કરવામાં આવ્યો છે, જેમાં
99 લાક્ષણિક કોડસર્ચનેટ કોર્પસ ડેટાસેટમાં સૌથી વધુ સંભવિત કોડ બાઈન્ડિંગ્સનું વર્ણન કરતી લગભગ 4 હજાર નિષ્ણાત ટીકાઓ સાથેની ક્વેરીઝ, લગભગ 6 મિલિયન પદ્ધતિઓ અને કાર્યોને આવરી લે છે (માપ સેટ કરો લગભગ 20 જીબી). CodeSearchNet ચેલેન્જ પ્રાકૃતિક ભાષા કોડ શોધવા માટેની અમુક પદ્ધતિઓની અસરકારકતાના મૂલ્યાંકન માટે એક માપદંડ તરીકે સેવા આપી શકે છે. સાધનોનો ઉપયોગ કુબ્લો ફ્લો તૈયાર
ઉદાહરણ કોડ સર્ચ એન્જિન.

સોર્સ: opennet.ru