കോഡ് തിരയലിനും വിശകലനത്തിനുമായി മെഷീൻ ലേണിംഗ് ഉപയോഗത്തിൽ GitHub സംഭവവികാസങ്ങൾ തുറന്നു

സാമൂഹികം അവതരിപ്പിച്ചു ഡ്രാഫ്റ്റ് CodeSearchNet, വിവിധ പ്രോഗ്രാമിംഗ് ഭാഷകളിലെ കോഡ് പാഴ്‌സിംഗ്, വർഗ്ഗീകരണം, വിശകലനം എന്നിവയ്ക്ക് ആവശ്യമായ മെഷീൻ ലേണിംഗ് മോഡലുകളും ഡാറ്റാ സെറ്റുകളും തയ്യാറാക്കിയിട്ടുണ്ട്. CodeSearchNet, സമാനമായി ഇമഗെനെത്, കോഡ് എന്താണ് ചെയ്യുന്നതെന്ന് ഔപചാരികമാക്കുന്ന വ്യാഖ്യാനങ്ങളോടുകൂടിയ കോഡ് സ്‌നിപ്പെറ്റുകളുടെ ഒരു വലിയ ശേഖരം ഉൾപ്പെടുന്നു. പരിശീലന മോഡലുകൾക്കുള്ള ഘടകങ്ങളും CodeSearchNet ഉപയോഗിക്കുന്നതിന്റെ ഉദാഹരണങ്ങളും Tensorflow ഫ്രെയിംവർക്ക് ഉപയോഗിച്ച് പൈത്തണിൽ എഴുതിയിരിക്കുന്നു. വിതരണം ചെയ്തത് MIT ലൈസൻസിന് കീഴിൽ.

CodeSearchNet സൃഷ്‌ടിക്കുമ്പോൾ, സ്വാഭാവിക ഭാഷാ ടെക്‌സ്‌റ്റ് പാഴ്‌സിംഗ് സാങ്കേതികവിദ്യകൾ ഉപയോഗിച്ചു, ഇത് വാക്യഘടന സവിശേഷതകൾ മാത്രമല്ല, കോഡ് നടത്തുന്ന പ്രവർത്തനങ്ങളുടെ അർത്ഥവും കണക്കിലെടുക്കാൻ മെഷീൻ ലേണിംഗ് സിസ്റ്റങ്ങളെ പ്രാപ്‌തമാക്കുന്നു. GitHub സിസ്റ്റം ബാധകമാണ് എന്ന അന്വേഷണങ്ങൾ ഉപയോഗിച്ച് സെമാന്റിക് കോഡ് തിരയൽ സംഘടിപ്പിക്കുന്നതിനുള്ള പരീക്ഷണങ്ങളിൽ സ്വാഭാവിക ഭാഷ (ഉദാഹരണത്തിന്, "സ്ട്രിംഗുകളുടെ ഒരു ലിസ്റ്റ് അടുക്കുക" അഭ്യർത്ഥിക്കുമ്പോൾ, അനുബന്ധ അൽഗോരിതങ്ങൾ നടപ്പിലാക്കുന്ന കോഡ് പ്രദർശിപ്പിക്കും).

നിർദ്ദിഷ്ട ഡാറ്റാസെറ്റിൽ നിലവിലുള്ള ഓപ്പൺ ലൈബ്രറികളുടെ ഉറവിട ഗ്രന്ഥങ്ങളെ അടിസ്ഥാനമാക്കി തയ്യാറാക്കിയ 2 ദശലക്ഷത്തിലധികം കോഡ്-കമന്റ് ലിങ്കുകൾ ഉൾപ്പെടുന്നു. വ്യക്തിഗത ഫംഗ്‌ഷനുകളുടെയോ രീതികളുടെയോ പൂർണ്ണമായ ഉറവിട വാചകം കോഡ് ഉൾക്കൊള്ളുന്നു, കൂടാതെ ഫംഗ്‌ഷൻ നടത്തുന്ന പ്രവർത്തനങ്ങളെ കമന്റ് വിവരിക്കുന്നു (വിശദമായ ഡോക്യുമെന്റേഷൻ നൽകിയിരിക്കുന്നു). നിലവിൽ, പൈത്തൺ, ജാവാസ്ക്രിപ്റ്റ്, റൂബി, ഗോ, ജാവ, പിഎച്ച്പി എന്നിവയ്ക്കായി ഡാറ്റാസെറ്റുകൾ തയ്യാറാക്കിയിട്ടുണ്ട്. ഉൾപ്പെടെ വിവിധ തരം ന്യൂറൽ നെറ്റ്‌വർക്കുകളെ പരിശീലിപ്പിക്കുന്നതിന് നിർദ്ദിഷ്ട ഡാറ്റാസെറ്റുകൾ ഉപയോഗിക്കുന്നതിന്റെ ഉദാഹരണങ്ങൾ നൽകിയിരിക്കുന്നു ന്യൂറൽ-ബാഗ്-ഓഫ്-വേഡ്സ്, ആർഎൻഎൻ, സ്വയം ശ്രദ്ധ (BERT) കൂടാതെ 1D-CNN+സ്വയം ശ്രദ്ധ ഹൈബ്രിഡ്.

സ്വാഭാവിക ഭാഷാ തിരയൽ സംവിധാനങ്ങൾ വികസിപ്പിക്കുന്നതിന്, ഒരു കൂട്ടം CodeSearchNet Challenge അധികമായി തയ്യാറാക്കിയിട്ടുണ്ട്.
99 സാധാരണ ഏകദേശം 4 ദശലക്ഷം രീതികളും പ്രവർത്തനങ്ങളും ഉൾക്കൊള്ളുന്ന, CodeSearchNet കോർപ്പസ് ഡാറ്റാസെറ്റിലെ ഏറ്റവും സാധ്യതയുള്ള കോഡ് ബൈൻഡിംഗുകൾ വിവരിക്കുന്ന ഏകദേശം 6 ആയിരം വിദഗ്ദ്ധ വ്യാഖ്യാനങ്ങളുള്ള അന്വേഷണങ്ങൾ (സെറ്റ് സൈസ് ഏകദേശം 20 GB). സ്വാഭാവിക ഭാഷാ കോഡ് തിരയുന്നതിനുള്ള ചില രീതികളുടെ ഫലപ്രാപ്തി വിലയിരുത്തുന്നതിനുള്ള ഒരു മാനദണ്ഡമായി CodeSearchNet ചലഞ്ച് പ്രവർത്തിക്കും. ഉപകരണങ്ങൾ ഉപയോഗിക്കുന്നു കുബേഫ്ലോ തയ്യാറാക്കി
ഉദാഹരണം കോഡ് തിരയൽ എഞ്ചിൻ.

അവലംബം: opennet.ru