Ua wehe ʻo GitHub i nā hanana i ka hoʻohana ʻana i ka mīkini aʻo no ka ʻimi code a me ka nānā ʻana

GitHub hoopuka o ka hana CodeSearchNet, nāna i hoʻomākaukau i nā ʻano hoʻohālike aʻo mīkini a me nā pūʻulu ʻikepili e pono ai no ka hoʻopaʻa ʻana, ka hoʻokaʻawale ʻana a me ka nānā ʻana i nā code ma nā ʻōlelo papahana like ʻole. CodeSearchNet, like me IMAGEnet, i loko o kahi hōʻiliʻili nui o nā snippet code me nā annotation e hoʻomaʻamaʻa i ka hana a ke code. Ua kākau ʻia nā ʻāpana no ka hoʻomaʻamaʻa ʻana a me nā hiʻohiʻona o ka hoʻohana ʻana i CodeSearchNet ma Python me ka hoʻohana ʻana i ka hana Tensorflow a mahele ʻia e ma lalo o ka laikini MIT.

I ka hoʻokumu ʻana i CodeSearchNet, ua hoʻohana ʻia nā ʻenehana parsing kikokikona ʻōlelo maoli, e hiki ai i nā ʻōnaehana aʻo mīkini ke noʻonoʻo i nā hiʻohiʻona syntactic wale nō, akā i ke ʻano o nā hana i hana ʻia e ke code. ʻO ka ʻōnaehana GitHub noi ʻia i nā hoʻokolohua ma ka hoʻonohonoho ʻana i ka ʻimi code semantic me ka hoʻohana ʻana i nā nīnau ma ʻōlelo kūlohelohe (no ka laʻana, ke noi ʻana i ka "kau ʻana i kahi papa inoa o nā kaula", hōʻike ʻia ke code me ka hoʻokō ʻana i nā algorithm pili).

Aia i loko o ka ʻikepili i manaʻo ʻia ma mua o 2 miliona mau loulou code-comment, i hoʻomākaukau ʻia ma muli o nā kikokikona kumu o nā hale waihona puke e kū nei. Hoʻopili ke code i ka kikokikona kumu piha o nā hana a i ʻole nā ​​​​ʻano, a wehewehe ka manaʻo i nā hana i hana ʻia e ka hana (ua hāʻawi ʻia nā palapala kikoʻī). I kēia manawa, hoʻomākaukau ʻia nā ʻikepili no Python, JavaScript, Ruby, Go, Java a me PHP. Hāʻawi ʻia nā laʻana no ka hoʻohana ʻana i nā ʻikepili i manaʻo ʻia no ka hoʻomaʻamaʻa ʻana i nā ʻano ʻano pūnaewele neural, me Neural-Bag-O-Words, RNN, Ka nānā ponoʻī (BERT) a ʻO 1D-CNN+Hōʻokoʻa Manaʻo.

No ka hoʻomohala ʻana i nā mīkini ʻimi ʻōlelo kūlohelohe, ua hoʻomākaukau hou ʻia kahi pūʻulu o CodeSearchNet Challenge, me
99 maʻamau ʻO nā nīnau me kahi 4 tausani mau hōʻike loea e wehewehe ana i nā hoʻopaʻa code ʻoi loa i ka helu CodeSearchNet Corpus, e uhi ana ma kahi o 6 miliona mau ʻano a me nā hana (nui hoʻonohonoho ma kahi o 20 GB). Hiki i ka CodeSearchNet Challenge ke lilo ma ke ʻano he hōʻailona no ka loiloi ʻana i ka pono o kekahi mau ala no ka ʻimi ʻana i nā code ʻōlelo kūlohelohe. Ke hoʻohana nei i nā mea hana KubeFlow hoʻomākaukau
hiʻohiʻona mīkini huli code.

Source: opennet.ru