Rinn sgioba de luchd-rannsachaidh bho Oilthigh Stanford sgrùdadh air a’ bhuaidh a bhiodh aig cleachdadh luchd-cuideachaidh còdaidh tuigseach air coltas so-leòntachd ann an còd. Chaidh beachdachadh air fuasglaidhean stèidhichte air àrd-ùrlar ionnsachaidh inneal OpenAI Codex, leithid GitHub Copilot, a leigeas le bhith a’ gineadh blocaichean còd gu math iom-fhillte, suas ri gnìomhan deiseil. Is e an dragh a th ’ann, leis gu bheil fìor chòd bho stòran poblach GitHub, a’ toirt a-steach an fheadhainn anns a bheil so-leòntachd, air a chleachdadh gus modal ionnsachaidh inneal a thrèanadh, faodaidh an còd synthesized mearachdan ath-aithris agus còd a mholadh anns a bheil so-leòntachd, agus cuideachd nach eil a ’toirt aire don fheum air coileanadh. sgrùdaidhean a bharrachd nuair a thathar a’ giullachd dàta bhon taobh a-muigh.
Bha 47 saor-thoileach le eòlas eadar-dhealaichte air prògraman an sàs san sgrùdadh - bho oileanaich gu proifeiseantaich le deich bliadhna de eòlas. Chaidh na com-pàirtichean a roinn ann an dà bhuidheann - deuchainneach (33 neach) agus smachd (14 neach). Bha cothrom aig an dà bhuidheann air leabharlannan agus goireasan eadar-lìn sam bith, a’ gabhail a-steach comas eisimpleirean deiseil bho Stack Overflow a chleachdadh. Chaidh cothrom a thoirt don bhuidheann deuchainneach neach-cuideachaidh AI a chleachdadh.
Fhuair gach com-pàirtiche gnìomhan 5 co-cheangailte ri sgrìobhadh còd anns am biodh e comasach mearachdan a dhèanamh a dh’ adhbhraicheas so-leòntachd. Mar eisimpleir, bha gnìomhan ann mu bhith a’ sgrìobhadh gnìomhan crioptachaidh is dì-chrioptachaidh, a’ cleachdadh ainmean-sgrìobhte didseatach, a’ giullachd dàta an lùib cruthachadh shlighean faidhle no ceistean SQL, a’ làimhseachadh àireamhan mòra ann an còd C, a’ giullachd in-chur air a thaisbeanadh air duilleagan lìn. Gus beachdachadh air buaidh chànanan prògramaidh air tèarainteachd còd a chaidh a thoirt a-mach nuair a bhios tu a’ cleachdadh luchd-cuideachaidh AI, bha na sònrachaidhean a’ còmhdach Python, C, agus JavaScript.
Mar thoradh air an sin, chaidh a lorg gun do dh'ullaich com-pàirtichean a chleachd neach-cuideachaidh AI tuigseach stèidhichte air a 'mhodail codex-davinci-002 còd mòran nas tèarainte na com-pàirtichean nach do chleachd neach-cuideachaidh AI. Uile gu lèir, cha robh ach 67% de chom-pàirtichean sa bhuidheann a chleachd an neach-cuideachaidh AI comasach air còd ceart is tèarainte a thoirt seachad, agus anns a’ bhuidheann eile bha am figear seo aig 79%.
Aig an aon àm, bha na comharran fèin-spèis an aghaidh a chèile - bha com-pàirtichean a chleachd an neach-cuideachaidh AI den bheachd gum biodh an còd aca nas tèarainte na còd chom-pàirtichean bhon bhuidheann eile. A bharrachd air an sin, chaidh a thoirt fa-near gun robh com-pàirtichean aig an robh earbsa ann an neach-cuideachaidh AI nas lugha agus a chuir seachad barrachd ùine a’ dèanamh anailis air na molaidhean a chaidh a thoirt seachad agus a’ dèanamh atharrachaidhean orra a’ dèanamh nas lugha de chugallachd sa chòd.
Mar eisimpleir, bha luachan paramadair bunaiteach nas tèarainte ann an còd a chaidh a chopaigeadh bho leabharlannan criptografach na còd a mhol an neach-cuideachaidh AI. Cuideachd, nuair a bha iad a 'cleachdadh an neach-cuideachaidh AI, chaidh an roghainn de algorithms crioptachaidh nach robh cho earbsach agus dìth sgrùdaidhean dearbhaidh de luachan a chaidh a thilleadh a chlàradh. Ann an gnìomh a’ toirt a-steach làimhseachadh àireamhan ann an C, chaidh barrachd mhearachdan a dhèanamh sa chòd a chaidh a sgrìobhadh a’ cleachdadh an neach-cuideachaidh AI, a’ leantainn gu thar-shruth iomlan.
A bharrachd air an sin, is urrainn dhuinn sgrùdadh coltach ris a thoirt fa-near le buidheann bho Oilthigh New York, a chaidh a dhèanamh san t-Samhain, anns an robh 58 oileanach a chaidh iarraidh orra structar a chuir an gnìomh airson a bhith a’ giullachd liosta bhùthan ann an cànan C. Sheall na toraidhean nach robh mòran buaidh aig neach-cuideachaidh AI air tèarainteachd còd - rinn luchd-cleachdaidh a chleachd an neach-cuideachaidh AI, gu cuibheasach, timcheall air 10% a bharrachd mhearachdan co-cheangailte ri tèarainteachd.
Source: fosgailtenet.ru