Стэнфорд университетінің зерттеушілер тобы интеллектуалды кодтау көмекшілерін пайдаланудың кодтағы осалдықтардың пайда болуына әсерін зерттеді. OpenAI Codex машиналық оқыту платформасына негізделген шешімдер, мысалы, дайын функцияларға дейін күрделі код блоктарын генерациялауға мүмкіндік беретін GitHub Copilot сияқты шешімдер қарастырылды. Мәселе мынада, жалпы GitHub репозиторийлерінің нақты коды, соның ішінде осалдықтары бар репозиторийлер, машиналық оқыту үлгісін үйрету үшін пайдаланылатындықтан, синтезделген код қателерді қайталауы және осалдықтары бар кодты ұсынуы мүмкін, сонымен қатар орындау қажеттілігін ескермейді. сыртқы деректерді өңдеу кезінде қосымша тексерулер.
Зерттеуге бағдарламалауда әртүрлі тәжірибесі бар 47 волонтер тартылды - студенттерден бастап он жылдық тәжірибесі бар мамандарға дейін. Қатысушылар екі топқа бөлінді – эксперименттік (33 адам) және бақылау (14 адам). Екі топтың кез келген кітапханаларға және Интернет ресурстарына, соның ішінде Stack Overflow дайын мысалдарын пайдалану мүмкіндігіне қол жеткізу мүмкіндігі болды. Эксперименттік топқа AI көмекшісін пайдалану мүмкіндігі берілді.
Әрбір қатысушыға кодты жазуға қатысты 5 тапсырма берілді, онда осалдықтарға әкелетін қателіктер жіберу оңай. Мысалы, шифрлау және шифрды шешу функцияларын жазу, цифрлық қолтаңбаны қолдану, файл жолдарын немесе SQL сұраныстарын қалыптастыруға қатысатын деректерді өңдеу, С кодында үлкен сандармен манипуляциялау, веб-беттерде көрсетілген енгізуді өңдеу тапсырмалары болды. Бағдарламалау тілдерінің AI көмекшілерін пайдалану кезінде шығарылатын кодтың қауіпсіздігіне әсерін қарастыру үшін тапсырмалар Python, C және JavaScript-ті қамтыды.
Нәтижесінде codex-davinci-002 үлгісіне негізделген интеллектуалды AI көмекшісін пайдаланған қатысушылар AI көмекшісін пайдаланбаған қатысушыларға қарағанда қауіпсіз кодты әлдеқайда аз дайындағаны анықталды. Жалпы, AI көмекшісін пайдаланған топтағы қатысушылардың тек 67% дұрыс және қауіпсіз код бере алды, ал басқа топта бұл көрсеткіш 79% болды.
Сонымен қатар, өзін-өзі бағалау көрсеткіштері керісінше болды - AI көмекшісін пайдаланған қатысушылар олардың коды басқа топтағы қатысушыларға қарағанда қауіпсіз болады деп сенді. Сонымен қатар, AI көмекшісіне аз сенетін және берілген нұсқауларды талдауға және оларға өзгерістер енгізуге көп уақыт жұмсаған қатысушылар кодта осалдықтарды азайтқаны атап өтілді.
Мысалы, криптографиялық кітапханалардан көшірілген код AI көмекшісі ұсынған кодқа қарағанда қауіпсіз әдепкі параметр мәндерін қамтыды. Сондай-ақ, AI көмекшісін пайдаланған кезде шифрлаудың сенімді емес алгоритмдерін таңдау және қайтарылған мәндердің аутентификациялық тексерулерінің жоқтығы тіркелді. C тілінде сандарды өңдеуге қатысты тапсырмада AI көмекшісі арқылы жазылған кодта көбірек қателер жіберілді, бұл бүтін сандардың толып кетуіне әкелді.
Сонымен қатар, Нью-Йорк университетінің бір тобының қараша айында жүргізген ұқсас зерттеуін атап өтуге болады, оған Си тілінде сатып алулар тізімін өңдеу құрылымын енгізу сұралған 58 студент қатысты. Нәтижелер AI көмекшісінің код қауіпсіздігіне аз әсер еткенін көрсетті - AI көмекшісін пайдаланған пайдаланушылар орта есеппен қауіпсіздікке қатысты қателерді шамамен 10% көп жіберді.
Ақпарат көзі: opennet.ru