Stenford Universitetindən bir qrup tədqiqatçı kod yazarkən ağıllı köməkçilərdən istifadənin koddakı boşluqların görünüşünə təsirini öyrənib. Hazır funksiyalara qədər kifayət qədər mürəkkəb kod blokları yaratmağa imkan verən GitHub Copilot kimi OpenAI Codex maşın öyrənmə platformasına əsaslanan həlləri nəzərdən keçirdik. Narahatlıqlar onunla bağlıdır ki, ictimai GitHub repozitoriyalarından, o cümlədən zəiflikləri ehtiva edənlər də daxil olmaqla, maşın öyrənmə modelini öyrətmək üçün istifadə edildiyi üçün sintez edilmiş kod səhvləri təkrarlaya və zəiflikləri ehtiva edən kodu təklif edə bilər və həmçinin nəzərə alınmır. xarici məlumatları emal edərkən əlavə yoxlamaların aparılması ehtiyacı.
Tədqiqatda proqramlaşdırma sahəsində müxtəlif təcrübəyə malik 47 könüllü iştirak etdi - tələbələrdən tutmuş on illik təcrübəyə malik mütəxəssislərə qədər. İştirakçılar iki qrupa bölündülər - eksperimental (33 nəfər) və nəzarət (14 nəfər). Hər iki qrup Stack Overflow-dan hazır nümunələrdən istifadə etməklə istənilən kitabxanaya və internet resurslarına çıxış əldə etdi. Eksperimental qrupa AI köməkçisindən istifadə etmək imkanı verildi.
Hər bir iştirakçıya kodun yazılması ilə bağlı 5 tapşırıq verildi ki, burada zəifliklərə səbəb olan səhvlər etmək potensial olaraq asandır. Məsələn, şifrələmə və deşifrə funksiyalarının yazılması, rəqəmsal imzalardan istifadə, fayl yollarının və ya SQL sorğularının formalaşmasında iştirak edən məlumatların emalı, C kodunda böyük rəqəmlərin manipulyasiyası, veb-səhifələrdə göstərilən daxiletmənin işlənməsi üzrə tapşırıqlar var idi. Proqramlaşdırma dillərinin AI köməkçilərindən istifadə edərkən əldə edilən kodun təhlükəsizliyinə təsirini nəzərə almaq üçün tapşırıqlar Python, C və JavaScript-i əhatə etdi.
Nəticədə məlum olub ki, codex-davinci-002 modeli əsasında ağıllı süni intellekt köməkçisindən istifadə edən iştirakçılar süni intellekt köməkçisindən istifadə etməyən iştirakçılarla müqayisədə əhəmiyyətli dərəcədə daha az təhlükəsiz kod istehsal ediblər. Ümumilikdə, AI köməkçisindən istifadə edən qrup iştirakçılarının yalnız 67%-i düzgün və təhlükəsiz kod təqdim edə bildiyi halda, digər qrupda bu rəqəm 79% təşkil edib.
Eyni zamanda, özünə hörmət göstəriciləri tərsinə çevrildi - AI köməkçisindən istifadə edən iştirakçılar, kodlarının digər qrup iştirakçılarından daha təhlükəsiz olacağına inanırdılar. Bundan əlavə, AI köməkçisinə daha az güvənən və verilən göstərişləri təhlil etmək və dəyişikliklər etmək üçün daha çox vaxt sərf edən iştirakçıların kodda daha az boşluq yaratdığı qeyd edildi.
Məsələn, kriptoqrafik kitabxanalardan kopyalanan kod, AI köməkçisi tərəfindən təklif olunan koddan daha etibarlı standart parametr dəyərlərini ehtiva edir. Həmçinin, AI köməkçisindən istifadə edərkən, daha az etibarlı şifrələmə alqoritmlərinin seçimi və qaytarılmış dəyərlərin autentifikasiyasının olmaması müəyyən edilmişdir. C rəqəminin manipulyasiya tapşırığında AI köməkçisindən istifadə edərək yazılan kodda daha çox səhv var və nəticədə tam ədədlərin daşması ilə nəticələnir.
Bundan əlavə, C dilində alış-veriş siyahısının işlənməsi üçün strukturun tətbiqi tələb olunan 58 tələbənin iştirakı ilə noyabr ayında Nyu-York Universitetindən bir qrup tərəfindən aparılan oxşar tədqiqatı qeyd etmək olar. Nəticələr AI köməkçisinin kod təhlükəsizliyinə cüzi təsirini göstərdi - AI köməkçisindən istifadə edən istifadəçilər, orta hesabla, təhlükəsizliklə bağlı təxminən 10% daha çox səhv etdilər.
Mənbə: opennet.ru