Група истраживача са Универзитета Станфорд проучавала је утицај коришћења интелигентних асистената приликом писања кода на појаву рањивости у коду. Размотрили смо решења заснована на ОпенАИ Цодек платформи за машинско учење, као што је ГитХуб Цопилот, која вам омогућавају да генеришете прилично сложене блокове кода, све до готових функција. Забринутост је повезана са чињеницом да је прави код из јавних ГитХуб репозиторија, укључујући и оне које садрже рањивости, коришћен за обуку модела машинског учења, синтетизовани код може да понови грешке и предложи код који садржи рањивости, а такође не узима у обзир потреба за вршењем додатних провера приликом обраде екстерних података.
У студији је учествовало 47 волонтера са различитим искуством у програмирању – од студената до професионалаца са десетогодишњим искуством. Учесници су били подељени у две групе – експерименталну (33 особе) и контролну (14 особа). Обе групе су имале приступ свим библиотекама и Интернет ресурсима, укључујући коришћење готових примера из Стацк Оверфлов-а. Експерименталној групи је дата могућност да користи АИ асистента.
Сваки учесник је добио 5 задатака везаних за писање кода у којем је потенцијално лако направити грешке које доводе до рањивости. На пример, било је задатака писања функција шифровања и дешифровања, коришћења дигиталних потписа, обраде података укључених у формирање путања датотека или СКЛ упита, манипулације великим бројевима у Ц коду, обраде уноса приказаних на веб страницама. Да би се размотрио утицај програмских језика на безбедност кода добијеног коришћењем АИ помоћника, задаци су покривали Питхон, Ц и ЈаваСцрипт.
Као резултат тога, откривено је да су учесници који су користили интелигентног АИ асистента заснованог на моделу цодек-давинци-002 произвели знатно мање сигуран код од учесника који нису користили АИ асистента. Генерално, само 67% учесника у групи која је користила АИ асистента је било у стању да пружи тачан и сигуран код, док је у другој групи ова цифра износила 79%.
Истовремено, индикатори самопоштовања су обрнути - учесници који су користили АИ асистента веровали су да ће њихов код бити сигурнији од код учесника из друге групе. Поред тога, примећено је да су учесници који су мање веровали АИ асистенту и провели више времена у рашчлањивању и уношењу промена у дате наговештаје направили мање рањивости у коду.
На пример, код копиран из криптографских библиотека садржао је сигурније подразумеване вредности параметара од кода који је предложио АИ асистент. Такође, када се користи АИ асистент, поправљен је избор мање поузданих алгоритама за шифровање и одсуство аутентификације враћених вредности. У задатку манипулације Ц бројем, код написан помоћу АИ асистента имао је више грешака што је резултирало преливањем целог броја.
Поред тога, може се приметити слична студија групе са Универзитета у Њујорку, спроведена у новембру у којој је учествовало 58 студената, од којих је затражено да имплементирају структуру за обраду листе за куповину у Ц. Резултати су показали занемарљив утицај АИ асистента на безбедност кода - корисници који су користили АИ асистента направили су у просеку око 10% више грешака у вези са безбедношћу.
Извор: опеннет.ру