შეისწავლეთ AI ასისტენტების გავლენა, როგორიცაა GitHub Copilot კოდის უსაფრთხოებაზე

სტენფორდის უნივერსიტეტის მკვლევართა ჯგუფმა შეისწავლა ინტელექტუალური კოდირების ასისტენტების გამოყენების გავლენა კოდის დაუცველობაზე. განიხილებოდა OpenAI Codex მანქანური სწავლების პლატფორმაზე დაფუძნებული გადაწყვეტილებები, როგორიცაა GitHub Copilot, რომელიც იძლევა საკმაოდ რთული კოდის ბლოკების გენერირების საშუალებას მზა ფუნქციებამდე. შეშფოთება ის არის, რომ რადგან რეალური კოდი GitHub საჯარო საცავებიდან, მათ შორის დაუცველობის შემცველი საცავებიდან, გამოიყენება მანქანური სწავლების მოდელის მოსამზადებლად, სინთეზირებულმა კოდმა შეიძლება გაიმეოროს შეცდომები და შემოგვთავაზოს კოდი, რომელიც შეიცავს დაუცველობას და ასევე არ გაითვალისწინოს შესრულების საჭიროება. დამატებითი შემოწმება გარე მონაცემების დამუშავებისას.

კვლევაში ჩართული იყო 47 მოხალისე პროგრამირების სხვადასხვა გამოცდილებით - სტუდენტებიდან ათწლიანი გამოცდილების მქონე პროფესიონალებით დამთავრებული. მონაწილეები დაიყვნენ ორ ჯგუფად - ექსპერიმენტულ (33 ადამიანი) და საკონტროლო (14 ადამიანი). ორივე ჯგუფს ჰქონდა წვდომა ნებისმიერ ბიბლიოთეკაზე და ინტერნეტ რესურსზე, მათ შორის Stack Overflow-დან მზა მაგალითების გამოყენების შესაძლებლობა. ექსპერიმენტულ ჯგუფს მიეცა საშუალება გამოეყენებინა ხელოვნური ინტელექტის ასისტენტი.

თითოეულ მონაწილეს დაევალა 5 დავალება, რომლებიც დაკავშირებულია კოდის დაწერასთან, რომლებშიც პოტენციურად ადვილია შეცდომების დაშვება, რომლებიც მოწყვლადობას იწვევს. მაგალითად, იყო ამოცანები დაშიფვრისა და გაშიფვრის ფუნქციების ჩაწერის, ციფრული ხელმოწერების გამოყენებით, მონაცემთა დამუშავების პროცესში, რომელიც ჩართული იყო ფაილის ბილიკების ან SQL მოთხოვნების ფორმირებაში, დიდი რაოდენობით C კოდში მანიპულირება, ვებ გვერდებზე ნაჩვენები შეყვანის დამუშავება. პროგრამირების ენების გავლენის გასათვალისწინებლად AI ასისტენტების გამოყენებისას წარმოქმნილი კოდის უსაფრთხოებაზე, დავალებები მოიცავდა Python-ს, C-ს და JavaScript-ს.

შედეგად, აღმოჩნდა, რომ მონაწილეებმა, რომლებიც იყენებდნენ ინტელექტუალური AI ასისტენტს codex-davinci-002 მოდელის საფუძველზე, მოამზადეს მნიშვნელოვნად ნაკლებად უსაფრთხო კოდი, ვიდრე მონაწილეებმა, რომლებიც არ იყენებდნენ AI ასისტენტს. საერთო ჯამში, ჯგუფში მონაწილეთა მხოლოდ 67%-მა, რომელმაც გამოიყენა AI ასისტენტი, შეძლო სწორი და უსაფრთხო კოდის მიწოდება, ხოლო მეორე ჯგუფში ეს მაჩვენებელი იყო 79%.

ამავდროულად, თვითშეფასების ინდიკატორები საპირისპირო იყო - მონაწილეები, რომლებიც იყენებდნენ AI ასისტენტს, თვლიდნენ, რომ მათი კოდი უფრო უსაფრთხო იქნებოდა, ვიდრე სხვა ჯგუფის მონაწილეები. გარდა ამისა, აღინიშნა, რომ მონაწილეებმა, რომლებიც ნაკლებად ენდობოდნენ ხელოვნური ინტელექტის ასისტენტს და მეტ დროს უთმობდნენ მოცემული მოთხოვნის ანალიზს და მათში ცვლილებების შეტანას, ნაკლები დაუცველობა შეიტანეს კოდში.

მაგალითად, კრიპტოგრაფიული ბიბლიოთეკებიდან კოპირებული კოდი შეიცავდა უფრო უსაფრთხო ნაგულისხმევ პარამეტრებს, ვიდრე AI ასისტენტის მიერ შემოთავაზებული კოდი. ასევე, AI ასისტენტის გამოყენებისას, დაფიქსირდა ნაკლებად საიმედო დაშიფვრის ალგორითმის არჩევანი და დაბრუნებული მნიშვნელობების ავთენტიფიკაციის შემოწმების ნაკლებობა. C-ში რიცხვების მანიპულირებასთან დაკავშირებული დავალებისას, AI ასისტენტის გამოყენებით დაწერილ კოდში დაშვებული იყო მეტი შეცდომა, რამაც გამოიწვია მთელი რიცხვის გადინება.

გარდა ამისა, შეგვიძლია აღვნიშნოთ ნიუ-იორკის უნივერსიტეტის ჯგუფის ანალოგიური კვლევა, რომელიც ჩატარდა ნოემბერში, რომელშიც მონაწილეობდა 58 სტუდენტი, რომლებსაც სთხოვეს დაენერგათ საყიდლების სიის დამუშავების სტრუქტურა C ენაზე. შედეგებმა აჩვენა AI ასისტენტის მცირე გავლენა კოდის უსაფრთხოებაზე - მომხმარებლებმა, რომლებიც იყენებდნენ AI ასისტენტს, დაუშვეს საშუალოდ დაახლოებით 10%-ით მეტი უსაფრთხოებასთან დაკავშირებული შეცდომები.

წყარო: opennet.ru