कोड सिक्युरिटीवर GitHub Copilot सारख्या AI सहाय्यकांचा प्रभाव शोधत आहे

स्टॅनफोर्ड युनिव्हर्सिटीच्या संशोधकांच्या गटाने कोडमध्ये भेद्यता दिसण्यावर कोड लिहिताना बुद्धिमान सहाय्यक वापरण्याच्या परिणामाचा अभ्यास केला. आम्ही ओपनएआय कोडेक्स मशीन लर्निंग प्लॅटफॉर्मवर आधारित उपायांचा विचार केला आहे, जसे की GitHub Copilot, जे तुम्हाला रेडीमेड फंक्शन्सपर्यंत बर्‍यापैकी जटिल कोड ब्लॉक्स व्युत्पन्न करण्याची परवानगी देतात. चिंता या वस्तुस्थितीशी संबंधित आहेत की सार्वजनिक GitHub रिपॉझिटरीजमधील वास्तविक कोड, ज्यामध्ये असुरक्षा समाविष्ट आहेत, मशीन लर्निंग मॉडेलला प्रशिक्षण देण्यासाठी वापरण्यात आल्याने, संश्लेषित कोड त्रुटींची पुनरावृत्ती करू शकतो आणि असुरक्षा असलेला कोड सुचवू शकतो आणि विचारात घेत नाही. बाह्य डेटावर प्रक्रिया करताना अतिरिक्त तपासणी करण्याची आवश्यकता.

या अभ्यासात प्रोग्रामिंगमधील विविध अनुभव असलेल्या 47 स्वयंसेवकांचा समावेश होता - विद्यार्थ्यांपासून ते दहा वर्षांचा अनुभव असलेल्या व्यावसायिकांपर्यंत. सहभागींना दोन गटांमध्ये विभागले गेले - प्रायोगिक (33 लोक) आणि नियंत्रण (14 लोक). स्टॅक ओव्हरफ्लोमधील तयार उदाहरणे वापरण्यासह दोन्ही गटांना कोणत्याही लायब्ररी आणि इंटरनेट संसाधनांमध्ये प्रवेश होता. प्रायोगिक गटाला एआय सहाय्यक वापरण्याची संधी देण्यात आली.

प्रत्येक सहभागीला कोड लिहिण्याशी संबंधित 5 कार्ये देण्यात आली होती ज्यामध्ये असुरक्षा निर्माण करणाऱ्या चुका करणे संभाव्यतः सोपे आहे. उदाहरणार्थ, एनक्रिप्शन आणि डिक्रिप्शन फंक्शन्स लिहिणे, डिजिटल स्वाक्षरी वापरणे, फाइल पथ किंवा SQL क्वेरी तयार करण्यात गुंतलेल्या डेटावर प्रक्रिया करणे, C कोडमध्ये मोठ्या संख्येने फेरफार करणे, वेब पृष्ठांमध्ये प्रदर्शित इनपुटवर प्रक्रिया करणे अशी कार्ये होती. एआय सहाय्यक वापरताना प्राप्त केलेल्या कोडच्या सुरक्षिततेवर प्रोग्रामिंग भाषांचा प्रभाव विचारात घेण्यासाठी, असाइनमेंटमध्ये पायथन, सी आणि जावास्क्रिप्ट समाविष्ट आहेत.

परिणामी, असे आढळून आले की कोडेक्स-डेव्हिन्सी-002 मॉडेलवर आधारित बुद्धिमान AI सहाय्यक वापरणाऱ्या सहभागींनी AI सहाय्यक वापरत नसलेल्या सहभागींच्या तुलनेत लक्षणीयरीत्या कमी सुरक्षित कोड तयार केला. सर्वसाधारणपणे, एआय सहाय्यक वापरणाऱ्या गटातील केवळ 67% सहभागी योग्य आणि सुरक्षित कोड प्रदान करण्यास सक्षम होते, तर इतर गटात ही संख्या 79% होती.

त्याच वेळी, आत्म-सन्मान निर्देशक उलट केले गेले - ज्या सहभागींनी एआय सहाय्यक वापरला त्यांचा असा विश्वास होता की त्यांचा कोड इतर गटातील सहभागींपेक्षा अधिक सुरक्षित असेल. याव्यतिरिक्त, हे लक्षात आले की ज्या सहभागींनी AI सहाय्यकावर कमी विश्वास ठेवला आणि दिलेल्या सूचनांमध्ये बदल करण्यात आणि विश्लेषण करण्यात अधिक वेळ घालवला त्यांनी कोडमध्ये कमी भेद्यता निर्माण केली.

उदाहरणार्थ, क्रिप्टोग्राफिक लायब्ररीमधून कॉपी केलेल्या कोडमध्ये एआय असिस्टंटने सुचवलेल्या कोडपेक्षा अधिक सुरक्षित डीफॉल्ट पॅरामीटर मूल्ये आहेत. तसेच, एआय सहाय्यक वापरताना, कमी विश्वसनीय एन्क्रिप्शन अल्गोरिदमची निवड आणि परत केलेल्या मूल्यांच्या प्रमाणीकरणाची अनुपस्थिती निश्चित केली गेली. सी नंबर मॅनिपुलेशन टास्कमध्ये, एआय असिस्टंट वापरून लिहिलेल्या कोडमध्ये अधिक त्रुटी होत्या परिणामी पूर्णांक ओव्हरफ्लो झाला.

या व्यतिरिक्त, न्यूयॉर्क विद्यापीठाच्या एका गटाने नोव्हेंबरमध्ये 58 विद्यार्थ्यांच्या सहभागासह केलेल्या तत्सम अभ्यासाची नोंद घेतली जाऊ शकते, ज्यांना C मध्ये खरेदी सूचीवर प्रक्रिया करण्यासाठी एक रचना लागू करण्यास सांगितले होते. परिणामांनी कोड सुरक्षिततेवर AI सहाय्यकाचा नगण्य प्रभाव दर्शविला - ज्या वापरकर्त्यांनी AI सहाय्यक वापरला, त्यांनी सरासरी, सुमारे 10% अधिक सुरक्षा-संबंधित त्रुटी केल्या.

स्त्रोत: opennet.ru