कोड सुरक्षा पर गिटहब कोपिलॉट जैसे एआई सहायकों के प्रभाव की खोज

स्टैनफोर्ड यूनिवर्सिटी के शोधकर्ताओं के एक समूह ने कोड में कमजोरियों की उपस्थिति पर कोड लिखते समय बुद्धिमान सहायकों का उपयोग करने के प्रभाव का अध्ययन किया। हमने OpenAI कोडेक्स मशीन लर्निंग प्लेटफॉर्म पर आधारित समाधानों पर विचार किया, जैसे कि GitHub Copilot, जो आपको रेडी-मेड फ़ंक्शंस तक काफी जटिल कोड ब्लॉक उत्पन्न करने की अनुमति देता है। चिंताएं इस तथ्य से संबंधित हैं कि चूंकि सार्वजनिक गिटहब रिपॉजिटरी से वास्तविक कोड, जिसमें कमजोरियां शामिल हैं, का उपयोग मशीन लर्निंग मॉडल को प्रशिक्षित करने के लिए किया गया था, संश्लेषित कोड त्रुटियों को दोहरा सकता है और कमजोरियों वाले कोड का सुझाव दे सकता है, और यह भी ध्यान में नहीं रखता है बाह्य डेटा संसाधित करते समय अतिरिक्त जांच करने की आवश्यकता।

अध्ययन में प्रोग्रामिंग में अलग-अलग अनुभव वाले 47 स्वयंसेवकों को शामिल किया गया - छात्रों से लेकर दस साल के अनुभव वाले पेशेवरों तक। प्रतिभागियों को दो समूहों में बांटा गया - प्रयोगात्मक (33 लोग) और नियंत्रण (14 लोग)। स्टैक ओवरफ्लो से तैयार उदाहरणों का उपयोग करने सहित दोनों समूहों के पास किसी भी पुस्तकालय और इंटरनेट संसाधनों तक पहुंच थी। प्रायोगिक समूह को एआई सहायक का उपयोग करने का अवसर दिया गया।

प्रत्येक प्रतिभागी को कोड लिखने से संबंधित 5 कार्य दिए गए थे जिसमें संभावित रूप से ऐसी गलतियाँ करना आसान होता है जो भेद्यता का कारण बनती हैं। उदाहरण के लिए, एन्क्रिप्शन और डिक्रिप्शन फ़ंक्शंस लिखने, डिजिटल हस्ताक्षर का उपयोग करने, फ़ाइल पथ या SQL प्रश्नों के निर्माण में शामिल डेटा को संसाधित करने, C कोड में बड़ी संख्या में हेरफेर करने, वेब पेजों में प्रदर्शित इनपुट को संसाधित करने के कार्य थे। एआई सहायकों का उपयोग करते समय प्राप्त कोड की सुरक्षा पर प्रोग्रामिंग भाषाओं के प्रभाव पर विचार करने के लिए, असाइनमेंट में पायथन, सी और जावास्क्रिप्ट शामिल हैं।

परिणामस्वरूप, यह पाया गया कि कोडेक्स-डेविंसी-002 मॉडल पर आधारित एक बुद्धिमान एआई सहायक का उपयोग करने वाले प्रतिभागियों ने एआई सहायक का उपयोग नहीं करने वाले प्रतिभागियों की तुलना में काफी कम सुरक्षित कोड का उत्पादन किया। सामान्य तौर पर, AI सहायक का उपयोग करने वाले समूह में केवल 67% प्रतिभागी ही सही और सुरक्षित कोड प्रदान करने में सक्षम थे, जबकि दूसरे समूह में यह आंकड़ा 79% था।

उसी समय, आत्म-सम्मान संकेतक उलट गए - एआई सहायक का उपयोग करने वाले प्रतिभागियों का मानना ​​​​था कि उनका कोड दूसरे समूह के प्रतिभागियों की तुलना में अधिक सुरक्षित होगा। इसके अलावा, यह नोट किया गया कि जिन प्रतिभागियों ने एआई सहायक पर कम भरोसा किया और दिए गए संकेतों को पार्स करने और परिवर्तन करने में अधिक समय बिताया, उन्होंने कोड में कम कमजोरियां कीं।

उदाहरण के लिए, क्रिप्टोग्राफ़िक पुस्तकालयों से कॉपी किए गए कोड में एआई सहायक द्वारा सुझाए गए कोड की तुलना में अधिक सुरक्षित डिफ़ॉल्ट पैरामीटर मान होते हैं। साथ ही, एआई सहायक का उपयोग करते समय, कम विश्वसनीय एन्क्रिप्शन एल्गोरिदम का विकल्प और लौटाए गए मानों के प्रमाणीकरण की अनुपस्थिति को ठीक किया गया। सी संख्या हेरफेर कार्य में, एआई सहायक का उपयोग करके लिखे गए कोड में अधिक त्रुटियां थीं, जिसके परिणामस्वरूप पूर्णांक अतिप्रवाह हुआ।

इसके अलावा, न्यूयॉर्क विश्वविद्यालय के एक समूह द्वारा नवंबर में किए गए एक समान अध्ययन में 58 छात्रों को शामिल किया गया था, जिन्हें सी में खरीदारी की सूची को संसाधित करने के लिए एक संरचना को लागू करने के लिए कहा गया था। परिणामों ने कोड सुरक्षा पर एआई सहायक का एक नगण्य प्रभाव दिखाया - एआई सहायक का उपयोग करने वाले उपयोगकर्ताओं ने औसतन लगभग 10% अधिक सुरक्षा संबंधी त्रुटियां कीं।

स्रोत: opennet.ru