ਕੋਡ ਸੁਰੱਖਿਆ 'ਤੇ GitHub Copilot ਵਰਗੇ AI ਸਹਾਇਕਾਂ ਦੇ ਪ੍ਰਭਾਵ ਦੀ ਪੜਚੋਲ ਕਰਨਾ

ਸਟੈਨਫੋਰਡ ਯੂਨੀਵਰਸਿਟੀ ਦੇ ਖੋਜਕਰਤਾਵਾਂ ਦੀ ਇੱਕ ਟੀਮ ਨੇ ਕੋਡ ਵਿੱਚ ਕਮਜ਼ੋਰੀਆਂ ਦੀ ਦਿੱਖ 'ਤੇ ਬੁੱਧੀਮਾਨ ਕੋਡਿੰਗ ਸਹਾਇਕ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੇ ਪ੍ਰਭਾਵ ਦਾ ਅਧਿਐਨ ਕੀਤਾ। ਓਪਨਏਆਈ ਕੋਡੈਕਸ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਪਲੇਟਫਾਰਮ 'ਤੇ ਅਧਾਰਤ ਹੱਲਾਂ 'ਤੇ ਵਿਚਾਰ ਕੀਤਾ ਗਿਆ ਸੀ, ਜਿਵੇਂ ਕਿ ਗਿੱਟਹਬ ਕੋਪਾਇਲਟ, ਜੋ ਕਿ ਤਿਆਰ-ਕੀਤੇ ਫੰਕਸ਼ਨਾਂ ਤੱਕ ਕਾਫ਼ੀ ਗੁੰਝਲਦਾਰ ਕੋਡ ਬਲਾਕਾਂ ਦੇ ਨਿਰਮਾਣ ਦੀ ਆਗਿਆ ਦਿੰਦੇ ਹਨ। ਚਿੰਤਾ ਇਹ ਹੈ ਕਿ ਕਿਉਂਕਿ ਜਨਤਕ GitHub ਰਿਪੋਜ਼ਟਰੀਆਂ ਤੋਂ ਅਸਲ ਕੋਡ, ਜਿਸ ਵਿੱਚ ਕਮਜ਼ੋਰੀਆਂ ਸ਼ਾਮਲ ਹਨ, ਦੀ ਵਰਤੋਂ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਸੰਸ਼ਲੇਸ਼ਿਤ ਕੋਡ ਗਲਤੀਆਂ ਨੂੰ ਦੁਹਰਾ ਸਕਦਾ ਹੈ ਅਤੇ ਕੋਡ ਦਾ ਸੁਝਾਅ ਦੇ ਸਕਦਾ ਹੈ ਜਿਸ ਵਿੱਚ ਕਮਜ਼ੋਰੀਆਂ ਸ਼ਾਮਲ ਹਨ, ਅਤੇ ਪ੍ਰਦਰਸ਼ਨ ਕਰਨ ਦੀ ਜ਼ਰੂਰਤ ਨੂੰ ਵੀ ਧਿਆਨ ਵਿੱਚ ਨਹੀਂ ਰੱਖਦਾ। ਬਾਹਰੀ ਡੇਟਾ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਦੇ ਸਮੇਂ ਵਾਧੂ ਜਾਂਚਾਂ।

ਪ੍ਰੋਗਰਾਮਿੰਗ ਵਿੱਚ ਵੱਖੋ-ਵੱਖਰੇ ਤਜ਼ਰਬੇ ਵਾਲੇ 47 ਵਾਲੰਟੀਅਰ ਅਧਿਐਨ ਵਿੱਚ ਸ਼ਾਮਲ ਸਨ - ਵਿਦਿਆਰਥੀਆਂ ਤੋਂ ਲੈ ਕੇ ਪੇਸ਼ੇਵਰਾਂ ਤੱਕ ਦਸ ਸਾਲਾਂ ਦਾ ਤਜਰਬਾ। ਭਾਗੀਦਾਰਾਂ ਨੂੰ ਦੋ ਸਮੂਹਾਂ ਵਿੱਚ ਵੰਡਿਆ ਗਿਆ ਸੀ - ਪ੍ਰਯੋਗਾਤਮਕ (33 ਲੋਕ) ਅਤੇ ਨਿਯੰਤਰਣ (14 ਲੋਕ)। ਦੋਵਾਂ ਸਮੂਹਾਂ ਕੋਲ ਸਟੈਕ ਓਵਰਫਲੋ ਤੋਂ ਤਿਆਰ-ਬਣਾਈਆਂ ਉਦਾਹਰਣਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਯੋਗਤਾ ਸਮੇਤ ਕਿਸੇ ਵੀ ਲਾਇਬ੍ਰੇਰੀਆਂ ਅਤੇ ਇੰਟਰਨੈਟ ਸਰੋਤਾਂ ਤੱਕ ਪਹੁੰਚ ਸੀ। ਪ੍ਰਯੋਗਾਤਮਕ ਸਮੂਹ ਨੂੰ ਇੱਕ AI ਸਹਾਇਕ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦਾ ਮੌਕਾ ਦਿੱਤਾ ਗਿਆ ਸੀ।

ਹਰੇਕ ਭਾਗੀਦਾਰ ਨੂੰ ਕੋਡ ਲਿਖਣ ਨਾਲ ਸਬੰਧਤ 5 ਕੰਮ ਦਿੱਤੇ ਗਏ ਸਨ ਜਿਸ ਵਿੱਚ ਗਲਤੀਆਂ ਕਰਨਾ ਸੰਭਾਵੀ ਤੌਰ 'ਤੇ ਆਸਾਨ ਹੈ ਜੋ ਕਮਜ਼ੋਰੀਆਂ ਵੱਲ ਲੈ ਜਾਂਦਾ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਏਨਕ੍ਰਿਪਸ਼ਨ ਅਤੇ ਡੀਕ੍ਰਿਪਸ਼ਨ ਫੰਕਸ਼ਨਾਂ ਨੂੰ ਲਿਖਣਾ, ਡਿਜੀਟਲ ਹਸਤਾਖਰਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨਾ, ਫਾਈਲ ਮਾਰਗਾਂ ਜਾਂ SQL ਸਵਾਲਾਂ ਦੇ ਗਠਨ ਵਿੱਚ ਸ਼ਾਮਲ ਡੇਟਾ ਨੂੰ ਪ੍ਰੋਸੈਸ ਕਰਨਾ, ਸੀ ਕੋਡ ਵਿੱਚ ਵੱਡੀ ਗਿਣਤੀ ਵਿੱਚ ਹੇਰਾਫੇਰੀ ਕਰਨਾ, ਵੈਬ ਪੇਜਾਂ ਵਿੱਚ ਪ੍ਰਦਰਸ਼ਿਤ ਇਨਪੁਟ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਨਾ ਸ਼ਾਮਲ ਸਨ। AI ਸਹਾਇਕ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਸਮੇਂ ਤਿਆਰ ਕੀਤੇ ਕੋਡ ਦੀ ਸੁਰੱਖਿਆ 'ਤੇ ਪ੍ਰੋਗਰਾਮਿੰਗ ਭਾਸ਼ਾਵਾਂ ਦੇ ਪ੍ਰਭਾਵ ਨੂੰ ਵਿਚਾਰਨ ਲਈ, ਅਸਾਈਨਮੈਂਟ ਪਾਈਥਨ, C, ਅਤੇ JavaScript ਨੂੰ ਕਵਰ ਕਰਦੇ ਹਨ।

ਨਤੀਜੇ ਵਜੋਂ, ਇਹ ਪਾਇਆ ਗਿਆ ਕਿ ਕੋਡੈਕਸ-ਡੇਵਿੰਸੀ-002 ਮਾਡਲ ਦੇ ਅਧਾਰ 'ਤੇ ਇੱਕ ਬੁੱਧੀਮਾਨ AI ਸਹਾਇਕ ਦੀ ਵਰਤੋਂ ਕਰਨ ਵਾਲੇ ਭਾਗੀਦਾਰਾਂ ਨੇ ਇੱਕ AI ਸਹਾਇਕ ਦੀ ਵਰਤੋਂ ਨਾ ਕਰਨ ਵਾਲੇ ਭਾਗੀਦਾਰਾਂ ਨਾਲੋਂ ਕਾਫ਼ੀ ਘੱਟ ਸੁਰੱਖਿਅਤ ਕੋਡ ਤਿਆਰ ਕੀਤਾ। ਕੁੱਲ ਮਿਲਾ ਕੇ, ਏਆਈ ਸਹਾਇਕ ਦੀ ਵਰਤੋਂ ਕਰਨ ਵਾਲੇ ਸਮੂਹ ਵਿੱਚ ਸਿਰਫ 67% ਭਾਗੀਦਾਰ ਹੀ ਸਹੀ ਅਤੇ ਸੁਰੱਖਿਅਤ ਕੋਡ ਪ੍ਰਦਾਨ ਕਰਨ ਦੇ ਯੋਗ ਸਨ, ਜਦੋਂ ਕਿ ਦੂਜੇ ਸਮੂਹ ਵਿੱਚ ਇਹ ਅੰਕੜਾ 79% ਸੀ।

ਇਸ ਦੇ ਨਾਲ ਹੀ, ਸਵੈ-ਮਾਣ ਦੇ ਸੂਚਕ ਉਲਟ ਸਨ - ਭਾਗੀਦਾਰ ਜਿਨ੍ਹਾਂ ਨੇ ਏਆਈ ਸਹਾਇਕ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਸੀ ਉਹਨਾਂ ਦਾ ਮੰਨਣਾ ਸੀ ਕਿ ਉਹਨਾਂ ਦਾ ਕੋਡ ਦੂਜੇ ਸਮੂਹ ਦੇ ਭਾਗੀਦਾਰਾਂ ਨਾਲੋਂ ਵਧੇਰੇ ਸੁਰੱਖਿਅਤ ਹੋਵੇਗਾ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਇਹ ਨੋਟ ਕੀਤਾ ਗਿਆ ਸੀ ਕਿ ਜਿਨ੍ਹਾਂ ਭਾਗੀਦਾਰਾਂ ਨੇ AI ਸਹਾਇਕ 'ਤੇ ਘੱਟ ਭਰੋਸਾ ਕੀਤਾ ਅਤੇ ਦਿੱਤੇ ਗਏ ਪ੍ਰੋਂਪਟਾਂ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਅਤੇ ਉਹਨਾਂ ਵਿੱਚ ਤਬਦੀਲੀਆਂ ਕਰਨ ਵਿੱਚ ਵਧੇਰੇ ਸਮਾਂ ਬਿਤਾਇਆ, ਉਹਨਾਂ ਨੇ ਕੋਡ ਵਿੱਚ ਘੱਟ ਕਮਜ਼ੋਰੀਆਂ ਕੀਤੀਆਂ।

ਉਦਾਹਰਨ ਲਈ, ਕ੍ਰਿਪਟੋਗ੍ਰਾਫਿਕ ਲਾਇਬ੍ਰੇਰੀਆਂ ਤੋਂ ਕਾਪੀ ਕੀਤੇ ਕੋਡ ਵਿੱਚ AI ਸਹਾਇਕ ਦੁਆਰਾ ਸੁਝਾਏ ਗਏ ਕੋਡ ਨਾਲੋਂ ਵਧੇਰੇ ਸੁਰੱਖਿਅਤ ਡਿਫੌਲਟ ਪੈਰਾਮੀਟਰ ਮੁੱਲ ਹੁੰਦੇ ਹਨ। ਨਾਲ ਹੀ, AI ਸਹਾਇਕ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਸਮੇਂ, ਘੱਟ ਭਰੋਸੇਮੰਦ ਐਨਕ੍ਰਿਪਸ਼ਨ ਐਲਗੋਰਿਦਮ ਦੀ ਚੋਣ ਅਤੇ ਵਾਪਸ ਕੀਤੇ ਮੁੱਲਾਂ ਦੀ ਪ੍ਰਮਾਣਿਕਤਾ ਜਾਂਚਾਂ ਦੀ ਘਾਟ ਨੂੰ ਰਿਕਾਰਡ ਕੀਤਾ ਗਿਆ ਸੀ। C ਵਿੱਚ ਨੰਬਰ ਦੀ ਹੇਰਾਫੇਰੀ ਨੂੰ ਸ਼ਾਮਲ ਕਰਨ ਵਾਲੇ ਇੱਕ ਕੰਮ ਵਿੱਚ, AI ਸਹਾਇਕ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਲਿਖੇ ਗਏ ਕੋਡ ਵਿੱਚ ਵਧੇਰੇ ਤਰੁੱਟੀਆਂ ਕੀਤੀਆਂ ਗਈਆਂ ਸਨ, ਜਿਸ ਨਾਲ ਪੂਰਨ ਅੰਕ ਓਵਰਫਲੋ ਹੋ ਗਿਆ ਸੀ।

ਇਸ ਤੋਂ ਇਲਾਵਾ, ਅਸੀਂ ਨਵੰਬਰ ਵਿੱਚ ਕਰਵਾਏ ਗਏ ਨਿਊਯਾਰਕ ਯੂਨੀਵਰਸਿਟੀ ਦੇ ਇੱਕ ਸਮੂਹ ਦੁਆਰਾ ਇੱਕ ਸਮਾਨ ਅਧਿਐਨ ਨੂੰ ਨੋਟ ਕਰ ਸਕਦੇ ਹਾਂ, ਜਿਸ ਵਿੱਚ 58 ਵਿਦਿਆਰਥੀ ਸ਼ਾਮਲ ਸਨ ਜਿਨ੍ਹਾਂ ਨੂੰ ਸੀ ਭਾਸ਼ਾ ਵਿੱਚ ਖਰੀਦਦਾਰੀ ਸੂਚੀ ਦੀ ਪ੍ਰਕਿਰਿਆ ਲਈ ਇੱਕ ਢਾਂਚਾ ਲਾਗੂ ਕਰਨ ਲਈ ਕਿਹਾ ਗਿਆ ਸੀ। ਨਤੀਜਿਆਂ ਨੇ ਕੋਡ ਸੁਰੱਖਿਆ 'ਤੇ AI ਸਹਾਇਕ ਦਾ ਬਹੁਤ ਘੱਟ ਪ੍ਰਭਾਵ ਦਿਖਾਇਆ-ਉਪਭੋਗਤਾ ਜਿਨ੍ਹਾਂ ਨੇ AI ਸਹਾਇਕ ਦੀ ਵਰਤੋਂ ਕੀਤੀ, ਔਸਤਨ, ਲਗਭਗ 10% ਸੁਰੱਖਿਆ-ਸੰਬੰਧੀ ਗਲਤੀਆਂ ਕੀਤੀਆਂ।

ਸਰੋਤ: opennet.ru