ਏਆਈ ਟੂਲਸ ਦੀ ਪ੍ਰਭਾਵਸ਼ੀਲਤਾ ਦਾ ਮੁਲਾਂਕਣ ਵਿਕਾਸ ਦੀ ਪ੍ਰਵੇਗ ਨਹੀਂ, ਸਗੋਂ ਸੁਸਤੀ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ

METR (ਮਾਡਲ ਮੁਲਾਂਕਣ ਅਤੇ ਧਮਕੀ ਖੋਜ) ਖੋਜ ਸਮੂਹ ਨੇ ਕੋਡ ਲਿਖਣ ਲਈ AI ਟੂਲਸ ਦੀ ਵਰਤੋਂ ਦੀ ਪ੍ਰਭਾਵਸ਼ੀਲਤਾ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨ ਲਈ ਇੱਕ ਪ੍ਰਯੋਗ ਦੇ ਨਤੀਜੇ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤੇ ਹਨ। ਉਮੀਦਾਂ ਦੇ ਉਲਟ, ਅਧਿਐਨ ਨੇ ਦਿਖਾਇਆ ਕਿ AI ਸਹਾਇਕ ਕਾਰਜਾਂ ਦੇ ਹੱਲ ਨੂੰ ਤੇਜ਼ ਨਹੀਂ ਕਰਦੇ, ਸਗੋਂ ਹੌਲੀ ਕਰਦੇ ਹਨ, ਇਸ ਤੱਥ ਦੇ ਬਾਵਜੂਦ ਕਿ ਪ੍ਰਯੋਗ ਵਿੱਚ ਭਾਗੀਦਾਰਾਂ ਨੇ ਵਿਅਕਤੀਗਤ ਤੌਰ 'ਤੇ ਵਿਸ਼ਵਾਸ ਕੀਤਾ ਕਿ AI ਨੇ ਉਨ੍ਹਾਂ ਦੇ ਕੰਮ ਨੂੰ ਤੇਜ਼ ਕੀਤਾ ਹੈ।

ਦਰਅਸਲ, AI ਸਹਾਇਕ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਸਮੇਂ, ਕਿਸੇ ਕੰਮ 'ਤੇ ਬਿਤਾਇਆ ਗਿਆ ਔਸਤ ਸਮਾਂ 19% ਜ਼ਿਆਦਾ ਹੁੰਦਾ ਸੀ, ਜਦੋਂ ਕਿ ਭਾਗੀਦਾਰਾਂ ਦਾ ਮੰਨਣਾ ਸੀ ਕਿ AI ਨੇ ਉਨ੍ਹਾਂ ਨੂੰ ਕੰਮ ਨੂੰ 20% ਤੇਜ਼ੀ ਨਾਲ ਪੂਰਾ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕੀਤੀ, ਅਤੇ ਕੰਮ ਸ਼ੁਰੂ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ, ਉਨ੍ਹਾਂ ਦਾ ਮੰਨਣਾ ਸੀ ਕਿ AI ਉਨ੍ਹਾਂ ਨੂੰ ਕੰਮ ਨੂੰ 24% ਤੇਜ਼ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰੇਗਾ। ਨਤੀਜੇ ਅਰਥਸ਼ਾਸਤਰ ਅਤੇ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਦੇ ਖੇਤਰ ਦੇ ਮਾਹਿਰਾਂ ਦੀਆਂ ਭਵਿੱਖਬਾਣੀਆਂ ਤੋਂ ਵੀ ਕਾਫ਼ੀ ਵੱਖਰੇ ਹਨ, ਜਿਨ੍ਹਾਂ ਨੇ AI ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਸਮੇਂ ਕ੍ਰਮਵਾਰ 39% ਅਤੇ 38% ਸਮੇਂ ਦੀ ਬੱਚਤ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕੀਤੀ ਸੀ।

ਪ੍ਰਯੋਗ ਦੌਰਾਨ, AI ਟੂਲਸ ਨਾਲ ਔਸਤ ਅਨੁਭਵ ਵਾਲੇ 16 ਓਪਨ ਸੋਰਸ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਬੱਗ ਫਿਕਸ ਕਰਨ ਅਤੇ ਨਵੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਜੋੜਨ ਨਾਲ ਸਬੰਧਤ 246 ਕਾਰਜਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ ਕਿਹਾ ਗਿਆ ਸੀ। ਇਹ ਕਾਰਜ GitHub ਰਿਪੋਜ਼ਟਰੀਆਂ ਵਿੱਚ ਅਸਲ ਮੁੱਦਿਆਂ ਦੇ ਆਧਾਰ 'ਤੇ ਤਿਆਰ ਕੀਤੇ ਗਏ ਸਨ ਜਿਨ੍ਹਾਂ ਦੇ ਨਾਲ ਚੁਣੇ ਹੋਏ ਡਿਵੈਲਪਰਾਂ ਕੋਲ ਘੱਟੋ-ਘੱਟ 5 ਸਾਲਾਂ ਦਾ ਤਜਰਬਾ ਸੀ। ਕੁਝ ਕਾਰਜਾਂ ਨੂੰ ਬੇਤਰਤੀਬੇ ਢੰਗ ਨਾਲ ਹੱਥੀਂ ਹੱਲ ਕਰਨ ਦੀ ਪੇਸ਼ਕਸ਼ ਕੀਤੀ ਗਈ ਸੀ, ਅਤੇ ਕੁਝ ਨੂੰ ਡਿਵੈਲਪਰ ਦੀ ਪਸੰਦ ਦੇ ਕਿਸੇ ਵੀ AI ਸਹਾਇਕ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਹੱਲ ਕਰਨ ਦੀ ਪੇਸ਼ਕਸ਼ ਕੀਤੀ ਗਈ ਸੀ (ਸਭ ਤੋਂ ਵੱਧ ਕਲਾਉਡ 3.5/3.7 ਸੋਨੇਟ ਮਾਡਲ ਦੇ ਨਾਲ ਕਰਸਰ ਕੋਡ ਸੰਪਾਦਕ ਨੂੰ ਤਰਜੀਹ ਦਿੱਤੀ ਗਈ ਸੀ)।

ਇਹ ਪ੍ਰਯੋਗ, ਜੋ ਫਰਵਰੀ ਤੋਂ ਜੂਨ 2025 ਤੱਕ ਚੱਲਿਆ, ਵਿੱਚ ਮੀਟੋ, stdlib, ghc, ਕੈਬਲ, ਫਲੇਅਰ, jsdom, ਹਾਈਪੋਥੀਸਿਸ, ਟ੍ਰਾਈਵ, ਸਾਈਕਿਟ-ਲਰਨ, gpt-neox, ਅਤੇ ਟ੍ਰਾਂਸਫਾਰਮਰ ਵਰਗੇ ਓਪਨ ਸੋਰਸ ਪ੍ਰੋਜੈਕਟ ਸ਼ਾਮਲ ਸਨ। ਔਸਤਨ, ਸ਼ਾਮਲ ਪ੍ਰੋਜੈਕਟਾਂ ਵਿੱਚ 23 GitHub ਸਟਾਰ, 1.1 ਮਿਲੀਅਨ ਲਾਈਨਾਂ ਕੋਡ, 20 ਕਮਿਟ ਅਤੇ 710 ਯੋਗਦਾਨ ਪਾਉਣ ਵਾਲੇ ਸਨ।

AI ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਸਮੇਂ ਸਮੱਸਿਆ ਹੱਲ ਕਰਨ ਦੇ ਹੌਲੀ ਹੋਣ ਦੇ ਹੇਠ ਲਿਖੇ ਸੰਭਾਵਿਤ ਕਾਰਨ ਦੱਸੇ ਗਏ ਹਨ:

• AI ਸਿਫ਼ਾਰਸ਼ਾਂ ਦੀ ਘੱਟ ਗੁਣਵੱਤਾ - ਡਿਵੈਲਪਰਾਂ ਨੇ AI ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੇ ਸੁਝਾਵਾਂ ਵਿੱਚੋਂ 44% ਤੋਂ ਘੱਟ ਨੂੰ ਸਵੀਕਾਰ ਕੀਤਾ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਸਾਫ਼ ਕਰਨ ਅਤੇ ਜਾਂਚਣ ਵਿੱਚ ਬਹੁਤ ਸਮਾਂ ਬਿਤਾਇਆ।
• ਏਆਈ ਦੀ ਉਪਯੋਗਤਾ ਬਾਰੇ ਬਹੁਤ ਜ਼ਿਆਦਾ ਆਸ਼ਾਵਾਦ ਅਤੇ ਏਆਈ ਟੂਲਸ ਦੀਆਂ ਸਮਰੱਥਾਵਾਂ ਬਾਰੇ ਵਧੀਆਂ ਉਮੀਦਾਂ।
• ਭਾਗੀਦਾਰਾਂ ਕੋਲ ਉਨ੍ਹਾਂ ਰਿਪੋਜ਼ਟਰੀਆਂ ਨਾਲ ਕੰਮ ਕਰਨ ਦਾ ਵਿਆਪਕ ਤਜਰਬਾ ਸੀ ਜਿਨ੍ਹਾਂ ਲਈ ਕਾਰਜ ਹੱਲ ਕੀਤੇ ਜਾ ਰਹੇ ਸਨ। ਡਿਵੈਲਪਰ ਪ੍ਰੋਜੈਕਟਾਂ ਵਿੱਚ ਬਹੁਤ ਚੰਗੀ ਤਰ੍ਹਾਂ ਜਾਣੂ ਸਨ ਅਤੇ ਇਸ ਸਥਿਤੀ ਵਿੱਚ ਏਆਈ ਸਹਾਇਤਾ ਦਾ ਕੋਈ ਮੁੱਲ ਨਹੀਂ ਸੀ।
• ਪ੍ਰਯੋਗ ਵਿੱਚ ਉਹਨਾਂ ਰਿਪੋਜ਼ਟਰੀਆਂ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਗਈ ਜੋ ਬਹੁਤ ਵੱਡੀਆਂ ਅਤੇ ਗੁੰਝਲਦਾਰ ਸਨ, ਜਿਨ੍ਹਾਂ ਨਾਲ AI ਚੰਗੀ ਤਰ੍ਹਾਂ ਕੰਮ ਨਹੀਂ ਕਰਦਾ।
• ਅਪ੍ਰਤੱਖ ਰਿਪੋਜ਼ਟਰੀ ਸੰਦਰਭ - AI ਉਸ ਸੰਦਰਭ ਨੂੰ ਨਹੀਂ ਸਮਝ ਸਕਿਆ ਜਿਸ ਵਿੱਚ ਇਹ ਕੰਮ ਕਰ ਰਿਹਾ ਸੀ।

ਸਿੱਟਾ: ਡਿਵੈਲਪਰ AI ਟੂਲਸ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਸਮੇਂ ਕੋਡ ਲਿਖਣ, ਜਾਣਕਾਰੀ ਦੀ ਖੋਜ ਕਰਨ ਅਤੇ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਪੜ੍ਹਨ ਵਿੱਚ ਘੱਟ ਸਮਾਂ ਬਿਤਾਉਂਦੇ ਹਨ, ਪਰ ਇਹ ਬੱਚਤ AI ਪੁੱਛਗਿੱਛਾਂ ਤਿਆਰ ਕਰਨ, ਪ੍ਰੋਂਪਟ ਪਾਰਸ ਕਰਨ, ਨਤੀਜਿਆਂ ਦੀ ਉਡੀਕ ਕਰਨ, ਸੁਝਾਵਾਂ ਦੀ ਸਮੀਖਿਆ ਕਰਨ ਅਤੇ ਕੁਝ ਨਾ ਕਰਨ 'ਤੇ ਬਿਤਾਏ ਗਏ ਵਧੇ ਹੋਏ ਸਮੇਂ ਦੁਆਰਾ ਆਫਸੈੱਟ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਕੋਡ ਤਿਆਰ ਕਰਨ ਦੀ ਬਜਾਏ, ਸਮਾਂ AI ਨਾਲ ਗੱਲਬਾਤ ਕਰਨ, ਨਤੀਜਿਆਂ ਦਾ ਅਧਿਐਨ ਕਰਨ ਅਤੇ ਪ੍ਰਸਤਾਵਿਤ ਕੋਡ ਦੀ ਜਾਂਚ ਕਰਨ ਵਿੱਚ ਬਿਤਾਇਆ ਜਾਂਦਾ ਹੈ। ਇਹ ਸੰਭਵ ਹੈ ਕਿ ਜੇਕਰ ਘੱਟ ਤਜਰਬੇਕਾਰ ਡਿਵੈਲਪਰ, ਜੋ ਕੋਡ ਸਮੀਖਿਆ ਬਾਰੇ ਘੱਟ ਜ਼ਿੰਮੇਵਾਰ ਹਨ, ਜਾਂ ਕਿਸੇ ਅਣਜਾਣ ਕੋਡ ਅਧਾਰ ਨਾਲ ਕੰਮ ਕਰਦੇ ਹਨ, ਨੇ ਪ੍ਰਯੋਗ ਵਿੱਚ ਹਿੱਸਾ ਲਿਆ ਹੁੰਦਾ, ਤਾਂ ਵੱਖ-ਵੱਖ ਵਿਕਾਸ ਕੁਸ਼ਲਤਾ ਮੈਟ੍ਰਿਕਸ ਪ੍ਰਾਪਤ ਕੀਤੇ ਜਾਂਦੇ।

ਇਸ ਤੋਂ ਇਲਾਵਾ, Qodo ਦੁਆਰਾ ਆਪਣੇ ਕੋਡਿੰਗ ਵਿੱਚ AI ਦੀ ਵਰਤੋਂ ਕਰਨ ਵਾਲੇ 609 ਡਿਵੈਲਪਰਾਂ ਦਾ ਇੱਕ ਸਰਵੇਖਣ ਕੀਤਾ ਗਿਆ। 78% ਨੇ AI ਦੀ ਵਰਤੋਂ ਕਰਨ ਤੋਂ ਬਾਅਦ ਉਤਪਾਦਕਤਾ ਵਿੱਚ ਵਾਧਾ ਦਰਜ ਕੀਤਾ, 60% ਨੇ AI ਦੇ ਕਾਰਨ ਸਮੁੱਚੀ ਕੋਡ ਗੁਣਵੱਤਾ ਵਿੱਚ ਵਾਧਾ ਦਰਜ ਕੀਤਾ, ਅਤੇ 20% ਨੇ AI ਦੀ ਵਰਤੋਂ ਕਰਨ ਤੋਂ ਬਾਅਦ ਕੋਡ ਗੁਣਵੱਤਾ ਵਿੱਚ ਕਮੀ ਦਰਜ ਕੀਤੀ। ਇਸ ਦੇ ਨਾਲ ਹੀ, 76% ਨੇ ਨੋਟ ਕੀਤਾ ਕਿ ਉਹ ਪਹਿਲਾਂ ਤੋਂ ਦਸਤੀ ਸਮੀਖਿਆ ਕੀਤੇ ਬਿਨਾਂ AI ਕੋਡ ਦੀ ਵਰਤੋਂ ਨਹੀਂ ਕਰਦੇ। ਲੇਖ ਇਹ ਵੀ ਨੋਟ ਕਰਦਾ ਹੈ ਕਿ ਵਿਅਕਤੀਗਤ ਡਿਵੈਲਪਰ AI ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਸਮੇਂ ਕਾਫ਼ੀ ਬਿਹਤਰ ਮਹਿਸੂਸ ਕਰਦੇ ਹਨ, ਕਿਉਂਕਿ ਉਹ ਵਧੇਰੇ ਕੋਡ ਪ੍ਰਦਾਨ ਕਰਨ ਦੇ ਯੋਗ ਹੁੰਦੇ ਹਨ, ਪਰ ਪ੍ਰੋਜੈਕਟਾਂ ਵਿੱਚ ਕੋਡ ਨੂੰ ਸਵੀਕਾਰ ਕਰਨ, ਤਬਦੀਲੀਆਂ ਦੀ ਸਮੀਖਿਆ ਕਰਨ ਅਤੇ ਗੁਣਵੱਤਾ ਦੀ ਜਾਂਚ ਕਰਨ ਲਈ ਜ਼ਿੰਮੇਵਾਰ ਲੋਕਾਂ ਲਈ ਵਧੇ ਹੋਏ ਕੰਮ ਦੇ ਬੋਝ ਦੀ ਕੀਮਤ 'ਤੇ।

ਸਰੋਤ: opennet.ru