GitHub ਨੇ ਕੋਡ ਖੋਜ ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣ ਲਈ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਦੀ ਵਰਤੋਂ ਵਿੱਚ ਵਿਕਾਸ ਨੂੰ ਖੋਲ੍ਹਿਆ ਹੈ

GitHub ਪੇਸ਼ ਕੀਤਾ ਡਰਾਫਟ CodeSearchNet, ਜਿਸ ਨੇ ਵੱਖ-ਵੱਖ ਪ੍ਰੋਗਰਾਮਿੰਗ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਕੋਡ ਨੂੰ ਪਾਰਸ ਕਰਨ, ਵਰਗੀਕਰਨ ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਲਈ ਜ਼ਰੂਰੀ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਮਾਡਲ ਅਤੇ ਡਾਟਾ ਸੈੱਟ ਤਿਆਰ ਕੀਤੇ ਹਨ। CodeSearchNet, ਦੇ ਸਮਾਨ ਚਿੱਤਰਨੈੱਟ, ਵਿੱਚ ਐਨੋਟੇਸ਼ਨਾਂ ਵਾਲੇ ਕੋਡ ਸਨਿੱਪਟ ਦਾ ਇੱਕ ਵੱਡਾ ਸੰਗ੍ਰਹਿ ਸ਼ਾਮਲ ਹੁੰਦਾ ਹੈ ਜੋ ਕੋਡ ਕੀ ਕਰਦਾ ਹੈ ਨੂੰ ਰਸਮੀ ਬਣਾਉਂਦਾ ਹੈ। ਟ੍ਰੇਨਿੰਗ ਮਾਡਲਾਂ ਲਈ ਕੰਪੋਨੈਂਟ ਅਤੇ ਕੋਡਸਰਚਨੈੱਟ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀਆਂ ਉਦਾਹਰਨਾਂ ਨੂੰ ਟੈਨਸਰਫਲੋ ਫਰੇਮਵਰਕ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਪਾਈਥਨ ਵਿੱਚ ਲਿਖਿਆ ਗਿਆ ਹੈ ਅਤੇ ਦੁਆਰਾ ਵੰਡਿਆ MIT ਲਾਇਸੰਸ ਦੇ ਤਹਿਤ.

CodeSearchNet ਬਣਾਉਣ ਵੇਲੇ, ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਟੈਕਸਟ ਪਾਰਸਿੰਗ ਤਕਨੀਕਾਂ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਗਈ ਸੀ, ਜਿਸ ਨਾਲ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਪ੍ਰਣਾਲੀਆਂ ਨੂੰ ਨਾ ਸਿਰਫ਼ ਸੰਟੈਕਟਿਕ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ, ਬਲਕਿ ਕੋਡ ਦੁਆਰਾ ਕੀਤੀਆਂ ਗਈਆਂ ਕਾਰਵਾਈਆਂ ਦੇ ਅਰਥ ਨੂੰ ਵੀ ਧਿਆਨ ਵਿੱਚ ਰੱਖਣ ਲਈ ਸਮਰੱਥ ਬਣਾਇਆ ਗਿਆ ਸੀ। GitHub ਸਿਸਟਮ ਲਾਗੂ ਕੀਤਾ 'ਤੇ ਸਵਾਲਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਅਰਥ ਕੋਡ ਖੋਜ ਨੂੰ ਸੰਗਠਿਤ ਕਰਨ ਦੇ ਪ੍ਰਯੋਗਾਂ ਵਿੱਚ ਕੁਦਰਤੀ ਭਾਸ਼ਾ (ਉਦਾਹਰਣ ਲਈ, ਜਦੋਂ "ਸਤਰਾਂ ਦੀ ਸੂਚੀ ਨੂੰ ਛਾਂਟਣ" ਦੀ ਬੇਨਤੀ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਤਾਂ ਸੰਬੰਧਿਤ ਐਲਗੋਰਿਦਮ ਨੂੰ ਲਾਗੂ ਕਰਨ ਵਾਲਾ ਕੋਡ ਪ੍ਰਦਰਸ਼ਿਤ ਹੁੰਦਾ ਹੈ)।

ਪ੍ਰਸਤਾਵਿਤ ਡੇਟਾਸੈਟ ਵਿੱਚ 2 ਮਿਲੀਅਨ ਤੋਂ ਵੱਧ ਕੋਡ-ਟਿੱਪਣੀ ਲਿੰਕ ਸ਼ਾਮਲ ਹਨ, ਜੋ ਮੌਜੂਦਾ ਓਪਨ ਲਾਇਬ੍ਰੇਰੀਆਂ ਦੇ ਸਰੋਤ ਟੈਕਸਟ ਦੇ ਅਧਾਰ ਤੇ ਤਿਆਰ ਕੀਤੇ ਗਏ ਹਨ। ਕੋਡ ਵਿਅਕਤੀਗਤ ਫੰਕਸ਼ਨਾਂ ਜਾਂ ਵਿਧੀਆਂ ਦੇ ਪੂਰੇ ਸਰੋਤ ਪਾਠ ਨੂੰ ਕਵਰ ਕਰਦਾ ਹੈ, ਅਤੇ ਟਿੱਪਣੀ ਫੰਕਸ਼ਨ ਦੁਆਰਾ ਕੀਤੀਆਂ ਗਈਆਂ ਕਾਰਵਾਈਆਂ ਦਾ ਵਰਣਨ ਕਰਦੀ ਹੈ (ਵਿਸਥਾਰਿਤ ਦਸਤਾਵੇਜ਼ ਪ੍ਰਦਾਨ ਕੀਤੇ ਗਏ ਹਨ)। ਵਰਤਮਾਨ ਵਿੱਚ, ਡੇਟਾਸੇਟ ਪਾਈਥਨ, ਜਾਵਾ ਸਕ੍ਰਿਪਟ, ਰੂਬੀ, ਗੋ, ਜਾਵਾ ਅਤੇ PHP ਲਈ ਤਿਆਰ ਕੀਤੇ ਗਏ ਹਨ। ਕਈ ਪ੍ਰਕਾਰ ਦੇ ਨਿਊਰਲ ਨੈੱਟਵਰਕਾਂ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ ਪ੍ਰਸਤਾਵਿਤ ਡੇਟਾਸੈਟਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀਆਂ ਉਦਾਹਰਨਾਂ ਦਿੱਤੀਆਂ ਗਈਆਂ ਹਨ, ਸਮੇਤ ਨਿਊਰਲ-ਬੈਗ-ਆਫ-ਵਰਡਸ, ਆਰ.ਐਨ.ਐਨ, ਸਵੈ-ਧਿਆਨ (BERT) ਅਤੇ 1D-CNN+ਸਵੈ-ਧਿਆਨ ਹਾਈਬ੍ਰਿਡ.

ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਖੋਜ ਵਿਧੀ ਨੂੰ ਵਿਕਸਤ ਕਰਨ ਲਈ, ਕੋਡ ਸਰਚਨੈੱਟ ਚੈਲੇਂਜ ਦਾ ਇੱਕ ਸੈੱਟ ਵੀ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ, ਜਿਸ ਵਿੱਚ ਸ਼ਾਮਲ ਹਨ
99 ਆਮ CodeSearchNet Corpus ਡੇਟਾਸੈਟ ਵਿੱਚ ਸਭ ਤੋਂ ਵੱਧ ਸੰਭਾਵਿਤ ਕੋਡ ਬਾਈਡਿੰਗਾਂ ਦਾ ਵਰਣਨ ਕਰਨ ਵਾਲੇ ਲਗਭਗ 4 ਹਜ਼ਾਰ ਮਾਹਰ ਐਨੋਟੇਸ਼ਨਾਂ ਦੇ ਨਾਲ ਸਵਾਲ, ਲਗਭਗ 6 ਮਿਲੀਅਨ ਵਿਧੀਆਂ ਅਤੇ ਫੰਕਸ਼ਨਾਂ ਨੂੰ ਕਵਰ ਕਰਦੇ ਹਨ (ਆਕਾਰ ਸੈੱਟ ਕਰੋ ਲਗਭਗ 20 GB)। CodeSearchNet ਚੈਲੇਂਜ ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਕੋਡ ਦੀ ਖੋਜ ਲਈ ਕੁਝ ਤਰੀਕਿਆਂ ਦੀ ਪ੍ਰਭਾਵਸ਼ੀਲਤਾ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨ ਲਈ ਇੱਕ ਬੈਂਚਮਾਰਕ ਵਜੋਂ ਕੰਮ ਕਰ ਸਕਦਾ ਹੈ। ਸਾਧਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਕੁਬੇਫਲੋ ਤਿਆਰ
ਉਦਾਹਰਨ ਕੋਡ ਖੋਜ ਇੰਜਣ.

ਸਰੋਤ: opennet.ru