ਡਰ ਨੂੰ ਕਿਵੇਂ ਦੂਰ ਕਰਨਾ ਹੈ ਅਤੇ Azure ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਦੀ ਵਰਤੋਂ ਸ਼ੁਰੂ ਕਰਨੀ ਹੈ

ਮੈਂ ਬਹੁਤ ਸਾਰੇ ਡੇਟਾ ਸਾਇੰਟਿਸਟਾਂ ਨੂੰ ਜਾਣਦਾ ਹਾਂ - ਅਤੇ ਸ਼ਾਇਦ ਮੈਂ ਉਹਨਾਂ ਵਿੱਚੋਂ ਇੱਕ ਹਾਂ - ਜੋ GPU ਮਸ਼ੀਨਾਂ 'ਤੇ ਕੰਮ ਕਰਦੇ ਹਨ, ਲੋਕਲ ਜਾਂ ਵਰਚੁਅਲ, ਕਲਾਉਡ ਵਿੱਚ ਸਥਿਤ, ਜਾਂ ਤਾਂ ਜੁਪੀਟਰ ਨੋਟਬੁੱਕ ਦੁਆਰਾ ਜਾਂ ਕਿਸੇ ਕਿਸਮ ਦੇ ਪਾਈਥਨ ਵਿਕਾਸ ਵਾਤਾਵਰਣ ਦੁਆਰਾ। AI/ML ਵਿੱਚ ਇੱਕ ਮਾਹਰ ਡਿਵੈਲਪਰ ਦੇ ਤੌਰ 'ਤੇ 2 ਸਾਲਾਂ ਤੱਕ ਕੰਮ ਕਰਦੇ ਹੋਏ, ਮੈਂ ਇੱਕ ਰੈਗੂਲਰ ਸਰਵਰ ਜਾਂ ਵਰਕਸਟੇਸ਼ਨ 'ਤੇ ਡਾਟਾ ਤਿਆਰ ਕਰਦੇ ਹੋਏ, ਅਤੇ Azure ਵਿੱਚ ਇੱਕ GPU ਵਾਲੀ ਇੱਕ ਵਰਚੁਅਲ ਮਸ਼ੀਨ 'ਤੇ ਟਰੇਨਿੰਗ ਚਲਾਉਂਦੇ ਹੋਏ ਬਿਲਕੁਲ ਇਹੀ ਕੀਤਾ।

ਬੇਸ਼ੱਕ, ਅਸੀਂ ਸਭ ਨੇ ਸੁਣਿਆ ਹੈ ਅਜ਼ੂਰ ਮਸ਼ੀਨ ਲਰਨਿੰਗ - ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਲਈ ਇੱਕ ਵਿਸ਼ੇਸ਼ ਕਲਾਉਡ ਪਲੇਟਫਾਰਮ। ਹਾਲਾਂਕਿ, 'ਤੇ ਪਹਿਲੀ ਨਜ਼ਰ ਤੋਂ ਬਾਅਦ ਸ਼ੁਰੂਆਤੀ ਲੇਖ, ਅਜਿਹਾ ਲਗਦਾ ਹੈ ਕਿ Azure ML ਤੁਹਾਡੇ ਲਈ ਹੱਲ ਕਰਨ ਨਾਲੋਂ ਵੱਧ ਸਮੱਸਿਆਵਾਂ ਪੈਦਾ ਕਰੇਗਾ। ਉਦਾਹਰਨ ਲਈ, ਉੱਪਰ ਦੱਸੇ ਸਿਖਲਾਈ ਉਦਾਹਰਨ ਵਿੱਚ, Azure ML 'ਤੇ ਸਿਖਲਾਈ ਜੁਪੀਟਰ ਨੋਟਬੁੱਕ ਤੋਂ ਸ਼ੁਰੂ ਕੀਤੀ ਗਈ ਹੈ, ਜਦੋਂ ਕਿ ਸਿਖਲਾਈ ਸਕ੍ਰਿਪਟ ਨੂੰ ਆਪਣੇ ਆਪ ਵਿੱਚ ਇੱਕ ਸੈੱਲ ਵਿੱਚ ਟੈਕਸਟ ਫਾਈਲ ਦੇ ਰੂਪ ਵਿੱਚ ਬਣਾਉਣ ਅਤੇ ਸੰਪਾਦਿਤ ਕਰਨ ਦੀ ਤਜਵੀਜ਼ ਹੈ - ਸਵੈ-ਸੰਪੂਰਨਤਾ, ਸੰਟੈਕਸ ਹਾਈਲਾਈਟਿੰਗ ਅਤੇ ਹੋਰ ਦੀ ਵਰਤੋਂ ਕੀਤੇ ਬਿਨਾਂ। ਇੱਕ ਆਮ ਵਿਕਾਸ ਵਾਤਾਵਰਣ ਦੇ ਫਾਇਦੇ. ਇਸ ਕਾਰਨ ਕਰਕੇ, ਅਸੀਂ ਲੰਬੇ ਸਮੇਂ ਤੋਂ ਆਪਣੇ ਕੰਮ ਵਿੱਚ Azure ML ਦੀ ਗੰਭੀਰਤਾ ਨਾਲ ਵਰਤੋਂ ਨਹੀਂ ਕੀਤੀ.

ਹਾਲਾਂਕਿ, ਮੈਂ ਹਾਲ ਹੀ ਵਿੱਚ ਮੇਰੇ ਕੰਮ ਵਿੱਚ Azure ML ਦੀ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਵਰਤੋਂ ਸ਼ੁਰੂ ਕਰਨ ਦਾ ਇੱਕ ਤਰੀਕਾ ਲੱਭਿਆ ਹੈ! ਵੇਰਵਿਆਂ ਵਿੱਚ ਦਿਲਚਸਪੀ ਹੈ?

ਮੁੱਖ ਰਾਜ਼ ਹੈ Azure ML ਲਈ ਵਿਜ਼ੂਅਲ ਸਟੂਡੀਓ ਕੋਡ ਐਕਸਟੈਂਸ਼ਨ. ਇਹ ਤੁਹਾਨੂੰ ਵਾਤਾਵਰਣ ਦਾ ਪੂਰਾ ਫਾਇਦਾ ਉਠਾਉਂਦੇ ਹੋਏ, VS ਕੋਡ ਵਿੱਚ ਸਿੱਧੇ ਸਿਖਲਾਈ ਸਕ੍ਰਿਪਟਾਂ ਨੂੰ ਵਿਕਸਤ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ - ਅਤੇ ਤੁਸੀਂ ਸਥਾਨਕ ਤੌਰ 'ਤੇ ਇੱਕ ਸਕ੍ਰਿਪਟ ਵੀ ਚਲਾ ਸਕਦੇ ਹੋ, ਅਤੇ ਫਿਰ ਇਸਨੂੰ ਕੁਝ ਕਲਿੱਕਾਂ ਨਾਲ ਇੱਕ Azure ML ਕਲੱਸਟਰ 'ਤੇ ਸਿਖਲਾਈ ਲਈ ਭੇਜ ਸਕਦੇ ਹੋ। ਸੁਵਿਧਾਜਨਕ, ਹੈ ਨਾ?

ਅਜਿਹਾ ਕਰਨ ਨਾਲ, ਤੁਹਾਨੂੰ Azure ML ਦੀ ਵਰਤੋਂ ਕਰਨ ਨਾਲ ਹੇਠਾਂ ਦਿੱਤੇ ਲਾਭ ਪ੍ਰਾਪਤ ਹੁੰਦੇ ਹਨ:

• ਤੁਸੀਂ ਆਪਣੀ ਮਸ਼ੀਨ 'ਤੇ ਇੱਕ ਸੁਵਿਧਾਜਨਕ IDE ਵਿੱਚ ਜ਼ਿਆਦਾਤਰ ਸਮਾਂ ਸਥਾਨਕ ਤੌਰ 'ਤੇ ਕੰਮ ਕਰ ਸਕਦੇ ਹੋ, ਅਤੇ ਸਿਰਫ਼ ਮਾਡਲ ਸਿਖਲਾਈ ਲਈ GPU ਦੀ ਵਰਤੋਂ ਕਰੋ. ਉਸੇ ਸਮੇਂ, ਸਿਖਲਾਈ ਸਰੋਤਾਂ ਦਾ ਪੂਲ ਆਪਣੇ ਆਪ ਲੋੜੀਂਦੇ ਲੋਡ ਦੇ ਅਨੁਕੂਲ ਹੋ ਸਕਦਾ ਹੈ, ਅਤੇ ਨੋਡਾਂ ਦੀ ਘੱਟੋ-ਘੱਟ ਸੰਖਿਆ ਨੂੰ 0 'ਤੇ ਸੈੱਟ ਕਰਕੇ, ਤੁਸੀਂ ਆਟੋਮੈਟਿਕਲੀ ਵਰਚੁਅਲ ਮਸ਼ੀਨ ਨੂੰ "ਮੰਗ 'ਤੇ" ਲਾਂਚ ਕਰ ਸਕਦੇ ਹੋ ਜੇਕਰ ਸਿਖਲਾਈ ਦੇ ਕੰਮ ਹਨ.
• ਜੇਕਰ ਤੁਹਾਨੂੰ ਹੋ ਸਕਦਾ ਹੈ ਸਾਰੇ ਸਿੱਖਣ ਦੇ ਨਤੀਜਿਆਂ ਨੂੰ ਇੱਕ ਥਾਂ ਤੇ ਸਟੋਰ ਕਰੋ, ਪ੍ਰਾਪਤ ਮੈਟ੍ਰਿਕਸ ਅਤੇ ਨਤੀਜੇ ਵਾਲੇ ਮਾਡਲਾਂ ਸਮੇਤ - ਸਾਰੇ ਨਤੀਜਿਆਂ ਨੂੰ ਸਟੋਰ ਕਰਨ ਲਈ ਕਿਸੇ ਕਿਸਮ ਦੇ ਸਿਸਟਮ ਜਾਂ ਆਰਡਰ ਨਾਲ ਆਉਣ ਦੀ ਕੋਈ ਲੋੜ ਨਹੀਂ ਹੈ।
• ਇਸ ਲਈ ਇੱਕ ਪ੍ਰੋਜੈਕਟ 'ਤੇ ਕਈ ਲੋਕ ਕੰਮ ਕਰ ਸਕਦੇ ਹਨ - ਉਹ ਇੱਕੋ ਕੰਪਿਊਟਿੰਗ ਕਲੱਸਟਰ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹਨ, ਸਾਰੇ ਪ੍ਰਯੋਗਾਂ ਨੂੰ ਕਤਾਰਬੱਧ ਕੀਤਾ ਜਾਵੇਗਾ, ਅਤੇ ਉਹ ਇੱਕ ਦੂਜੇ ਦੇ ਪ੍ਰਯੋਗਾਂ ਦੇ ਨਤੀਜੇ ਵੀ ਦੇਖ ਸਕਦੇ ਹਨ। ਅਜਿਹਾ ਹੀ ਇੱਕ ਦ੍ਰਿਸ਼ ਹੈ ਡੀਪ ਲਰਨਿੰਗ ਸਿਖਾਉਣ ਵਿੱਚ Azure ML ਦੀ ਵਰਤੋਂ ਕਰਨਾ, ਜਿੱਥੇ ਹਰੇਕ ਵਿਦਿਆਰਥੀ ਨੂੰ ਇੱਕ GPU ਨਾਲ ਇੱਕ ਵਰਚੁਅਲ ਮਸ਼ੀਨ ਦੇਣ ਦੀ ਬਜਾਏ, ਤੁਸੀਂ ਇੱਕ ਕਲੱਸਟਰ ਬਣਾ ਸਕਦੇ ਹੋ ਜੋ ਹਰ ਇੱਕ ਦੁਆਰਾ ਕੇਂਦਰੀ ਤੌਰ 'ਤੇ ਵਰਤਿਆ ਜਾਵੇਗਾ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਮਾਡਲ ਦੀ ਸ਼ੁੱਧਤਾ ਦੇ ਨਾਲ ਨਤੀਜਿਆਂ ਦੀ ਇੱਕ ਆਮ ਸਾਰਣੀ ਇੱਕ ਵਧੀਆ ਪ੍ਰਤੀਯੋਗੀ ਤੱਤ ਵਜੋਂ ਕੰਮ ਕਰ ਸਕਦੀ ਹੈ।
• Azure ML ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, ਤੁਸੀਂ ਆਸਾਨੀ ਨਾਲ ਪ੍ਰਯੋਗਾਂ ਦੀ ਇੱਕ ਲੜੀ ਚਲਾ ਸਕਦੇ ਹੋ, ਉਦਾਹਰਨ ਲਈ ਹਾਈਪਰਪੈਰਾਮੀਟਰ ਅਨੁਕੂਲਤਾ - ਇਹ ਕੋਡ ਦੀਆਂ ਕੁਝ ਲਾਈਨਾਂ ਨਾਲ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ; ਹੱਥੀਂ ਪ੍ਰਯੋਗਾਂ ਦੀ ਲੜੀ ਕਰਨ ਦੀ ਕੋਈ ਲੋੜ ਨਹੀਂ ਹੈ।

ਮੈਨੂੰ ਉਮੀਦ ਹੈ ਕਿ ਮੈਂ ਤੁਹਾਨੂੰ Azure ML ਨੂੰ ਅਜ਼ਮਾਉਣ ਲਈ ਯਕੀਨ ਦਿਵਾਇਆ ਹੈ! ਇੱਥੇ ਸ਼ੁਰੂਆਤ ਕਰਨ ਦਾ ਤਰੀਕਾ ਹੈ:

• ਯਕੀਨੀ ਬਣਾਉ ਕਿ ਤੁਸੀਂ ਸਥਾਪਿਤ ਕੀਤਾ ਹੈ ਵਿਜ਼ੂਅਲ ਸਟੂਡੀਓ ਕੋਡ, ਅਤੇ ਨਾਲ ਹੀ ਐਕਸਟੈਂਸ਼ਨਾਂ Azure ਸਾਈਨ ਇਨ и ਅਜ਼ੂਰ ਐਮ.ਐਲ
• ਰਿਪੋਜ਼ਟਰੀ ਨੂੰ ਕਲੋਨ ਕਰੋ https://github.com/CloudAdvocacy/AzureMLStarter — ਇਸ ਵਿੱਚ MNIST ਡੇਟਾਸੇਟ ਉੱਤੇ ਇੱਕ ਹੱਥ ਲਿਖਤ ਅੰਕ ਪਛਾਣ ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ ਕੁਝ ਡੈਮੋ ਕੋਡ ਸ਼ਾਮਲ ਹਨ।
• ਕਲੋਨ ਕੀਤੇ ਰਿਪੋਜ਼ਟਰੀ ਨੂੰ ਵਿਜ਼ੂਅਲ ਸਟੂਡੀਓ ਕੋਡ ਵਿੱਚ ਖੋਲ੍ਹੋ।
• ਪੜ੍ਹੋ!

Azure ML ਵਰਕਸਪੇਸ ਅਤੇ Azure ML ਪੋਰਟਲ

Azure ML ਸੰਕਲਪ ਦੇ ਆਲੇ-ਦੁਆਲੇ ਆਯੋਜਿਤ ਕੀਤਾ ਗਿਆ ਹੈ ਕੰਮ ਖੇਤਰ - ਵਰਕਸਪੇਸ। ਡੇਟਾ ਨੂੰ ਵਰਕਸਪੇਸ ਵਿੱਚ ਸਟੋਰ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ, ਸਿਖਲਾਈ ਲਈ ਪ੍ਰਯੋਗ ਇਸ ਵਿੱਚ ਭੇਜੇ ਜਾ ਸਕਦੇ ਹਨ, ਅਤੇ ਸਿਖਲਾਈ ਦੇ ਨਤੀਜੇ-ਨਤੀਜੇ ਵਾਲੇ ਮੈਟ੍ਰਿਕਸ ਅਤੇ ਮਾਡਲ ਵੀ ਉੱਥੇ ਸਟੋਰ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਤੁਸੀਂ ਦੇਖ ਸਕਦੇ ਹੋ ਕਿ ਵਰਕਸਪੇਸ ਦੇ ਅੰਦਰ ਕੀ ਹੈ Azure ML ਪੋਰਟਲ - ਅਤੇ ਉੱਥੋਂ ਤੁਸੀਂ ਡੇਟਾ ਲੋਡ ਕਰਨ ਤੋਂ ਲੈ ਕੇ ਪ੍ਰਯੋਗਾਂ ਦੀ ਨਿਗਰਾਨੀ ਕਰਨ ਅਤੇ ਮਾਡਲਾਂ ਨੂੰ ਤੈਨਾਤ ਕਰਨ ਤੱਕ ਬਹੁਤ ਸਾਰੇ ਕੰਮ ਕਰ ਸਕਦੇ ਹੋ।

ਤੁਸੀਂ ਵੈੱਬ ਇੰਟਰਫੇਸ ਰਾਹੀਂ ਵਰਕਸਪੇਸ ਬਣਾ ਸਕਦੇ ਹੋ ਅਜ਼ੁਰ ਪੋਰਟਲ (ਦੇਖੋ ਕਦਮ ਦਰ ਕਦਮ ਨਿਰਦੇਸ਼), ਜਾਂ Azure CLI ਕਮਾਂਡ ਲਾਈਨ (ਹਦਾਇਤਾਂ):

az extension add -n azure-cli-ml
az group create -n myazml -l northeurope
az ml workspace create -w myworkspace -g myazml

ਵਰਕਸਪੇਸ ਨਾਲ ਵੀ ਕੁਝ ਜੁੜੇ ਹੋਏ ਹਨ ਕੰਪਿਊਟਿੰਗ ਸਰੋਤ (ਗਣਨਾ ਕਰੋ). ਇੱਕ ਵਾਰ ਜਦੋਂ ਤੁਸੀਂ ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ ਇੱਕ ਸਕ੍ਰਿਪਟ ਬਣਾ ਲੈਂਦੇ ਹੋ, ਤਾਂ ਤੁਸੀਂ ਕਰ ਸਕਦੇ ਹੋ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਲਈ ਇੱਕ ਪ੍ਰਯੋਗ ਭੇਜੋ ਕੰਮ ਦੇ ਖੇਤਰ ਲਈ, ਅਤੇ ਨਿਰਧਾਰਿਤ ਕਰੋ ਟੀਚੇ ਦੀ ਗਣਨਾ ਕਰੋ - ਇਸ ਸਥਿਤੀ ਵਿੱਚ, ਸਕ੍ਰਿਪਟ ਨੂੰ ਪੈਕ ਕੀਤਾ ਜਾਵੇਗਾ, ਲੋੜੀਂਦੇ ਕੰਪਿਊਟਿੰਗ ਵਾਤਾਵਰਣ ਵਿੱਚ ਲਾਂਚ ਕੀਤਾ ਜਾਵੇਗਾ, ਅਤੇ ਫਿਰ ਪ੍ਰਯੋਗ ਦੇ ਸਾਰੇ ਨਤੀਜਿਆਂ ਨੂੰ ਹੋਰ ਵਿਸ਼ਲੇਸ਼ਣ ਅਤੇ ਵਰਤੋਂ ਲਈ ਵਰਕਸਪੇਸ ਵਿੱਚ ਸੁਰੱਖਿਅਤ ਕੀਤਾ ਜਾਵੇਗਾ।

MNIST ਲਈ ਸਿਖਲਾਈ ਸਕ੍ਰਿਪਟ

ਆਉ ਕਲਾਸੀਕਲ ਸਮੱਸਿਆ ਤੇ ਵਿਚਾਰ ਕਰੀਏ ਹੱਥ ਲਿਖਤ ਅੰਕਾਂ ਦੀ ਪਛਾਣ MNIST ਡੇਟਾਸੈਟ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ। ਇਸੇ ਤਰ੍ਹਾਂ, ਭਵਿੱਖ ਵਿੱਚ ਤੁਸੀਂ ਆਪਣੀ ਕਿਸੇ ਵੀ ਸਿਖਲਾਈ ਸਕ੍ਰਿਪਟ ਨੂੰ ਚਲਾਉਣ ਦੇ ਯੋਗ ਹੋਵੋਗੇ.

ਸਾਡੇ ਰਿਪੋਜ਼ਟਰੀ ਵਿੱਚ ਇੱਕ ਸਕ੍ਰਿਪਟ ਹੈ train_local.py, ਜੋ SkLearn ਲਾਇਬ੍ਰੇਰੀ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਸਰਲ ਲੀਨੀਅਰ ਰਿਗਰੈਸ਼ਨ ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦਿੰਦਾ ਹੈ। ਬੇਸ਼ੱਕ, ਮੈਂ ਸਮਝਦਾ ਹਾਂ ਕਿ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰਨ ਦਾ ਇਹ ਸਭ ਤੋਂ ਵਧੀਆ ਤਰੀਕਾ ਨਹੀਂ ਹੈ - ਅਸੀਂ ਇਸਨੂੰ ਇੱਕ ਉਦਾਹਰਨ ਦੇ ਤੌਰ ਤੇ, ਸਭ ਤੋਂ ਸਰਲ ਦੇ ਤੌਰ ਤੇ ਵਰਤਦੇ ਹਾਂ।

ਸਕ੍ਰਿਪਟ ਪਹਿਲਾਂ OpenML ਤੋਂ MNIST ਡੇਟਾ ਨੂੰ ਡਾਊਨਲੋਡ ਕਰਦੀ ਹੈ ਅਤੇ ਫਿਰ ਕਲਾਸ ਦੀ ਵਰਤੋਂ ਕਰਦੀ ਹੈ LogisticRegression ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ, ਅਤੇ ਫਿਰ ਨਤੀਜੇ ਦੀ ਸ਼ੁੱਧਤਾ ਨੂੰ ਛਾਪਦਾ ਹੈ:

mnist = fetch_openml('mnist_784')
mnist['target'] = np.array([int(x) for x in mnist['target']])

shuffle_index = np.random.permutation(len(mist['data']))
X, y = mnist['data'][shuffle_index], mnist['target'][shuffle_index]

X_train, X_test, y_train, y_test = 
  train_test_split(X, y, test_size = 0.3, random_state = 42)

lr = LogisticRegression()
lr.fit(X_train, y_train)
y_hat = lr.predict(X_test)
acc = np.average(np.int32(y_hat == y_test))

print('Overall accuracy:', acc)

ਤੁਸੀਂ ਆਪਣੇ ਕੰਪਿਊਟਰ 'ਤੇ ਸਕ੍ਰਿਪਟ ਚਲਾ ਸਕਦੇ ਹੋ ਅਤੇ ਕੁਝ ਸਕਿੰਟਾਂ ਵਿੱਚ ਤੁਹਾਨੂੰ ਨਤੀਜਾ ਮਿਲ ਜਾਵੇਗਾ।

Azure ML ਵਿੱਚ ਸਕ੍ਰਿਪਟ ਨੂੰ ਚਲਾਉਣਾ

ਜੇਕਰ ਅਸੀਂ Azure ML ਰਾਹੀਂ ਸਿਖਲਾਈ ਸਕ੍ਰਿਪਟ ਚਲਾਉਂਦੇ ਹਾਂ, ਤਾਂ ਸਾਡੇ ਕੋਲ ਦੋ ਮੁੱਖ ਫਾਇਦੇ ਹੋਣਗੇ:

• ਕਿਸੇ ਮਨਮਾਨੇ ਕੰਪਿਊਟਿੰਗ ਸਰੋਤ 'ਤੇ ਸਿਖਲਾਈ ਚਲਾਉਣਾ, ਜੋ ਆਮ ਤੌਰ 'ਤੇ ਸਥਾਨਕ ਕੰਪਿਊਟਰ ਨਾਲੋਂ ਵਧੇਰੇ ਲਾਭਕਾਰੀ ਹੁੰਦਾ ਹੈ। ਇਸ ਸਥਿਤੀ ਵਿੱਚ, Azure ML ਖੁਦ ਸਾਡੀ ਸਕ੍ਰਿਪਟ ਨੂੰ ਮੌਜੂਦਾ ਡਾਇਰੈਕਟਰੀ ਦੀਆਂ ਸਾਰੀਆਂ ਫਾਈਲਾਂ ਨਾਲ ਇੱਕ ਡੌਕਰ ਕੰਟੇਨਰ ਵਿੱਚ ਪੈਕ ਕਰਨ, ਲੋੜੀਂਦੀਆਂ ਨਿਰਭਰਤਾਵਾਂ ਨੂੰ ਸਥਾਪਤ ਕਰਨ, ਅਤੇ ਇਸਨੂੰ ਚਲਾਉਣ ਲਈ ਭੇਜਣ ਦਾ ਧਿਆਨ ਰੱਖੇਗਾ।
• Azure ML ਵਰਕਸਪੇਸ ਦੇ ਅੰਦਰ ਇੱਕ ਸਿੰਗਲ ਰਜਿਸਟਰੀ ਵਿੱਚ ਨਤੀਜੇ ਲਿਖੋ। ਇਸ ਵਿਸ਼ੇਸ਼ਤਾ ਦਾ ਲਾਭ ਲੈਣ ਲਈ, ਸਾਨੂੰ ਨਤੀਜਾ ਸ਼ੁੱਧਤਾ ਨੂੰ ਰਿਕਾਰਡ ਕਰਨ ਲਈ ਸਾਡੀ ਸਕ੍ਰਿਪਟ ਵਿੱਚ ਕੋਡ ਦੀਆਂ ਕੁਝ ਲਾਈਨਾਂ ਜੋੜਨ ਦੀ ਲੋੜ ਹੈ:

from azureml.core.run import Run
...
try:    
    run = Run.get_submitted_run()
    run.log('accuracy', acc)
except:
    pass

ਲਿਪੀ ਦੇ ਅਨੁਸਾਰੀ ਸੰਸਕਰਣ ਨੂੰ ਕਿਹਾ ਜਾਂਦਾ ਹੈ train_universal.py (ਇਹ ਉੱਪਰ ਦੱਸੇ ਨਾਲੋਂ ਥੋੜਾ ਹੋਰ ਚਲਾਕੀ ਨਾਲ ਡਿਜ਼ਾਈਨ ਕੀਤਾ ਗਿਆ ਹੈ, ਪਰ ਬਹੁਤ ਜ਼ਿਆਦਾ ਨਹੀਂ)। ਇਹ ਸਕ੍ਰਿਪਟ ਸਥਾਨਕ ਅਤੇ ਰਿਮੋਟ ਕੰਪਿਊਟਿੰਗ ਸਰੋਤ ਦੋਵਾਂ 'ਤੇ ਚਲਾਈ ਜਾ ਸਕਦੀ ਹੈ।

VS ਕੋਡ ਤੋਂ Azure ML ਵਿੱਚ ਇਸਨੂੰ ਚਲਾਉਣ ਲਈ, ਤੁਹਾਨੂੰ ਇਹ ਕਰਨ ਦੀ ਲੋੜ ਹੈ:

1. ਯਕੀਨੀ ਬਣਾਓ ਕਿ Azure ਐਕਸਟੈਂਸ਼ਨ ਤੁਹਾਡੀ ਗਾਹਕੀ ਨਾਲ ਜੁੜਿਆ ਹੋਇਆ ਹੈ। ਖੱਬੇ ਮੇਨੂ ਤੋਂ Azure ਆਈਕਨ ਨੂੰ ਚੁਣੋ। ਜੇਕਰ ਤੁਸੀਂ ਕਨੈਕਟ ਨਹੀਂ ਹੋ, ਤਾਂ ਹੇਠਲੇ ਸੱਜੇ ਕੋਨੇ ਵਿੱਚ ਇੱਕ ਸੂਚਨਾ ਦਿਖਾਈ ਦੇਵੇਗੀ (ਇਸ ਤਰ੍ਹਾਂ), ਜਿਸ 'ਤੇ ਕਲਿੱਕ ਕਰਕੇ ਤੁਸੀਂ ਬ੍ਰਾਊਜ਼ਰ ਰਾਹੀਂ ਲੌਗਇਨ ਕਰ ਸਕਦੇ ਹੋ। ਤੁਸੀਂ ਕਲਿੱਕ ਵੀ ਕਰ ਸਕਦੇ ਹੋ Ctrl-Shift-P VS ਕੋਡ ਕਮਾਂਡ ਲਾਈਨ ਖੋਲ੍ਹਣ ਲਈ, ਅਤੇ ਟਾਈਪ ਕਰੋ Azure ਸਾਈਨ ਇਨ.

2. ਉਸ ਤੋਂ ਬਾਅਦ, Azure ਭਾਗ ਵਿੱਚ (ਖੱਬੇ ਪਾਸੇ ਆਈਕਨ), ਸੈਕਸ਼ਨ ਲੱਭੋ ਸਿਖਲਾਈ ਸਿੱਖੋ:

ਇੱਥੇ ਤੁਹਾਨੂੰ ਵਰਕਸਪੇਸ ਦੇ ਅੰਦਰ ਵਸਤੂਆਂ ਦੇ ਵੱਖ-ਵੱਖ ਸਮੂਹ ਦੇਖਣੇ ਚਾਹੀਦੇ ਹਨ: ਕੰਪਿਊਟਿੰਗ ਸਰੋਤ, ਪ੍ਰਯੋਗ, ਆਦਿ।

1. ਫਾਈਲਾਂ ਦੀ ਸੂਚੀ 'ਤੇ ਜਾਓ, ਸਕ੍ਰਿਪਟ 'ਤੇ ਸੱਜਾ ਕਲਿੱਕ ਕਰੋ train_universal.py ਅਤੇ ਚੁਣੋ Azure ML: Azure ਵਿੱਚ ਪ੍ਰਯੋਗ ਦੇ ਤੌਰ ਤੇ ਚਲਾਓ.

1. ਇਸਦੇ ਬਾਅਦ VS ਕੋਡ ਕਮਾਂਡ ਲਾਈਨ ਖੇਤਰ ਵਿੱਚ ਸੰਵਾਦਾਂ ਦੀ ਇੱਕ ਲੜੀ ਹੋਵੇਗੀ: ਆਪਣੀ ਗਾਹਕੀ ਅਤੇ Azure ML ਵਰਕਸਪੇਸ ਦੀ ਪੁਸ਼ਟੀ ਕਰੋ, ਅਤੇ ਚੁਣੋ ਨਵਾਂ ਪ੍ਰਯੋਗ ਬਣਾਓ:

1. ਇੱਕ ਨਵਾਂ ਕੰਪਿਊਟਿੰਗ ਸਰੋਤ ਬਣਾਉਣ ਲਈ ਚੁਣੋ ਨਵਾਂ ਕੰਪਿਊਟ ਬਣਾਓ:

   • ਗਣਨਾ ਕਰੋ ਕੰਪਿਊਟਿੰਗ ਸਰੋਤ ਨਿਰਧਾਰਤ ਕਰਦਾ ਹੈ ਜਿਸ 'ਤੇ ਸਿਖਲਾਈ ਹੋਵੇਗੀ। ਤੁਸੀਂ ਇੱਕ ਸਥਾਨਕ ਕੰਪਿਊਟਰ, ਜਾਂ AmlCompute ਕਲਾਉਡ ਕਲੱਸਟਰ ਚੁਣ ਸਕਦੇ ਹੋ। ਮੈਂ ਮਸ਼ੀਨਾਂ ਦਾ ਇੱਕ ਸਕੇਲੇਬਲ ਕਲੱਸਟਰ ਬਣਾਉਣ ਦੀ ਸਿਫ਼ਾਰਿਸ਼ ਕਰਦਾ ਹਾਂ STANDARD_DS3_v2, ਮਸ਼ੀਨਾਂ ਦੀ ਘੱਟੋ-ਘੱਟ ਸੰਖਿਆ 0 ਦੇ ਨਾਲ (ਅਤੇ ਵੱਧ ਤੋਂ ਵੱਧ 1 ਜਾਂ ਵੱਧ ਹੋ ਸਕਦੇ ਹਨ, ਤੁਹਾਡੀ ਭੁੱਖ 'ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹੋਏ)। ਇਹ VS ਕੋਡ ਇੰਟਰਫੇਸ ਦੁਆਰਾ, ਜਾਂ ਪਹਿਲਾਂ ਦੁਆਰਾ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ ML ਪੋਰਟਲ.

   

2. ਅੱਗੇ ਤੁਹਾਨੂੰ ਇੱਕ ਸੰਰਚਨਾ ਦੀ ਚੋਣ ਕਰਨ ਦੀ ਲੋੜ ਹੈ ਕੰਪਿਊਟ ਕੌਂਫਿਗਰੇਸ਼ਨ, ਜੋ ਕਿ ਸਿਖਲਾਈ ਲਈ ਬਣਾਏ ਗਏ ਕੰਟੇਨਰ ਦੇ ਮਾਪਦੰਡਾਂ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਦਾ ਹੈ, ਖਾਸ ਤੌਰ 'ਤੇ, ਸਾਰੀਆਂ ਲੋੜੀਂਦੀਆਂ ਲਾਇਬ੍ਰੇਰੀਆਂ। ਸਾਡੇ ਕੇਸ ਵਿੱਚ, ਕਿਉਂਕਿ ਅਸੀਂ Scikit Learn ਦੀ ਵਰਤੋਂ ਕਰ ਰਹੇ ਹਾਂ, ਅਸੀਂ ਚੁਣਦੇ ਹਾਂ SkLearn, ਅਤੇ ਫਿਰ ਐਂਟਰ ਦਬਾ ਕੇ ਲਾਇਬ੍ਰੇਰੀਆਂ ਦੀ ਪ੍ਰਸਤਾਵਿਤ ਸੂਚੀ ਦੀ ਸਿਰਫ਼ ਪੁਸ਼ਟੀ ਕਰੋ। ਜੇਕਰ ਤੁਸੀਂ ਕਿਸੇ ਵਾਧੂ ਲਾਇਬ੍ਰੇਰੀਆਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋ, ਤਾਂ ਉਹਨਾਂ ਨੂੰ ਇੱਥੇ ਨਿਰਧਾਰਤ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ।

   
   

3. ਇਸ ਤੋਂ ਬਾਅਦ, ਪ੍ਰਯੋਗ ਦਾ ਵਰਣਨ ਕਰਨ ਵਾਲੀ JSON ਫਾਈਲ ਦੇ ਨਾਲ ਇੱਕ ਵਿੰਡੋ ਖੁੱਲੇਗੀ। ਤੁਸੀਂ ਇਸ ਵਿੱਚ ਕੁਝ ਮਾਪਦੰਡਾਂ ਨੂੰ ਠੀਕ ਕਰ ਸਕਦੇ ਹੋ, ਉਦਾਹਰਨ ਲਈ, ਪ੍ਰਯੋਗ ਦਾ ਨਾਮ। ਇਸ ਤੋਂ ਬਾਅਦ ਲਿੰਕ 'ਤੇ ਕਲਿੱਕ ਕਰੋ ਪ੍ਰਯੋਗ ਸਪੁਰਦ ਕਰੋ ਇਸ ਫਾਈਲ ਦੇ ਅੰਦਰ:

1. VS ਕੋਡ ਦੁਆਰਾ ਸਫਲਤਾਪੂਰਵਕ ਇੱਕ ਪ੍ਰਯੋਗ ਜਮ੍ਹਾਂ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਸੱਜੇ ਪਾਸੇ ਸੂਚਨਾ ਖੇਤਰ ਵਿੱਚ ਤੁਹਾਨੂੰ ਇੱਕ ਲਿੰਕ ਦਿਖਾਈ ਦੇਵੇਗਾ Azure ML ਪੋਰਟਲ, ਜਿੱਥੇ ਤੁਸੀਂ ਪ੍ਰਯੋਗ ਦੀ ਸਥਿਤੀ ਅਤੇ ਨਤੀਜਿਆਂ ਨੂੰ ਟਰੈਕ ਕਰ ਸਕਦੇ ਹੋ।

ਇਸ ਤੋਂ ਬਾਅਦ, ਤੁਸੀਂ ਇਸਨੂੰ ਹਮੇਸ਼ਾ ਸੈਕਸ਼ਨ ਵਿੱਚ ਲੱਭ ਸਕਦੇ ਹੋ ਪ੍ਰਯੋਗ Azure ML ਪੋਰਟਲ, ਜਾਂ ਭਾਗ ਵਿੱਚ ਅਜ਼ੂਰ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਪ੍ਰਯੋਗਾਂ ਦੀ ਸੂਚੀ ਵਿੱਚ:

1. ਜੇਕਰ ਤੁਸੀਂ ਬਾਅਦ ਵਿੱਚ ਕੋਡ ਜਾਂ ਮਾਪਦੰਡਾਂ ਵਿੱਚ ਕੁਝ ਸੁਧਾਰ ਕੀਤੇ ਹਨ, ਤਾਂ ਪ੍ਰਯੋਗ ਨੂੰ ਦੁਬਾਰਾ ਚਲਾਉਣਾ ਬਹੁਤ ਤੇਜ਼ ਅਤੇ ਆਸਾਨ ਹੋਵੇਗਾ। ਫਾਈਲ 'ਤੇ ਸੱਜਾ-ਕਲਿੱਕ ਕਰਨ ਨਾਲ, ਤੁਸੀਂ ਇੱਕ ਨਵੀਂ ਮੀਨੂ ਆਈਟਮ ਵੇਖੋਗੇ ਪਿਛਲੀ ਵਾਰ ਦੁਹਰਾਓ - ਬੱਸ ਇਸਨੂੰ ਚੁਣੋ ਅਤੇ ਪ੍ਰਯੋਗ ਤੁਰੰਤ ਸ਼ੁਰੂ ਕੀਤਾ ਜਾਵੇਗਾ:

ਤੁਸੀਂ Azure ML ਪੋਰਟਲ 'ਤੇ ਸਾਰੀਆਂ ਦੌੜਾਂ ਦੇ ਮੈਟ੍ਰਿਕਸ ਨਤੀਜੇ ਹਮੇਸ਼ਾ ਲੱਭ ਸਕਦੇ ਹੋ; ਉਹਨਾਂ ਨੂੰ ਰਿਕਾਰਡ ਕਰਨ ਦੀ ਕੋਈ ਲੋੜ ਨਹੀਂ ਹੈ।

ਹੁਣ ਤੁਸੀਂ ਜਾਣਦੇ ਹੋ ਕਿ Azure ML ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਪ੍ਰਯੋਗ ਚਲਾਉਣਾ ਆਸਾਨ, ਦਰਦ ਰਹਿਤ ਹੈ, ਅਤੇ ਕੁਝ ਦਿਲਚਸਪ ਲਾਭਾਂ ਦੇ ਨਾਲ ਆਉਂਦਾ ਹੈ।

ਪਰ ਹੋ ਸਕਦਾ ਹੈ ਕਿ ਤੁਸੀਂ ਕੁਝ ਨੁਕਸਾਨ ਦੇਖੇ ਹੋਣਗੇ। ਉਦਾਹਰਨ ਲਈ, ਸਕ੍ਰਿਪਟ ਨੂੰ ਚਲਾਉਣ ਵਿੱਚ ਕਾਫ਼ੀ ਸਮਾਂ ਲੱਗਿਆ। ਬੇਸ਼ੱਕ, ਸਕ੍ਰਿਪਟ ਨੂੰ ਇੱਕ ਕੰਟੇਨਰ ਵਿੱਚ ਪੈਕ ਕਰਨ ਅਤੇ ਇਸਨੂੰ ਸਰਵਰ ਤੇ ਤੈਨਾਤ ਕਰਨ ਵਿੱਚ ਸਮਾਂ ਲੱਗਦਾ ਹੈ। ਜੇਕਰ ਕਲੱਸਟਰ ਨੂੰ 0 ਨੋਡਸ ਦੇ ਆਕਾਰ ਤੱਕ ਘਟਾ ਦਿੱਤਾ ਗਿਆ ਸੀ, ਤਾਂ ਇਸ ਨੂੰ ਵਰਚੁਅਲ ਮਸ਼ੀਨ ਨੂੰ ਚਾਲੂ ਕਰਨ ਵਿੱਚ ਹੋਰ ਵੀ ਸਮਾਂ ਲੱਗੇਗਾ, ਅਤੇ ਇਹ ਸਭ ਉਦੋਂ ਬਹੁਤ ਧਿਆਨ ਦੇਣ ਯੋਗ ਹੈ ਜਦੋਂ ਅਸੀਂ MNIST ਵਰਗੀਆਂ ਸਧਾਰਨ ਸਮੱਸਿਆਵਾਂ 'ਤੇ ਪ੍ਰਯੋਗ ਕਰਦੇ ਹਾਂ, ਜੋ ਕੁਝ ਸਕਿੰਟਾਂ ਵਿੱਚ ਹੱਲ ਹੋ ਜਾਂਦੀਆਂ ਹਨ। ਹਾਲਾਂਕਿ, ਅਸਲ ਜੀਵਨ ਵਿੱਚ, ਜਦੋਂ ਸਿਖਲਾਈ ਕਈ ਘੰਟੇ, ਜਾਂ ਇੱਥੋਂ ਤੱਕ ਕਿ ਦਿਨ ਜਾਂ ਹਫ਼ਤਿਆਂ ਤੱਕ ਚੱਲਦੀ ਹੈ, ਤਾਂ ਇਹ ਵਾਧੂ ਸਮਾਂ ਮਾਮੂਲੀ ਬਣ ਜਾਂਦਾ ਹੈ, ਖਾਸ ਤੌਰ 'ਤੇ ਇੱਕ ਕੰਪਿਊਟਿੰਗ ਕਲੱਸਟਰ ਦੁਆਰਾ ਪ੍ਰਦਾਨ ਕੀਤੇ ਜਾ ਸਕਣ ਵਾਲੇ ਉੱਚ ਪ੍ਰਦਰਸ਼ਨ ਦੇ ਪਿਛੋਕੜ ਦੇ ਵਿਰੁੱਧ।

ਅੱਗੇ ਕੀ ਹੈ?

ਮੈਂ ਉਮੀਦ ਕਰਦਾ ਹਾਂ ਕਿ ਇਸ ਲੇਖ ਨੂੰ ਪੜ੍ਹਨ ਤੋਂ ਬਾਅਦ, ਤੁਸੀਂ ਸਕ੍ਰਿਪਟਾਂ ਨੂੰ ਚਲਾਉਣ, ਗਣਨਾ ਸਰੋਤਾਂ ਦਾ ਪ੍ਰਬੰਧਨ ਕਰਨ ਅਤੇ ਨਤੀਜਿਆਂ ਨੂੰ ਕੇਂਦਰੀ ਤੌਰ 'ਤੇ ਸਟੋਰ ਕਰਨ ਲਈ ਆਪਣੇ ਕੰਮ ਵਿੱਚ Azure ML ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ ਅਤੇ ਕਰੋਗੇ। ਹਾਲਾਂਕਿ, Azure ML ਤੁਹਾਨੂੰ ਹੋਰ ਵੀ ਲਾਭ ਦੇ ਸਕਦਾ ਹੈ!

ਤੁਸੀਂ ਵਰਕਸਪੇਸ ਦੇ ਅੰਦਰ ਡਾਟਾ ਸਟੋਰ ਕਰ ਸਕਦੇ ਹੋ, ਇਸ ਤਰ੍ਹਾਂ ਤੁਹਾਡੇ ਸਾਰੇ ਕੰਮਾਂ ਲਈ ਇੱਕ ਕੇਂਦਰੀ ਭੰਡਾਰ ਬਣਾ ਸਕਦੇ ਹੋ ਜਿਸ ਤੱਕ ਪਹੁੰਚ ਕਰਨਾ ਆਸਾਨ ਹੈ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਤੁਸੀਂ ਵਿਜ਼ੂਅਲ ਸਟੂਡੀਓ ਕੋਡ ਦੀ ਬਜਾਏ API ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਪ੍ਰਯੋਗ ਚਲਾ ਸਕਦੇ ਹੋ - ਇਹ ਵਿਸ਼ੇਸ਼ ਤੌਰ 'ਤੇ ਲਾਭਦਾਇਕ ਹੋ ਸਕਦਾ ਹੈ ਜੇਕਰ ਤੁਹਾਨੂੰ ਹਾਈਪਰਪੈਰਾਮੀਟਰ ਓਪਟੀਮਾਈਜੇਸ਼ਨ ਕਰਨ ਦੀ ਲੋੜ ਹੈ ਅਤੇ ਵੱਖ-ਵੱਖ ਮਾਪਦੰਡਾਂ ਦੇ ਨਾਲ ਸਕ੍ਰਿਪਟ ਨੂੰ ਕਈ ਵਾਰ ਚਲਾਉਣ ਦੀ ਲੋੜ ਹੈ। ਇਸ ਤੋਂ ਇਲਾਵਾ, Azure ML ਵਿੱਚ ਵਿਸ਼ੇਸ਼ ਤਕਨਾਲੋਜੀ ਬਣਾਈ ਗਈ ਹੈ ਹਾਈਪਰਡ੍ਰਾਈਵ, ਜੋ ਹਾਈਪਰਪੈਰਾਮੀਟਰਾਂ ਦੀ ਵਧੇਰੇ ਵਧੀਆ ਖੋਜ ਅਤੇ ਅਨੁਕੂਲਤਾ ਲਈ ਸਹਾਇਕ ਹੈ। ਮੈਂ ਆਪਣੀ ਅਗਲੀ ਪੋਸਟ ਵਿੱਚ ਇਹਨਾਂ ਸੰਭਾਵਨਾਵਾਂ ਬਾਰੇ ਗੱਲ ਕਰਾਂਗਾ।

ਉਪਯੋਗੀ ਸ੍ਰੋਤ

Azure ML ਬਾਰੇ ਹੋਰ ਜਾਣਨ ਲਈ, ਤੁਸੀਂ ਹੇਠਾਂ ਦਿੱਤੇ Microsoft Learn ਕੋਰਸਾਂ ਨੂੰ ਲਾਭਦਾਇਕ ਪਾ ਸਕਦੇ ਹੋ:

• Azure ML ਸੇਵਾ ਨਾਲ ਜਾਣ-ਪਛਾਣ
• Azure ML ਸੇਵਾ ਨਾਲ AI ਹੱਲ ਬਣਾਓ
• Azure ML ਸੇਵਾ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਇੱਕ ਸਥਾਨਕ ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦਿਓ

ਸਰੋਤ: www.habr.com