Sber.DS ਇੱਕ ਪਲੇਟਫਾਰਮ ਹੈ ਜੋ ਤੁਹਾਨੂੰ ਬਿਨਾਂ ਕੋਡ ਦੇ ਮਾਡਲ ਬਣਾਉਣ ਅਤੇ ਲਾਗੂ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ

ਹੋਰ ਕਿਹੜੀਆਂ ਪ੍ਰਕਿਰਿਆਵਾਂ ਨੂੰ ਸਵੈਚਲਿਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ, ਇਸ ਬਾਰੇ ਵਿਚਾਰ ਅਤੇ ਮੀਟਿੰਗਾਂ ਹਰ ਰੋਜ਼ ਵੱਖ-ਵੱਖ ਆਕਾਰਾਂ ਦੇ ਕਾਰੋਬਾਰਾਂ ਵਿੱਚ ਪੈਦਾ ਹੁੰਦੀਆਂ ਹਨ। ਪਰ ਇਸ ਤੱਥ ਤੋਂ ਇਲਾਵਾ ਕਿ ਇੱਕ ਮਾਡਲ ਬਣਾਉਣ ਲਈ ਬਹੁਤ ਸਾਰਾ ਸਮਾਂ ਖਰਚ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ, ਤੁਹਾਨੂੰ ਇਸਦਾ ਮੁਲਾਂਕਣ ਕਰਨ ਅਤੇ ਇਹ ਜਾਂਚ ਕਰਨ ਲਈ ਖਰਚ ਕਰਨ ਦੀ ਜ਼ਰੂਰਤ ਹੈ ਕਿ ਪ੍ਰਾਪਤ ਨਤੀਜਾ ਬੇਤਰਤੀਬ ਨਹੀਂ ਹੈ. ਲਾਗੂ ਹੋਣ ਤੋਂ ਬਾਅਦ, ਕਿਸੇ ਵੀ ਮਾਡਲ ਦੀ ਨਿਗਰਾਨੀ ਅਤੇ ਸਮੇਂ-ਸਮੇਂ 'ਤੇ ਜਾਂਚ ਕੀਤੀ ਜਾਣੀ ਚਾਹੀਦੀ ਹੈ।

ਅਤੇ ਇਹ ਉਹ ਸਾਰੇ ਪੜਾਅ ਹਨ ਜਿਨ੍ਹਾਂ ਨੂੰ ਕਿਸੇ ਵੀ ਕੰਪਨੀ ਵਿੱਚ ਪੂਰਾ ਕਰਨ ਦੀ ਜ਼ਰੂਰਤ ਹੁੰਦੀ ਹੈ, ਇਸਦੇ ਆਕਾਰ ਦੀ ਪਰਵਾਹ ਕੀਤੇ ਬਿਨਾਂ. ਜੇ ਅਸੀਂ Sberbank ਦੇ ਪੈਮਾਨੇ ਅਤੇ ਵਿਰਾਸਤ ਬਾਰੇ ਗੱਲ ਕਰ ਰਹੇ ਹਾਂ, ਤਾਂ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਦੀ ਗਿਣਤੀ ਕਾਫ਼ੀ ਵੱਧ ਜਾਂਦੀ ਹੈ. 2019 ਦੇ ਅੰਤ ਤੱਕ, Sber ਪਹਿਲਾਂ ਹੀ 2000 ਤੋਂ ਵੱਧ ਮਾਡਲਾਂ ਦੀ ਵਰਤੋਂ ਕਰ ਚੁੱਕਾ ਹੈ। ਸਿਰਫ਼ ਇੱਕ ਮਾਡਲ ਨੂੰ ਵਿਕਸਤ ਕਰਨਾ ਕਾਫ਼ੀ ਨਹੀਂ ਹੈ; ਇਹ ਉਦਯੋਗਿਕ ਪ੍ਰਣਾਲੀਆਂ ਨਾਲ ਏਕੀਕ੍ਰਿਤ ਕਰਨਾ, ਮਾਡਲ ਬਣਾਉਣ ਲਈ ਡੇਟਾ ਮਾਰਟਸ ਵਿਕਸਿਤ ਕਰਨਾ, ਅਤੇ ਕਲੱਸਟਰ 'ਤੇ ਇਸਦੇ ਸੰਚਾਲਨ ਦੇ ਨਿਯੰਤਰਣ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਣਾ ਹੈ।

ਸਾਡੀ ਟੀਮ Sber.DS ਪਲੇਟਫਾਰਮ ਦਾ ਵਿਕਾਸ ਕਰ ਰਹੀ ਹੈ। ਇਹ ਤੁਹਾਨੂੰ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਦੀਆਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ, ਅਨੁਮਾਨਾਂ ਦੀ ਜਾਂਚ ਕਰਨ ਦੀ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਤੇਜ਼ ਕਰਦਾ ਹੈ, ਸਿਧਾਂਤਕ ਤੌਰ 'ਤੇ ਮਾਡਲਾਂ ਨੂੰ ਵਿਕਸਤ ਕਰਨ ਅਤੇ ਪ੍ਰਮਾਣਿਤ ਕਰਨ ਦੀ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਸਰਲ ਬਣਾਉਂਦਾ ਹੈ, ਅਤੇ PROM ਵਿੱਚ ਮਾਡਲ ਦੇ ਨਤੀਜੇ ਨੂੰ ਵੀ ਨਿਯੰਤਰਿਤ ਕਰਦਾ ਹੈ।

ਤੁਹਾਡੀਆਂ ਉਮੀਦਾਂ ਨੂੰ ਧੋਖਾ ਨਾ ਦੇਣ ਲਈ, ਮੈਂ ਪਹਿਲਾਂ ਤੋਂ ਇਹ ਕਹਿਣਾ ਚਾਹੁੰਦਾ ਹਾਂ ਕਿ ਇਹ ਪੋਸਟ ਇੱਕ ਸ਼ੁਰੂਆਤੀ ਹੈ, ਅਤੇ ਕੱਟ ਦੇ ਤਹਿਤ, ਸ਼ੁਰੂਆਤ ਕਰਨ ਵਾਲਿਆਂ ਲਈ, ਅਸੀਂ ਇਸ ਬਾਰੇ ਗੱਲ ਕਰਦੇ ਹਾਂ ਕਿ ਸਿਧਾਂਤ ਵਿੱਚ, Sber.DS ਪਲੇਟਫਾਰਮ ਦੇ ਹੁੱਡ ਦੇ ਹੇਠਾਂ ਕੀ ਹੈ. ਅਸੀਂ ਮਾਡਲ ਦੇ ਜੀਵਨ ਚੱਕਰ ਦੀ ਰਚਨਾ ਤੋਂ ਲਾਗੂ ਕਰਨ ਤੱਕ ਦੀ ਕਹਾਣੀ ਨੂੰ ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਦੱਸਾਂਗੇ।

Sber.DS ਵਿੱਚ ਕਈ ਭਾਗ ਹੁੰਦੇ ਹਨ, ਮੁੱਖ ਭਾਗ ਲਾਇਬ੍ਰੇਰੀ, ਵਿਕਾਸ ਪ੍ਰਣਾਲੀ ਅਤੇ ਮਾਡਲ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਸਿਸਟਮ।

ਲਾਇਬ੍ਰੇਰੀ ਮਾਡਲ ਦੇ ਜੀਵਨ ਚੱਕਰ ਨੂੰ ਉਸ ਸਮੇਂ ਤੋਂ ਨਿਯੰਤਰਿਤ ਕਰਦੀ ਹੈ ਜਦੋਂ ਤੱਕ ਇਸਨੂੰ ਵਿਕਸਿਤ ਕਰਨ ਦਾ ਵਿਚਾਰ ਪ੍ਰਗਟ ਹੁੰਦਾ ਹੈ, ਜਦੋਂ ਤੱਕ ਇਸਨੂੰ PROM, ਨਿਗਰਾਨੀ ਅਤੇ ਡੀਕਮਿਸ਼ਨ ਵਿੱਚ ਲਾਗੂ ਨਹੀਂ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਬਹੁਤ ਸਾਰੀਆਂ ਲਾਇਬ੍ਰੇਰੀ ਸਮਰੱਥਾਵਾਂ ਰੈਗੂਲੇਟਰ ਨਿਯਮਾਂ ਦੁਆਰਾ ਨਿਰਧਾਰਤ ਕੀਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ, ਉਦਾਹਰਨ ਲਈ, ਸਿਖਲਾਈ ਅਤੇ ਪ੍ਰਮਾਣਿਕਤਾ ਨਮੂਨਿਆਂ ਦੀ ਰਿਪੋਰਟਿੰਗ ਅਤੇ ਸਟੋਰੇਜ। ਅਸਲ ਵਿੱਚ, ਇਹ ਸਾਡੇ ਸਾਰੇ ਮਾਡਲਾਂ ਦਾ ਇੱਕ ਰਜਿਸਟਰ ਹੈ।

ਵਿਕਾਸ ਪ੍ਰਣਾਲੀ ਨੂੰ ਮਾਡਲਾਂ ਅਤੇ ਪ੍ਰਮਾਣਿਕਤਾ ਤਕਨੀਕਾਂ ਦੇ ਵਿਜ਼ੂਅਲ ਵਿਕਾਸ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ। ਵਿਕਸਤ ਮਾਡਲਾਂ ਦੀ ਸ਼ੁਰੂਆਤੀ ਪ੍ਰਮਾਣਿਕਤਾ ਹੁੰਦੀ ਹੈ ਅਤੇ ਉਹਨਾਂ ਦੇ ਵਪਾਰਕ ਕਾਰਜਾਂ ਨੂੰ ਕਰਨ ਲਈ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਸਿਸਟਮ ਨੂੰ ਸਪਲਾਈ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਨਾਲ ਹੀ, ਰਨਟਾਈਮ ਸਿਸਟਮ ਵਿੱਚ, ਮਾਡਲ ਨੂੰ ਸਮੇਂ-ਸਮੇਂ 'ਤੇ ਪ੍ਰਮਾਣਿਕਤਾ ਤਕਨੀਕਾਂ ਦੀ ਸ਼ੁਰੂਆਤ ਕਰਨ ਦੇ ਉਦੇਸ਼ ਲਈ ਇੱਕ ਮਾਨੀਟਰ 'ਤੇ ਰੱਖਿਆ ਜਾ ਸਕਦਾ ਹੈ ਤਾਂ ਜੋ ਇਸਦੇ ਕੰਮ ਦੀ ਨਿਗਰਾਨੀ ਕੀਤੀ ਜਾ ਸਕੇ।

ਸਿਸਟਮ ਵਿੱਚ ਕਈ ਤਰ੍ਹਾਂ ਦੇ ਨੋਡ ਹੁੰਦੇ ਹਨ। ਕੁਝ ਵੱਖ-ਵੱਖ ਡੇਟਾ ਸਰੋਤਾਂ ਨਾਲ ਜੁੜਨ ਲਈ ਤਿਆਰ ਕੀਤੇ ਗਏ ਹਨ, ਦੂਸਰੇ ਸਰੋਤ ਡੇਟਾ ਨੂੰ ਬਦਲਣ ਅਤੇ ਇਸਨੂੰ (ਮਾਰਕਅਪ) ਨੂੰ ਵਧਾਉਣ ਲਈ ਤਿਆਰ ਕੀਤੇ ਗਏ ਹਨ। ਉਹਨਾਂ ਨੂੰ ਪ੍ਰਮਾਣਿਤ ਕਰਨ ਲਈ ਵੱਖ-ਵੱਖ ਮਾਡਲਾਂ ਅਤੇ ਨੋਡ ਬਣਾਉਣ ਲਈ ਬਹੁਤ ਸਾਰੇ ਨੋਡ ਹਨ। ਡਿਵੈਲਪਰ ਕਿਸੇ ਵੀ ਸਰੋਤ ਤੋਂ ਡੇਟਾ ਲੋਡ ਕਰ ਸਕਦਾ ਹੈ, ਪਰਿਵਰਤਨ ਕਰ ਸਕਦਾ ਹੈ, ਫਿਲਟਰ ਕਰ ਸਕਦਾ ਹੈ, ਵਿਚਕਾਰਲੇ ਡੇਟਾ ਦੀ ਕਲਪਨਾ ਕਰ ਸਕਦਾ ਹੈ, ਅਤੇ ਇਸਨੂੰ ਹਿੱਸਿਆਂ ਵਿੱਚ ਵੰਡ ਸਕਦਾ ਹੈ।

ਪਲੇਟਫਾਰਮ ਵਿੱਚ ਰੈਡੀਮੇਡ ਮੈਡਿਊਲ ਵੀ ਹੁੰਦੇ ਹਨ ਜਿਨ੍ਹਾਂ ਨੂੰ ਘਸੀਟ ਕੇ ਡਿਜ਼ਾਇਨ ਖੇਤਰ ਵਿੱਚ ਸੁੱਟਿਆ ਜਾ ਸਕਦਾ ਹੈ। ਸਾਰੀਆਂ ਕਾਰਵਾਈਆਂ ਇੱਕ ਵਿਜ਼ੁਅਲ ਇੰਟਰਫੇਸ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕੀਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ। ਵਾਸਤਵ ਵਿੱਚ, ਤੁਸੀਂ ਕੋਡ ਦੀ ਇੱਕ ਲਾਈਨ ਦੇ ਬਿਨਾਂ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰ ਸਕਦੇ ਹੋ.

ਜੇਕਰ ਬਿਲਟ-ਇਨ ਸਮਰੱਥਾ ਕਾਫ਼ੀ ਨਹੀਂ ਹੈ, ਤਾਂ ਸਿਸਟਮ ਤੁਹਾਡੇ ਆਪਣੇ ਮੋਡੀਊਲ ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਬਣਾਉਣ ਦੀ ਸਮਰੱਥਾ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਦੇ ਆਧਾਰ 'ਤੇ ਅਸੀਂ ਇੱਕ ਏਕੀਕ੍ਰਿਤ ਵਿਕਾਸ ਮੋਡ ਬਣਾਇਆ ਹੈ ਜੁਪੀਟਰ ਕਰਨਲ ਗੇਟਵੇ ਉਹਨਾਂ ਲਈ ਜੋ ਸਕ੍ਰੈਚ ਤੋਂ ਨਵੇਂ ਮੋਡੀਊਲ ਬਣਾਉਂਦੇ ਹਨ।

Sber.DS ਦਾ ਆਰਕੀਟੈਕਚਰ ਮਾਈਕ੍ਰੋ ਸਰਵਿਸਿਜ਼ 'ਤੇ ਬਣਾਇਆ ਗਿਆ ਹੈ। ਮਾਈਕ੍ਰੋ ਸਰਵਿਸਿਜ਼ ਕੀ ਹਨ ਇਸ ਬਾਰੇ ਬਹੁਤ ਸਾਰੇ ਵਿਚਾਰ ਹਨ। ਕੁਝ ਲੋਕ ਸੋਚਦੇ ਹਨ ਕਿ ਮੋਨੋਲੀਥਿਕ ਕੋਡ ਨੂੰ ਹਿੱਸਿਆਂ ਵਿੱਚ ਵੰਡਣਾ ਕਾਫ਼ੀ ਹੈ, ਪਰ ਉਸੇ ਸਮੇਂ ਉਹ ਅਜੇ ਵੀ ਉਸੇ ਡੇਟਾਬੇਸ ਵਿੱਚ ਜਾਂਦੇ ਹਨ. ਸਾਡੀ ਮਾਈਕ੍ਰੋਸਰਵਿਸ ਨੂੰ ਸਿਰਫ਼ REST API ਰਾਹੀਂ ਕਿਸੇ ਹੋਰ ਮਾਈਕ੍ਰੋਸਰਵਿਸ ਨਾਲ ਸੰਚਾਰ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ। ਡੇਟਾਬੇਸ ਨੂੰ ਸਿੱਧਾ ਐਕਸੈਸ ਕਰਨ ਲਈ ਕੋਈ ਹੱਲ ਨਹੀਂ।

ਅਸੀਂ ਇਹ ਸੁਨਿਸ਼ਚਿਤ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੇ ਹਾਂ ਕਿ ਸੇਵਾਵਾਂ ਬਹੁਤ ਵੱਡੀਆਂ ਅਤੇ ਬੇਢੰਗੀਆਂ ਨਾ ਬਣ ਜਾਣ: ਇੱਕ ਉਦਾਹਰਨ ਲਈ 4-8 ਗੀਗਾਬਾਈਟ RAM ਤੋਂ ਵੱਧ ਦੀ ਖਪਤ ਨਹੀਂ ਹੋਣੀ ਚਾਹੀਦੀ ਅਤੇ ਨਵੀਆਂ ਉਦਾਹਰਣਾਂ ਨੂੰ ਲਾਂਚ ਕਰਕੇ ਬੇਨਤੀਆਂ ਨੂੰ ਖਿਤਿਜੀ ਤੌਰ 'ਤੇ ਸਕੇਲ ਕਰਨ ਦੀ ਯੋਗਤਾ ਪ੍ਰਦਾਨ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ। ਹਰੇਕ ਸੇਵਾ ਦੂਜਿਆਂ ਨਾਲ ਸਿਰਫ਼ REST API ਰਾਹੀਂ ਸੰਚਾਰ ਕਰਦੀ ਹੈ (ਓਪਨ API). ਸੇਵਾ ਲਈ ਜਿੰਮੇਵਾਰ ਟੀਮ ਨੂੰ API ਨੂੰ ਪਿੱਛੇ ਵੱਲ ਨੂੰ ਅਨੁਕੂਲ ਰੱਖਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ ਜਦੋਂ ਤੱਕ ਆਖਰੀ ਕਲਾਇੰਟ ਇਸਦੀ ਵਰਤੋਂ ਨਹੀਂ ਕਰਦਾ।

ਐਪਲੀਕੇਸ਼ਨ ਦਾ ਮੂਲ ਸਪਰਿੰਗ ਫਰੇਮਵਰਕ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਜਾਵਾ ਵਿੱਚ ਲਿਖਿਆ ਗਿਆ ਹੈ। ਹੱਲ ਸ਼ੁਰੂ ਵਿੱਚ ਕਲਾਉਡ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਵਿੱਚ ਤੇਜ਼ੀ ਨਾਲ ਤਾਇਨਾਤੀ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਸੀ, ਇਸਲਈ ਐਪਲੀਕੇਸ਼ਨ ਨੂੰ ਇੱਕ ਕੰਟੇਨਰਾਈਜ਼ੇਸ਼ਨ ਸਿਸਟਮ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਬਣਾਇਆ ਗਿਆ ਸੀ ਰੈੱਡ ਹੈੱਟ ਓਪਨ ਸ਼ੀਫਟ (ਕਬਰਨੇਟਿਸ). ਪਲੇਟਫਾਰਮ ਲਗਾਤਾਰ ਵਿਕਸਤ ਹੋ ਰਿਹਾ ਹੈ, ਵਪਾਰਕ ਕਾਰਜਕੁਸ਼ਲਤਾ (ਨਵੇਂ ਕਨੈਕਟਰ, ਆਟੋਐਮਐਲ ਨੂੰ ਜੋੜਿਆ ਜਾ ਰਿਹਾ ਹੈ) ਅਤੇ ਤਕਨੀਕੀ ਕੁਸ਼ਲਤਾ ਦੇ ਰੂਪ ਵਿੱਚ ਦੋਵਾਂ ਦੇ ਰੂਪ ਵਿੱਚ।

ਸਾਡੇ ਪਲੇਟਫਾਰਮ ਦੀ ਇੱਕ ਵਿਸ਼ੇਸ਼ਤਾ ਇਹ ਹੈ ਕਿ ਅਸੀਂ ਕਿਸੇ ਵੀ Sberbank ਮਾਡਲ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਸਿਸਟਮ 'ਤੇ ਵਿਜ਼ੂਅਲ ਇੰਟਰਫੇਸ ਵਿੱਚ ਵਿਕਸਤ ਕੋਡ ਚਲਾ ਸਕਦੇ ਹਾਂ। ਹੁਣ ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ ਦੋ ਪਹਿਲਾਂ ਹੀ ਹਨ: ਇੱਕ ਹੈਡੂਪ ਉੱਤੇ, ਦੂਜਾ ਓਪਨਸ਼ਿਫਟ (ਡੌਕਰ) ਉੱਤੇ। ਅਸੀਂ ਉੱਥੇ ਨਹੀਂ ਰੁਕਦੇ ਅਤੇ ਕਿਸੇ ਵੀ ਬੁਨਿਆਦੀ ਢਾਂਚੇ 'ਤੇ ਕੋਡ ਚਲਾਉਣ ਲਈ ਏਕੀਕਰਣ ਮੋਡੀਊਲ ਬਣਾਉਂਦੇ ਹਾਂ, ਜਿਸ ਵਿੱਚ ਆਨ-ਪ੍ਰੀਮਾਈਸ ਅਤੇ ਕਲਾਊਡ ਸ਼ਾਮਲ ਹਨ। Sberbank ਈਕੋਸਿਸਟਮ ਵਿੱਚ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਏਕੀਕਰਣ ਦੀਆਂ ਸੰਭਾਵਨਾਵਾਂ ਦੇ ਸਬੰਧ ਵਿੱਚ, ਅਸੀਂ ਮੌਜੂਦਾ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਵਾਤਾਵਰਣਾਂ ਦੇ ਨਾਲ ਕੰਮ ਦਾ ਸਮਰਥਨ ਕਰਨ ਦੀ ਵੀ ਯੋਜਨਾ ਬਣਾਉਂਦੇ ਹਾਂ। ਭਵਿੱਖ ਵਿੱਚ, ਹੱਲ ਨੂੰ ਕਿਸੇ ਵੀ ਸੰਸਥਾ ਦੇ ਕਿਸੇ ਵੀ ਲੈਂਡਸਕੇਪ ਵਿੱਚ "ਬਾਕਸ ਦੇ ਬਾਹਰ" ਲਚਕਦਾਰ ਢੰਗ ਨਾਲ ਜੋੜਿਆ ਜਾ ਸਕਦਾ ਹੈ।

ਜਿਨ੍ਹਾਂ ਨੇ ਕਦੇ ਅਜਿਹੇ ਹੱਲ ਦਾ ਸਮਰਥਨ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ ਹੈ ਜੋ PROM ਵਿੱਚ Hadoop 'ਤੇ ਪਾਈਥਨ ਨੂੰ ਚਲਾਉਂਦਾ ਹੈ, ਉਹ ਜਾਣਦੇ ਹਨ ਕਿ ਹਰੇਕ ਡੇਟਾਨੋਡ ਲਈ ਇੱਕ ਪਾਈਥਨ ਉਪਭੋਗਤਾ ਵਾਤਾਵਰਣ ਤਿਆਰ ਕਰਨਾ ਅਤੇ ਪ੍ਰਦਾਨ ਕਰਨਾ ਕਾਫ਼ੀ ਨਹੀਂ ਹੈ। ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਲਈ C/C++ ਲਾਇਬ੍ਰੇਰੀਆਂ ਦੀ ਵੱਡੀ ਗਿਣਤੀ ਜੋ ਪਾਈਥਨ ਮੋਡੀਊਲ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ, ਤੁਹਾਨੂੰ ਆਰਾਮ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਨਹੀਂ ਦੇਵੇਗੀ। ਸਾਨੂੰ ਨਵੀਆਂ ਲਾਇਬ੍ਰੇਰੀਆਂ ਜਾਂ ਸਰਵਰ ਜੋੜਨ ਵੇਲੇ ਪੈਕੇਜਾਂ ਨੂੰ ਅੱਪਡੇਟ ਕਰਨਾ ਯਾਦ ਰੱਖਣਾ ਚਾਹੀਦਾ ਹੈ, ਜਦੋਂ ਕਿ ਪਹਿਲਾਂ ਤੋਂ ਲਾਗੂ ਕੀਤੇ ਮਾਡਲ ਕੋਡ ਦੇ ਨਾਲ ਪਿਛੜੇ ਅਨੁਕੂਲਤਾ ਨੂੰ ਕਾਇਮ ਰੱਖਿਆ ਜਾਂਦਾ ਹੈ।

ਇਹ ਕਿਵੇਂ ਕਰਨਾ ਹੈ ਦੇ ਕਈ ਤਰੀਕੇ ਹਨ. ਉਦਾਹਰਨ ਲਈ, ਕਈ ਅਕਸਰ ਵਰਤੀਆਂ ਜਾਂਦੀਆਂ ਲਾਇਬ੍ਰੇਰੀਆਂ ਨੂੰ ਪਹਿਲਾਂ ਤੋਂ ਤਿਆਰ ਕਰੋ ਅਤੇ ਉਹਨਾਂ ਨੂੰ PROM ਵਿੱਚ ਲਾਗੂ ਕਰੋ। Cloudera ਦੇ Hadoop ਵੰਡ ਵਿੱਚ, ਉਹ ਆਮ ਤੌਰ 'ਤੇ ਵਰਤਦੇ ਹਨ ਪਾਰਸਲ. ਹੁਣ ਹਡੂਪ ਵਿੱਚ ਵੀ ਚੱਲਣਾ ਸੰਭਵ ਹੈ ਡੌਕਰ- ਕੰਟੇਨਰ. ਕੁਝ ਸਧਾਰਨ ਮਾਮਲਿਆਂ ਵਿੱਚ ਪੈਕੇਜ ਦੇ ਨਾਲ ਕੋਡ ਡਿਲੀਵਰ ਕਰਨਾ ਸੰਭਵ ਹੈ python.eggs.

ਬੈਂਕ ਥਰਡ-ਪਾਰਟੀ ਕੋਡ ਨੂੰ ਚਲਾਉਣ ਦੀ ਸੁਰੱਖਿਆ ਨੂੰ ਬਹੁਤ ਗੰਭੀਰਤਾ ਨਾਲ ਲੈਂਦਾ ਹੈ, ਇਸਲਈ ਅਸੀਂ ਲੀਨਕਸ ਕਰਨਲ ਦੀਆਂ ਨਵੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦਾ ਵੱਧ ਤੋਂ ਵੱਧ ਲਾਭ ਉਠਾਉਂਦੇ ਹਾਂ, ਜਿੱਥੇ ਇੱਕ ਅਲੱਗ-ਥਲੱਗ ਵਾਤਾਵਰਣ ਵਿੱਚ ਚੱਲ ਰਹੀ ਪ੍ਰਕਿਰਿਆ ਲੀਨਕਸ ਨੇਮਸਪੇਸ, ਤੁਸੀਂ ਸੀਮਤ ਕਰ ਸਕਦੇ ਹੋ, ਉਦਾਹਰਨ ਲਈ, ਨੈੱਟਵਰਕ ਅਤੇ ਲੋਕਲ ਡਿਸਕ ਤੱਕ ਪਹੁੰਚ, ਜੋ ਕਿ ਖਤਰਨਾਕ ਕੋਡ ਦੀ ਸਮਰੱਥਾ ਨੂੰ ਮਹੱਤਵਪੂਰਣ ਰੂਪ ਵਿੱਚ ਘਟਾਉਂਦੀ ਹੈ। ਹਰੇਕ ਵਿਭਾਗ ਦੇ ਡੇਟਾ ਖੇਤਰ ਸੁਰੱਖਿਅਤ ਹਨ ਅਤੇ ਸਿਰਫ ਇਸ ਡੇਟਾ ਦੇ ਮਾਲਕਾਂ ਲਈ ਪਹੁੰਚਯੋਗ ਹਨ। ਪਲੇਟਫਾਰਮ ਇਹ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ ਕਿ ਸਰੋਤਾਂ ਤੱਕ ਪਹੁੰਚ ਤੋਂ ਲੈ ਕੇ ਟਾਰਗੇਟ ਸਟੋਰਫਰੰਟ ਵਿੱਚ ਡੇਟਾ ਦੇ ਉਤਰਨ ਤੱਕ ਦੇ ਸਾਰੇ ਪੜਾਵਾਂ 'ਤੇ ਨਿਯੰਤਰਣ ਦੇ ਨਾਲ ਇੱਕ ਖੇਤਰ ਤੋਂ ਡੇਟਾ ਸਿਰਫ ਇੱਕ ਡੇਟਾ ਪ੍ਰਕਾਸ਼ਨ ਪ੍ਰਕਿਰਿਆ ਦੁਆਰਾ ਦੂਜੇ ਖੇਤਰ ਤੱਕ ਪਹੁੰਚ ਸਕਦਾ ਹੈ।

ਇਸ ਸਾਲ ਅਸੀਂ ਹਾਡੂਪ 'ਤੇ ਪਾਈਥਨ/ਆਰ/ਜਾਵਾ ਵਿੱਚ ਲਿਖੇ ਮਾਡਲਾਂ ਨੂੰ ਲਾਂਚ ਕਰਨ ਦੇ ਐਮਵੀਪੀ ਨੂੰ ਪੂਰਾ ਕਰਨ ਦੀ ਯੋਜਨਾ ਬਣਾ ਰਹੇ ਹਾਂ। ਅਸੀਂ ਹਾਡੂਪ 'ਤੇ ਕਿਸੇ ਵੀ ਕਸਟਮ ਵਾਤਾਵਰਣ ਨੂੰ ਕਿਵੇਂ ਚਲਾਉਣਾ ਹੈ, ਇਹ ਸਿੱਖਣ ਦਾ ਅਭਿਲਾਸ਼ੀ ਕੰਮ ਨਿਰਧਾਰਤ ਕੀਤਾ ਹੈ, ਤਾਂ ਜੋ ਸਾਡੇ ਪਲੇਟਫਾਰਮ ਦੇ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਕਿਸੇ ਵੀ ਤਰੀਕੇ ਨਾਲ ਸੀਮਤ ਨਾ ਕੀਤਾ ਜਾ ਸਕੇ।

ਇਸ ਤੋਂ ਇਲਾਵਾ, ਜਿਵੇਂ ਕਿ ਇਹ ਸਾਹਮਣੇ ਆਇਆ ਹੈ, ਬਹੁਤ ਸਾਰੇ DS ਮਾਹਰ ਗਣਿਤ ਅਤੇ ਅੰਕੜਿਆਂ ਵਿੱਚ ਸ਼ਾਨਦਾਰ ਹਨ, ਵਧੀਆ ਮਾਡਲ ਬਣਾਉਂਦੇ ਹਨ, ਪਰ ਵੱਡੇ ਡੇਟਾ ਪਰਿਵਰਤਨ ਵਿੱਚ ਬਹੁਤ ਚੰਗੀ ਤਰ੍ਹਾਂ ਜਾਣੂ ਨਹੀਂ ਹਨ, ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਸਿਖਲਾਈ ਦੇ ਨਮੂਨੇ ਤਿਆਰ ਕਰਨ ਲਈ ਸਾਡੇ ਡੇਟਾ ਇੰਜੀਨੀਅਰਾਂ ਦੀ ਮਦਦ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਅਸੀਂ ਆਪਣੇ ਸਾਥੀਆਂ ਦੀ ਮਦਦ ਕਰਨ ਅਤੇ ਸਪਾਰਕ ਇੰਜਣ 'ਤੇ ਮਾਡਲਾਂ ਲਈ ਮਿਆਰੀ ਤਬਦੀਲੀ ਅਤੇ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੀ ਤਿਆਰੀ ਲਈ ਸੁਵਿਧਾਜਨਕ ਮੋਡੀਊਲ ਬਣਾਉਣ ਦਾ ਫੈਸਲਾ ਕੀਤਾ ਹੈ। ਇਹ ਤੁਹਾਨੂੰ ਮਾਡਲਾਂ ਨੂੰ ਵਿਕਸਤ ਕਰਨ ਵਿੱਚ ਵਧੇਰੇ ਸਮਾਂ ਬਿਤਾਉਣ ਦੀ ਆਗਿਆ ਦੇਵੇਗਾ ਅਤੇ ਇੱਕ ਨਵਾਂ ਡੇਟਾਸੈਟ ਤਿਆਰ ਕਰਨ ਲਈ ਡੇਟਾ ਇੰਜੀਨੀਅਰਾਂ ਦੀ ਉਡੀਕ ਨਹੀਂ ਕਰੇਗਾ।

ਅਸੀਂ ਵੱਖ-ਵੱਖ ਖੇਤਰਾਂ ਵਿੱਚ ਗਿਆਨ ਵਾਲੇ ਲੋਕਾਂ ਨੂੰ ਨਿਯੁਕਤ ਕਰਦੇ ਹਾਂ: Linux ਅਤੇ DevOps, Hadoop ਅਤੇ Spark, Java ਅਤੇ Spring, Scala ਅਤੇ Akka, OpenShift ਅਤੇ Kubernetes. ਅਗਲੀ ਵਾਰ ਅਸੀਂ ਮਾਡਲ ਲਾਇਬ੍ਰੇਰੀ ਬਾਰੇ ਗੱਲ ਕਰਾਂਗੇ, ਮਾਡਲ ਕੰਪਨੀ ਦੇ ਜੀਵਨ ਚੱਕਰ ਵਿੱਚੋਂ ਕਿਵੇਂ ਲੰਘਦਾ ਹੈ, ਪ੍ਰਮਾਣਿਕਤਾ ਅਤੇ ਲਾਗੂ ਕਿਵੇਂ ਹੁੰਦਾ ਹੈ।

ਸਰੋਤ: www.habr.com