ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਅਤੇ ਡੇਟਾ ਸਾਇੰਟਿਸਟ: ਕੀ ਅੰਤਰ ਹੈ?

ਡੇਟਾ ਸਾਇੰਟਿਸਟ ਅਤੇ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਦੇ ਪੇਸ਼ੇ ਅਕਸਰ ਉਲਝਣ ਵਿੱਚ ਰਹਿੰਦੇ ਹਨ। ਹਰੇਕ ਕੰਪਨੀ ਕੋਲ ਡੇਟਾ ਦੇ ਨਾਲ ਕੰਮ ਕਰਨ ਦੀਆਂ ਆਪਣੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ, ਉਹਨਾਂ ਦੇ ਵਿਸ਼ਲੇਸ਼ਣ ਲਈ ਵੱਖੋ-ਵੱਖਰੇ ਉਦੇਸ਼ ਅਤੇ ਇੱਕ ਵੱਖਰਾ ਵਿਚਾਰ ਹੈ ਕਿ ਕਿਸ ਮਾਹਰ ਨੂੰ ਕੰਮ ਦੇ ਕਿਹੜੇ ਹਿੱਸੇ ਨਾਲ ਨਜਿੱਠਣਾ ਚਾਹੀਦਾ ਹੈ, ਇਸ ਲਈ ਹਰੇਕ ਦੀਆਂ ਆਪਣੀਆਂ ਜ਼ਰੂਰਤਾਂ ਹਨ। 

ਆਓ ਇਹ ਪਤਾ ਲਗਾਓ ਕਿ ਇਹਨਾਂ ਮਾਹਰਾਂ ਵਿੱਚ ਕੀ ਅੰਤਰ ਹੈ, ਉਹ ਕਿਹੜੀਆਂ ਕਾਰੋਬਾਰੀ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਦੇ ਹਨ, ਉਹਨਾਂ ਕੋਲ ਕਿਹੜੇ ਹੁਨਰ ਹਨ ਅਤੇ ਉਹ ਕਿੰਨੀ ਕਮਾਈ ਕਰਦੇ ਹਨ। ਸਮੱਗਰੀ ਵੱਡੀ ਨਿਕਲੀ, ਇਸਲਈ ਅਸੀਂ ਇਸਨੂੰ ਦੋ ਪ੍ਰਕਾਸ਼ਨਾਂ ਵਿੱਚ ਵੰਡਿਆ।

ਪਹਿਲੇ ਲੇਖ ਵਿੱਚ, ਫੈਕਲਟੀ ਦੀ ਮੁਖੀ ਏਲੇਨਾ ਗੇਰਾਸਿਮੋਵਾ “ਡਾਟਾ ਵਿਗਿਆਨ ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣ"ਨੈਟੋਲੋਜੀ ਵਿੱਚ, ਦੱਸਦਾ ਹੈ ਕਿ ਇੱਕ ਡੇਟਾ ਸਾਇੰਟਿਸਟ ਅਤੇ ਇੱਕ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਵਿੱਚ ਕੀ ਅੰਤਰ ਹੈ ਅਤੇ ਉਹ ਕਿਹੜੇ ਸਾਧਨਾਂ ਨਾਲ ਕੰਮ ਕਰਦੇ ਹਨ।

ਇੰਜੀਨੀਅਰਾਂ ਅਤੇ ਵਿਗਿਆਨੀਆਂ ਦੀਆਂ ਭੂਮਿਕਾਵਾਂ ਕਿਵੇਂ ਵੱਖਰੀਆਂ ਹਨ

ਇੱਕ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਇੱਕ ਮਾਹਰ ਹੁੰਦਾ ਹੈ ਜੋ, ਇੱਕ ਪਾਸੇ, ਡੇਟਾ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਨੂੰ ਵਿਕਸਤ ਕਰਦਾ ਹੈ, ਟੈਸਟ ਕਰਦਾ ਹੈ ਅਤੇ ਰੱਖ-ਰਖਾਅ ਕਰਦਾ ਹੈ: ਡੇਟਾਬੇਸ, ਸਟੋਰੇਜ ਅਤੇ ਮਾਸ ਪ੍ਰੋਸੈਸਿੰਗ ਸਿਸਟਮ। ਦੂਜੇ ਪਾਸੇ, ਇਹ ਉਹ ਹੈ ਜੋ ਵਿਸ਼ਲੇਸ਼ਕਾਂ ਅਤੇ ਡੇਟਾ ਵਿਗਿਆਨੀਆਂ ਦੁਆਰਾ ਵਰਤੋਂ ਲਈ ਡੇਟਾ ਨੂੰ ਸਾਫ਼ ਅਤੇ "ਕੰਘੀ" ਕਰਦਾ ਹੈ, ਯਾਨੀ ਡੇਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਪਾਈਪਲਾਈਨਾਂ ਬਣਾਉਂਦਾ ਹੈ।

ਡੇਟਾ ਸਾਇੰਟਿਸਟ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਐਲਗੋਰਿਦਮ ਅਤੇ ਨਿਊਰਲ ਨੈਟਵਰਕ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਭਵਿੱਖਬਾਣੀ ਕਰਨ ਵਾਲੇ (ਅਤੇ ਹੋਰ) ਮਾਡਲਾਂ ਨੂੰ ਬਣਾਉਂਦਾ ਅਤੇ ਸਿਖਲਾਈ ਦਿੰਦਾ ਹੈ, ਕਾਰੋਬਾਰਾਂ ਨੂੰ ਲੁਕਵੇਂ ਪੈਟਰਨ ਲੱਭਣ, ਵਿਕਾਸ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰਨ ਅਤੇ ਮੁੱਖ ਕਾਰੋਬਾਰੀ ਪ੍ਰਕਿਰਿਆਵਾਂ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ।

ਇੱਕ ਡੇਟਾ ਸਾਇੰਟਿਸਟ ਅਤੇ ਇੱਕ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਵਿੱਚ ਮੁੱਖ ਅੰਤਰ ਇਹ ਹੈ ਕਿ ਉਹਨਾਂ ਦੇ ਆਮ ਤੌਰ 'ਤੇ ਵੱਖ-ਵੱਖ ਟੀਚੇ ਹੁੰਦੇ ਹਨ। ਦੋਵੇਂ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਕੰਮ ਕਰਦੇ ਹਨ ਕਿ ਡੇਟਾ ਪਹੁੰਚਯੋਗ ਅਤੇ ਉੱਚ ਗੁਣਵੱਤਾ ਵਾਲਾ ਹੈ। ਪਰ ਇੱਕ ਡੇਟਾ ਸਾਇੰਟਿਸਟ ਆਪਣੇ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਲੱਭਦਾ ਹੈ ਅਤੇ ਇੱਕ ਡੇਟਾ ਈਕੋਸਿਸਟਮ ਵਿੱਚ ਪਰੀਖਿਆਵਾਂ ਦੀ ਜਾਂਚ ਕਰਦਾ ਹੈ (ਉਦਾਹਰਣ ਵਜੋਂ, ਹੈਡੂਪ ਉੱਤੇ ਅਧਾਰਤ), ਅਤੇ ਇੱਕ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਉਸੇ ਦੇ ਅੰਦਰ ਇੱਕ ਸਪਾਰਕ ਕਲੱਸਟਰ ਵਿੱਚ ਇੱਕ ਡੇਟਾ ਵਿਗਿਆਨੀ ਦੁਆਰਾ ਲਿਖੇ ਇੱਕ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਐਲਗੋਰਿਦਮ ਦੀ ਸੇਵਾ ਲਈ ਇੱਕ ਪਾਈਪਲਾਈਨ ਬਣਾਉਂਦਾ ਹੈ। ਈਕੋਸਿਸਟਮ 

ਇੱਕ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਇੱਕ ਟੀਮ ਦੇ ਹਿੱਸੇ ਵਜੋਂ ਕੰਮ ਕਰਕੇ ਇੱਕ ਕਾਰੋਬਾਰ ਵਿੱਚ ਮੁੱਲ ਲਿਆਉਂਦਾ ਹੈ। ਇਸਦਾ ਕੰਮ ਵੱਖ-ਵੱਖ ਭਾਗੀਦਾਰਾਂ ਵਿਚਕਾਰ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਲਿੰਕ ਵਜੋਂ ਕੰਮ ਕਰਨਾ ਹੈ: ਡਿਵੈਲਪਰਾਂ ਤੋਂ ਲੈ ਕੇ ਰਿਪੋਰਟਿੰਗ ਦੇ ਵਪਾਰਕ ਖਪਤਕਾਰਾਂ ਤੱਕ, ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਕਾਂ ਦੀ ਉਤਪਾਦਕਤਾ ਨੂੰ ਵਧਾਉਣਾ, ਮਾਰਕੀਟਿੰਗ ਅਤੇ ਉਤਪਾਦ ਤੋਂ ਬੀ.ਆਈ. 

ਇੱਕ ਡੇਟਾ ਸਾਇੰਟਿਸਟ, ਇਸਦੇ ਉਲਟ, ਕੰਪਨੀ ਦੀ ਰਣਨੀਤੀ ਵਿੱਚ ਇੱਕ ਸਰਗਰਮ ਹਿੱਸਾ ਲੈਂਦਾ ਹੈ ਅਤੇ ਸੂਝ ਕੱਢਣ, ਫੈਸਲੇ ਲੈਣ, ਆਟੋਮੇਸ਼ਨ ਐਲਗੋਰਿਦਮ ਨੂੰ ਲਾਗੂ ਕਰਨ, ਮਾਡਲਿੰਗ ਅਤੇ ਡੇਟਾ ਤੋਂ ਮੁੱਲ ਪੈਦਾ ਕਰਦਾ ਹੈ।


ਡੇਟਾ ਦੇ ਨਾਲ ਕੰਮ ਕਰਨਾ ਜੀਆਈਜੀਓ (ਗਾਰਬੇਜ ਇਨ - ਗਾਰਬੇਜ ਆਊਟ) ਸਿਧਾਂਤ ਦੇ ਅਧੀਨ ਹੈ: ਜੇਕਰ ਵਿਸ਼ਲੇਸ਼ਕ ਅਤੇ ਡੇਟਾ ਵਿਗਿਆਨੀ ਬਿਨਾਂ ਤਿਆਰੀ ਅਤੇ ਸੰਭਾਵੀ ਤੌਰ 'ਤੇ ਗਲਤ ਡੇਟਾ ਨਾਲ ਨਜਿੱਠਦੇ ਹਨ, ਤਾਂ ਨਤੀਜੇ ਸਭ ਤੋਂ ਵਧੀਆ ਵਿਸ਼ਲੇਸ਼ਣ ਐਲਗੋਰਿਦਮ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਵੀ ਗਲਤ ਹੋਣਗੇ। 

ਡੇਟਾ ਇੰਜਨੀਅਰ ਡੇਟਾ ਨੂੰ ਪ੍ਰੋਸੈਸਿੰਗ, ਸਫਾਈ ਅਤੇ ਪਰਿਵਰਤਨ ਲਈ ਪਾਈਪਲਾਈਨਾਂ ਬਣਾ ਕੇ ਅਤੇ ਡੇਟਾ ਵਿਗਿਆਨੀਆਂ ਨੂੰ ਉੱਚ-ਗੁਣਵੱਤਾ ਵਾਲੇ ਡੇਟਾ ਨਾਲ ਕੰਮ ਕਰਨ ਦੀ ਆਗਿਆ ਦੇ ਕੇ ਇਸ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰਦੇ ਹਨ। 

ਡੇਟਾ ਦੇ ਨਾਲ ਕੰਮ ਕਰਨ ਲਈ ਮਾਰਕੀਟ ਵਿੱਚ ਬਹੁਤ ਸਾਰੇ ਟੂਲ ਹਨ ਜੋ ਹਰ ਪੜਾਅ ਨੂੰ ਕਵਰ ਕਰਦੇ ਹਨ: ਡਾਇਰੈਕਟਰਾਂ ਦੇ ਬੋਰਡ ਲਈ ਡੈਸ਼ਬੋਰਡ ਤੱਕ ਡੇਟਾ ਦੀ ਦਿੱਖ ਤੋਂ ਆਉਟਪੁੱਟ ਤੱਕ। ਅਤੇ ਇਹ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿ ਉਹਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦਾ ਫੈਸਲਾ ਇੱਕ ਇੰਜੀਨੀਅਰ ਦੁਆਰਾ ਕੀਤਾ ਗਿਆ ਹੈ - ਇਸ ਲਈ ਨਹੀਂ ਕਿ ਇਹ ਫੈਸ਼ਨੇਬਲ ਹੈ, ਪਰ ਕਿਉਂਕਿ ਉਹ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਦੂਜੇ ਭਾਗੀਦਾਰਾਂ ਦੇ ਕੰਮ ਵਿੱਚ ਅਸਲ ਵਿੱਚ ਮਦਦ ਕਰੇਗਾ. 

ਰਵਾਇਤੀ ਤੌਰ 'ਤੇ: ਜੇਕਰ ਕਿਸੇ ਕੰਪਨੀ ਨੂੰ BI ਅਤੇ ETL - ਡਾਟਾ ਲੋਡ ਕਰਨ ਅਤੇ ਰਿਪੋਰਟਾਂ ਨੂੰ ਅੱਪਡੇਟ ਕਰਨ ਦੇ ਵਿਚਕਾਰ ਕਨੈਕਸ਼ਨ ਬਣਾਉਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਤਾਂ ਇੱਥੇ ਇੱਕ ਆਮ ਵਿਰਾਸਤੀ ਬੁਨਿਆਦ ਹੈ ਜਿਸ ਨਾਲ ਇੱਕ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਨੂੰ ਨਜਿੱਠਣਾ ਪਵੇਗਾ (ਇਹ ਚੰਗਾ ਹੈ ਜੇਕਰ ਟੀਮ ਵਿੱਚ ਇੱਕ ਆਰਕੀਟੈਕਟ ਵੀ ਹੋਵੇ)।

ਇੱਕ ਡਾਟਾ ਇੰਜੀਨੀਅਰ ਦੀਆਂ ਜ਼ਿੰਮੇਵਾਰੀਆਂ

• ਡਾਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦਾ ਵਿਕਾਸ, ਨਿਰਮਾਣ ਅਤੇ ਰੱਖ-ਰਖਾਅ।
• ਗਲਤੀਆਂ ਨੂੰ ਸੰਭਾਲਣਾ ਅਤੇ ਭਰੋਸੇਯੋਗ ਡਾਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਪਾਈਪਲਾਈਨਾਂ ਬਣਾਉਣਾ।
• ਵਿਸ਼ਲੇਸ਼ਕਾਂ ਦੇ ਕੰਮ ਲਈ ਲੋੜੀਂਦੇ ਫਾਰਮ ਵਿੱਚ ਵੱਖ-ਵੱਖ ਗਤੀਸ਼ੀਲ ਸਰੋਤਾਂ ਤੋਂ ਗੈਰ-ਸੰਗਠਿਤ ਡੇਟਾ ਲਿਆਉਣਾ।
• ਡਾਟਾ ਇਕਸਾਰਤਾ ਅਤੇ ਗੁਣਵੱਤਾ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ ਸਿਫ਼ਾਰਸ਼ਾਂ ਪ੍ਰਦਾਨ ਕਰਨਾ।
• ਡੇਟਾ ਵਿਗਿਆਨੀਆਂ ਅਤੇ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਕਾਂ ਦੁਆਰਾ ਵਰਤੇ ਗਏ ਡੇਟਾ ਆਰਕੀਟੈਕਚਰ ਨੂੰ ਪ੍ਰਦਾਨ ਕਰਨਾ ਅਤੇ ਕਾਇਮ ਰੱਖਣਾ।
• ਦਸਾਂ ਜਾਂ ਸੈਂਕੜੇ ਸਰਵਰਾਂ ਦੇ ਵੰਡੇ ਕਲੱਸਟਰ ਵਿੱਚ ਲਗਾਤਾਰ ਅਤੇ ਕੁਸ਼ਲਤਾ ਨਾਲ ਡੇਟਾ ਨੂੰ ਪ੍ਰਕਿਰਿਆ ਅਤੇ ਸਟੋਰ ਕਰੋ।
• ਸਧਾਰਨ ਪਰ ਮਜ਼ਬੂਤ ​​ਆਰਕੀਟੈਕਚਰ ਬਣਾਉਣ ਲਈ ਟੂਲਜ਼ ਦੇ ਤਕਨੀਕੀ ਵਪਾਰ ਦਾ ਮੁਲਾਂਕਣ ਕਰੋ ਜੋ ਵਿਘਨ ਤੋਂ ਬਚ ਸਕਦੇ ਹਨ।
• ਡੇਟਾ ਦੇ ਪ੍ਰਵਾਹ ਅਤੇ ਸੰਬੰਧਿਤ ਪ੍ਰਣਾਲੀਆਂ ਦਾ ਨਿਯੰਤਰਣ ਅਤੇ ਸਮਰਥਨ (ਨਿਗਰਾਨੀ ਅਤੇ ਚੇਤਾਵਨੀਆਂ ਨੂੰ ਸਥਾਪਤ ਕਰਨਾ)।

ਡਾਟਾ ਇੰਜੀਨੀਅਰ ਟ੍ਰੈਜੈਕਟਰੀ ਦੇ ਅੰਦਰ ਇੱਕ ਹੋਰ ਵਿਸ਼ੇਸ਼ਤਾ ਹੈ - ML ਇੰਜੀਨੀਅਰ। ਸੰਖੇਪ ਵਿੱਚ, ਇਹ ਇੰਜੀਨੀਅਰ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਮਾਡਲਾਂ ਨੂੰ ਉਦਯੋਗਿਕ ਲਾਗੂ ਕਰਨ ਅਤੇ ਵਰਤੋਂ ਵਿੱਚ ਲਿਆਉਣ ਵਿੱਚ ਮਾਹਰ ਹਨ। ਅਕਸਰ, ਇੱਕ ਡੇਟਾ ਵਿਗਿਆਨੀ ਤੋਂ ਪ੍ਰਾਪਤ ਕੀਤਾ ਇੱਕ ਮਾਡਲ ਇੱਕ ਅਧਿਐਨ ਦਾ ਹਿੱਸਾ ਹੁੰਦਾ ਹੈ ਅਤੇ ਲੜਾਈ ਦੀਆਂ ਸਥਿਤੀਆਂ ਵਿੱਚ ਕੰਮ ਨਹੀਂ ਕਰ ਸਕਦਾ ਹੈ।

ਇੱਕ ਡਾਟਾ ਵਿਗਿਆਨੀ ਦੀਆਂ ਜ਼ਿੰਮੇਵਾਰੀਆਂ

• ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਐਲਗੋਰਿਦਮ ਨੂੰ ਲਾਗੂ ਕਰਨ ਲਈ ਡੇਟਾ ਤੋਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਐਕਸਟਰੈਕਟ ਕਰਨਾ।
• ਡੇਟਾ ਵਿੱਚ ਪੈਟਰਨਾਂ ਦੀ ਭਵਿੱਖਬਾਣੀ ਅਤੇ ਵਰਗੀਕਰਨ ਕਰਨ ਲਈ ਵੱਖ-ਵੱਖ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਸਾਧਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨਾ।
• ਐਲਗੋਰਿਦਮ ਨੂੰ ਵਧੀਆ-ਟਿਊਨਿੰਗ ਅਤੇ ਅਨੁਕੂਲ ਬਣਾ ਕੇ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਐਲਗੋਰਿਦਮ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਅਤੇ ਸ਼ੁੱਧਤਾ ਵਿੱਚ ਸੁਧਾਰ ਕਰਨਾ।
• ਕੰਪਨੀ ਦੀ ਰਣਨੀਤੀ ਦੇ ਅਨੁਸਾਰ "ਮਜ਼ਬੂਤ" ਅਨੁਮਾਨਾਂ ਦਾ ਗਠਨ ਜਿਸਦੀ ਜਾਂਚ ਕਰਨ ਦੀ ਜ਼ਰੂਰਤ ਹੈ.

ਡੇਟਾ ਇੰਜਨੀਅਰ ਅਤੇ ਡੇਟਾ ਸਾਇੰਟਿਸਟ ਦੋਵੇਂ ਇੱਕ ਡੇਟਾ ਸੱਭਿਆਚਾਰ ਦੇ ਵਿਕਾਸ ਵਿੱਚ ਇੱਕ ਠੋਸ ਯੋਗਦਾਨ ਸਾਂਝੇ ਕਰਦੇ ਹਨ, ਜਿਸ ਦੁਆਰਾ ਇੱਕ ਕੰਪਨੀ ਵਾਧੂ ਮੁਨਾਫਾ ਪੈਦਾ ਕਰ ਸਕਦੀ ਹੈ ਜਾਂ ਲਾਗਤਾਂ ਨੂੰ ਘਟਾ ਸਕਦੀ ਹੈ।

ਇੰਜੀਨੀਅਰ ਅਤੇ ਵਿਗਿਆਨੀ ਕਿਹੜੀਆਂ ਭਾਸ਼ਾਵਾਂ ਅਤੇ ਸਾਧਨਾਂ ਨਾਲ ਕੰਮ ਕਰਦੇ ਹਨ?

ਅੱਜ, ਡੇਟਾ ਵਿਗਿਆਨੀਆਂ ਦੀਆਂ ਉਮੀਦਾਂ ਬਦਲ ਗਈਆਂ ਹਨ. ਪਹਿਲਾਂ, ਇੰਜਨੀਅਰਾਂ ਨੇ ਵੱਡੀਆਂ SQL ਸਵਾਲਾਂ ਨੂੰ ਇਕੱਠਾ ਕੀਤਾ, ਮੈਪਰੀਡਿਊਸ ਨੂੰ ਹੱਥੀਂ ਲਿਖਿਆ ਅਤੇ ਇਨਫੋਰਮੈਟਿਕਾ ਈਟੀਐਲ, ਪੇਂਟਾਹੋ ਈਟੀਐਲ, ਟੈਲੇਂਡ ਵਰਗੇ ਟੂਲਸ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਡੇਟਾ ਨੂੰ ਪ੍ਰੋਸੈਸ ਕੀਤਾ। 

2020 ਵਿੱਚ, ਇੱਕ ਮਾਹਰ ਪਾਈਥਨ ਅਤੇ ਆਧੁਨਿਕ ਕੈਲਕੂਲੇਸ਼ਨ ਟੂਲਸ (ਉਦਾਹਰਨ ਲਈ, ਏਅਰਫਲੋ), ਕਲਾਉਡ ਪਲੇਟਫਾਰਮਾਂ ਨਾਲ ਕੰਮ ਕਰਨ ਦੇ ਸਿਧਾਂਤਾਂ ਦੀ ਸਮਝ (ਸੁਰੱਖਿਆ ਸਿਧਾਂਤਾਂ ਦੀ ਪਾਲਣਾ ਕਰਦੇ ਹੋਏ, ਹਾਰਡਵੇਅਰ 'ਤੇ ਬੱਚਤ ਕਰਨ ਲਈ ਉਹਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨਾ) ਦੇ ਗਿਆਨ ਤੋਂ ਬਿਨਾਂ ਨਹੀਂ ਕਰ ਸਕਦਾ ਹੈ।

SAP, Oracle, MySQL, Redis ਵੱਡੀਆਂ ਕੰਪਨੀਆਂ ਵਿੱਚ ਡਾਟਾ ਇੰਜੀਨੀਅਰਾਂ ਲਈ ਰਵਾਇਤੀ ਟੂਲ ਹਨ। ਉਹ ਚੰਗੇ ਹਨ, ਪਰ ਲਾਇਸੈਂਸਾਂ ਦੀ ਕੀਮਤ ਇੰਨੀ ਜ਼ਿਆਦਾ ਹੈ ਕਿ ਉਹਨਾਂ ਨਾਲ ਕੰਮ ਕਰਨਾ ਸਿੱਖਣਾ ਸਿਰਫ ਉਦਯੋਗਿਕ ਪ੍ਰੋਜੈਕਟਾਂ ਵਿੱਚ ਅਰਥ ਰੱਖਦਾ ਹੈ। ਉਸੇ ਸਮੇਂ, ਪੋਸਟਗ੍ਰੇਸ ਦੇ ਰੂਪ ਵਿੱਚ ਇੱਕ ਮੁਫਤ ਵਿਕਲਪ ਹੈ - ਇਹ ਮੁਫਤ ਹੈ ਅਤੇ ਨਾ ਸਿਰਫ ਸਿਖਲਾਈ ਲਈ ਢੁਕਵਾਂ ਹੈ. 

ਇਤਿਹਾਸਕ ਤੌਰ 'ਤੇ, ਜਾਵਾ ਅਤੇ ਸਕੇਲਾ ਲਈ ਬੇਨਤੀਆਂ ਅਕਸਰ ਮਿਲਦੀਆਂ ਹਨ, ਹਾਲਾਂਕਿ ਜਿਵੇਂ ਕਿ ਤਕਨਾਲੋਜੀਆਂ ਅਤੇ ਪਹੁੰਚ ਵਿਕਸਿਤ ਹੁੰਦੀਆਂ ਹਨ, ਇਹ ਭਾਸ਼ਾਵਾਂ ਪਿਛੋਕੜ ਵਿੱਚ ਫਿੱਕੀਆਂ ਹੁੰਦੀਆਂ ਹਨ।

ਹਾਲਾਂਕਿ, ਹਾਰਡਕੋਰ ਬਿਗਡਾਟਾ: ਹੈਡੂਪ, ਸਪਾਰਕ ਅਤੇ ਬਾਕੀ ਚਿੜੀਆਘਰ ਹੁਣ ਇੱਕ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਲਈ ਇੱਕ ਪੂਰਵ ਸ਼ਰਤ ਨਹੀਂ ਹੈ, ਪਰ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ ਇੱਕ ਕਿਸਮ ਦੇ ਸਾਧਨ ਹਨ ਜੋ ਰਵਾਇਤੀ ETL ਦੁਆਰਾ ਹੱਲ ਨਹੀਂ ਕੀਤੇ ਜਾ ਸਕਦੇ ਹਨ। 

ਇਹ ਰੁਝਾਨ ਉਸ ਭਾਸ਼ਾ ਦੇ ਗਿਆਨ ਤੋਂ ਬਿਨਾਂ ਸਾਧਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਲਈ ਸੇਵਾਵਾਂ ਹੈ ਜਿਸ ਵਿੱਚ ਉਹ ਲਿਖੀਆਂ ਗਈਆਂ ਹਨ (ਉਦਾਹਰਣ ਵਜੋਂ, ਜਾਵਾ ਦੇ ਗਿਆਨ ਤੋਂ ਬਿਨਾਂ ਹੈਡੂਪ), ਅਤੇ ਨਾਲ ਹੀ ਸਟ੍ਰੀਮਿੰਗ ਡੇਟਾ (ਵੀਡੀਓ 'ਤੇ ਆਵਾਜ਼ ਦੀ ਪਛਾਣ ਜਾਂ ਚਿੱਤਰ ਪਛਾਣ) ਦੀ ਪ੍ਰਕਿਰਿਆ ਲਈ ਤਿਆਰ ਸੇਵਾਵਾਂ ਦੀ ਵਿਵਸਥਾ। ).

SAS ਅਤੇ SPSS ਤੋਂ ਉਦਯੋਗਿਕ ਹੱਲ ਪ੍ਰਸਿੱਧ ਹਨ, ਜਦੋਂ ਕਿ ਝਾਂਕੀ, ਰੈਪਿਡਮਾਈਨਰ, ਸਟੈਟਾ ਅਤੇ ਜੂਲੀਆ ਵੀ ਸਥਾਨਕ ਕੰਮਾਂ ਲਈ ਡੇਟਾ ਵਿਗਿਆਨੀਆਂ ਦੁਆਰਾ ਵਿਆਪਕ ਤੌਰ 'ਤੇ ਵਰਤੇ ਜਾਂਦੇ ਹਨ।

ਪਾਈਪਲਾਈਨਾਂ ਬਣਾਉਣ ਦੀ ਯੋਗਤਾ ਕੁਝ ਸਾਲ ਪਹਿਲਾਂ ਹੀ ਵਿਸ਼ਲੇਸ਼ਕਾਂ ਅਤੇ ਡੇਟਾ ਵਿਗਿਆਨੀਆਂ ਨੂੰ ਦਿਖਾਈ ਦਿੱਤੀ ਸੀ: ਉਦਾਹਰਨ ਲਈ, ਮੁਕਾਬਲਤਨ ਸਧਾਰਨ ਸਕ੍ਰਿਪਟਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਪੋਸਟਗਰੇਐਸਕਯੂਐਲ-ਅਧਾਰਿਤ ਸਟੋਰੇਜ ਵਿੱਚ ਡੇਟਾ ਭੇਜਣਾ ਪਹਿਲਾਂ ਹੀ ਸੰਭਵ ਹੈ। 

ਆਮ ਤੌਰ 'ਤੇ, ਪਾਈਪਲਾਈਨਾਂ ਅਤੇ ਏਕੀਕ੍ਰਿਤ ਡੇਟਾ ਢਾਂਚੇ ਦੀ ਵਰਤੋਂ ਡੇਟਾ ਇੰਜੀਨੀਅਰਾਂ ਦੀ ਜ਼ਿੰਮੇਵਾਰੀ ਰਹਿੰਦੀ ਹੈ। ਪਰ ਅੱਜ, ਸੰਬੰਧਿਤ ਖੇਤਰਾਂ ਵਿੱਚ ਵਿਆਪਕ ਯੋਗਤਾਵਾਂ ਵਾਲੇ ਟੀ-ਆਕਾਰ ਦੇ ਮਾਹਰਾਂ ਦਾ ਰੁਝਾਨ ਪਹਿਲਾਂ ਨਾਲੋਂ ਵਧੇਰੇ ਮਜ਼ਬੂਤ ​​ਹੈ, ਕਿਉਂਕਿ ਸਾਧਨਾਂ ਨੂੰ ਲਗਾਤਾਰ ਸਰਲ ਬਣਾਇਆ ਜਾ ਰਿਹਾ ਹੈ।

ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਅਤੇ ਡੇਟਾ ਸਾਇੰਟਿਸਟ ਇਕੱਠੇ ਕੰਮ ਕਿਉਂ ਕਰਦੇ ਹਨ

ਇੰਜਨੀਅਰਾਂ ਦੇ ਨਾਲ ਮਿਲ ਕੇ ਕੰਮ ਕਰਕੇ, ਡੇਟਾ ਸਾਇੰਟਿਸਟ ਖੋਜ ਪਾਸੇ ਵੱਲ ਧਿਆਨ ਦੇ ਸਕਦੇ ਹਨ, ਉਤਪਾਦਨ ਲਈ ਤਿਆਰ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਐਲਗੋਰਿਦਮ ਬਣਾ ਸਕਦੇ ਹਨ।
ਅਤੇ ਇੰਜੀਨੀਅਰਾਂ ਨੂੰ ਸਕੇਲੇਬਿਲਟੀ, ਡੇਟਾ ਦੀ ਮੁੜ ਵਰਤੋਂ, ਅਤੇ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ 'ਤੇ ਧਿਆਨ ਦੇਣ ਦੀ ਜ਼ਰੂਰਤ ਹੁੰਦੀ ਹੈ ਕਿ ਹਰੇਕ ਵਿਅਕਤੀਗਤ ਪ੍ਰੋਜੈਕਟ ਵਿੱਚ ਡੇਟਾ ਇਨਪੁਟ ਅਤੇ ਆਉਟਪੁੱਟ ਪਾਈਪਲਾਈਨਾਂ ਗਲੋਬਲ ਆਰਕੀਟੈਕਚਰ ਦੀ ਪਾਲਣਾ ਕਰਦੀਆਂ ਹਨ।

ਜ਼ਿੰਮੇਵਾਰੀਆਂ ਦਾ ਇਹ ਵੱਖਰਾ ਵੱਖ-ਵੱਖ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਪ੍ਰੋਜੈਕਟਾਂ 'ਤੇ ਕੰਮ ਕਰ ਰਹੀਆਂ ਟੀਮਾਂ ਵਿਚਕਾਰ ਇਕਸਾਰਤਾ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ। 

ਸਹਿਯੋਗ ਨਵੇਂ ਉਤਪਾਦਾਂ ਨੂੰ ਕੁਸ਼ਲਤਾ ਨਾਲ ਬਣਾਉਣ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ। ਹਰ ਕਿਸੇ ਲਈ ਸੇਵਾ ਬਣਾਉਣ (ਗਲੋਬਲ ਸਟੋਰੇਜ ਜਾਂ ਡੈਸ਼ਬੋਰਡਾਂ ਦਾ ਏਕੀਕਰਣ) ਅਤੇ ਹਰੇਕ ਖਾਸ ਲੋੜ ਜਾਂ ਪ੍ਰੋਜੈਕਟ ਨੂੰ ਲਾਗੂ ਕਰਨ (ਬਹੁਤ ਵਿਸ਼ੇਸ਼ ਪਾਈਪਲਾਈਨ, ਬਾਹਰੀ ਸਰੋਤਾਂ ਨੂੰ ਜੋੜਨਾ) ਦੇ ਵਿਚਕਾਰ ਸੰਤੁਲਨ ਦੁਆਰਾ ਗਤੀ ਅਤੇ ਗੁਣਵੱਤਾ ਪ੍ਰਾਪਤ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। 

ਡਾਟਾ ਵਿਗਿਆਨੀਆਂ ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਕਾਂ ਦੇ ਨਾਲ ਮਿਲ ਕੇ ਕੰਮ ਕਰਨਾ ਇੰਜੀਨੀਅਰਾਂ ਨੂੰ ਬਿਹਤਰ ਕੋਡ ਲਿਖਣ ਲਈ ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਅਤੇ ਖੋਜ ਹੁਨਰ ਵਿਕਸਿਤ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ। ਵੇਅਰਹਾਊਸ ਅਤੇ ਡੇਟਾ ਲੇਕ ਉਪਭੋਗਤਾਵਾਂ ਵਿੱਚ ਗਿਆਨ ਦੀ ਵੰਡ ਵਿੱਚ ਸੁਧਾਰ ਹੁੰਦਾ ਹੈ, ਪ੍ਰੋਜੈਕਟਾਂ ਨੂੰ ਵਧੇਰੇ ਚੁਸਤ ਬਣਾਉਂਦੇ ਹਨ ਅਤੇ ਵਧੇਰੇ ਟਿਕਾਊ ਲੰਬੇ ਸਮੇਂ ਦੇ ਨਤੀਜੇ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਨ।

ਉਹਨਾਂ ਕੰਪਨੀਆਂ ਵਿੱਚ ਜੋ ਡੇਟਾ ਦੇ ਨਾਲ ਕੰਮ ਕਰਨ ਅਤੇ ਉਹਨਾਂ ਦੇ ਅਧਾਰ ਤੇ ਕਾਰੋਬਾਰੀ ਪ੍ਰਕਿਰਿਆਵਾਂ ਬਣਾਉਣ ਦਾ ਇੱਕ ਸੱਭਿਆਚਾਰ ਵਿਕਸਿਤ ਕਰਨ ਦਾ ਟੀਚਾ ਰੱਖਦੇ ਹਨ, ਡੇਟਾ ਸਾਇੰਟਿਸਟ ਅਤੇ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਇੱਕ ਦੂਜੇ ਦੇ ਪੂਰਕ ਹਨ ਅਤੇ ਇੱਕ ਸੰਪੂਰਨ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਪ੍ਰਣਾਲੀ ਬਣਾਉਂਦੇ ਹਨ। 

ਅਗਲੇ ਲੇਖ ਵਿੱਚ ਅਸੀਂ ਇਸ ਬਾਰੇ ਗੱਲ ਕਰਾਂਗੇ ਕਿ ਇੱਕ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਅਤੇ ਡੇਟਾ ਸਾਇੰਟਿਸਟ ਨੂੰ ਕਿਸ ਕਿਸਮ ਦੀ ਸਿੱਖਿਆ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ, ਉਹਨਾਂ ਨੂੰ ਕਿਸ ਤਰ੍ਹਾਂ ਦੇ ਹੁਨਰ ਵਿਕਸਿਤ ਕਰਨ ਦੀ ਲੋੜ ਹੈ ਅਤੇ ਮਾਰਕੀਟ ਕਿਵੇਂ ਕੰਮ ਕਰਦੀ ਹੈ।

ਨੈਟੋਲੋਜੀ ਦੇ ਸੰਪਾਦਕਾਂ ਤੋਂ

ਜੇਕਰ ਤੁਸੀਂ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਜਾਂ ਡੇਟਾ ਸਾਇੰਟਿਸਟ ਦੇ ਪੇਸ਼ੇ ਨੂੰ ਦੇਖ ਰਹੇ ਹੋ, ਤਾਂ ਅਸੀਂ ਤੁਹਾਨੂੰ ਸਾਡੇ ਕੋਰਸ ਪ੍ਰੋਗਰਾਮਾਂ ਦਾ ਅਧਿਐਨ ਕਰਨ ਲਈ ਸੱਦਾ ਦਿੰਦੇ ਹਾਂ:

• ਪੇਸ਼ਾ"ਡਾਟਾ ਇੰਜੀਨੀਅਰ".  
• ਪੇਸ਼ਾ"ਡਾਟਾ ਸਾਇੰਟਿਸਟ".

ਸਰੋਤ: www.habr.com