ਡਾਟਾ ਇੰਜੀਨੀਅਰ ਪੇਸ਼ੇ ਵਿੱਚ ਸਭ ਤੋਂ ਵੱਧ ਮੰਗ ਵਾਲੇ ਹੁਨਰ

ਦੇ ਅਨੁਸਾਰ ਅੰਕੜੇ 2019, ਡਾਟਾ ਇੰਜੀਨੀਅਰ ਵਰਤਮਾਨ ਵਿੱਚ ਇੱਕ ਪੇਸ਼ੇ ਹੈ ਜਿਸਦੀ ਮੰਗ ਕਿਸੇ ਵੀ ਹੋਰ ਨਾਲੋਂ ਤੇਜ਼ੀ ਨਾਲ ਵੱਧ ਰਹੀ ਹੈ. ਇੱਕ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਇੱਕ ਸੰਗਠਨ ਵਿੱਚ ਇੱਕ ਮਹੱਤਵਪੂਰਣ ਭੂਮਿਕਾ ਨਿਭਾਉਂਦਾ ਹੈ - ਪਾਈਪਲਾਈਨਾਂ ਅਤੇ ਡੇਟਾਬੇਸ ਬਣਾਉਣਾ ਅਤੇ ਸੰਭਾਲਣਾ ਜੋ ਡੇਟਾ ਨੂੰ ਪ੍ਰੋਸੈਸ ਕਰਨ, ਬਦਲਣ ਅਤੇ ਸਟੋਰ ਕਰਨ ਲਈ ਵਰਤੇ ਜਾਂਦੇ ਹਨ। ਇਸ ਪੇਸ਼ੇ ਦੇ ਪ੍ਰਤੀਨਿਧੀਆਂ ਨੂੰ ਸਭ ਤੋਂ ਪਹਿਲਾਂ ਕਿਹੜੇ ਹੁਨਰ ਦੀ ਲੋੜ ਹੈ? ਕੀ ਸੂਚੀ ਡੇਟਾ ਵਿਗਿਆਨੀਆਂ ਦੀ ਲੋੜ ਨਾਲੋਂ ਵੱਖਰੀ ਹੈ? ਤੁਸੀਂ ਮੇਰੇ ਲੇਖ ਤੋਂ ਇਸ ਸਭ ਬਾਰੇ ਸਿੱਖੋਗੇ.

ਮੈਂ ਡਾਟਾ ਇੰਜੀਨੀਅਰ ਦੇ ਅਹੁਦੇ ਲਈ ਖਾਲੀ ਅਸਾਮੀਆਂ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕੀਤਾ ਕਿਉਂਕਿ ਉਹ ਜਨਵਰੀ 2020 ਵਿੱਚ ਹਨ ਇਹ ਸਮਝਣ ਲਈ ਕਿ ਕਿਹੜੀਆਂ ਤਕਨਾਲੋਜੀ ਹੁਨਰ ਸਭ ਤੋਂ ਵੱਧ ਪ੍ਰਸਿੱਧ ਹਨ। ਫਿਰ ਮੈਂ ਡੇਟਾ ਸਾਇੰਟਿਸਟ ਦੀ ਸਥਿਤੀ ਲਈ ਖਾਲੀ ਅਸਾਮੀਆਂ ਦੇ ਅੰਕੜਿਆਂ ਨਾਲ ਨਤੀਜਿਆਂ ਦੀ ਤੁਲਨਾ ਕੀਤੀ - ਅਤੇ ਕੁਝ ਦਿਲਚਸਪ ਅੰਤਰ ਸਾਹਮਣੇ ਆਏ।

ਬਿਨਾਂ ਕਿਸੇ ਪ੍ਰਸਤਾਵਨਾ ਦੇ, ਇੱਥੇ ਚੋਟੀ ਦੀਆਂ ਦਸ ਤਕਨੀਕਾਂ ਹਨ ਜਿਨ੍ਹਾਂ ਦਾ ਅਕਸਰ ਨੌਕਰੀ ਦੀਆਂ ਪੋਸਟਾਂ ਵਿੱਚ ਜ਼ਿਕਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ:

2020 ਵਿੱਚ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਦੀ ਸਥਿਤੀ ਲਈ ਖਾਲੀ ਅਸਾਮੀਆਂ ਵਿੱਚ ਤਕਨਾਲੋਜੀਆਂ ਦਾ ਜ਼ਿਕਰ

ਚਲੋ ਇਸਦਾ ਪਤਾ ਲਗਾਓ.

ਇੱਕ ਡਾਟਾ ਇੰਜੀਨੀਅਰ ਦੀਆਂ ਜ਼ਿੰਮੇਵਾਰੀਆਂ

ਅੱਜ, ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਜੋ ਕੰਮ ਕਰਦੇ ਹਨ ਉਹ ਸੰਸਥਾਵਾਂ ਲਈ ਬਹੁਤ ਮਹੱਤਵ ਰੱਖਦਾ ਹੈ - ਇਹ ਉਹ ਲੋਕ ਹਨ ਜੋ ਜਾਣਕਾਰੀ ਨੂੰ ਸਟੋਰ ਕਰਨ ਅਤੇ ਇਸ ਨੂੰ ਅਜਿਹੇ ਰੂਪ ਵਿੱਚ ਲਿਆਉਣ ਲਈ ਜ਼ਿੰਮੇਵਾਰ ਹਨ ਤਾਂ ਜੋ ਹੋਰ ਕਰਮਚਾਰੀ ਇਸਦੇ ਨਾਲ ਕੰਮ ਕਰ ਸਕਣ. ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਕਈ ਸਰੋਤਾਂ ਤੋਂ ਡੇਟਾ ਨੂੰ ਸਟ੍ਰੀਮ ਕਰਨ ਜਾਂ ਬੈਚ ਕਰਨ ਲਈ ਪਾਈਪਲਾਈਨਾਂ ਬਣਾਉਂਦੇ ਹਨ। ਪਾਈਪਲਾਈਨਾਂ ਫਿਰ ਐਕਸਟਰੈਕਸ਼ਨ, ਪਰਿਵਰਤਨ, ਅਤੇ ਲੋਡਿੰਗ ਓਪਰੇਸ਼ਨ ਕਰਦੀਆਂ ਹਨ (ਦੂਜੇ ਸ਼ਬਦਾਂ ਵਿੱਚ, ETL ਪ੍ਰਕਿਰਿਆਵਾਂ), ਡੇਟਾ ਨੂੰ ਹੋਰ ਵਰਤੋਂ ਲਈ ਵਧੇਰੇ ਢੁਕਵਾਂ ਬਣਾਉਂਦੀਆਂ ਹਨ। ਇਸ ਤੋਂ ਬਾਅਦ, ਡੇਟਾ ਨੂੰ ਡੂੰਘੀ ਪ੍ਰਕਿਰਿਆ ਲਈ ਵਿਸ਼ਲੇਸ਼ਕਾਂ ਅਤੇ ਡੇਟਾ ਵਿਗਿਆਨੀਆਂ ਨੂੰ ਸੌਂਪਿਆ ਜਾਂਦਾ ਹੈ। ਅੰਤ ਵਿੱਚ, ਡੇਟਾ ਡੈਸ਼ਬੋਰਡਾਂ, ਰਿਪੋਰਟਾਂ ਅਤੇ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਮਾਡਲਾਂ ਵਿੱਚ ਆਪਣੀ ਯਾਤਰਾ ਖਤਮ ਕਰਦਾ ਹੈ।

ਮੈਂ ਅਜਿਹੀ ਜਾਣਕਾਰੀ ਦੀ ਤਲਾਸ਼ ਕਰ ਰਿਹਾ ਸੀ ਜੋ ਮੈਨੂੰ ਇੱਕ ਸਿੱਟਾ ਕੱਢਣ ਦੀ ਇਜਾਜ਼ਤ ਦੇਵੇਗੀ ਕਿ ਇਸ ਸਮੇਂ ਇੱਕ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਦੇ ਕੰਮ ਵਿੱਚ ਕਿਹੜੀਆਂ ਤਕਨਾਲੋਜੀਆਂ ਦੀ ਸਭ ਤੋਂ ਵੱਧ ਮੰਗ ਹੈ।

ਢੰਗ

ਮੈਂ ਤਿੰਨ ਨੌਕਰੀ ਖੋਜ ਸਾਈਟਾਂ ਤੋਂ ਜਾਣਕਾਰੀ ਇਕੱਠੀ ਕੀਤੀ - ਸਿਪਾਹੀ ਹਾਇਰ, ਅਸਲ ਵਿੱਚ и ਅਦਭੁਤ ਅਤੇ ਇਹ ਦੇਖਿਆ ਕਿ ਯੂਐਸ ਨਿਵਾਸੀਆਂ ਦੇ ਉਦੇਸ਼ ਲਈ ਖਾਲੀ ਅਸਾਮੀਆਂ ਦੇ ਟੈਕਸਟ ਵਿੱਚ "ਡੇਟਾ ਇੰਜੀਨੀਅਰ" ਦੇ ਨਾਲ ਕੀਵਰਡਸ ਆਏ ਹਨ। ਇਸ ਕੰਮ ਲਈ ਮੈਂ ਦੋ ਪਾਈਥਨ ਲਾਇਬ੍ਰੇਰੀਆਂ ਦੀ ਵਰਤੋਂ ਕੀਤੀ - ਮੰਗ и ਸੁੰਦਰ ਸੂਪ. ਕੀਵਰਡਸ ਵਿੱਚ, ਮੈਂ ਉਹਨਾਂ ਦੋਵਾਂ ਨੂੰ ਸ਼ਾਮਲ ਕੀਤਾ ਜੋ ਪਿਛਲੀ ਸੂਚੀ ਵਿੱਚ ਡੇਟਾ ਸਾਇੰਟਿਸਟ ਦੇ ਅਹੁਦੇ ਲਈ ਖਾਲੀ ਅਸਾਮੀਆਂ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਲਈ ਸ਼ਾਮਲ ਕੀਤੇ ਗਏ ਸਨ, ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਜੋ ਮੈਂ ਡਾਟਾ ਇੰਜੀਨੀਅਰਾਂ ਲਈ ਨੌਕਰੀ ਦੀਆਂ ਪੇਸ਼ਕਸ਼ਾਂ ਨੂੰ ਪੜ੍ਹਦੇ ਸਮੇਂ ਹੱਥੀਂ ਚੁਣਿਆ ਸੀ। ਲਿੰਕਡਇਨ ਨੂੰ ਸਰੋਤਾਂ ਦੀ ਸੂਚੀ ਵਿੱਚ ਸ਼ਾਮਲ ਨਹੀਂ ਕੀਤਾ ਗਿਆ ਸੀ, ਕਿਉਂਕਿ ਡੇਟਾ ਇਕੱਠਾ ਕਰਨ ਦੀ ਮੇਰੀ ਆਖਰੀ ਕੋਸ਼ਿਸ਼ ਤੋਂ ਬਾਅਦ ਮੈਨੂੰ ਉੱਥੇ ਪਾਬੰਦੀ ਲਗਾਈ ਗਈ ਸੀ।

ਹਰੇਕ ਕੀਵਰਡ ਲਈ, ਮੈਂ ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਹਰੇਕ ਸਾਈਟ 'ਤੇ ਟੈਕਸਟ ਦੀ ਕੁੱਲ ਸੰਖਿਆ ਤੋਂ ਹਿੱਟ ਦੀ ਪ੍ਰਤੀਸ਼ਤਤਾ ਦੀ ਗਣਨਾ ਕੀਤੀ, ਅਤੇ ਫਿਰ ਤਿੰਨ ਸਰੋਤਾਂ ਲਈ ਔਸਤ ਦੀ ਗਣਨਾ ਕੀਤੀ.

Результаты

ਹੇਠਾਂ ਤੀਹ ਤਕਨੀਕੀ ਡੇਟਾ ਇੰਜਨੀਅਰਿੰਗ ਸ਼ਰਤਾਂ ਹਨ ਜੋ ਸਾਰੀਆਂ ਤਿੰਨ ਨੌਕਰੀਆਂ ਦੀਆਂ ਸਾਈਟਾਂ ਵਿੱਚ ਸਭ ਤੋਂ ਵੱਧ ਸਕੋਰ ਹਨ।

ਅਤੇ ਇੱਥੇ ਉਹੀ ਨੰਬਰ ਹਨ, ਪਰ ਸਾਰਣੀ ਦੇ ਰੂਪ ਵਿੱਚ ਪੇਸ਼ ਕੀਤੇ ਗਏ ਹਨ:

ਆਓ ਕ੍ਰਮ ਵਿੱਚ ਚੱਲੀਏ.

ਨਤੀਜਿਆਂ ਦੀ ਸਮੀਖਿਆ

SQL ਅਤੇ Python ਦੋਨੋਂ ਦੋ ਤਿਹਾਈ ਤੋਂ ਵੱਧ ਨੌਕਰੀਆਂ ਦੀ ਸਮੀਖਿਆ ਕੀਤੀ ਗਈ ਹੈ। ਇਹ ਇਹ ਦੋ ਤਕਨਾਲੋਜੀਆਂ ਹਨ ਜੋ ਪਹਿਲਾਂ ਅਧਿਐਨ ਕਰਨ ਦਾ ਮਤਲਬ ਬਣਾਉਂਦੀਆਂ ਹਨ. ਪਾਈਥਨ ਡੇਟਾ ਨਾਲ ਕੰਮ ਕਰਨ, ਵੈਬਸਾਈਟਾਂ ਬਣਾਉਣ ਅਤੇ ਸਕ੍ਰਿਪਟਾਂ ਲਿਖਣ ਲਈ ਵਰਤੀ ਜਾਣ ਵਾਲੀ ਇੱਕ ਬਹੁਤ ਮਸ਼ਹੂਰ ਪ੍ਰੋਗਰਾਮਿੰਗ ਭਾਸ਼ਾ ਹੈ। SQL ਸਟ੍ਰਕਚਰਡ ਕਿਊਰੀ ਲੈਂਗੂਏਜ ਦਾ ਮਤਲਬ ਹੈ; ਇਸ ਵਿੱਚ ਭਾਸ਼ਾਵਾਂ ਦੇ ਇੱਕ ਸਮੂਹ ਦੁਆਰਾ ਲਾਗੂ ਕੀਤਾ ਮਿਆਰ ਸ਼ਾਮਲ ਹੁੰਦਾ ਹੈ ਅਤੇ ਇਸਦੀ ਵਰਤੋਂ ਰਿਲੇਸ਼ਨਲ ਡੇਟਾਬੇਸ ਤੋਂ ਡੇਟਾ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਇਹ ਬਹੁਤ ਸਮਾਂ ਪਹਿਲਾਂ ਪ੍ਰਗਟ ਹੋਇਆ ਸੀ ਅਤੇ ਆਪਣੇ ਆਪ ਨੂੰ ਬਹੁਤ ਜ਼ਿਆਦਾ ਰੋਧਕ ਸਾਬਤ ਕੀਤਾ ਹੈ।

ਲਗਭਗ ਅੱਧੀਆਂ ਅਸਾਮੀਆਂ ਵਿੱਚ ਸਪਾਰਕ ਦਾ ਜ਼ਿਕਰ ਹੈ। ਅਪਾਚੇ ਸਪਾਰਕ ਸਟ੍ਰੀਮਿੰਗ, SQL, ਮਸ਼ੀਨ ਲਰਨਿੰਗ, ਅਤੇ ਗ੍ਰਾਫ ਪ੍ਰੋਸੈਸਿੰਗ ਲਈ ਬਿਲਟ-ਇਨ ਮੋਡੀਊਲ ਦੇ ਨਾਲ ਇੱਕ "ਯੂਨੀਫਾਈਡ ਵੱਡਾ ਡਾਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਇੰਜਣ" ਹੈ। ਇਹ ਉਹਨਾਂ ਲੋਕਾਂ ਵਿੱਚ ਖਾਸ ਤੌਰ 'ਤੇ ਪ੍ਰਸਿੱਧ ਹੈ ਜੋ ਵੱਡੇ ਡੇਟਾਬੇਸ ਨਾਲ ਕੰਮ ਕਰਦੇ ਹਨ.

AWS ਲਗਭਗ 45% ਨੌਕਰੀ ਦੀਆਂ ਪੋਸਟਾਂ ਵਿੱਚ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ। ਇਹ ਐਮਾਜ਼ਾਨ ਦੁਆਰਾ ਨਿਰਮਿਤ ਇੱਕ ਕਲਾਉਡ ਕੰਪਿਊਟਿੰਗ ਪਲੇਟਫਾਰਮ ਹੈ; ਸਾਰੇ ਕਲਾਉਡ ਪਲੇਟਫਾਰਮਾਂ ਵਿੱਚ ਇਸਦਾ ਸਭ ਤੋਂ ਵੱਡਾ ਮਾਰਕੀਟ ਸ਼ੇਅਰ ਹੈ।
ਅੱਗੇ ਜਾਵਾ ਅਤੇ ਹਡੂਪ ਆਉਂਦੇ ਹਨ - ਉਹਨਾਂ ਦੇ ਭਰਾ ਲਈ 40% ਤੋਂ ਥੋੜ੍ਹਾ ਵੱਧ। ਜਾਵਾ ਇੱਕ ਵਿਆਪਕ ਤੌਰ 'ਤੇ ਬੋਲੀ ਜਾਣ ਵਾਲੀ, ਲੜਾਈ-ਜਾਂਚ ਕੀਤੀ ਗਈ ਭਾਸ਼ਾ ਹੈ 2019 ਸਟੈਕ ਓਵਰਫਲੋ ਡਿਵੈਲਪਰ ਸਰਵੇਖਣ ਪ੍ਰੋਗਰਾਮਰਾਂ ਵਿੱਚ ਦਹਿਸ਼ਤ ਪੈਦਾ ਕਰਨ ਵਾਲੀਆਂ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚੋਂ ਦਸਵਾਂ ਸਥਾਨ ਪ੍ਰਾਪਤ ਕੀਤਾ ਗਿਆ ਸੀ। ਇਸਦੇ ਉਲਟ, ਪਾਈਥਨ ਦੂਜੀ ਸਭ ਤੋਂ ਪਿਆਰੀ ਭਾਸ਼ਾ ਸੀ। ਜਾਵਾ ਭਾਸ਼ਾ ਓਰੇਕਲ ਦੁਆਰਾ ਚਲਾਈ ਜਾਂਦੀ ਹੈ, ਅਤੇ ਤੁਹਾਨੂੰ ਇਸ ਬਾਰੇ ਜਾਣਨ ਦੀ ਲੋੜ ਹੈ, ਜਨਵਰੀ 2020 ਤੋਂ ਅਧਿਕਾਰਤ ਪੰਨੇ ਦੇ ਇਸ ਸਕ੍ਰੀਨਸ਼ੌਟ ਤੋਂ ਸਮਝਿਆ ਜਾ ਸਕਦਾ ਹੈ।

ਇਹ ਇੱਕ ਟਾਈਮ ਮਸ਼ੀਨ ਵਿੱਚ ਸਵਾਰੀ ਵਰਗਾ ਹੈ
ਅਪਾਚੇ ਹੈਡੋਪ ਵੱਡੇ ਡੇਟਾ ਲਈ ਸਰਵਰ ਕਲੱਸਟਰਾਂ ਦੇ ਨਾਲ MapReduce ਪ੍ਰੋਗਰਾਮਿੰਗ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। ਹੁਣ ਇਸ ਮਾਡਲ ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਛੱਡਿਆ ਜਾ ਰਿਹਾ ਹੈ.

ਫਿਰ ਅਸੀਂ Hive, Scala, Kafka ਅਤੇ NoSQL ਨੂੰ ਵੇਖਦੇ ਹਾਂ - ਇਹਨਾਂ ਵਿੱਚੋਂ ਹਰੇਕ ਤਕਨਾਲੋਜੀ ਨੂੰ ਜਮ੍ਹਾਂ ਕੀਤੀਆਂ ਖਾਲੀ ਅਸਾਮੀਆਂ ਦੇ ਇੱਕ ਚੌਥਾਈ ਵਿੱਚ ਜ਼ਿਕਰ ਕੀਤਾ ਗਿਆ ਹੈ. Apache Hive ਇੱਕ ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਸੌਫਟਵੇਅਰ ਹੈ ਜੋ "SQL ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਵਿਤਰਿਤ ਸਟੋਰਾਂ ਵਿੱਚ ਰਹਿੰਦੇ ਵੱਡੇ ਡੇਟਾਸੈਟਾਂ ਨੂੰ ਪੜ੍ਹਨਾ, ਲਿਖਣਾ ਅਤੇ ਪ੍ਰਬੰਧਿਤ ਕਰਨਾ ਆਸਾਨ ਬਣਾਉਂਦਾ ਹੈ।" ਸਕੇਲਾ - ਇੱਕ ਪ੍ਰੋਗ੍ਰਾਮਿੰਗ ਭਾਸ਼ਾ ਜੋ ਵੱਡੇ ਡੇਟਾ ਨਾਲ ਕੰਮ ਕਰਦੇ ਸਮੇਂ ਸਰਗਰਮੀ ਨਾਲ ਵਰਤੀ ਜਾਂਦੀ ਹੈ। ਖਾਸ ਤੌਰ 'ਤੇ, ਸਪਾਰਕ ਨੂੰ ਸਕੇਲਾ ਵਿੱਚ ਬਣਾਇਆ ਗਿਆ ਸੀ. ਡਰੀਆਂ ਭਾਸ਼ਾਵਾਂ ਦੀ ਪਹਿਲਾਂ ਹੀ ਦੱਸੀ ਗਈ ਦਰਜਾਬੰਦੀ ਵਿੱਚ, ਸਕੇਲਾ ਗਿਆਰ੍ਹਵੇਂ ਸਥਾਨ 'ਤੇ ਹੈ। ਅਪਾਚੇ ਕਾਫਕਾ - ਸਟ੍ਰੀਮਿੰਗ ਸੁਨੇਹਿਆਂ ਦੀ ਪ੍ਰਕਿਰਿਆ ਲਈ ਇੱਕ ਵੰਡਿਆ ਪਲੇਟਫਾਰਮ। ਸਟ੍ਰੀਮਿੰਗ ਡੇਟਾ ਦੇ ਸਾਧਨ ਵਜੋਂ ਬਹੁਤ ਮਸ਼ਹੂਰ ਹੈ।

NoSQL ਡਾਟਾਬੇਸ ਆਪਣੇ ਆਪ ਨੂੰ SQL ਦੇ ਨਾਲ ਉਲਟ. ਉਹ ਇਸ ਵਿੱਚ ਭਿੰਨ ਹਨ ਕਿ ਉਹ ਗੈਰ-ਸੰਬੰਧੀ, ਗੈਰ-ਸੰਗਠਿਤ, ਅਤੇ ਲੇਟਵੇਂ ਤੌਰ 'ਤੇ ਸਕੇਲੇਬਲ ਹਨ। NoSQL ਨੇ ਕੁਝ ਪ੍ਰਸਿੱਧੀ ਪ੍ਰਾਪਤ ਕੀਤੀ ਹੈ, ਪਰ ਪਹੁੰਚ ਲਈ ਕ੍ਰੇਜ਼, ਇੱਥੋਂ ਤੱਕ ਕਿ ਭਵਿੱਖਬਾਣੀਆਂ ਦੇ ਬਿੰਦੂ ਤੱਕ ਕਿ ਇਹ SQL ਨੂੰ ਪ੍ਰਮੁੱਖ ਸਟੋਰੇਜ ਪੈਰਾਡਾਈਮ ਵਜੋਂ ਬਦਲ ਦੇਵੇਗਾ, ਖਤਮ ਹੋ ਗਿਆ ਜਾਪਦਾ ਹੈ.

ਡੇਟਾ ਸਾਇੰਟਿਸਟ ਦੀਆਂ ਅਸਾਮੀਆਂ ਵਿੱਚ ਸ਼ਰਤਾਂ ਨਾਲ ਤੁਲਨਾ

ਇੱਥੇ ਤੀਹ ਟੈਕਨਾਲੋਜੀ ਸ਼ਬਦ ਹਨ ਜੋ ਡੇਟਾ ਸਾਇੰਸ ਮਾਲਕਾਂ ਵਿੱਚ ਸਭ ਤੋਂ ਆਮ ਹਨ। ਮੈਂ ਇਹ ਸੂਚੀ ਉਸੇ ਤਰੀਕੇ ਨਾਲ ਪ੍ਰਾਪਤ ਕੀਤੀ ਹੈ ਜਿਵੇਂ ਕਿ ਡੇਟਾ ਇੰਜੀਨੀਅਰਿੰਗ ਲਈ ਉੱਪਰ ਦੱਸਿਆ ਗਿਆ ਹੈ।

2020 ਵਿੱਚ ਡੇਟਾ ਸਾਇੰਟਿਸਟ ਦੇ ਅਹੁਦੇ ਲਈ ਖਾਲੀ ਅਸਾਮੀਆਂ ਵਿੱਚ ਤਕਨਾਲੋਜੀ ਦਾ ਜ਼ਿਕਰ

ਜੇਕਰ ਅਸੀਂ ਕੁੱਲ ਸੰਖਿਆ ਬਾਰੇ ਗੱਲ ਕਰੀਏ, ਤਾਂ ਪਹਿਲਾਂ ਵਿਚਾਰੀ ਗਈ ਭਰਤੀ ਦੇ ਮੁਕਾਬਲੇ, ਇੱਥੇ 28% ਵਧੇਰੇ ਖਾਲੀ ਅਸਾਮੀਆਂ ਸਨ (12 ਬਨਾਮ 013)। ਆਓ ਦੇਖੀਏ ਕਿ ਡਾਟਾ ਇੰਜੀਨੀਅਰਾਂ ਦੀ ਤੁਲਨਾ ਵਿੱਚ ਡਾਟਾ ਵਿਗਿਆਨੀਆਂ ਲਈ ਖਾਲੀ ਅਸਾਮੀਆਂ ਵਿੱਚ ਕਿਹੜੀਆਂ ਤਕਨੀਕਾਂ ਘੱਟ ਆਮ ਹਨ।

ਡਾਟਾ ਇੰਜੀਨੀਅਰਿੰਗ ਵਿੱਚ ਵਧੇਰੇ ਪ੍ਰਸਿੱਧ ਹੈ

ਹੇਠਾਂ ਦਿੱਤਾ ਗ੍ਰਾਫ਼ 10% ਤੋਂ ਵੱਧ ਜਾਂ -10% ਤੋਂ ਘੱਟ ਦੇ ਔਸਤ ਅੰਤਰ ਦੇ ਨਾਲ ਕੀਵਰਡ ਦਿਖਾਉਂਦਾ ਹੈ।

ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਅਤੇ ਡੇਟਾ ਸਾਇੰਟਿਸਟ ਵਿਚਕਾਰ ਕੀਵਰਡ ਬਾਰੰਬਾਰਤਾ ਵਿੱਚ ਸਭ ਤੋਂ ਵੱਡਾ ਅੰਤਰ

AWS ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ ਵਾਧਾ ਦਰਸਾਉਂਦਾ ਹੈ: ਡੇਟਾ ਇੰਜਨੀਅਰਿੰਗ ਵਿੱਚ ਇਹ ਡੇਟਾ ਸਾਇੰਸ (ਕ੍ਰਮਵਾਰ ਖਾਲੀ ਅਸਾਮੀਆਂ ਦੀ ਕੁੱਲ ਸੰਖਿਆ ਦਾ ਲਗਭਗ 25% ਅਤੇ 45%) ਦੇ ਮੁਕਾਬਲੇ ਨਿਯਮਤ ਤੌਰ 'ਤੇ 20% ਵੱਧ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ। ਅੰਤਰ ਧਿਆਨ ਦੇਣ ਯੋਗ ਹੈ!

ਇੱਥੇ ਥੋੜੀ ਵੱਖਰੀ ਪੇਸ਼ਕਾਰੀ ਵਿੱਚ ਉਹੀ ਡੇਟਾ ਹੈ - ਗ੍ਰਾਫ ਵਿੱਚ, ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਅਤੇ ਡੇਟਾ ਸਾਇੰਟਿਸਟ ਦੀ ਸਥਿਤੀ ਲਈ ਖਾਲੀ ਅਸਾਮੀਆਂ ਵਿੱਚ ਇੱਕੋ ਕੀਵਰਡ ਦੇ ਨਤੀਜੇ ਨਾਲ-ਨਾਲ ਸਥਿਤ ਹਨ।

ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਅਤੇ ਡੇਟਾ ਸਾਇੰਟਿਸਟ ਵਿਚਕਾਰ ਕੀਵਰਡ ਬਾਰੰਬਾਰਤਾ ਵਿੱਚ ਸਭ ਤੋਂ ਵੱਡਾ ਅੰਤਰ

ਅਗਲੀ ਸਭ ਤੋਂ ਵੱਡੀ ਛਾਲ ਜੋ ਮੈਂ ਨੋਟ ਕੀਤੀ ਸਪਾਰਕ ਵਿੱਚ ਸੀ - ਇੱਕ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਨੂੰ ਅਕਸਰ ਵੱਡੇ ਡੇਟਾ ਨਾਲ ਕੰਮ ਕਰਨਾ ਪੈਂਦਾ ਹੈ। ਕਾਫਕਾ ਵਿੱਚ ਵੀ 20% ਦਾ ਵਾਧਾ ਹੋਇਆ ਹੈ, ਯਾਨੀ ਕਿ, ਡੇਟਾ ਸਾਇੰਟਿਸਟ ਦੀਆਂ ਅਸਾਮੀਆਂ ਦੇ ਨਤੀਜੇ ਦੇ ਮੁਕਾਬਲੇ ਲਗਭਗ ਚਾਰ ਗੁਣਾ। ਡੇਟਾ ਟ੍ਰਾਂਸਫਰ ਇੱਕ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਦੀਆਂ ਮੁੱਖ ਜ਼ਿੰਮੇਵਾਰੀਆਂ ਵਿੱਚੋਂ ਇੱਕ ਹੈ। ਅੰਤ ਵਿੱਚ, Java, NoSQL, Redshift, SQL ਅਤੇ Hadoop ਲਈ ਡੇਟਾ ਇੰਜੀਨੀਅਰਿੰਗ ਦੇ ਖੇਤਰ ਵਿੱਚ ਜ਼ਿਕਰਾਂ ਦੀ ਗਿਣਤੀ 15% ਵੱਧ ਸੀ।

ਡਾਟਾ ਇੰਜੀਨੀਅਰਿੰਗ ਵਿੱਚ ਘੱਟ ਪ੍ਰਸਿੱਧ

ਹੁਣ ਆਓ ਦੇਖੀਏ ਕਿ ਕਿਹੜੀਆਂ ਤਕਨੀਕਾਂ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਦੀਆਂ ਖਾਲੀ ਅਸਾਮੀਆਂ ਵਿੱਚ ਘੱਟ ਪ੍ਰਸਿੱਧ ਹਨ.
ਵਿੱਚ ਡੇਟਾ ਸਾਇੰਸ ਸੈਕਟਰ ਦੇ ਮੁਕਾਬਲੇ ਸਭ ਤੋਂ ਤਿੱਖੀ ਗਿਰਾਵਟ ਆਈ R: ਉੱਥੇ ਉਹ ਲਗਭਗ 56% ਖਾਲੀ ਅਸਾਮੀਆਂ ਵਿੱਚ ਪ੍ਰਗਟ ਹੋਇਆ, ਇੱਥੇ - ਸਿਰਫ 17% ਵਿੱਚ। ਪ੍ਰਭਾਵਸ਼ਾਲੀ. ਆਰ ਇੱਕ ਪ੍ਰੋਗ੍ਰਾਮਿੰਗ ਭਾਸ਼ਾ ਹੈ ਜੋ ਵਿਗਿਆਨੀਆਂ ਅਤੇ ਅੰਕੜਾ ਵਿਗਿਆਨੀਆਂ ਦੁਆਰਾ ਪਸੰਦ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਅਤੇ ਦੁਨੀਆ ਵਿੱਚ ਅੱਠਵੀਂ ਸਭ ਤੋਂ ਡਰਾਉਣੀ ਭਾਸ਼ਾ ਹੈ।

ਐਸ.ਏ.ਐਸ ਡਾਟਾ ਇੰਜੀਨੀਅਰ ਦੇ ਅਹੁਦੇ ਲਈ ਖਾਲੀ ਅਸਾਮੀਆਂ ਵਿੱਚ ਵੀ ਬਹੁਤ ਘੱਟ ਅਕਸਰ ਪਾਇਆ ਜਾਂਦਾ ਹੈ - ਅੰਤਰ 14% ਹੈ. SAS ਇੱਕ ਮਲਕੀਅਤ ਭਾਸ਼ਾ ਹੈ ਜੋ ਅੰਕੜਿਆਂ ਅਤੇ ਡੇਟਾ ਨਾਲ ਕੰਮ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤੀ ਗਈ ਹੈ। ਦਿਲਚਸਪ ਬਿੰਦੂ: ਨਤੀਜਿਆਂ ਦੁਆਰਾ ਨਿਰਣਾ ਕਰਨਾ ਡਾਟਾ ਵਿਗਿਆਨੀਆਂ ਲਈ ਨੌਕਰੀ ਦੇ ਖੁੱਲਣ ਬਾਰੇ ਮੇਰੀ ਖੋਜ, ਇਸਨੇ ਹਾਲ ਹੀ ਵਿੱਚ ਬਹੁਤ ਸਾਰੀ ਜ਼ਮੀਨ ਗੁਆ ​​ਦਿੱਤੀ ਹੈ - ਕਿਸੇ ਵੀ ਹੋਰ ਤਕਨਾਲੋਜੀ ਨਾਲੋਂ ਵੱਧ।

ਡੇਟਾ ਇੰਜਨੀਅਰਿੰਗ ਅਤੇ ਡੇਟਾ ਸਾਇੰਸ ਦੋਵਾਂ ਵਿੱਚ ਮੰਗ ਹੈ

ਇਹ ਨੋਟ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਦੋਵਾਂ ਸੈੱਟਾਂ ਵਿੱਚ ਪਹਿਲੀਆਂ ਦਸਾਂ ਵਿੱਚੋਂ ਅੱਠ ਪੁਜ਼ੀਸ਼ਨਾਂ ਇੱਕੋ ਜਿਹੀਆਂ ਹਨ। SQL, Python, Spark, AWS, Java, Hadoop, Hive ਅਤੇ Scala ਨੇ ਇਸਨੂੰ ਡਾਟਾ ਇੰਜੀਨੀਅਰਿੰਗ ਅਤੇ ਡਾਟਾ ਵਿਗਿਆਨ ਉਦਯੋਗਾਂ ਦੋਵਾਂ ਲਈ ਚੋਟੀ ਦੇ ਦਸ ਵਿੱਚ ਬਣਾਇਆ ਹੈ। ਹੇਠਾਂ ਦਿੱਤੇ ਗ੍ਰਾਫ਼ ਵਿੱਚ ਤੁਸੀਂ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਮਾਲਕਾਂ ਵਿੱਚ ਪੰਦਰਾਂ ਸਭ ਤੋਂ ਪ੍ਰਸਿੱਧ ਤਕਨਾਲੋਜੀਆਂ ਨੂੰ ਦੇਖ ਸਕਦੇ ਹੋ, ਅਤੇ ਉਹਨਾਂ ਦੇ ਅੱਗੇ ਡੇਟਾ ਵਿਗਿਆਨੀਆਂ ਲਈ ਉਹਨਾਂ ਦੀ ਖਾਲੀ ਦਰ ਹੈ।

ਿਸਫ਼ਾਰ

ਜੇਕਰ ਤੁਸੀਂ ਡੇਟਾ ਇੰਜਨੀਅਰਿੰਗ ਵਿੱਚ ਜਾਣਾ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ ਮੈਂ ਤੁਹਾਨੂੰ ਹੇਠ ਲਿਖੀਆਂ ਤਕਨੀਕਾਂ ਵਿੱਚ ਮੁਹਾਰਤ ਹਾਸਲ ਕਰਨ ਦੀ ਸਲਾਹ ਦੇਵਾਂਗਾ - ਮੈਂ ਉਹਨਾਂ ਨੂੰ ਲਗਭਗ ਤਰਜੀਹ ਦੇ ਕ੍ਰਮ ਵਿੱਚ ਸੂਚੀਬੱਧ ਕਰਦਾ ਹਾਂ।

SQL ਸਿੱਖੋ। ਮੈਂ PostgreSQL ਵੱਲ ਝੁਕ ਰਿਹਾ ਹਾਂ ਕਿਉਂਕਿ ਇਹ ਓਪਨ ਸੋਰਸ ਹੈ, ਕਮਿਊਨਿਟੀ ਵਿੱਚ ਬਹੁਤ ਮਸ਼ਹੂਰ ਹੈ, ਅਤੇ ਵਿਕਾਸ ਦੇ ਪੜਾਅ ਵਿੱਚ ਹੈ। ਤੁਸੀਂ My Memorable SQL ਕਿਤਾਬ ਤੋਂ ਭਾਸ਼ਾ ਦੀ ਵਰਤੋਂ ਕਿਵੇਂ ਕਰਨੀ ਹੈ ਬਾਰੇ ਸਿੱਖ ਸਕਦੇ ਹੋ - ਇਸਦਾ ਪਾਇਲਟ ਸੰਸਕਰਣ ਉਪਲਬਧ ਹੈ ਇੱਥੇ.

ਮਾਸਟਰ ਪਾਈਥਨ, ਭਾਵੇਂ ਸਭ ਤੋਂ ਹਾਰਡਕੋਰ ਪੱਧਰ 'ਤੇ ਨਾ ਹੋਵੇ। My Memorable Python ਖਾਸ ਤੌਰ 'ਤੇ ਸ਼ੁਰੂਆਤ ਕਰਨ ਵਾਲਿਆਂ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ। 'ਤੇ ਖਰੀਦਿਆ ਜਾ ਸਕਦਾ ਹੈ ਐਮਾਜ਼ਾਨ, ਇਲੈਕਟ੍ਰਾਨਿਕ ਜਾਂ ਭੌਤਿਕ ਕਾਪੀ, ਤੁਹਾਡੀ ਪਸੰਦ, ਜਾਂ pdf ਜਾਂ epub ਫਾਰਮੈਟ ਵਿੱਚ ਡਾਊਨਲੋਡ ਕਰੋ ਇਸ ਸਾਈਟ ਤੇ.

ਇੱਕ ਵਾਰ ਜਦੋਂ ਤੁਸੀਂ ਪਾਈਥਨ ਤੋਂ ਜਾਣੂ ਹੋ ਜਾਂਦੇ ਹੋ, ਤਾਂ ਪਾਂਡਾ 'ਤੇ ਜਾਓ, ਇੱਕ ਪਾਈਥਨ ਲਾਇਬ੍ਰੇਰੀ ਜੋ ਡੇਟਾ ਦੀ ਸਫਾਈ ਅਤੇ ਪ੍ਰੋਸੈਸਿੰਗ ਲਈ ਵਰਤੀ ਜਾਂਦੀ ਹੈ। ਜੇ ਤੁਸੀਂ ਕਿਸੇ ਕੰਪਨੀ ਵਿੱਚ ਕੰਮ ਕਰਨ ਦਾ ਟੀਚਾ ਬਣਾ ਰਹੇ ਹੋ ਜਿਸ ਲਈ ਪਾਈਥਨ ਵਿੱਚ ਲਿਖਣ ਦੀ ਯੋਗਤਾ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ (ਅਤੇ ਇਹ ਉਹਨਾਂ ਵਿੱਚੋਂ ਜ਼ਿਆਦਾਤਰ ਹਨ), ਤਾਂ ਤੁਸੀਂ ਨਿਸ਼ਚਤ ਹੋ ਸਕਦੇ ਹੋ ਕਿ ਪਾਂਡਾ ਦਾ ਗਿਆਨ ਮੂਲ ਰੂਪ ਵਿੱਚ ਮੰਨਿਆ ਜਾਵੇਗਾ। ਮੈਂ ਵਰਤਮਾਨ ਵਿੱਚ ਪਾਂਡਾ ਨਾਲ ਕੰਮ ਕਰਨ ਲਈ ਇੱਕ ਸ਼ੁਰੂਆਤੀ ਗਾਈਡ ਨੂੰ ਪੂਰਾ ਕਰ ਰਿਹਾ ਹਾਂ - ਤੁਸੀਂ ਕਰ ਸਕਦੇ ਹੋ ਗਾਹਕ ਬਣੋਤਾਂ ਜੋ ਰਿਹਾਈ ਦੇ ਪਲ ਨੂੰ ਖੁੰਝ ਨਾ ਜਾਵੇ.

ਮਾਸਟਰ AWS. ਜੇ ਤੁਸੀਂ ਇੱਕ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਬਣਨਾ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ ਤੁਸੀਂ ਸਟੈਸ਼ ਵਿੱਚ ਕਲਾਉਡ ਪਲੇਟਫਾਰਮ ਤੋਂ ਬਿਨਾਂ ਨਹੀਂ ਕਰ ਸਕਦੇ, ਅਤੇ AWS ਉਹਨਾਂ ਵਿੱਚੋਂ ਸਭ ਤੋਂ ਪ੍ਰਸਿੱਧ ਹੈ। ਕੋਰਸਾਂ ਨੇ ਮੇਰੀ ਬਹੁਤ ਮਦਦ ਕੀਤੀ ਲੀਨਕਸ ਅਕੈਡਮੀਜਦੋਂ ਮੈਂ ਪੜ੍ਹ ਰਿਹਾ ਸੀ ਗੂਗਲ ਕਲਾਉਡ 'ਤੇ ਡਾਟਾ ਇੰਜੀਨੀਅਰਿੰਗ, ਮੈਨੂੰ ਲਗਦਾ ਹੈ ਕਿ ਉਹਨਾਂ ਕੋਲ AWS 'ਤੇ ਚੰਗੀ ਸਮੱਗਰੀ ਵੀ ਹੋਵੇਗੀ।

ਜੇ ਤੁਸੀਂ ਪਹਿਲਾਂ ਹੀ ਇਸ ਪੂਰੀ ਸੂਚੀ ਨੂੰ ਪੂਰਾ ਕਰ ਲਿਆ ਹੈ ਅਤੇ ਇੱਕ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਵਜੋਂ ਰੁਜ਼ਗਾਰਦਾਤਾਵਾਂ ਦੀਆਂ ਨਜ਼ਰਾਂ ਵਿੱਚ ਹੋਰ ਵਾਧਾ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ ਮੈਂ ਵੱਡੇ ਡੇਟਾ ਨਾਲ ਕੰਮ ਕਰਨ ਲਈ ਅਪਾਚੇ ਸਪਾਰਕ ਨੂੰ ਜੋੜਨ ਦਾ ਸੁਝਾਅ ਦਿੰਦਾ ਹਾਂ। ਹਾਲਾਂਕਿ ਡੇਟਾ ਸਾਇੰਟਿਸਟ ਦੀਆਂ ਅਸਾਮੀਆਂ 'ਤੇ ਮੇਰੀ ਖੋਜ ਨੇ ਦਿਲਚਸਪੀ ਵਿੱਚ ਗਿਰਾਵਟ ਦਿਖਾਈ, ਡੇਟਾ ਇੰਜੀਨੀਅਰਾਂ ਵਿੱਚ ਇਹ ਅਜੇ ਵੀ ਲਗਭਗ ਹਰ ਸਕਿੰਟ ਖਾਲੀ ਥਾਂ ਵਿੱਚ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ।

ਆਖ਼ਰਕਾਰ

ਮੈਂ ਉਮੀਦ ਕਰਦਾ ਹਾਂ ਕਿ ਤੁਹਾਨੂੰ ਡੇਟਾ ਇੰਜੀਨੀਅਰਾਂ ਲਈ ਸਭ ਤੋਂ ਵੱਧ-ਇਨ-ਡਿਮਾਂਡ ਤਕਨਾਲੋਜੀਆਂ ਦੀ ਇਹ ਸੰਖੇਪ ਜਾਣਕਾਰੀ ਲਾਭਦਾਇਕ ਲੱਗੀ ਹੈ। ਜੇ ਤੁਸੀਂ ਹੈਰਾਨ ਹੋ ਰਹੇ ਹੋ ਕਿ ਵਿਸ਼ਲੇਸ਼ਕ ਦੀਆਂ ਨੌਕਰੀਆਂ ਕਿਵੇਂ ਚੱਲ ਰਹੀਆਂ ਹਨ, ਤਾਂ ਪੜ੍ਹੋ ਮੇਰਾ ਹੋਰ ਲੇਖ. ਖੁਸ਼ ਇੰਜੀਨੀਅਰਿੰਗ!

ਸਰੋਤ: www.habr.com