ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਕੌਣ ਹਨ ਅਤੇ ਉਹ ਇੱਕ ਕਿਵੇਂ ਬਣਦੇ ਹਨ?

ਹੈਲੋ ਦੁਬਾਰਾ! ਲੇਖ ਦਾ ਸਿਰਲੇਖ ਆਪਣੇ ਆਪ ਲਈ ਬੋਲਦਾ ਹੈ. ਕੋਰਸ ਦੀ ਸ਼ੁਰੂਆਤ ਤੋਂ ਪਹਿਲਾਂ ਡਾਟਾ ਇੰਜੀਨੀਅਰ ਅਸੀਂ ਇਹ ਪਤਾ ਲਗਾਉਣ ਦੀ ਪੇਸ਼ਕਸ਼ ਕਰਦੇ ਹਾਂ ਕਿ ਇਹ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਕੌਣ ਹਨ। ਲੇਖ ਵਿੱਚ ਬਹੁਤ ਸਾਰੇ ਉਪਯੋਗੀ ਲਿੰਕ ਹਨ. ਖੁਸ਼ ਪੜ੍ਹਨਾ.

ਡੇਟਾ ਇੰਜਨੀਅਰਿੰਗ ਦੀ ਲਹਿਰ ਨੂੰ ਕਿਵੇਂ ਫੜਨਾ ਹੈ ਅਤੇ ਇਸ ਨੂੰ ਤੁਹਾਨੂੰ ਅਥਾਹ ਕੁੰਡ ਵਿੱਚ ਨਾ ਜਾਣ ਦੇਣ ਬਾਰੇ ਇੱਕ ਸਧਾਰਨ ਗਾਈਡ।

ਅਜਿਹਾ ਲਗਦਾ ਹੈ ਕਿ ਅੱਜਕੱਲ੍ਹ ਹਰ ਕੋਈ ਡੇਟਾ ਸਾਇੰਟਿਸਟ ਬਣਨਾ ਚਾਹੁੰਦਾ ਹੈ। ਪਰ ਡੇਟਾ ਇੰਜੀਨੀਅਰਿੰਗ (ਡੇਟਾ ਇੰਜੀਨੀਅਰਿੰਗ) ਬਾਰੇ ਕੀ? ਵਾਸਤਵ ਵਿੱਚ, ਇਹ ਇੱਕ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਕ ਅਤੇ ਇੱਕ ਡੇਟਾ ਵਿਗਿਆਨੀ ਦਾ ਇੱਕ ਕਿਸਮ ਦਾ ਹਾਈਬ੍ਰਿਡ ਹੈ; ਇੱਕ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਆਮ ਤੌਰ 'ਤੇ ਵਰਕਫਲੋਜ਼, ਪ੍ਰੋਸੈਸਿੰਗ ਪਾਈਪਲਾਈਨਾਂ, ਅਤੇ ETL ਪ੍ਰਕਿਰਿਆਵਾਂ ਦੇ ਪ੍ਰਬੰਧਨ ਲਈ ਜ਼ਿੰਮੇਵਾਰ ਹੁੰਦਾ ਹੈ. ਇਹਨਾਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੀ ਮਹੱਤਤਾ ਦੇ ਕਾਰਨ, ਇਹ ਵਰਤਮਾਨ ਵਿੱਚ ਇੱਕ ਹੋਰ ਪ੍ਰਸਿੱਧ ਪੇਸ਼ੇਵਰ ਸ਼ਬਦਾਵਲੀ ਹੈ ਜੋ ਸਰਗਰਮੀ ਨਾਲ ਗਤੀ ਪ੍ਰਾਪਤ ਕਰ ਰਿਹਾ ਹੈ।

ਉੱਚ ਤਨਖਾਹ ਅਤੇ ਵੱਡੀ ਮੰਗ ਇਸ ਨੌਕਰੀ ਨੂੰ ਬਹੁਤ ਹੀ ਆਕਰਸ਼ਕ ਬਣਾਉਣ ਦਾ ਸਿਰਫ ਇੱਕ ਛੋਟਾ ਜਿਹਾ ਹਿੱਸਾ ਹੈ! ਜੇ ਤੁਸੀਂ ਨਾਇਕਾਂ ਦੀ ਸ਼੍ਰੇਣੀ ਵਿੱਚ ਸ਼ਾਮਲ ਹੋਣਾ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ ਸਿੱਖਣਾ ਸ਼ੁਰੂ ਕਰਨ ਵਿੱਚ ਕਦੇ ਵੀ ਦੇਰ ਨਹੀਂ ਹੋਈ। ਇਸ ਪੋਸਟ ਵਿੱਚ, ਮੈਂ ਉਹ ਸਾਰੀ ਜਾਣਕਾਰੀ ਇਕੱਠੀ ਕੀਤੀ ਹੈ ਜਿਸਦੀ ਤੁਹਾਨੂੰ ਤੁਹਾਡੇ ਪਹਿਲੇ ਕਦਮ ਚੁੱਕਣ ਵਿੱਚ ਮਦਦ ਕਰਨ ਦੀ ਲੋੜ ਹੈ।

ਤਾਂ ਆਓ ਸ਼ੁਰੂ ਕਰੀਏ!

ਡਾਟਾ ਇੰਜੀਨੀਅਰਿੰਗ ਕੀ ਹੈ?

ਇਮਾਨਦਾਰੀ ਨਾਲ, ਇਸ ਤੋਂ ਵਧੀਆ ਕੋਈ ਵਿਆਖਿਆ ਨਹੀਂ ਹੈ:

“ਇੱਕ ਵਿਗਿਆਨੀ ਇੱਕ ਨਵੇਂ ਤਾਰੇ ਦੀ ਖੋਜ ਕਰ ਸਕਦਾ ਹੈ, ਪਰ ਉਹ ਇੱਕ ਨਹੀਂ ਬਣਾ ਸਕਦਾ। ਉਸਨੂੰ ਇੱਕ ਇੰਜੀਨੀਅਰ ਨੂੰ ਉਸਦੇ ਲਈ ਅਜਿਹਾ ਕਰਨ ਲਈ ਕਹਿਣਾ ਪਵੇਗਾ।"

-ਗੋਰਡਨ ਲਿੰਡਸੇ ਗਲੈਗ

ਇਸ ਤਰ੍ਹਾਂ, ਇੱਕ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਦੀ ਭੂਮਿਕਾ ਕਾਫ਼ੀ ਮਹੱਤਵਪੂਰਨ ਹੈ.

ਨਾਮ ਤੋਂ ਇਹ ਪਤਾ ਚੱਲਦਾ ਹੈ ਕਿ ਡੇਟਾ ਇੰਜੀਨੀਅਰਿੰਗ ਡੇਟਾ ਨਾਲ ਜੁੜੀ ਹੋਈ ਹੈ, ਅਰਥਾਤ ਉਹਨਾਂ ਦੀ ਡਿਲਿਵਰੀ, ਸਟੋਰੇਜ ਅਤੇ ਪ੍ਰੋਸੈਸਿੰਗ ਨਾਲ। ਇਸ ਅਨੁਸਾਰ, ਇੰਜੀਨੀਅਰਾਂ ਦਾ ਮੁੱਖ ਕੰਮ ਡੇਟਾ ਲਈ ਇੱਕ ਭਰੋਸੇਯੋਗ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਪ੍ਰਦਾਨ ਕਰਨਾ ਹੈ. ਜੇ ਅਸੀਂ ਲੋੜਾਂ ਦੀ ਏਆਈ ਲੜੀ ਨੂੰ ਵੇਖਦੇ ਹਾਂ, ਤਾਂ ਡੇਟਾ ਇੰਜੀਨੀਅਰਿੰਗ ਪਹਿਲੇ 2-3 ਕਦਮ ਚੁੱਕਦੀ ਹੈ: ਸੰਗ੍ਰਹਿ, ਅੰਦੋਲਨ ਅਤੇ ਸਟੋਰੇਜ, ਡੇਟਾ ਦੀ ਤਿਆਰੀ.

ਇੱਕ ਡਾਟਾ ਇੰਜੀਨੀਅਰ ਕੀ ਕਰਦਾ ਹੈ?

ਵੱਡੇ ਡੇਟਾ ਦੇ ਆਗਮਨ ਨਾਲ, ਜ਼ਿੰਮੇਵਾਰੀ ਦਾ ਦਾਇਰਾ ਨਾਟਕੀ ਢੰਗ ਨਾਲ ਬਦਲ ਗਿਆ ਹੈ. ਜੇਕਰ ਪਹਿਲਾਂ ਇਹਨਾਂ ਮਾਹਰਾਂ ਨੇ ਇਨਫਾਰਮੈਟਿਕਾ ਈਟੀਐਲ, ਪੇਂਟਾਹੋ ਈਟੀਐਲ, ਟੇਲੈਂਡ ਵਰਗੇ ਟੂਲਸ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਵੱਡੀਆਂ SQL ਸਵਾਲਾਂ ਅਤੇ ਡਿਸਟਿਲਡ ਡੇਟਾ ਲਿਖਿਆ ਸੀ, ਤਾਂ ਹੁਣ ਡਾਟਾ ਇੰਜੀਨੀਅਰਾਂ ਦੀਆਂ ਲੋੜਾਂ ਵਧ ਗਈਆਂ ਹਨ।

ਡਾਟਾ ਇੰਜੀਨੀਅਰ ਦੇ ਅਹੁਦੇ ਲਈ ਖਾਲੀ ਅਸਾਮੀਆਂ ਵਾਲੀਆਂ ਜ਼ਿਆਦਾਤਰ ਕੰਪਨੀਆਂ ਦੀਆਂ ਹੇਠ ਲਿਖੀਆਂ ਜ਼ਰੂਰਤਾਂ ਹਨ:

• SQL ਅਤੇ Python ਦਾ ਸ਼ਾਨਦਾਰ ਗਿਆਨ।
• ਕਲਾਉਡ ਪਲੇਟਫਾਰਮਾਂ ਨਾਲ ਅਨੁਭਵ ਕਰੋ, ਖਾਸ ਤੌਰ 'ਤੇ ਐਮਾਜ਼ਾਨ ਵੈੱਬ ਸੇਵਾਵਾਂ।
• Java/Scala ਦੇ ਗਿਆਨ ਨੂੰ ਤਰਜੀਹ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ।
• SQL ਅਤੇ NoSQL ਡੇਟਾਬੇਸ (ਡੇਟਾ ਮਾਡਲਿੰਗ, ਡੇਟਾ ਸਟੋਰੇਜ) ਦੀ ਚੰਗੀ ਸਮਝ।

ਧਿਆਨ ਵਿੱਚ ਰੱਖੋ, ਇਹ ਸਿਰਫ ਨੰਗੇ ਜ਼ਰੂਰੀ ਹਨ. ਇਸ ਸੂਚੀ ਤੋਂ, ਇਹ ਮੰਨਿਆ ਜਾ ਸਕਦਾ ਹੈ ਕਿ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਸੌਫਟਵੇਅਰ ਵਿਕਾਸ ਅਤੇ ਬੈਕਐਂਡ ਵਿੱਚ ਮਾਹਰ ਹਨ.
ਉਦਾਹਰਨ ਲਈ, ਜੇਕਰ ਕੋਈ ਕੰਪਨੀ ਵੱਖ-ਵੱਖ ਸਰੋਤਾਂ ਤੋਂ ਵੱਡੀ ਮਾਤਰਾ ਵਿੱਚ ਡੇਟਾ ਤਿਆਰ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰਦੀ ਹੈ, ਤਾਂ ਇੱਕ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਵਜੋਂ ਤੁਹਾਡਾ ਕੰਮ ਜਾਣਕਾਰੀ ਦੇ ਸੰਗ੍ਰਹਿ, ਇਸਦੀ ਪ੍ਰੋਸੈਸਿੰਗ ਅਤੇ ਸਟੋਰੇਜ ਨੂੰ ਵਿਵਸਥਿਤ ਕਰਨਾ ਹੈ।

ਇਸ ਕੇਸ ਵਿੱਚ ਵਰਤੇ ਗਏ ਸਾਧਨਾਂ ਦੀ ਸੂਚੀ ਵੱਖਰੀ ਹੋ ਸਕਦੀ ਹੈ, ਇਹ ਸਭ ਇਸ ਡੇਟਾ ਦੀ ਮਾਤਰਾ, ਉਹਨਾਂ ਦੀ ਰਸੀਦ ਦੀ ਗਤੀ ਅਤੇ ਵਿਭਿੰਨਤਾ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ. ਜ਼ਿਆਦਾਤਰ ਕੰਪਨੀਆਂ ਵੱਡੇ ਡੇਟਾ ਨਾਲ ਬਿਲਕੁਲ ਵੀ ਨਜਿੱਠਦੀਆਂ ਨਹੀਂ ਹਨ, ਇਸਲਈ ਕੇਂਦਰੀਕ੍ਰਿਤ ਰਿਪੋਜ਼ਟਰੀ, ਅਖੌਤੀ ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਦੇ ਰੂਪ ਵਿੱਚ, ਤੁਸੀਂ ਵੇਅਰਹਾਊਸ ਨੂੰ ਡੇਟਾ ਭੇਜਣ ਵਾਲੀਆਂ ਸਕ੍ਰਿਪਟਾਂ ਦੇ ਇੱਕ ਛੋਟੇ ਸਮੂਹ ਦੇ ਨਾਲ ਇੱਕ SQL ਡਾਟਾਬੇਸ (PostgreSQL, MySQL, ਆਦਿ) ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ। .

ਆਈਟੀ ਦਿੱਗਜ ਜਿਵੇਂ ਕਿ ਗੂਗਲ, ​​ਐਮਾਜ਼ਾਨ, ਫੇਸਬੁੱਕ ਜਾਂ ਡ੍ਰੌਪਬਾਕਸ ਦੀਆਂ ਉੱਚ ਲੋੜਾਂ ਹਨ: ਪਾਈਥਨ, ਜਾਵਾ ਜਾਂ ਸਕੇਲਾ ਦਾ ਗਿਆਨ।

• ਵੱਡੇ ਡੇਟਾ ਦੇ ਨਾਲ ਅਨੁਭਵ: ਹੈਡੂਪ, ਸਪਾਰਕ, ​​ਕਾਫਕਾ।
• ਐਲਗੋਰਿਦਮ ਅਤੇ ਡਾਟਾ ਢਾਂਚੇ ਦਾ ਗਿਆਨ।
• ਵਿਤਰਿਤ ਪ੍ਰਣਾਲੀਆਂ ਦੀਆਂ ਮੂਲ ਗੱਲਾਂ ਨੂੰ ਸਮਝਣਾ।
• ਡੇਟਾ ਵਿਜ਼ੂਅਲਾਈਜ਼ੇਸ਼ਨ ਟੂਲਸ ਜਿਵੇਂ ਕਿ ਝਾਂਕੀ ਜਾਂ ਇਲਾਸਟਿਕ ਖੋਜ ਨਾਲ ਅਨੁਭਵ ਇੱਕ ਵੱਡਾ ਪਲੱਸ ਹੋਵੇਗਾ।

ਭਾਵ, ਵੱਡੇ ਡੇਟਾ ਵੱਲ ਇੱਕ ਸਪੱਸ਼ਟ ਤਬਦੀਲੀ ਹੈ, ਅਰਥਾਤ ਉੱਚ ਲੋਡ ਦੇ ਅਧੀਨ ਉਹਨਾਂ ਦੀ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ. ਇਹਨਾਂ ਕੰਪਨੀਆਂ ਨੇ ਸਿਸਟਮ ਫਾਲਟ ਸਹਿਣਸ਼ੀਲਤਾ ਲਈ ਲੋੜਾਂ ਵਧਾ ਦਿੱਤੀਆਂ ਹਨ।

ਡਾਟਾ ਇੰਜੀਨੀਅਰ ਬਨਾਮ. ਡਾਟਾ ਵਿਗਿਆਨੀ

ਠੀਕ ਹੈ, ਇਹ ਇੱਕ ਸਧਾਰਨ ਅਤੇ ਮਜ਼ਾਕੀਆ ਤੁਲਨਾ ਸੀ (ਕੁਝ ਵੀ ਨਿੱਜੀ ਨਹੀਂ), ਪਰ ਇਹ ਅਸਲ ਵਿੱਚ ਬਹੁਤ ਜ਼ਿਆਦਾ ਗੁੰਝਲਦਾਰ ਹੈ।

ਪਹਿਲਾਂ, ਤੁਹਾਨੂੰ ਸੁਚੇਤ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਇੱਕ ਡੇਟਾ ਸਾਇੰਟਿਸਟ ਅਤੇ ਇੱਕ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਦੀਆਂ ਭੂਮਿਕਾਵਾਂ ਅਤੇ ਹੁਨਰਾਂ ਬਾਰੇ ਬਹੁਤ ਉਲਝਣ ਹੈ। ਭਾਵ, ਤੁਸੀਂ ਆਸਾਨੀ ਨਾਲ ਹੈਰਾਨ ਹੋ ਸਕਦੇ ਹੋ ਕਿ ਇੱਕ ਸਫਲ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਬਣਨ ਲਈ ਕਿਹੜੇ ਹੁਨਰਾਂ ਦੀ ਜ਼ਰੂਰਤ ਹੈ. ਬੇਸ਼ੱਕ, ਕੁਝ ਕੁ ਹੁਨਰ ਹਨ ਜੋ ਦੋਵਾਂ ਭੂਮਿਕਾਵਾਂ ਨਾਲ ਓਵਰਲੈਪ ਹੁੰਦੇ ਹਨ। ਪਰ ਇੱਥੇ ਕਈ ਤਰ੍ਹਾਂ ਦੇ ਵਿਰੋਧੀ ਹੁਨਰ ਵੀ ਹਨ।

ਡੇਟਾ ਵਿਗਿਆਨ ਇੱਕ ਗੰਭੀਰ ਕਾਰੋਬਾਰ ਹੈ, ਪਰ ਅਸੀਂ ਕਾਰਜਸ਼ੀਲ ਡੇਟਾ ਵਿਗਿਆਨ ਦੀ ਦੁਨੀਆ ਵੱਲ ਵਧ ਰਹੇ ਹਾਂ ਜਿੱਥੇ ਪ੍ਰੈਕਟੀਸ਼ਨਰ ਆਪਣੇ ਖੁਦ ਦੇ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਦੇ ਯੋਗ ਹੁੰਦੇ ਹਨ। ਡੇਟਾ ਪਾਈਪਲਾਈਨਾਂ ਅਤੇ ਏਕੀਕ੍ਰਿਤ ਡੇਟਾ ਢਾਂਚੇ ਨੂੰ ਸਮਰੱਥ ਬਣਾਉਣ ਲਈ, ਤੁਹਾਨੂੰ ਵਿਗਿਆਨੀਆਂ ਦੀ ਨਹੀਂ, ਸਗੋਂ ਡੇਟਾ ਇੰਜੀਨੀਅਰਾਂ ਦੀ ਲੋੜ ਹੈ।

ਕੀ ਇੱਕ ਡੇਟਾ ਵਿਗਿਆਨੀ ਨਾਲੋਂ ਇੱਕ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਦੀ ਮੰਗ ਵਧੇਰੇ ਹੈ?

- ਹਾਂ, ਕਿਉਂਕਿ ਗਾਜਰ ਦਾ ਕੇਕ ਬਣਾਉਣ ਤੋਂ ਪਹਿਲਾਂ, ਤੁਹਾਨੂੰ ਪਹਿਲਾਂ ਗਾਜਰ ਨੂੰ ਇਕੱਠਾ ਕਰਨਾ, ਛਿੱਲਣਾ ਅਤੇ ਸਟਾਕ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ!

ਇੱਕ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਪ੍ਰੋਗਰਾਮਿੰਗ ਨੂੰ ਕਿਸੇ ਵੀ ਡੇਟਾ ਵਿਗਿਆਨੀ ਨਾਲੋਂ ਬਿਹਤਰ ਸਮਝਦਾ ਹੈ, ਪਰ ਜਦੋਂ ਅੰਕੜਿਆਂ ਦੀ ਗੱਲ ਆਉਂਦੀ ਹੈ, ਤਾਂ ਸਭ ਕੁਝ ਬਿਲਕੁਲ ਉਲਟ ਹੁੰਦਾ ਹੈ।

ਪਰ ਇੱਥੇ ਇੱਕ ਡਾਟਾ ਇੰਜੀਨੀਅਰ ਦਾ ਫਾਇਦਾ ਹੈ:

ਉਸ ਤੋਂ ਬਿਨਾਂ, ਇੱਕ ਪ੍ਰੋਟੋਟਾਈਪ ਮਾਡਲ ਦਾ ਮੁੱਲ, ਜਿਸ ਵਿੱਚ ਅਕਸਰ ਪਾਈਥਨ ਫਾਈਲ ਵਿੱਚ ਭਿਆਨਕ ਗੁਣਵੱਤਾ ਕੋਡ ਦਾ ਇੱਕ ਟੁਕੜਾ ਹੁੰਦਾ ਹੈ, ਇੱਕ ਡੇਟਾ ਵਿਗਿਆਨੀ ਤੋਂ ਪ੍ਰਾਪਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਅਤੇ ਕਿਸੇ ਤਰ੍ਹਾਂ ਨਤੀਜਾ ਪੈਦਾ ਕਰਦਾ ਹੈ, ਜ਼ੀਰੋ ਵੱਲ ਜਾਂਦਾ ਹੈ।

ਇੱਕ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਦੇ ਬਿਨਾਂ, ਇਹ ਕੋਡ ਕਦੇ ਵੀ ਇੱਕ ਪ੍ਰੋਜੈਕਟ ਨਹੀਂ ਬਣੇਗਾ ਅਤੇ ਕਿਸੇ ਵੀ ਵਪਾਰਕ ਸਮੱਸਿਆ ਦਾ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਹੱਲ ਨਹੀਂ ਹੋਵੇਗਾ। ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਇਸ ਸਭ ਨੂੰ ਇੱਕ ਉਤਪਾਦ ਵਿੱਚ ਬਦਲਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰ ਰਿਹਾ ਹੈ।

ਮੁੱਢਲੀ ਜਾਣਕਾਰੀ ਜੋ ਇੱਕ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਨੂੰ ਪਤਾ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ

ਇਸ ਲਈ, ਜੇਕਰ ਇਹ ਨੌਕਰੀ ਤੁਹਾਡੇ ਵਿੱਚ ਰੋਸ਼ਨੀ ਚਮਕਾਉਂਦੀ ਹੈ ਅਤੇ ਤੁਸੀਂ ਜੋਸ਼ ਨਾਲ ਭਰਪੂਰ ਹੋ - ਤੁਸੀਂ ਇਹ ਸਿੱਖਣ ਦੇ ਯੋਗ ਹੋ, ਤੁਸੀਂ ਸਾਰੇ ਜ਼ਰੂਰੀ ਹੁਨਰਾਂ ਵਿੱਚ ਮੁਹਾਰਤ ਹਾਸਲ ਕਰ ਸਕਦੇ ਹੋ ਅਤੇ ਡੇਟਾ ਮਾਈਨਿੰਗ ਦੇ ਖੇਤਰ ਵਿੱਚ ਇੱਕ ਅਸਲੀ ਰੌਕ ਸਟਾਰ ਬਣ ਸਕਦੇ ਹੋ। ਅਤੇ, ਹਾਂ, ਤੁਸੀਂ ਪ੍ਰੋਗਰਾਮਿੰਗ ਹੁਨਰ ਜਾਂ ਹੋਰ ਤਕਨੀਕੀ ਗਿਆਨ ਤੋਂ ਬਿਨਾਂ ਵੀ ਇਹ ਕਰ ਸਕਦੇ ਹੋ। ਇਹ ਮੁਸ਼ਕਲ ਹੈ, ਪਰ ਸੰਭਵ ਹੈ!

ਪਹਿਲੇ ਕਦਮ ਕੀ ਹਨ?

ਤੁਹਾਨੂੰ ਇੱਕ ਆਮ ਵਿਚਾਰ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਕੀ ਹੈ.

ਸਭ ਤੋਂ ਪਹਿਲਾਂ, ਡੇਟਾ ਇੰਜੀਨੀਅਰਿੰਗ ਕੰਪਿਊਟਰ ਵਿਗਿਆਨ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ। ਵਧੇਰੇ ਖਾਸ ਤੌਰ 'ਤੇ, ਤੁਹਾਨੂੰ ਕੁਸ਼ਲ ਐਲਗੋਰਿਦਮ ਅਤੇ ਡੇਟਾ ਢਾਂਚੇ ਨੂੰ ਸਮਝਣਾ ਚਾਹੀਦਾ ਹੈ। ਦੂਜਾ, ਕਿਉਂਕਿ ਡੇਟਾ ਇੰਜਨੀਅਰ ਡੇਟਾ ਦੇ ਨਾਲ ਕੰਮ ਕਰਦੇ ਹਨ, ਇਸ ਲਈ ਇਹ ਸਮਝਣਾ ਜ਼ਰੂਰੀ ਹੈ ਕਿ ਡੇਟਾਬੇਸ ਕਿਵੇਂ ਕੰਮ ਕਰਦੇ ਹਨ ਅਤੇ ਉਹਨਾਂ ਦੀਆਂ ਬਣਤਰਾਂ ਜੋ ਉਹਨਾਂ ਦੇ ਅਧੀਨ ਹਨ.

ਉਦਾਹਰਨ ਲਈ, ਪਰੰਪਰਾਗਤ ਬੀ-ਟ੍ਰੀ SQL ਡਾਟਾਬੇਸ ਬੀ-ਟ੍ਰੀ ਡਾਟਾ ਸਟ੍ਰਕਚਰ 'ਤੇ ਆਧਾਰਿਤ ਹਨ, ਨਾਲ ਹੀ, ਆਧੁਨਿਕ ਡਿਸਟ੍ਰੀਬਿਊਟਿਡ ਰਿਪੋਜ਼ਟਰੀਆਂ, LSM-ਟ੍ਰੀ ਅਤੇ ਹੈਸ਼ ਟੇਬਲ ਦੇ ਹੋਰ ਸੋਧਾਂ ਵਿੱਚ।

*ਇਹ ਕਦਮ ਇੱਕ ਵਧੀਆ ਲੇਖ 'ਤੇ ਆਧਾਰਿਤ ਹਨ ਆਦਿਲਿਆ ਖਸ਼ਤਮੋਵਾ. ਇਸ ਲਈ, ਜੇ ਤੁਸੀਂ ਰੂਸੀ ਜਾਣਦੇ ਹੋ, ਤਾਂ ਇਸ ਲੇਖਕ ਦਾ ਸਮਰਥਨ ਕਰੋ ਅਤੇ ਪੜ੍ਹੋ ਉਸਦੀ ਪੋਸਟ.

1. ਐਲਗੋਰਿਦਮ ਅਤੇ ਡਾਟਾ ਬਣਤਰ

ਸਹੀ ਡੇਟਾ ਢਾਂਚੇ ਦੀ ਵਰਤੋਂ ਕਰਨ ਨਾਲ ਐਲਗੋਰਿਦਮ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਵਿੱਚ ਬਹੁਤ ਸੁਧਾਰ ਹੋ ਸਕਦਾ ਹੈ। ਆਦਰਸ਼ਕ ਤੌਰ 'ਤੇ, ਸਾਨੂੰ ਸਾਰਿਆਂ ਨੂੰ ਆਪਣੇ ਸਕੂਲਾਂ ਵਿੱਚ ਡਾਟਾ ਢਾਂਚੇ ਅਤੇ ਐਲਗੋਰਿਦਮ ਸਿੱਖਣੇ ਚਾਹੀਦੇ ਹਨ, ਪਰ ਇਹ ਕਦੇ-ਕਦਾਈਂ ਹੀ ਕਵਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਕਿਸੇ ਵੀ ਸਥਿਤੀ ਵਿੱਚ, ਇਹ ਪਤਾ ਲਗਾਉਣ ਵਿੱਚ ਕਦੇ ਵੀ ਦੇਰ ਨਹੀਂ ਹੋਈ।
ਇਸ ਲਈ, ਡੇਟਾ ਢਾਂਚੇ ਅਤੇ ਐਲਗੋਰਿਦਮ ਸਿੱਖਣ ਲਈ ਇੱਥੇ ਮੇਰੇ ਮਨਪਸੰਦ ਮੁਫਤ ਕੋਰਸ ਹਨ:

• ਸਰਲ ਤੋਂ ਗੁੰਝਲਦਾਰ: ਡੇਟਾ ਸਟ੍ਰਕਚਰ (Udemy)
• ਐਲਗੋਰਿਦਮ, ਭਾਗ I (ਕੋਰਸਰਾ)
• ਐਲਗੋਰਿਦਮ, ਭਾਗ II (ਕੋਰਸਰਾ)

ਨਾਲ ਹੀ, ਥਾਮਸ ਕੋਰਮੇਨ ਦੇ ਐਲਗੋਰਿਦਮ 'ਤੇ ਕਲਾਸਿਕ ਕੰਮ ਬਾਰੇ ਨਾ ਭੁੱਲੋ - ਐਲਗੋਰਿਦਮ ਨਾਲ ਜਾਣ-ਪਛਾਣ. ਇਹ ਸੰਪੂਰਨ ਸੰਦਰਭ ਹੈ ਜਦੋਂ ਤੁਹਾਨੂੰ ਆਪਣੀ ਯਾਦਦਾਸ਼ਤ ਨੂੰ ਬਰੱਸ਼ ਕਰਨ ਦੀ ਜ਼ਰੂਰਤ ਹੁੰਦੀ ਹੈ.

• ਆਪਣੇ ਹੁਨਰ ਦੀ ਵਰਤੋਂ ਵਿੱਚ ਸੁਧਾਰ ਕਰਨ ਲਈ ਲੀਟਕੋਡ.

ਤੁਸੀਂ ਇਹਨਾਂ ਅਦਭੁਤ ਕਾਰਨੇਗੀ ਮੇਲਨ ਯੂਟਿਊਬ ਵੀਡੀਓਜ਼ ਦੇ ਨਾਲ ਡੇਟਾਬੇਸ ਦੀ ਦੁਨੀਆ ਵਿੱਚ ਵੀ ਡੁਬਕੀ ਲਗਾ ਸਕਦੇ ਹੋ:

• ਡਾਟਾਬੇਸ ਸਿਸਟਮ ਨਾਲ ਜਾਣ-ਪਛਾਣ.
• ਐਡਵਾਂਸਡ ਡਾਟਾਬੇਸ ਸਿਸਟਮ.

2. SQL ਸਿੱਖੋ

ਸਾਡਾ ਸਾਰਾ ਜੀਵਨ ਡੇਟਾ ਹੈ। ਅਤੇ ਡੇਟਾਬੇਸ ਤੋਂ ਇਸ ਡੇਟਾ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ, ਤੁਹਾਨੂੰ ਇਸਦੇ ਨਾਲ ਉਹੀ ਭਾਸ਼ਾ "ਬੋਲਣ" ਦੀ ਲੋੜ ਹੈ।

SQL (ਸਟ੍ਰਕਚਰਡ ਕਿਊਰੀ ਲੈਂਗੂਏਜ) ਡੇਟਾ ਡੋਮੇਨ ਵਿੱਚ ਸੰਚਾਰ ਦੀ ਭਾਸ਼ਾ ਹੈ। ਚਾਹੇ ਕੋਈ ਵੀ ਕਹੇ, SQL ਜਿਉਂਦਾ ਹੈ, ਜ਼ਿੰਦਾ ਹੈ ਅਤੇ ਬਹੁਤ ਲੰਬੇ ਸਮੇਂ ਲਈ ਜੀਵੇਗਾ।

ਜੇਕਰ ਤੁਸੀਂ ਲੰਬੇ ਸਮੇਂ ਤੋਂ ਵਿਕਾਸ ਵਿੱਚ ਹੋ, ਤਾਂ ਤੁਸੀਂ ਸ਼ਾਇਦ ਦੇਖਿਆ ਹੋਵੇਗਾ ਕਿ SQL ਦੀ ਮੌਤ ਦੀਆਂ ਅਫਵਾਹਾਂ ਸਮੇਂ-ਸਮੇਂ 'ਤੇ ਸਾਹਮਣੇ ਆਉਂਦੀਆਂ ਹਨ। ਭਾਸ਼ਾ 70 ਦੇ ਦਹਾਕੇ ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ ਵਿਕਸਤ ਕੀਤੀ ਗਈ ਸੀ ਅਤੇ ਅਜੇ ਵੀ ਵਿਸ਼ਲੇਸ਼ਕਾਂ, ਵਿਕਾਸਕਾਰਾਂ ਅਤੇ ਸਿਰਫ਼ ਉਤਸ਼ਾਹੀ ਲੋਕਾਂ ਵਿੱਚ ਬਹੁਤ ਮਸ਼ਹੂਰ ਹੈ।
SQL ਦੇ ਗਿਆਨ ਤੋਂ ਬਿਨਾਂ, ਡੇਟਾ ਇੰਜਨੀਅਰਿੰਗ ਵਿੱਚ ਕਰਨ ਲਈ ਕੁਝ ਵੀ ਨਹੀਂ ਹੈ, ਕਿਉਂਕਿ ਤੁਹਾਨੂੰ ਲਾਜ਼ਮੀ ਤੌਰ 'ਤੇ ਡੇਟਾ ਨੂੰ ਮੁੜ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਸਵਾਲ ਬਣਾਉਣੇ ਪੈਣਗੇ। ਸਾਰੇ ਆਧੁਨਿਕ ਵੱਡੇ ਡੇਟਾ ਸਟੋਰ SQL ਦਾ ਸਮਰਥਨ ਕਰਦੇ ਹਨ:

• ਐਮਾਜ਼ਾਨ ਰੈਡਸ਼ੀਫਟ
• ਐਚਪੀ ਵਰਟਿਕਾ
• ਓਰੇਕਲ
• SQL ਸਰਵਰ

… ਅਤੇ ਕਈ ਹੋਰ।

ਐਚਡੀਐਫਐਸ ਵਰਗੇ ਵਿਤਰਿਤ ਸਿਸਟਮਾਂ ਵਿੱਚ ਸਟੋਰ ਕੀਤੇ ਡੇਟਾ ਦੀ ਇੱਕ ਵੱਡੀ ਪਰਤ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਲਈ, SQL ਇੰਜਣਾਂ ਦੀ ਖੋਜ ਕੀਤੀ ਗਈ ਸੀ: ਅਪਾਚੇ ਹਾਈਵ, ਇਮਪਾਲਾ, ਆਦਿ। ਦੇਖੋ, ਇਹ ਕਿਤੇ ਵੀ ਨਹੀਂ ਜਾ ਰਿਹਾ ਹੈ।

SQL ਕਿਵੇਂ ਸਿੱਖੀਏ? ਬਸ ਇਸ ਨੂੰ ਅਭਿਆਸ ਵਿੱਚ ਕਰੋ.

ਅਜਿਹਾ ਕਰਨ ਲਈ, ਮੈਂ ਸਿਫ਼ਾਰਿਸ਼ ਕਰਾਂਗਾ ਕਿ ਤੁਸੀਂ ਆਪਣੇ ਆਪ ਨੂੰ ਇੱਕ ਸ਼ਾਨਦਾਰ ਟਿਊਟੋਰਿਅਲ ਨਾਲ ਜਾਣੂ ਕਰੋ, ਜੋ ਕਿ, ਤਰੀਕੇ ਨਾਲ, ਮੁਫ਼ਤ ਹੈ, ਤੋਂ ਮੋਡ ਵਿਸ਼ਲੇਸ਼ਣ.

1. ਇੰਟਰਮੀਡੀਏਟ SQL
2. SQL ਵਿੱਚ ਡੇਟਾ ਨੂੰ ਜੋੜਨਾ

ਇਹਨਾਂ ਕੋਰਸਾਂ ਦੀ ਇੱਕ ਵਿਲੱਖਣ ਵਿਸ਼ੇਸ਼ਤਾ ਇੱਕ ਇੰਟਰਐਕਟਿਵ ਵਾਤਾਵਰਣ ਦੀ ਮੌਜੂਦਗੀ ਹੈ ਜਿਸ ਵਿੱਚ ਤੁਸੀਂ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਹੀ SQL ਸਵਾਲਾਂ ਨੂੰ ਲਿਖ ਅਤੇ ਲਾਗੂ ਕਰ ਸਕਦੇ ਹੋ। ਸਰੋਤ ਆਧੁਨਿਕ SQL ਬੇਲੋੜਾ ਨਹੀਂ ਹੋਵੇਗਾ। ਅਤੇ ਤੁਸੀਂ ਇਸ ਗਿਆਨ ਨੂੰ ਲਾਗੂ ਕਰ ਸਕਦੇ ਹੋ ਲੀਟਕੋਡ ਕਾਰਜ ਡਾਟਾਬੇਸ ਭਾਗ ਵਿੱਚ.

3. ਪਾਈਥਨ ਅਤੇ ਜਾਵਾ/ਸਕਾਲਾ ਵਿੱਚ ਪ੍ਰੋਗਰਾਮਿੰਗ

ਪਾਈਥਨ ਪ੍ਰੋਗ੍ਰਾਮਿੰਗ ਭਾਸ਼ਾ ਸਿੱਖਣ ਦੇ ਯੋਗ ਕਿਉਂ ਹੈ, ਮੈਂ ਪਹਿਲਾਂ ਹੀ ਲੇਖ ਵਿੱਚ ਲਿਖਿਆ ਹੈ ਪਾਈਥਨ ਬਨਾਮ ਆਰ. ਏਆਈ, ਐਮਐਲ ਅਤੇ ਡੇਟਾ ਸਾਇੰਸ ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ ਟੂਲ ਚੁਣਨਾ. ਜਾਵਾ ਅਤੇ ਸਕੇਲਾ ਲਈ, ਵੱਡੀ ਮਾਤਰਾ ਵਿੱਚ ਡੇਟਾ ਨੂੰ ਸਟੋਰ ਕਰਨ ਅਤੇ ਪ੍ਰੋਸੈਸ ਕਰਨ ਲਈ ਜ਼ਿਆਦਾਤਰ ਸਾਧਨ ਇਹਨਾਂ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਲਿਖੇ ਗਏ ਹਨ। ਉਦਾਹਰਣ ਲਈ:

• ਅਪਾਚੇ ਕਾਫਕਾ (ਸਕਾਲਾ)
• Hadoop, HDFS (ਜਾਵਾ)
• ਅਪਾਚੇ ਸਪਾਰਕ (ਸਕਾਲਾ)
• ਅਪਾਚੇ ਕੈਸੈਂਡਰਾ (ਜਾਵਾ)
• HBase (ਜਾਵਾ)
• ਅਪਾਚੇ ਹਾਈਵ (ਜਾਵਾ)

ਇਹ ਸਮਝਣ ਲਈ ਕਿ ਇਹ ਟੂਲ ਕਿਵੇਂ ਕੰਮ ਕਰਦੇ ਹਨ, ਤੁਹਾਨੂੰ ਉਹਨਾਂ ਭਾਸ਼ਾਵਾਂ ਨੂੰ ਜਾਣਨ ਦੀ ਲੋੜ ਹੈ ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਉਹ ਲਿਖੀਆਂ ਗਈਆਂ ਹਨ। ਸਕੇਲਾ ਦੀ ਕਾਰਜਸ਼ੀਲ ਪਹੁੰਚ ਤੁਹਾਨੂੰ ਸਮਾਂਤਰ ਡੇਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਦੀਆਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਹੱਲ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦੀ ਹੈ। ਪਾਈਥਨ, ਬਦਕਿਸਮਤੀ ਨਾਲ, ਗਤੀ ਅਤੇ ਸਮਾਨਾਂਤਰ ਪ੍ਰੋਸੈਸਿੰਗ ਦੀ ਸ਼ੇਖੀ ਨਹੀਂ ਕਰ ਸਕਦਾ. ਆਮ ਤੌਰ 'ਤੇ, ਕਈ ਭਾਸ਼ਾਵਾਂ ਅਤੇ ਪ੍ਰੋਗਰਾਮਿੰਗ ਪੈਰਾਡਾਈਮਜ਼ ਦਾ ਗਿਆਨ ਸਮੱਸਿਆ ਦੇ ਹੱਲ ਲਈ ਪਹੁੰਚ ਦੀ ਚੌੜਾਈ ਲਈ ਵਧੀਆ ਹੈ।

ਸਕਾਲਾ ਭਾਸ਼ਾ ਵਿੱਚ ਡੁਬਕੀ ਕਰਨ ਲਈ, ਤੁਸੀਂ ਪੜ੍ਹ ਸਕਦੇ ਹੋ Scala ਵਿੱਚ ਪ੍ਰੋਗਰਾਮਿੰਗ ਭਾਸ਼ਾ ਦੇ ਲੇਖਕ ਤੋਂ। ਨਾਲ ਹੀ, ਟਵਿੱਟਰ ਨੇ ਇੱਕ ਚੰਗੀ ਸ਼ੁਰੂਆਤੀ ਗਾਈਡ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤੀ ਹੈ - ਸਕੇਲਾ ਸਕੂਲ.

ਜਿੱਥੋਂ ਤੱਕ ਪਾਈਥਨ ਦਾ ਸਬੰਧ ਹੈ, ਮੇਰਾ ਮੰਨਣਾ ਹੈ ਫਲੂਐਂਟ ਪਾਈਥਨ ਸਭ ਤੋਂ ਵਧੀਆ ਮੱਧ-ਪੱਧਰ ਦੀ ਕਿਤਾਬ।

4. ਵੱਡੇ ਡੇਟਾ ਨਾਲ ਕੰਮ ਕਰਨ ਲਈ ਟੂਲ

ਇਹ ਬਿਗ ਡੇਟਾ ਵਰਲਡ ਵਿੱਚ ਸਭ ਤੋਂ ਪ੍ਰਸਿੱਧ ਟੂਲਸ ਦੀ ਇੱਕ ਸੂਚੀ ਹੈ:

• ਅਪਾਚੇ ਸਪਾਰਕ
• ਅਪਾਚੇ ਕਾਫਕਾ
• ਅਪਾਚੇ ਹਦੂਪ (HDFS, HBase, Hive)
• ਅਪਾਚੇ ਕੈਸੈਂਡਰਾ

ਤੁਸੀਂ ਇਸ ਅਦਭੁਤ ਵਿੱਚ ਡੇਟਾ ਦੇ ਵੱਡੇ ਬਲਾਕ ਬਣਾਉਣ ਬਾਰੇ ਹੋਰ ਜਾਣਕਾਰੀ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹੋ ਇੰਟਰਐਕਟਿਵ ਵਾਤਾਵਰਣ. ਸਭ ਤੋਂ ਪ੍ਰਸਿੱਧ ਟੂਲ ਸਪਾਰਕ ਅਤੇ ਕਾਫਕਾ ਹਨ। ਉਹ ਯਕੀਨੀ ਤੌਰ 'ਤੇ ਅਧਿਐਨ ਕਰਨ ਯੋਗ ਹਨ, ਇਹ ਸਮਝਣਾ ਫਾਇਦੇਮੰਦ ਹੈ ਕਿ ਉਹ ਅੰਦਰੋਂ ਕਿਵੇਂ ਕੰਮ ਕਰਦੇ ਹਨ. ਜੈ ਕ੍ਰੇਪਸ (ਕਾਫਕਾ ਦੇ ਸਹਿ-ਲੇਖਕ) ਨੇ 2013 ਵਿੱਚ ਇੱਕ ਯਾਦਗਾਰੀ ਕੰਮ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤਾ ਲੌਗ: ਹਰ ਸੌਫਟਵੇਅਰ ਡਿਵੈਲਪਰ ਨੂੰ ਰੀਅਲ-ਟਾਈਮ ਡੇਟਾ ਫਿਊਜ਼ਨ ਐਬਸਟਰੈਕਸ਼ਨ ਬਾਰੇ ਕੀ ਪਤਾ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈਤਰੀਕੇ ਨਾਲ, ਇਸ ਤਾਲਮਦ ਦੇ ਮੁੱਖ ਵਿਚਾਰ ਅਪਾਚੇ ਕਾਫਕਾ ਨੂੰ ਬਣਾਉਣ ਲਈ ਵਰਤੇ ਗਏ ਸਨ.

• ਹਦੂਪ ਨਾਲ ਜਾਣ-ਪਛਾਣ ਹੋ ਸਕਦੀ ਹੈ ਮਾਸਟਰਿੰਗ ਹਾਡੂਪ ਲਈ ਸੰਪੂਰਨ ਗਾਈਡ (ਮੁਫ਼ਤ).
• ਮੇਰੇ ਲਈ ਅਪਾਚੇ ਸਪਾਰਕ ਦੀ ਸਭ ਤੋਂ ਵਿਆਪਕ ਗਾਈਡ ਹੈ ਸਪਾਰਕ: ਸੰਪੂਰਨ ਗਾਈਡ.

5. ਕਲਾਉਡ ਪਲੇਟਫਾਰਮ

ਘੱਟੋ-ਘੱਟ ਇੱਕ ਕਲਾਉਡ ਪਲੇਟਫਾਰਮ ਦਾ ਗਿਆਨ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਦੀ ਸਥਿਤੀ ਲਈ ਬਿਨੈਕਾਰਾਂ ਲਈ ਬੁਨਿਆਦੀ ਲੋੜਾਂ ਦੀ ਸੂਚੀ ਵਿੱਚ ਹੈ। ਰੁਜ਼ਗਾਰਦਾਤਾ ਐਮਾਜ਼ਾਨ ਵੈੱਬ ਸੇਵਾਵਾਂ ਨੂੰ ਤਰਜੀਹ ਦਿੰਦੇ ਹਨ, ਉਸ ਤੋਂ ਬਾਅਦ ਗੂਗਲ ਕਲਾਉਡ ਪਲੇਟਫਾਰਮ, ਅਤੇ ਮਾਈਕ੍ਰੋਸਾਫਟ ਅਜ਼ੁਰ ਚੋਟੀ ਦੇ ਤਿੰਨ ਨੂੰ ਬੰਦ ਕਰਦਾ ਹੈ।

ਤੁਹਾਨੂੰ Amazon EC2, AWS Lambda, Amazon S3, DynamoDB ਤੋਂ ਜਾਣੂ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ।

6. ਵਿਤਰਿਤ ਸਿਸਟਮ

ਵੱਡੇ ਡੇਟਾ ਦੇ ਨਾਲ ਕੰਮ ਕਰਨਾ ਸੁਤੰਤਰ ਤੌਰ 'ਤੇ ਕੰਮ ਕਰਨ ਵਾਲੇ ਕੰਪਿਊਟਰਾਂ ਦੇ ਕਲੱਸਟਰਾਂ ਦੀ ਮੌਜੂਦਗੀ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ, ਜਿਸ ਦੇ ਵਿਚਕਾਰ ਇੱਕ ਨੈਟਵਰਕ ਦੁਆਰਾ ਕੀਤਾ ਜਾਂਦਾ ਹੈ. ਕਲੱਸਟਰ ਜਿੰਨਾ ਵੱਡਾ ਹੋਵੇਗਾ, ਇਸਦੇ ਮੈਂਬਰ ਨੋਡਸ ਦੇ ਫੇਲ ਹੋਣ ਦੀ ਸੰਭਾਵਨਾ ਓਨੀ ਹੀ ਜ਼ਿਆਦਾ ਹੋਵੇਗੀ। ਇੱਕ ਮਹਾਨ ਡਾਟਾ ਮਾਹਰ ਬਣਨ ਲਈ, ਤੁਹਾਨੂੰ ਵੰਡੀਆਂ ਪ੍ਰਣਾਲੀਆਂ ਲਈ ਸਮੱਸਿਆਵਾਂ ਅਤੇ ਮੌਜੂਦਾ ਹੱਲਾਂ ਨੂੰ ਸਮਝਣ ਦੀ ਲੋੜ ਹੈ। ਇਹ ਖੇਤਰ ਪੁਰਾਣਾ ਅਤੇ ਗੁੰਝਲਦਾਰ ਹੈ।

ਐਂਡਰਿਊ ਟੈਨੇਨਬੌਮ ਨੂੰ ਇਸ ਖੇਤਰ ਵਿਚ ਪਾਇਨੀਅਰ ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ। ਉਹਨਾਂ ਲਈ ਜੋ ਸਿਧਾਂਤ ਤੋਂ ਡਰਦੇ ਨਹੀਂ ਹਨ, ਮੈਂ ਉਸਦੀ ਕਿਤਾਬ ਦੀ ਸਿਫਾਰਸ਼ ਕਰਦਾ ਹਾਂ "ਵੰਡੇ ਸਿਸਟਮ", ਸ਼ੁਰੂਆਤ ਕਰਨ ਵਾਲਿਆਂ ਲਈ ਇਹ ਗੁੰਝਲਦਾਰ ਲੱਗ ਸਕਦਾ ਹੈ, ਪਰ ਇਹ ਤੁਹਾਡੇ ਹੁਨਰ ਨੂੰ ਨਿਖਾਰਨ ਵਿੱਚ ਤੁਹਾਡੀ ਮਦਦ ਕਰੇਗਾ।

ਮੈਨੂੰ ਲਗਦਾ ਹੈ ਮਾਰਟਿਨ ਕਲੈਪਮੈਨ ਦੁਆਰਾ "ਡਿਜ਼ਾਇਨਿੰਗ ਡੇਟਾ-ਇੰਟੈਂਸਿਵ ਐਪਲੀਕੇਸ਼ਨਜ਼" ਸਭ ਤੋਂ ਵਧੀਆ ਸ਼ੁਰੂਆਤੀ ਕਿਤਾਬ. ਤਰੀਕੇ ਨਾਲ, ਮਾਰਟਿਨ ਇੱਕ ਸ਼ਾਨਦਾਰ ਹੈ ਬਲੌਗ. ਉਸਦਾ ਕੰਮ ਵੱਡੇ ਡੇਟਾ ਨੂੰ ਸਟੋਰ ਕਰਨ ਅਤੇ ਪ੍ਰੋਸੈਸ ਕਰਨ ਲਈ ਇੱਕ ਆਧੁਨਿਕ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਬਣਾਉਣ ਬਾਰੇ ਗਿਆਨ ਨੂੰ ਵਿਵਸਥਿਤ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰੇਗਾ।
ਉਨ੍ਹਾਂ ਲਈ ਜੋ ਵੀਡੀਓ ਦੇਖਣਾ ਪਸੰਦ ਕਰਦੇ ਹਨ, ਯੂਟਿਊਬ 'ਤੇ ਇੱਕ ਕੋਰਸ ਹੈ ਕੰਪਿਊਟਰ ਸਿਸਟਮ ਵੰਡੇ.

7. ਡੇਟਾ ਪਾਈਪਲਾਈਨਾਂ

ਡੇਟਾ ਪਾਈਪਲਾਈਨਾਂ ਉਹ ਹਨ ਜੋ ਤੁਸੀਂ ਇੱਕ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਦੇ ਰੂਪ ਵਿੱਚ ਬਿਨਾਂ ਨਹੀਂ ਰਹਿ ਸਕਦੇ.

ਜ਼ਿਆਦਾਤਰ ਸਮਾਂ, ਇੱਕ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਇੱਕ ਅਖੌਤੀ ਪਾਈਪਲਾਈਨ ਮਿਤੀ ਬਣਾਉਂਦਾ ਹੈ, ਯਾਨੀ, ਇੱਕ ਥਾਂ ਤੋਂ ਦੂਜੀ ਥਾਂ ਤੱਕ ਡੇਟਾ ਪਹੁੰਚਾਉਣ ਲਈ ਇੱਕ ਪ੍ਰਕਿਰਿਆ ਬਣਾਉਂਦਾ ਹੈ। ਇਹ ਕਸਟਮ ਸਕ੍ਰਿਪਟਾਂ ਹੋ ਸਕਦੀਆਂ ਹਨ ਜੋ ਇੱਕ ਬਾਹਰੀ ਸੇਵਾ API ਤੇ ਜਾਂਦੀਆਂ ਹਨ ਜਾਂ ਇੱਕ SQL ਪੁੱਛਗਿੱਛ ਬਣਾਉਂਦੀਆਂ ਹਨ, ਡੇਟਾ ਨੂੰ ਪੂਰਾ ਕਰਦੀਆਂ ਹਨ ਅਤੇ ਇਸਨੂੰ ਕੇਂਦਰੀ ਸਟੋਰੇਜ (ਡੇਟਾ ਵੇਅਰਹਾਊਸ) ਜਾਂ ਗੈਰ-ਸੰਗਠਿਤ ਡੇਟਾ ਸਟੋਰੇਜ (ਡੇਟਾ ਝੀਲਾਂ) ਵਿੱਚ ਰੱਖਦੀਆਂ ਹਨ।

ਸੰਖੇਪ ਵਿੱਚ: ਬੁਨਿਆਦੀ ਡਾਟਾ ਇੰਜੀਨੀਅਰ ਚੈੱਕਲਿਸਟ

ਸੰਖੇਪ ਵਿੱਚ, ਹੇਠ ਲਿਖਿਆਂ ਦੀ ਚੰਗੀ ਸਮਝ ਦੀ ਲੋੜ ਹੈ:

• ਸੂਚਨਾ ਪ੍ਰਣਾਲੀਆਂ;
• ਸਾਫਟਵੇਅਰ ਡਿਵੈਲਪਮੈਂਟ (Agile, DevOps, ਡਿਜ਼ਾਈਨ ਤਕਨੀਕਾਂ, SOA);
• ਵਿਤਰਿਤ ਪ੍ਰਣਾਲੀਆਂ ਅਤੇ ਸਮਾਂਤਰ ਪ੍ਰੋਗਰਾਮਿੰਗ;
• ਡਾਟਾਬੇਸ ਦੇ ਬੁਨਿਆਦੀ ਤੱਤ - ਯੋਜਨਾਬੰਦੀ, ਡਿਜ਼ਾਈਨ, ਸੰਚਾਲਨ ਅਤੇ ਸਮੱਸਿਆ ਨਿਪਟਾਰਾ;
• ਡਿਜ਼ਾਈਨ ਪ੍ਰਯੋਗ - ਸੰਕਲਪਾਂ ਨੂੰ ਸਾਬਤ ਕਰਨ, ਭਰੋਸੇਯੋਗਤਾ, ਸਿਸਟਮ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਨ, ਅਤੇ ਚੰਗੇ ਹੱਲਾਂ ਨੂੰ ਜਲਦੀ ਪ੍ਰਦਾਨ ਕਰਨ ਲਈ ਮਜ਼ਬੂਤ ​​ਮਾਰਗ ਵਿਕਸਿਤ ਕਰਨ ਲਈ A/B ਟੈਸਟ।

ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਬਣਨ ਲਈ ਇਹ ਕੁਝ ਕੁ ਲੋੜਾਂ ਹਨ, ਇਸਲਈ ਡਾਟਾ ਪ੍ਰਣਾਲੀਆਂ, ਸੂਚਨਾ ਪ੍ਰਣਾਲੀਆਂ, ਨਿਰੰਤਰ ਡਿਲੀਵਰੀ/ਡਿਪਲਾਇਮੈਂਟ/ਏਕੀਕਰਣ, ਪ੍ਰੋਗਰਾਮਿੰਗ ਭਾਸ਼ਾਵਾਂ, ਅਤੇ ਹੋਰ ਕੰਪਿਊਟਰ ਵਿਗਿਆਨ ਵਿਸ਼ੇ (ਸਾਰੇ ਵਿਸ਼ਾ ਖੇਤਰਾਂ ਵਿੱਚ ਨਹੀਂ) ਸਿੱਖੋ ਅਤੇ ਸਮਝੋ।

ਅਤੇ ਅੰਤ ਵਿੱਚ, ਆਖਰੀ ਪਰ ਬਹੁਤ ਮਹੱਤਵਪੂਰਨ ਗੱਲ ਜੋ ਮੈਂ ਕਹਿਣਾ ਚਾਹੁੰਦਾ ਹਾਂ.

ਡਾਟਾ ਇੰਜੀਨੀਅਰਿੰਗ ਬਣਨ ਦਾ ਰਸਤਾ ਇੰਨਾ ਆਸਾਨ ਨਹੀਂ ਹੈ ਜਿੰਨਾ ਇਹ ਲੱਗਦਾ ਹੈ. ਉਹ ਮਾਫ਼ ਨਹੀਂ ਕਰਦਾ, ਉਹ ਨਿਰਾਸ਼ ਕਰਦਾ ਹੈ, ਅਤੇ ਤੁਹਾਨੂੰ ਇਸ ਲਈ ਤਿਆਰ ਰਹਿਣਾ ਚਾਹੀਦਾ ਹੈ। ਇਸ ਸਫ਼ਰ ਦੇ ਕੁਝ ਪਲ ਤੁਹਾਨੂੰ ਸਭ ਕੁਝ ਛੱਡਣ ਲਈ ਮਜਬੂਰ ਕਰ ਸਕਦੇ ਹਨ। ਪਰ ਇਹ ਇੱਕ ਅਸਲੀ ਕੰਮ ਅਤੇ ਸਿੱਖਣ ਦੀ ਪ੍ਰਕਿਰਿਆ ਹੈ।

ਇਸ ਨੂੰ ਸ਼ੁਰੂ ਤੋਂ ਹੀ ਸ਼ਿੰਗਾਰ ਨਾ ਕਰੋ। ਯਾਤਰਾ ਦਾ ਪੂਰਾ ਬਿੰਦੂ ਵੱਧ ਤੋਂ ਵੱਧ ਸਿੱਖਣਾ ਅਤੇ ਨਵੀਆਂ ਚੁਣੌਤੀਆਂ ਲਈ ਤਿਆਰ ਰਹਿਣਾ ਹੈ।
ਇੱਥੇ ਇੱਕ ਵਧੀਆ ਤਸਵੀਰ ਹੈ ਜੋ ਮੈਂ ਵੇਖੀ ਹੈ ਜੋ ਇਸ ਬਿੰਦੂ ਨੂੰ ਚੰਗੀ ਤਰ੍ਹਾਂ ਦਰਸਾਉਂਦੀ ਹੈ:

ਅਤੇ ਹਾਂ, ਬਰਨਆਉਟ ਅਤੇ ਆਰਾਮ ਤੋਂ ਬਚਣਾ ਨਾ ਭੁੱਲੋ। ਇਹ ਵੀ ਬਹੁਤ ਜ਼ਰੂਰੀ ਹੈ। ਖੁਸ਼ਕਿਸਮਤੀ!

ਤੁਹਾਨੂੰ ਆਰਟੀਕਲ ਕਿਵੇਂ ਲੱਗਿਆ ਦੋਸਤੋ? ਅਸੀਂ ਤੁਹਾਨੂੰ ਸੱਦਾ ਦਿੰਦੇ ਹਾਂ ਮੁਫ਼ਤ ਵੈਬਿਨਾਰਜੋ ਅੱਜ 20.00 ਵਜੇ ਹੋਵੇਗੀ। ਵੈਬਿਨਾਰ ਦੇ ਦੌਰਾਨ, ਅਸੀਂ ਇਸ ਗੱਲ 'ਤੇ ਚਰਚਾ ਕਰਾਂਗੇ ਕਿ ਇੱਕ ਛੋਟੀ ਕੰਪਨੀ ਜਾਂ ਸਟਾਰਟਅੱਪ ਲਈ ਘੱਟੋ-ਘੱਟ ਲਾਗਤ 'ਤੇ ਇੱਕ ਕੁਸ਼ਲ ਅਤੇ ਸਕੇਲੇਬਲ ਡਾਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਸਿਸਟਮ ਕਿਵੇਂ ਬਣਾਇਆ ਜਾਵੇ। ਅਭਿਆਸ ਦੇ ਤੌਰ 'ਤੇ, ਆਓ ਗੂਗਲ ਕਲਾਉਡ ਡੇਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਟੂਲਸ ਨਾਲ ਜਾਣੂ ਕਰੀਏ। ਫਿਰ ਮਿਲਾਂਗੇ!

ਸਰੋਤ: www.habr.com