ਡਾਟਾ ਇੰਜੀਨੀਅਰ ਪੇਸ਼ੇ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਲੈਵਲਿੰਗ ਯੋਜਨਾ

ਮੈਂ ਪਿਛਲੇ ਅੱਠ ਸਾਲਾਂ ਤੋਂ ਇੱਕ ਪ੍ਰੋਜੈਕਟ ਮੈਨੇਜਰ ਵਜੋਂ ਕੰਮ ਕਰ ਰਿਹਾ ਹਾਂ (ਮੈਂ ਕੰਮ 'ਤੇ ਕੋਡ ਨਹੀਂ ਲਿਖਦਾ), ਜਿਸਦਾ ਕੁਦਰਤੀ ਤੌਰ 'ਤੇ ਮੇਰੇ ਤਕਨਾਲੋਜੀ ਬੈਕਐਂਡ 'ਤੇ ਮਾੜਾ ਪ੍ਰਭਾਵ ਪੈਂਦਾ ਹੈ। ਮੈਂ ਆਪਣੇ ਤਕਨੀਕੀ ਪਾੜੇ ਨੂੰ ਘਟਾਉਣ ਅਤੇ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਦੇ ਪੇਸ਼ੇ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਦਾ ਫੈਸਲਾ ਕੀਤਾ ਹੈ। ਇੱਕ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਦਾ ਮੁੱਖ ਹੁਨਰ ਡੇਟਾ ਵੇਅਰਹਾਊਸਾਂ ਨੂੰ ਡਿਜ਼ਾਈਨ ਕਰਨ, ਬਣਾਉਣ ਅਤੇ ਸੰਭਾਲਣ ਦੀ ਯੋਗਤਾ ਹੈ।

ਮੈਂ ਇੱਕ ਸਿਖਲਾਈ ਯੋਜਨਾ ਤਿਆਰ ਕੀਤੀ ਹੈ, ਮੈਨੂੰ ਲਗਦਾ ਹੈ ਕਿ ਇਹ ਨਾ ਸਿਰਫ ਮੇਰੇ ਲਈ ਲਾਭਦਾਇਕ ਹੋਵੇਗਾ. ਯੋਜਨਾ ਕੋਰਸਾਂ ਦੇ ਸੁਤੰਤਰ ਅਧਿਐਨ 'ਤੇ ਕੇਂਦ੍ਰਿਤ ਹੈ। ਰੂਸੀ ਵਿੱਚ ਮੁਫਤ ਕੋਰਸਾਂ ਨੂੰ ਤਰਜੀਹ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ।

ਸੈਕਸ਼ਨ:

• ਐਲਗੋਰਿਦਮ ਅਤੇ ਡਾਟਾ ਬਣਤਰ. ਕੁੰਜੀ ਭਾਗ. ਜੇ ਤੁਸੀਂ ਇਸਦਾ ਅਧਿਐਨ ਕਰਦੇ ਹੋ, ਤਾਂ ਬਾਕੀ ਸਭ ਕੁਝ ਵੀ ਕੰਮ ਕਰੇਗਾ. ਕੋਡ ਲਿਖਣ ਅਤੇ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਅਤੇ ਐਲਗੋਰਿਦਮ ਦੀ ਵਰਤੋਂ ਕਰਨ ਵਿੱਚ ਨਿਪੁੰਨ ਬਣਨਾ ਮਹੱਤਵਪੂਰਨ ਹੈ।
• ਡੇਟਾਬੇਸ ਅਤੇ ਡੇਟਾ ਵੇਅਰਹਾਊਸ, ਬਿਜ਼ਨਸ ਇੰਟੈਲੀਜੈਂਸ। ਅਸੀਂ ਐਲਗੋਰਿਦਮ ਤੋਂ ਡਾਟਾ ਸਟੋਰੇਜ ਅਤੇ ਪ੍ਰੋਸੈਸਿੰਗ ਵੱਲ ਜਾਂਦੇ ਹਾਂ।
• ਹਾਡੂਪ ਅਤੇ ਬਿਗ ਡੇਟਾ। ਜਦੋਂ ਡਾਟਾਬੇਸ ਹਾਰਡ ਡਰਾਈਵ 'ਤੇ ਫਿੱਟ ਨਹੀਂ ਹੁੰਦਾ, ਜਾਂ ਜਦੋਂ ਡੇਟਾ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਪਰ ਐਕਸਲ ਹੁਣ ਇਸਨੂੰ ਲੋਡ ਨਹੀਂ ਕਰ ਸਕਦਾ ਹੈ, ਤਾਂ ਵੱਡਾ ਡੇਟਾ ਸ਼ੁਰੂ ਹੁੰਦਾ ਹੈ। ਮੇਰੀ ਰਾਏ ਵਿੱਚ, ਤੁਹਾਨੂੰ ਪਿਛਲੇ ਦੋ ਦੇ ਡੂੰਘੇ ਅਧਿਐਨ ਤੋਂ ਬਾਅਦ ਹੀ ਇਸ ਭਾਗ ਵੱਲ ਵਧਣ ਦੀ ਜ਼ਰੂਰਤ ਹੈ.

ਐਲਗੋਰਿਦਮ ਅਤੇ ਡਾਟਾ ਬਣਤਰ

ਮੇਰੀ ਯੋਜਨਾ ਵਿੱਚ ਮੈਂ ਪਾਈਥਨ ਸਿੱਖਣਾ, ਗਣਿਤ ਦੀਆਂ ਮੂਲ ਗੱਲਾਂ ਅਤੇ ਐਲਗੋਰਿਦਮਾਈਜ਼ੇਸ਼ਨ ਦੀ ਸਮੀਖਿਆ ਕਰਨਾ ਸ਼ਾਮਲ ਕੀਤਾ।

• ਪਾਈਥਨ ਪ੍ਰੋਗਰਾਮਿੰਗ
• ਪਾਈਥਨ: ਬੇਸਿਕਸ ਅਤੇ ਐਪਲੀਕੇਸ਼ਨ
• ਰੇਖਿਕ ਅਲਜਬਰਾ
• ਵੱਖਰੇ ਗਣਿਤ 'ਤੇ ਵਿਦਿਅਕ ਪ੍ਰੋਗਰਾਮ
• ਐਲਗੋਰਿਦਮ: ਥਿਊਰੀ ਅਤੇ ਅਭਿਆਸ. ਢੰਗ
• ਐਲਗੋਰਿਦਮ: ਥਿਊਰੀ ਅਤੇ ਅਭਿਆਸ. ਡਾਟਾ ਬਣਤਰ

ਡੇਟਾਬੇਸ ਅਤੇ ਡੇਟਾ ਵੇਅਰਹਾਊਸ, ਬਿਜ਼ਨਸ ਇੰਟੈਲੀਜੈਂਸ

• ਕਿਤਾਬ: ਮਾਰਟਿਨ ਕਲੈਪਮੈਨ - ਹਾਈ-ਲੋਡ ਐਪਲੀਕੇਸ਼ਨ। ਪ੍ਰੋਗਰਾਮਿੰਗ, ਸਕੇਲਿੰਗ, ਸਹਾਇਤਾ. ਕਿਤਾਬ ਵਰਣਨ ਕਰਦੀ ਹੈ ਕਿ ਵੱਖ-ਵੱਖ ਡੇਟਾ ਮਾਡਲ ਕਿਵੇਂ ਕੰਮ ਕਰਦੇ ਹਨ, ਉਹਨਾਂ ਨੂੰ ਅੰਦਰੋਂ ਲਾਗੂ ਕਰਨਾ, ਸੀਮਾਵਾਂ ਅਤੇ ਕੰਮ ਦੇ ਅਧਾਰ ਤੇ ਚੋਣਾਂ.
• ਡਾਟਾਬੇਸ ਨਾਲ ਜਾਣ-ਪਛਾਣ
• DBMS ਵਿੱਚ ਡੁੱਬੋ
• ਗੈਰ-ਸੰਬੰਧੀ ਡੇਟਾਬੇਸ ਦੀ ਜਾਣ-ਪਛਾਣ

ਡਾਟਾ ਵੇਅਰਹਾਊਸ ਬਣਾਉਣ ਨਾਲ ਸਬੰਧਤ ਵਿਸ਼ੇ, ETL, OLAP ਕਿਊਬਜ਼ ਟੂਲਸ 'ਤੇ ਬਹੁਤ ਜ਼ਿਆਦਾ ਨਿਰਭਰ ਹਨ, ਇਸ ਲਈ ਇਸ ਦਸਤਾਵੇਜ਼ ਵਿੱਚ ਮੈਂ ਕੋਰਸਾਂ ਦੇ ਲਿੰਕ ਪ੍ਰਦਾਨ ਨਹੀਂ ਕਰਦਾ ਹਾਂ। ਕਿਸੇ ਖਾਸ ਕੰਪਨੀ ਵਿੱਚ ਕਿਸੇ ਖਾਸ ਪ੍ਰੋਜੈਕਟ 'ਤੇ ਕੰਮ ਕਰਦੇ ਸਮੇਂ ਅਜਿਹੀਆਂ ਪ੍ਰਣਾਲੀਆਂ ਦਾ ਅਧਿਐਨ ਕਰਨ ਦੀ ਸਲਾਹ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ. ETL ਨਾਲ ਜਾਣੂ ਹੋਣ ਲਈ ਤੁਸੀਂ ਕੋਸ਼ਿਸ਼ ਕਰ ਸਕਦੇ ਹੋ ਕੈਲੰਡਰ ਜ airflow.

ਮੇਰੀ ਰਾਏ ਵਿੱਚ, ਆਧੁਨਿਕ ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਡਿਜ਼ਾਈਨ ਵਿਧੀ ਡੇਟਾ ਵਾਲਟ ਦਾ ਅਧਿਐਨ ਕਰਨਾ ਮਹੱਤਵਪੂਰਨ ਹੈ ਲਿੰਕ 1, ਲਿੰਕ 2. ਅਤੇ ਇਸਨੂੰ ਸਿੱਖਣ ਦਾ ਸਭ ਤੋਂ ਵਧੀਆ ਤਰੀਕਾ ਹੈ ਇਸਨੂੰ ਲੈਣਾ ਅਤੇ ਇਸਨੂੰ ਇੱਕ ਸਧਾਰਨ ਉਦਾਹਰਣ ਨਾਲ ਲਾਗੂ ਕਰਨਾ। GitHub 'ਤੇ ਡਾਟਾ ਵਾਲਟ ਲਾਗੂ ਕਰਨ ਦੀਆਂ ਕਈ ਉਦਾਹਰਣਾਂ ਹਨ ਲਿੰਕ. ਡੇਟਾ ਵੇਅਰਹਾਊਸਾਂ 'ਤੇ ਇੱਕ ਆਧੁਨਿਕ ਕਿਤਾਬ: ਹੈਂਸ ਹਲਟਗ੍ਰੇਨ ਦੁਆਰਾ ਡੇਟਾ ਵਾਲਟ ਦੇ ਨਾਲ ਏਜੀਲ ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਦਾ ਮਾਡਲਿੰਗ।

ਅੰਤਮ ਉਪਭੋਗਤਾਵਾਂ ਲਈ ਬਿਜ਼ਨਸ ਇੰਟੈਲੀਜੈਂਸ ਟੂਲਸ ਤੋਂ ਜਾਣੂ ਹੋਣ ਲਈ, ਤੁਸੀਂ ਰਿਪੋਰਟਾਂ, ਡੈਸ਼ਬੋਰਡਾਂ, ਅਤੇ ਮਿੰਨੀ ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਪਾਵਰ BI ਡੈਸਕਟਾਪ ਦੇ ਮੁਫਤ ਡਿਜ਼ਾਈਨਰ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ। ਵਿਦਿਅਕ ਸਮੱਗਰੀ: ਲਿੰਕ 1, ਲਿੰਕ 2.

ਹਾਡੂਪ ਅਤੇ ਬਿਗ ਡੇਟਾ

• ਤੁਹਾਨੂੰ ਤੀਜੀ-ਧਿਰ ਦੀਆਂ ਲਾਇਬ੍ਰੇਰੀਆਂ ਤੋਂ ਬਿਨਾਂ MapReduce ਦੇ ਸਵੈ-ਲਾਗੂ ਕਰਨ ਨਾਲ ਸ਼ੁਰੂ ਕਰਨ ਦੀ ਲੋੜ ਹੈ। ਇਹ ਭਵਿੱਖ ਵਿੱਚ ਮਲਟੀ-ਥਰਿੱਡਡ ਲਾਗੂਕਰਨਾਂ ਦੀ ਬਿਹਤਰ ਸਮਝ ਲਈ ਸਹਾਇਕ ਹੋਵੇਗਾ। ਪਾਈਥਨ ਵਿੱਚ ਇੱਕ ਸ਼ਾਨਦਾਰ ਉਦਾਹਰਣ ਦੱਸਿਆ ਗਿਆ ਹੈ ਇੱਥੇ.
• ਹਡੂਪ. ਡਾਟਾ ਦੀ ਵੱਡੀ ਮਾਤਰਾ ਨੂੰ ਕਾਰਵਾਈ ਕਰਨ ਲਈ ਸਿਸਟਮ.
• ਬਿਗ ਡੇਟਾ ਇੰਜੀਨੀਅਰਿੰਗ ਨਾਲ ਜਾਣ-ਪਛਾਣ

ਸਿੱਟਾ

ਤੁਹਾਡੇ ਦੁਆਰਾ ਪੜ੍ਹੀ ਗਈ ਹਰ ਚੀਜ਼ ਕੰਮ 'ਤੇ ਲਾਗੂ ਨਹੀਂ ਕੀਤੀ ਜਾ ਸਕਦੀ। ਇਸ ਲਈ, ਤੁਹਾਨੂੰ ਇੱਕ ਗ੍ਰੈਜੂਏਸ਼ਨ ਪ੍ਰੋਜੈਕਟ ਦੀ ਜ਼ਰੂਰਤ ਹੈ ਜਿਸ ਵਿੱਚ ਤੁਸੀਂ ਨਵੇਂ ਗਿਆਨ ਨੂੰ ਲਾਗੂ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰੋਗੇ.

ਯੋਜਨਾ ਵਿੱਚ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਅਤੇ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਨਾਲ ਸਬੰਧਤ ਵਿਸ਼ੇ ਸ਼ਾਮਲ ਨਹੀਂ ਹਨ, ਕਿਉਂਕਿ ਇਹ ਡੇਟਾ ਸਾਇੰਟਿਸਟ ਪੇਸ਼ੇ ਲਈ ਵਧੇਰੇ ਢੁਕਵਾਂ ਹੈ। AWS ਅਤੇ Azure ਕਲਾਉਡਸ ਨਾਲ ਸਬੰਧਤ ਕੋਈ ਵਿਸ਼ੇ ਵੀ ਨਹੀਂ ਹਨ। ਇਹ ਵਿਸ਼ੇ ਪਲੇਟਫਾਰਮ ਦੀ ਚੋਣ 'ਤੇ ਬਹੁਤ ਜ਼ਿਆਦਾ ਨਿਰਭਰ ਹਨ।

ਭਾਈਚਾਰੇ ਲਈ ਸਵਾਲ:
ਮੇਰੀ ਪੰਪਿੰਗ ਯੋਜਨਾ ਕਿੰਨੀ ਢੁਕਵੀਂ ਹੈ? ਕੀ ਹਟਾਉਣਾ ਜਾਂ ਜੋੜਨਾ ਹੈ?
ਤੁਸੀਂ ਥੀਸਿਸ ਦੇ ਰੂਪ ਵਿੱਚ ਕਿਹੜੇ ਪ੍ਰੋਜੈਕਟ ਦੀ ਸਿਫ਼ਾਰਿਸ਼ ਕਰੋਗੇ?

ਸਰੋਤ: www.habr.com