ਬਹੁਤ ਵੱਡੇ ਡੇਟਾ ਨੂੰ ਸਸਤੇ ਅਤੇ ਤੇਜ਼ੀ ਨਾਲ ਕਿਵੇਂ ਮੂਵ ਕਰਨਾ, ਅਪਲੋਡ ਕਰਨਾ ਅਤੇ ਏਕੀਕ੍ਰਿਤ ਕਰਨਾ ਹੈ? ਪੁਸ਼ਡਾਉਨ ਓਪਟੀਮਾਈਜੇਸ਼ਨ ਕੀ ਹੈ?

ਕਿਸੇ ਵੀ ਵੱਡੇ ਡੇਟਾ ਓਪਰੇਸ਼ਨ ਲਈ ਬਹੁਤ ਸਾਰੀ ਕੰਪਿਊਟਿੰਗ ਪਾਵਰ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਡੇਟਾਬੇਸ ਤੋਂ ਹੈਡੂਪ ਤੱਕ ਡੇਟਾ ਦੀ ਇੱਕ ਆਮ ਚਾਲ ਵਿੱਚ ਹਫ਼ਤੇ ਲੱਗ ਸਕਦੇ ਹਨ ਜਾਂ ਹਵਾਈ ਜਹਾਜ਼ ਦੇ ਵਿੰਗ ਜਿੰਨਾ ਖਰਚ ਹੋ ਸਕਦਾ ਹੈ। ਇੰਤਜ਼ਾਰ ਕਰਨਾ ਅਤੇ ਪੈਸੇ ਖਰਚ ਨਹੀਂ ਕਰਨਾ ਚਾਹੁੰਦੇ? ਵੱਖ-ਵੱਖ ਪਲੇਟਫਾਰਮਾਂ ਵਿੱਚ ਲੋਡ ਨੂੰ ਸੰਤੁਲਿਤ ਕਰੋ। ਇੱਕ ਤਰੀਕਾ ਹੈ ਪੁਸ਼ਡਾਉਨ ਓਪਟੀਮਾਈਜੇਸ਼ਨ।

ਮੈਂ ਇਨਫਾਰਮੈਟਿਕਾ ਉਤਪਾਦਾਂ ਦੇ ਵਿਕਾਸ ਅਤੇ ਪ੍ਰਸ਼ਾਸਨ ਲਈ ਰੂਸ ਦੇ ਪ੍ਰਮੁੱਖ ਟ੍ਰੇਨਰ, ਅਲੈਕਸੀ ਅਨਾਨੇਵ, ਨੂੰ ਇਨਫਾਰਮੈਟਿਕਾ ਬਿਗ ਡੇਟਾ ਮੈਨੇਜਮੈਂਟ (BDM) ਵਿੱਚ ਪੁਸ਼ਡਾਉਨ ਓਪਟੀਮਾਈਜੇਸ਼ਨ ਫੰਕਸ਼ਨ ਬਾਰੇ ਗੱਲ ਕਰਨ ਲਈ ਕਿਹਾ। ਕੀ ਤੁਸੀਂ ਕਦੇ Informatica ਉਤਪਾਦਾਂ ਨਾਲ ਕੰਮ ਕਰਨਾ ਸਿੱਖਿਆ ਹੈ? ਜ਼ਿਆਦਾਤਰ ਸੰਭਾਵਨਾ ਹੈ, ਇਹ ਅਲੈਕਸੀ ਸੀ ਜਿਸ ਨੇ ਤੁਹਾਨੂੰ ਪਾਵਰ ਸੈਂਟਰ ਦੀਆਂ ਮੂਲ ਗੱਲਾਂ ਦੱਸੀਆਂ ਸਨ ਅਤੇ ਮੈਪਿੰਗ ਬਣਾਉਣ ਦੇ ਤਰੀਕੇ ਬਾਰੇ ਦੱਸਿਆ ਸੀ।

ਅਲੈਕਸੀ ਅਨਾਨੇਵ, ਡੀਆਈਐਸ ਗਰੁੱਪ ਵਿੱਚ ਸਿਖਲਾਈ ਦੇ ਮੁਖੀ

ਪੁਸ਼ਡਾਉਨ ਕੀ ਹੈ?

ਤੁਹਾਡੇ ਵਿੱਚੋਂ ਬਹੁਤ ਸਾਰੇ ਪਹਿਲਾਂ ਹੀ ਇਨਫੋਰਮੈਟਿਕਾ ਬਿਗ ਡੇਟਾ ਮੈਨੇਜਮੈਂਟ (ਬੀਡੀਐਮ) ਤੋਂ ਜਾਣੂ ਹਨ। ਉਤਪਾਦ ਵੱਖ-ਵੱਖ ਸਰੋਤਾਂ ਤੋਂ ਵੱਡੇ ਡੇਟਾ ਨੂੰ ਏਕੀਕ੍ਰਿਤ ਕਰ ਸਕਦਾ ਹੈ, ਇਸਨੂੰ ਵੱਖ-ਵੱਖ ਪ੍ਰਣਾਲੀਆਂ ਦੇ ਵਿਚਕਾਰ ਲਿਜਾ ਸਕਦਾ ਹੈ, ਇਸ ਤੱਕ ਆਸਾਨ ਪਹੁੰਚ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ, ਤੁਹਾਨੂੰ ਇਸਨੂੰ ਪ੍ਰੋਫਾਈਲ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ, ਅਤੇ ਹੋਰ ਬਹੁਤ ਕੁਝ।
ਸੱਜੇ ਹੱਥਾਂ ਵਿੱਚ, BDM ਅਦਭੁਤ ਕੰਮ ਕਰ ਸਕਦਾ ਹੈ: ਕੰਮ ਜਲਦੀ ਅਤੇ ਘੱਟੋ-ਘੱਟ ਕੰਪਿਊਟਿੰਗ ਸਰੋਤਾਂ ਨਾਲ ਪੂਰੇ ਕੀਤੇ ਜਾਣਗੇ।

ਕੀ ਤੁਸੀਂ ਇਹ ਵੀ ਚਾਹੁੰਦੇ ਹੋ? ਵੱਖ-ਵੱਖ ਪਲੇਟਫਾਰਮਾਂ ਵਿੱਚ ਕੰਪਿਊਟਿੰਗ ਲੋਡ ਨੂੰ ਵੰਡਣ ਲਈ BDM ਵਿੱਚ ਪੁਸ਼ਡਾਉਨ ਵਿਸ਼ੇਸ਼ਤਾ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਸਿੱਖੋ। ਪੁਸ਼ਡਾਉਨ ਤਕਨਾਲੋਜੀ ਤੁਹਾਨੂੰ ਮੈਪਿੰਗ ਨੂੰ ਸਕ੍ਰਿਪਟ ਵਿੱਚ ਬਦਲਣ ਅਤੇ ਵਾਤਾਵਰਣ ਦੀ ਚੋਣ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦੀ ਹੈ ਜਿਸ ਵਿੱਚ ਇਹ ਸਕ੍ਰਿਪਟ ਚੱਲੇਗੀ। ਇਹ ਚੋਣ ਤੁਹਾਨੂੰ ਵੱਖ-ਵੱਖ ਪਲੇਟਫਾਰਮਾਂ ਦੀਆਂ ਸ਼ਕਤੀਆਂ ਨੂੰ ਜੋੜਨ ਅਤੇ ਉਹਨਾਂ ਦੇ ਵੱਧ ਤੋਂ ਵੱਧ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ।

ਸਕ੍ਰਿਪਟ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਵਾਤਾਵਰਨ ਨੂੰ ਕੌਂਫਿਗਰ ਕਰਨ ਲਈ, ਤੁਹਾਨੂੰ ਪੁਸ਼ਡਾਉਨ ਕਿਸਮ ਦੀ ਚੋਣ ਕਰਨ ਦੀ ਲੋੜ ਹੈ। ਸਕ੍ਰਿਪਟ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਹੈਡੂਪ 'ਤੇ ਚਲਾਇਆ ਜਾ ਸਕਦਾ ਹੈ ਜਾਂ ਅੰਸ਼ਕ ਤੌਰ 'ਤੇ ਸਰੋਤ ਅਤੇ ਸਿੰਕ ਵਿਚਕਾਰ ਵੰਡਿਆ ਜਾ ਸਕਦਾ ਹੈ। ਇੱਥੇ 4 ਸੰਭਵ ਪੁਸ਼ਡਾਉਨ ਕਿਸਮਾਂ ਹਨ। ਮੈਪਿੰਗ ਨੂੰ ਸਕ੍ਰਿਪਟ (ਮੂਲ) ਵਿੱਚ ਬਦਲਣ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ। ਮੈਪਿੰਗ ਨੂੰ ਸਰੋਤ (ਸਰੋਤ) ਜਾਂ ਪੂਰੀ ਤਰ੍ਹਾਂ ਸਰੋਤ (ਪੂਰਾ) 'ਤੇ ਜਿੰਨਾ ਸੰਭਵ ਹੋ ਸਕੇ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਮੈਪਿੰਗ ਨੂੰ ਹਡੂਪ ਸਕ੍ਰਿਪਟ (ਕੋਈ ਨਹੀਂ) ਵਿੱਚ ਵੀ ਬਦਲਿਆ ਜਾ ਸਕਦਾ ਹੈ।

ਪੁਸ਼ਡਾਉਨ ਓਪਟੀਮਾਈਜੇਸ਼ਨ

ਸੂਚੀਬੱਧ 4 ਕਿਸਮਾਂ ਨੂੰ ਵੱਖ-ਵੱਖ ਤਰੀਕਿਆਂ ਨਾਲ ਜੋੜਿਆ ਜਾ ਸਕਦਾ ਹੈ - ਸਿਸਟਮ ਦੀਆਂ ਖਾਸ ਲੋੜਾਂ ਲਈ ਪੁਸ਼ਡਾਉਨ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਇਆ ਜਾ ਸਕਦਾ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਆਪਣੀ ਸਮਰੱਥਾ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਇੱਕ ਡੇਟਾਬੇਸ ਤੋਂ ਡੇਟਾ ਨੂੰ ਐਕਸਟਰੈਕਟ ਕਰਨਾ ਅਕਸਰ ਉਚਿਤ ਹੁੰਦਾ ਹੈ। ਅਤੇ ਡੇਟਾ ਨੂੰ ਹੈਡੂਪ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਬਦਲਿਆ ਜਾਵੇਗਾ, ਤਾਂ ਜੋ ਡੇਟਾਬੇਸ ਨੂੰ ਓਵਰਲੋਡ ਨਾ ਕੀਤਾ ਜਾ ਸਕੇ।

ਆਉ ਇਸ ਮਾਮਲੇ 'ਤੇ ਵਿਚਾਰ ਕਰੀਏ ਜਦੋਂ ਸਰੋਤ ਅਤੇ ਮੰਜ਼ਿਲ ਦੋਵੇਂ ਡੇਟਾਬੇਸ ਵਿੱਚ ਹਨ, ਅਤੇ ਪਰਿਵਰਤਨ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਪਲੇਟਫਾਰਮ ਨੂੰ ਚੁਣਿਆ ਜਾ ਸਕਦਾ ਹੈ: ਸੈਟਿੰਗਾਂ ਦੇ ਅਧਾਰ ਤੇ, ਇਹ ਇਨਫਾਰਮੈਟਿਕਾ, ਇੱਕ ਡੇਟਾਬੇਸ ਸਰਵਰ, ਜਾਂ ਹੈਡੂਪ ਹੋਵੇਗਾ. ਅਜਿਹੀ ਉਦਾਹਰਨ ਤੁਹਾਨੂੰ ਇਸ ਵਿਧੀ ਦੇ ਸੰਚਾਲਨ ਦੇ ਤਕਨੀਕੀ ਪੱਖ ਨੂੰ ਸਭ ਤੋਂ ਸਹੀ ਢੰਗ ਨਾਲ ਸਮਝਣ ਦੀ ਇਜਾਜ਼ਤ ਦੇਵੇਗੀ. ਕੁਦਰਤੀ ਤੌਰ 'ਤੇ, ਅਸਲ ਜੀਵਨ ਵਿੱਚ, ਇਹ ਸਥਿਤੀ ਪੈਦਾ ਨਹੀਂ ਹੁੰਦੀ ਹੈ, ਪਰ ਇਹ ਕਾਰਜਸ਼ੀਲਤਾ ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਕਰਨ ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ ਹੈ.

ਆਉ ਇੱਕ ਓਰੇਕਲ ਡੇਟਾਬੇਸ ਵਿੱਚ ਦੋ ਟੇਬਲਾਂ ਨੂੰ ਪੜ੍ਹਨ ਲਈ ਮੈਪਿੰਗ ਲੈਂਦੇ ਹਾਂ। ਅਤੇ ਪੜ੍ਹਨ ਦੇ ਨਤੀਜਿਆਂ ਨੂੰ ਉਸੇ ਡੇਟਾਬੇਸ ਵਿੱਚ ਇੱਕ ਸਾਰਣੀ ਵਿੱਚ ਰਿਕਾਰਡ ਕਰਨ ਦਿਓ। ਮੈਪਿੰਗ ਸਕੀਮ ਇਸ ਤਰ੍ਹਾਂ ਹੋਵੇਗੀ:

Informatica BDM 10.2.1 'ਤੇ ਮੈਪਿੰਗ ਦੇ ਰੂਪ ਵਿੱਚ ਇਹ ਇਸ ਤਰ੍ਹਾਂ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ:

ਪੁਸ਼ਡਾਉਨ ਕਿਸਮ - ਮੂਲ

ਜੇਕਰ ਅਸੀਂ ਪੁਸ਼ਡਾਉਨ ਮੂਲ ਕਿਸਮ ਦੀ ਚੋਣ ਕਰਦੇ ਹਾਂ, ਤਾਂ ਮੈਪਿੰਗ ਇਨਫੋਰਮੈਟਿਕਾ ਸਰਵਰ 'ਤੇ ਕੀਤੀ ਜਾਵੇਗੀ। ਡਾਟਾ ਓਰੇਕਲ ਸਰਵਰ ਤੋਂ ਪੜ੍ਹਿਆ ਜਾਵੇਗਾ, ਇਨਫਾਰਮੈਟਿਕਾ ਸਰਵਰ 'ਤੇ ਟ੍ਰਾਂਸਫਰ ਕੀਤਾ ਜਾਵੇਗਾ, ਉੱਥੇ ਬਦਲਿਆ ਜਾਵੇਗਾ ਅਤੇ ਹੈਡੂਪ 'ਤੇ ਟ੍ਰਾਂਸਫਰ ਕੀਤਾ ਜਾਵੇਗਾ। ਦੂਜੇ ਸ਼ਬਦਾਂ ਵਿੱਚ, ਸਾਨੂੰ ਇੱਕ ਆਮ ETL ਪ੍ਰਕਿਰਿਆ ਮਿਲੇਗੀ।

ਪੁਸ਼ਡਾਉਨ ਕਿਸਮ - ਸਰੋਤ

ਸਰੋਤ ਕਿਸਮ ਦੀ ਚੋਣ ਕਰਦੇ ਸਮੇਂ, ਸਾਨੂੰ ਡੇਟਾਬੇਸ ਸਰਵਰ (DB) ਅਤੇ Hadoop ਵਿਚਕਾਰ ਸਾਡੀ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਵੰਡਣ ਦਾ ਮੌਕਾ ਮਿਲਦਾ ਹੈ। ਜਦੋਂ ਇਸ ਸੈਟਿੰਗ ਨਾਲ ਕੋਈ ਪ੍ਰਕਿਰਿਆ ਚਲਾਈ ਜਾਂਦੀ ਹੈ, ਤਾਂ ਟੇਬਲਾਂ ਤੋਂ ਡਾਟਾ ਮੁੜ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਬੇਨਤੀਆਂ ਡੇਟਾਬੇਸ ਨੂੰ ਭੇਜੀਆਂ ਜਾਣਗੀਆਂ। ਅਤੇ ਬਾਕੀ ਹਡੂਪ 'ਤੇ ਕਦਮਾਂ ਦੇ ਰੂਪ ਵਿੱਚ ਕੀਤੇ ਜਾਣਗੇ.
ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਡਾਇਗ੍ਰਾਮ ਇਸ ਤਰ੍ਹਾਂ ਦਿਖਾਈ ਦੇਵੇਗਾ:

ਹੇਠਾਂ ਰਨਟਾਈਮ ਵਾਤਾਵਰਣ ਸਥਾਪਤ ਕਰਨ ਦੀ ਇੱਕ ਉਦਾਹਰਣ ਹੈ।

ਇਸ ਸਥਿਤੀ ਵਿੱਚ, ਮੈਪਿੰਗ ਦੋ ਪੜਾਵਾਂ ਵਿੱਚ ਕੀਤੀ ਜਾਵੇਗੀ। ਇਸ ਦੀਆਂ ਸੈਟਿੰਗਾਂ ਵਿੱਚ ਅਸੀਂ ਦੇਖਾਂਗੇ ਕਿ ਇਹ ਇੱਕ ਸਕ੍ਰਿਪਟ ਵਿੱਚ ਬਦਲ ਗਿਆ ਹੈ ਜੋ ਸਰੋਤ ਨੂੰ ਭੇਜੀ ਜਾਵੇਗੀ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਟੇਬਲ ਨੂੰ ਜੋੜਨਾ ਅਤੇ ਡੇਟਾ ਨੂੰ ਬਦਲਣਾ ਸਰੋਤ 'ਤੇ ਇੱਕ ਓਵਰਰਾਈਡ ਪੁੱਛਗਿੱਛ ਦੇ ਰੂਪ ਵਿੱਚ ਕੀਤਾ ਜਾਵੇਗਾ।
ਹੇਠਾਂ ਦਿੱਤੀ ਤਸਵੀਰ ਵਿੱਚ, ਅਸੀਂ BDM 'ਤੇ ਇੱਕ ਅਨੁਕੂਲਿਤ ਮੈਪਿੰਗ, ਅਤੇ ਸਰੋਤ 'ਤੇ ਇੱਕ ਮੁੜ ਪਰਿਭਾਸ਼ਿਤ ਪੁੱਛਗਿੱਛ ਦੇਖਦੇ ਹਾਂ।

ਇਸ ਸੰਰਚਨਾ ਵਿੱਚ ਹੈਡੂਪ ਦੀ ਭੂਮਿਕਾ ਨੂੰ ਡੇਟਾ ਦੇ ਪ੍ਰਵਾਹ ਦੇ ਪ੍ਰਬੰਧਨ ਲਈ ਘਟਾ ਦਿੱਤਾ ਜਾਵੇਗਾ - ਇਸਨੂੰ ਆਰਕੇਸਟ੍ਰੇਟ ਕਰਨਾ। ਪੁੱਛਗਿੱਛ ਦਾ ਨਤੀਜਾ ਹੈਡੂਪ ਨੂੰ ਭੇਜਿਆ ਜਾਵੇਗਾ। ਇੱਕ ਵਾਰ ਰੀਡਿੰਗ ਪੂਰੀ ਹੋਣ ਤੋਂ ਬਾਅਦ, ਹਡੂਪ ਤੋਂ ਫਾਈਲ ਨੂੰ ਸਿੰਕ ਵਿੱਚ ਲਿਖਿਆ ਜਾਵੇਗਾ।

ਪੁਸ਼ਡਾਉਨ ਕਿਸਮ - ਪੂਰੀ

ਜਦੋਂ ਤੁਸੀਂ ਪੂਰੀ ਕਿਸਮ ਦੀ ਚੋਣ ਕਰਦੇ ਹੋ, ਤਾਂ ਮੈਪਿੰਗ ਪੂਰੀ ਤਰ੍ਹਾਂ ਇੱਕ ਡੇਟਾਬੇਸ ਪੁੱਛਗਿੱਛ ਵਿੱਚ ਬਦਲ ਜਾਵੇਗੀ। ਅਤੇ ਬੇਨਤੀ ਦਾ ਨਤੀਜਾ ਹੈਡੂਪ ਨੂੰ ਭੇਜਿਆ ਜਾਵੇਗਾ। ਅਜਿਹੀ ਪ੍ਰਕਿਰਿਆ ਦਾ ਇੱਕ ਚਿੱਤਰ ਹੇਠਾਂ ਪੇਸ਼ ਕੀਤਾ ਗਿਆ ਹੈ.

ਇੱਕ ਉਦਾਹਰਨ ਸੈੱਟਅੱਪ ਹੇਠਾਂ ਦਿਖਾਇਆ ਗਿਆ ਹੈ।

ਨਤੀਜੇ ਵਜੋਂ, ਸਾਨੂੰ ਪਿਛਲੇ ਇੱਕ ਦੇ ਸਮਾਨ ਇੱਕ ਅਨੁਕੂਲਿਤ ਮੈਪਿੰਗ ਮਿਲੇਗੀ। ਫਰਕ ਸਿਰਫ ਇਹ ਹੈ ਕਿ ਸਾਰੇ ਤਰਕ ਇਸ ਦੇ ਸੰਮਿਲਨ ਨੂੰ ਓਵਰਰਾਈਡ ਕਰਨ ਦੇ ਰੂਪ ਵਿੱਚ ਪ੍ਰਾਪਤ ਕਰਨ ਵਾਲੇ ਨੂੰ ਟ੍ਰਾਂਸਫਰ ਕੀਤੇ ਜਾਂਦੇ ਹਨ. ਅਨੁਕੂਲਿਤ ਮੈਪਿੰਗ ਦੀ ਇੱਕ ਉਦਾਹਰਨ ਹੇਠਾਂ ਦਿੱਤੀ ਗਈ ਹੈ।

ਇੱਥੇ, ਪਿਛਲੇ ਕੇਸ ਵਾਂਗ, ਹਦੂਪ ਕੰਡਕਟਰ ਦੀ ਭੂਮਿਕਾ ਨਿਭਾਉਂਦਾ ਹੈ। ਪਰ ਇੱਥੇ ਸਰੋਤ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਪੜ੍ਹਿਆ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਫਿਰ ਡਾਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਤਰਕ ਰਿਸੀਵਰ ਪੱਧਰ 'ਤੇ ਕੀਤਾ ਜਾਂਦਾ ਹੈ.

ਪੁਸ਼ਡਾਉਨ ਕਿਸਮ ਖਾਲੀ ਹੈ

ਖੈਰ, ਆਖਰੀ ਵਿਕਲਪ ਪੁਸ਼ਡਾਉਨ ਕਿਸਮ ਹੈ, ਜਿਸ ਦੇ ਅੰਦਰ ਸਾਡੀ ਮੈਪਿੰਗ ਹੈਡੂਪ ਸਕ੍ਰਿਪਟ ਵਿੱਚ ਬਦਲ ਜਾਵੇਗੀ।

ਅਨੁਕੂਲਿਤ ਮੈਪਿੰਗ ਹੁਣ ਇਸ ਤਰ੍ਹਾਂ ਦਿਖਾਈ ਦੇਵੇਗੀ:

ਇੱਥੇ ਸਰੋਤ ਫਾਈਲਾਂ ਦਾ ਡੇਟਾ ਪਹਿਲਾਂ Hadoop 'ਤੇ ਪੜ੍ਹਿਆ ਜਾਵੇਗਾ। ਫਿਰ, ਉਸਦੇ ਆਪਣੇ ਸਾਧਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ, ਇਹਨਾਂ ਦੋ ਫਾਈਲਾਂ ਨੂੰ ਜੋੜਿਆ ਜਾਵੇਗਾ. ਇਸ ਤੋਂ ਬਾਅਦ, ਡੇਟਾ ਨੂੰ ਬਦਲਿਆ ਜਾਵੇਗਾ ਅਤੇ ਡੇਟਾਬੇਸ ਵਿੱਚ ਅਪਲੋਡ ਕੀਤਾ ਜਾਵੇਗਾ।

ਪੁਸ਼ਡਾਉਨ ਓਪਟੀਮਾਈਜੇਸ਼ਨ ਦੇ ਸਿਧਾਂਤਾਂ ਨੂੰ ਸਮਝ ਕੇ, ਤੁਸੀਂ ਵੱਡੇ ਡੇਟਾ ਨਾਲ ਕੰਮ ਕਰਨ ਲਈ ਬਹੁਤ ਸਾਰੀਆਂ ਪ੍ਰਕਿਰਿਆਵਾਂ ਨੂੰ ਬਹੁਤ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਸੰਗਠਿਤ ਕਰ ਸਕਦੇ ਹੋ। ਇਸ ਤਰ੍ਹਾਂ, ਹਾਲ ਹੀ ਵਿੱਚ, ਇੱਕ ਵੱਡੀ ਕੰਪਨੀ ਨੇ, ਕੁਝ ਹਫ਼ਤਿਆਂ ਵਿੱਚ, ਸਟੋਰੇਜ ਤੋਂ ਹੈਡੂਪ ਵਿੱਚ ਵੱਡੇ ਡੇਟਾ ਨੂੰ ਡਾਊਨਲੋਡ ਕੀਤਾ, ਜੋ ਇਸਨੇ ਪਹਿਲਾਂ ਕਈ ਸਾਲਾਂ ਤੋਂ ਇਕੱਠਾ ਕੀਤਾ ਸੀ।

ਸਰੋਤ: www.habr.com