ਜਦੋਂ ਤੁਹਾਡੇ ਕੋਲ Sber ਸਕੇਲ ਹੈ। Hive ਅਤੇ GreenPlum ਨਾਲ Ab Initio ਦੀ ਵਰਤੋਂ ਕਰਨਾ

ਕੁਝ ਸਮਾਂ ਪਹਿਲਾਂ, ਸਾਨੂੰ ਬਿਗ ਡੇਟਾ ਨਾਲ ਕੰਮ ਕਰਨ ਲਈ ਇੱਕ ETL ਟੂਲ ਦੀ ਚੋਣ ਕਰਨ ਦੇ ਸਵਾਲ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪਿਆ ਸੀ। ਪਹਿਲਾਂ ਵਰਤਿਆ ਗਿਆ Informatica BDM ਹੱਲ ਸੀਮਤ ਕਾਰਜਕੁਸ਼ਲਤਾ ਦੇ ਕਾਰਨ ਸਾਡੇ ਅਨੁਕੂਲ ਨਹੀਂ ਸੀ। ਇਸਦੀ ਵਰਤੋਂ ਸਪਾਰਕ-ਸਬਮਿਟ ਕਮਾਂਡਾਂ ਨੂੰ ਸ਼ੁਰੂ ਕਰਨ ਲਈ ਇੱਕ ਫਰੇਮਵਰਕ ਵਿੱਚ ਘਟਾ ਦਿੱਤੀ ਗਈ ਹੈ। ਮਾਰਕੀਟ ਵਿੱਚ ਬਹੁਤ ਸਾਰੇ ਐਨਾਲਾਗ ਨਹੀਂ ਸਨ ਜੋ ਸਿਧਾਂਤਕ ਤੌਰ 'ਤੇ, ਡੇਟਾ ਦੀ ਮਾਤਰਾ ਨਾਲ ਕੰਮ ਕਰਨ ਦੇ ਸਮਰੱਥ ਸਨ ਜਿਸ ਨਾਲ ਅਸੀਂ ਹਰ ਰੋਜ਼ ਨਜਿੱਠਦੇ ਹਾਂ। ਅੰਤ ਵਿੱਚ ਅਸੀਂ Ab Initio ਨੂੰ ਚੁਣਿਆ। ਪਾਇਲਟ ਪ੍ਰਦਰਸ਼ਨਾਂ ਦੇ ਦੌਰਾਨ, ਉਤਪਾਦ ਨੇ ਬਹੁਤ ਜ਼ਿਆਦਾ ਡਾਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਗਤੀ ਦਿਖਾਈ। ਰੂਸੀ ਵਿੱਚ Ab Initio ਬਾਰੇ ਲਗਭਗ ਕੋਈ ਜਾਣਕਾਰੀ ਨਹੀਂ ਹੈ, ਇਸਲਈ ਅਸੀਂ Habré 'ਤੇ ਆਪਣੇ ਅਨੁਭਵ ਬਾਰੇ ਗੱਲ ਕਰਨ ਦਾ ਫੈਸਲਾ ਕੀਤਾ ਹੈ।

Ab Initio ਵਿੱਚ ਬਹੁਤ ਸਾਰੇ ਕਲਾਸਿਕ ਅਤੇ ਅਸਾਧਾਰਨ ਪਰਿਵਰਤਨ ਹਨ, ਜਿਨ੍ਹਾਂ ਦੇ ਕੋਡ ਨੂੰ ਇਸਦੀ ਆਪਣੀ PDL ਭਾਸ਼ਾ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਵਧਾਇਆ ਜਾ ਸਕਦਾ ਹੈ। ਇੱਕ ਛੋਟੇ ਕਾਰੋਬਾਰ ਲਈ, ਅਜਿਹਾ ਸ਼ਕਤੀਸ਼ਾਲੀ ਟੂਲ ਸੰਭਾਵਤ ਤੌਰ 'ਤੇ ਓਵਰਕਿਲ ਹੋਵੇਗਾ, ਅਤੇ ਇਸ ਦੀਆਂ ਜ਼ਿਆਦਾਤਰ ਸਮਰੱਥਾਵਾਂ ਮਹਿੰਗੀਆਂ ਅਤੇ ਅਣਵਰਤੀਆਂ ਹੋ ਸਕਦੀਆਂ ਹਨ। ਪਰ ਜੇਕਰ ਤੁਹਾਡਾ ਪੈਮਾਨਾ Sberov ਦੇ ਨੇੜੇ ਹੈ, ਤਾਂ Ab Initio ਤੁਹਾਡੇ ਲਈ ਦਿਲਚਸਪ ਹੋ ਸਕਦਾ ਹੈ।

ਇਹ ਇੱਕ ਕਾਰੋਬਾਰ ਨੂੰ ਵਿਸ਼ਵ ਪੱਧਰ 'ਤੇ ਗਿਆਨ ਇਕੱਠਾ ਕਰਨ ਅਤੇ ਇੱਕ ਈਕੋਸਿਸਟਮ ਨੂੰ ਵਿਕਸਤ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ, ਅਤੇ ਇੱਕ ਡਿਵੈਲਪਰ ਨੂੰ ETL ਵਿੱਚ ਆਪਣੇ ਹੁਨਰ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ, ਸ਼ੈੱਲ ਵਿੱਚ ਆਪਣੇ ਗਿਆਨ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ, PDL ਭਾਸ਼ਾ ਵਿੱਚ ਮੁਹਾਰਤ ਹਾਸਲ ਕਰਨ ਦਾ ਮੌਕਾ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ, ਲੋਡਿੰਗ ਪ੍ਰਕਿਰਿਆਵਾਂ ਦੀ ਇੱਕ ਵਿਜ਼ੂਅਲ ਤਸਵੀਰ ਦਿੰਦਾ ਹੈ, ਅਤੇ ਵਿਕਾਸ ਨੂੰ ਸਰਲ ਬਣਾਉਂਦਾ ਹੈ। ਕਾਰਜਾਤਮਕ ਭਾਗਾਂ ਦੀ ਭਰਪੂਰਤਾ ਦੇ ਕਾਰਨ.

ਇਸ ਪੋਸਟ ਵਿੱਚ ਮੈਂ Ab Initio ਦੀਆਂ ਸਮਰੱਥਾਵਾਂ ਬਾਰੇ ਗੱਲ ਕਰਾਂਗਾ ਅਤੇ Hive ਅਤੇ GreenPlum ਨਾਲ ਇਸਦੇ ਕੰਮ ਦੀਆਂ ਤੁਲਨਾਤਮਕ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਪ੍ਰਦਾਨ ਕਰਾਂਗਾ।

• MDW ਫਰੇਮਵਰਕ ਦਾ ਵੇਰਵਾ ਅਤੇ GreenPlum ਲਈ ਇਸਦੀ ਕਸਟਮਾਈਜ਼ੇਸ਼ਨ 'ਤੇ ਕੰਮ
• Hive ਅਤੇ GreenPlum ਵਿਚਕਾਰ Ab Initio ਪ੍ਰਦਰਸ਼ਨ ਦੀ ਤੁਲਨਾ
• ਨਜ਼ਦੀਕੀ ਰੀਅਲ ਟਾਈਮ ਮੋਡ ਵਿੱਚ ਗ੍ਰੀਨਪਲਮ ਦੇ ਨਾਲ ਐਬ ਇਨੀਟੀਓ ਕੰਮ ਕਰਨਾ

ਇਸ ਉਤਪਾਦ ਦੀ ਕਾਰਜਕੁਸ਼ਲਤਾ ਬਹੁਤ ਵਿਆਪਕ ਹੈ ਅਤੇ ਅਧਿਐਨ ਕਰਨ ਲਈ ਬਹੁਤ ਸਾਰਾ ਸਮਾਂ ਚਾਹੀਦਾ ਹੈ. ਹਾਲਾਂਕਿ, ਸਹੀ ਕੰਮ ਦੇ ਹੁਨਰ ਅਤੇ ਸਹੀ ਪ੍ਰਦਰਸ਼ਨ ਸੈਟਿੰਗਾਂ ਦੇ ਨਾਲ, ਡੇਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਦੇ ਨਤੀਜੇ ਬਹੁਤ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਹਨ. ਇੱਕ ਡਿਵੈਲਪਰ ਲਈ Ab Initio ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਇੱਕ ਦਿਲਚਸਪ ਅਨੁਭਵ ਪ੍ਰਦਾਨ ਕਰ ਸਕਦਾ ਹੈ। ਇਹ ETL ਵਿਕਾਸ 'ਤੇ ਇੱਕ ਨਵਾਂ ਲੈਣਾ ਹੈ, ਇੱਕ ਵਿਜ਼ੂਅਲ ਵਾਤਾਵਰਣ ਅਤੇ ਸਕ੍ਰਿਪਟ-ਵਰਗੀ ਭਾਸ਼ਾ ਵਿੱਚ ਡਾਊਨਲੋਡ ਵਿਕਾਸ ਦੇ ਵਿਚਕਾਰ ਇੱਕ ਹਾਈਬ੍ਰਿਡ.

ਕਾਰੋਬਾਰ ਆਪਣੇ ਈਕੋਸਿਸਟਮ ਨੂੰ ਵਿਕਸਤ ਕਰ ਰਹੇ ਹਨ ਅਤੇ ਇਹ ਸਾਧਨ ਪਹਿਲਾਂ ਨਾਲੋਂ ਕਿਤੇ ਜ਼ਿਆਦਾ ਕੰਮ ਆਉਂਦਾ ਹੈ। Ab Initio ਦੇ ਨਾਲ, ਤੁਸੀਂ ਆਪਣੇ ਮੌਜੂਦਾ ਕਾਰੋਬਾਰ ਬਾਰੇ ਗਿਆਨ ਇਕੱਠਾ ਕਰ ਸਕਦੇ ਹੋ ਅਤੇ ਪੁਰਾਣੇ ਅਤੇ ਨਵੇਂ ਕਾਰੋਬਾਰਾਂ ਨੂੰ ਖੋਲ੍ਹਣ ਲਈ ਇਸ ਗਿਆਨ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ। Ab Initio ਦੇ ਵਿਕਲਪਾਂ ਵਿੱਚ ਵਿਜ਼ੂਅਲ ਡਿਵੈਲਪਮੈਂਟ ਐਨਵਾਇਰਮੈਂਟਸ ਇਨਫਾਰਮੈਟਿਕਾ ਬੀਡੀਐਮ ਅਤੇ ਗੈਰ-ਵਿਜ਼ੂਅਲ ਡਿਵੈਲਪਮੈਂਟ ਐਨਵਾਇਰਮੈਂਟ ਅਪਾਚੇ ਸਪਾਰਕ ਸ਼ਾਮਲ ਹਨ।

Ab Initio ਦਾ ਵੇਰਵਾ

Ab Initio, ਹੋਰ ETL ਸਾਧਨਾਂ ਵਾਂਗ, ਉਤਪਾਦਾਂ ਦਾ ਸੰਗ੍ਰਹਿ ਹੈ।

Ab Initio GDE (ਗ੍ਰਾਫਿਕਲ ਡਿਵੈਲਪਮੈਂਟ ਇਨਵਾਇਰਮੈਂਟ) ਡਿਵੈਲਪਰ ਲਈ ਇੱਕ ਵਾਤਾਵਰਣ ਹੈ ਜਿਸ ਵਿੱਚ ਉਹ ਡੇਟਾ ਪਰਿਵਰਤਨ ਨੂੰ ਕੌਂਫਿਗਰ ਕਰਦਾ ਹੈ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਤੀਰਾਂ ਦੇ ਰੂਪ ਵਿੱਚ ਡੇਟਾ ਪ੍ਰਵਾਹ ਨਾਲ ਜੋੜਦਾ ਹੈ। ਇਸ ਸਥਿਤੀ ਵਿੱਚ, ਪਰਿਵਰਤਨ ਦੇ ਅਜਿਹੇ ਸਮੂਹ ਨੂੰ ਇੱਕ ਗ੍ਰਾਫ ਕਿਹਾ ਜਾਂਦਾ ਹੈ:

ਫੰਕਸ਼ਨਲ ਕੰਪੋਨੈਂਟਸ ਦੇ ਇਨਪੁਟ ਅਤੇ ਆਉਟਪੁੱਟ ਕਨੈਕਸ਼ਨ ਪੋਰਟ ਹੁੰਦੇ ਹਨ ਅਤੇ ਪਰਿਵਰਤਨ ਦੇ ਅੰਦਰ ਗਣਨਾ ਕੀਤੇ ਖੇਤਰ ਹੁੰਦੇ ਹਨ। ਤੀਰਾਂ ਦੇ ਰੂਪ ਵਿੱਚ ਪ੍ਰਵਾਹ ਦੁਆਰਾ ਉਹਨਾਂ ਦੇ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਦੇ ਕ੍ਰਮ ਵਿੱਚ ਜੁੜੇ ਕਈ ਗ੍ਰਾਫਾਂ ਨੂੰ ਇੱਕ ਯੋਜਨਾ ਕਿਹਾ ਜਾਂਦਾ ਹੈ।

ਕਈ ਸੌ ਫੰਕਸ਼ਨਲ ਭਾਗ ਹਨ, ਜੋ ਕਿ ਬਹੁਤ ਹੈ. ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ ਬਹੁਤ ਸਾਰੇ ਉੱਚ ਮਾਹਰ ਹਨ। Ab Initio ਵਿੱਚ ਕਲਾਸਿਕ ਪਰਿਵਰਤਨ ਦੀਆਂ ਸਮਰੱਥਾਵਾਂ ਹੋਰ ETL ਟੂਲਸ ਨਾਲੋਂ ਵਿਆਪਕ ਹਨ। ਉਦਾਹਰਨ ਲਈ, Join ਵਿੱਚ ਕਈ ਆਉਟਪੁੱਟ ਹਨ। ਡਾਟਾਸੈਟਾਂ ਨੂੰ ਕਨੈਕਟ ਕਰਨ ਦੇ ਨਤੀਜੇ ਤੋਂ ਇਲਾਵਾ, ਤੁਸੀਂ ਇਨਪੁਟ ਡੇਟਾਸੈਟਾਂ ਦੇ ਆਉਟਪੁੱਟ ਰਿਕਾਰਡ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹੋ ਜਿਨ੍ਹਾਂ ਦੀਆਂ ਕੁੰਜੀਆਂ ਕਨੈਕਟ ਨਹੀਂ ਕੀਤੀਆਂ ਜਾ ਸਕਦੀਆਂ ਹਨ। ਤੁਸੀਂ ਅਸਵੀਕਾਰ, ਤਰੁੱਟੀਆਂ ਅਤੇ ਪਰਿਵਰਤਨ ਕਾਰਵਾਈ ਦਾ ਇੱਕ ਲੌਗ ਵੀ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹੋ, ਜਿਸ ਨੂੰ ਟੈਕਸਟ ਫਾਈਲ ਦੇ ਰੂਪ ਵਿੱਚ ਉਸੇ ਕਾਲਮ ਵਿੱਚ ਪੜ੍ਹਿਆ ਜਾ ਸਕਦਾ ਹੈ ਅਤੇ ਹੋਰ ਪਰਿਵਰਤਨਾਂ ਨਾਲ ਪ੍ਰਕਿਰਿਆ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ:

ਜਾਂ, ਉਦਾਹਰਨ ਲਈ, ਤੁਸੀਂ ਇੱਕ ਟੇਬਲ ਦੇ ਰੂਪ ਵਿੱਚ ਇੱਕ ਡੇਟਾ ਰਿਸੀਵਰ ਨੂੰ ਤਿਆਰ ਕਰ ਸਕਦੇ ਹੋ ਅਤੇ ਉਸੇ ਕਾਲਮ ਵਿੱਚ ਇਸ ਤੋਂ ਡੇਟਾ ਪੜ੍ਹ ਸਕਦੇ ਹੋ।

ਮੂਲ ਪਰਿਵਰਤਨ ਹਨ. ਉਦਾਹਰਨ ਲਈ, ਸਕੈਨ ਪਰਿਵਰਤਨ ਵਿੱਚ ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਫੰਕਸ਼ਨਾਂ ਦੇ ਸਮਾਨ ਕਾਰਜਸ਼ੀਲਤਾ ਹੈ। ਸਵੈ-ਵਿਆਖਿਆਤਮਕ ਨਾਮਾਂ ਦੇ ਨਾਲ ਪਰਿਵਰਤਨ ਹਨ: ਡੇਟਾ ਬਣਾਓ, ਐਕਸਲ ਪੜ੍ਹੋ, ਸਧਾਰਨ ਬਣਾਓ, ਸਮੂਹਾਂ ਵਿੱਚ ਕ੍ਰਮਬੱਧ ਕਰੋ, ਪ੍ਰੋਗਰਾਮ ਚਲਾਓ, SQL ਚਲਾਓ, ਡੀਬੀ ਨਾਲ ਜੁੜੋ, ਆਦਿ। ਗ੍ਰਾਫ ਰਨ-ਟਾਈਮ ਪੈਰਾਮੀਟਰਾਂ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹਨ, ਜਿਸ ਵਿੱਚ ਪੈਰਾਮੀਟਰ ਪਾਸ ਕਰਨ ਦੀ ਸੰਭਾਵਨਾ ਵੀ ਸ਼ਾਮਲ ਹੈ। ਓਪਰੇਟਿੰਗ ਸਿਸਟਮ ਗ੍ਰਾਫ ਨੂੰ ਪਾਸ ਕੀਤੇ ਪੈਰਾਮੀਟਰਾਂ ਦੇ ਤਿਆਰ ਕੀਤੇ ਸੈੱਟ ਵਾਲੀਆਂ ਫਾਈਲਾਂ ਨੂੰ ਪੈਰਾਮੀਟਰ ਸੈੱਟ (psets) ਕਿਹਾ ਜਾਂਦਾ ਹੈ।

ਜਿਵੇਂ ਕਿ ਉਮੀਦ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, Ab Initio GDE ਦੀ ਆਪਣੀ ਖੁਦ ਦੀ ਰਿਪੋਜ਼ਟਰੀ ਹੈ ਜਿਸਨੂੰ EME (ਐਂਟਰਪ੍ਰਾਈਜ਼ ਮੈਟਾ ਵਾਤਾਵਰਣ) ਕਿਹਾ ਜਾਂਦਾ ਹੈ। ਡਿਵੈਲਪਰਾਂ ਕੋਲ ਕੋਡ ਦੇ ਸਥਾਨਕ ਸੰਸਕਰਣਾਂ ਨਾਲ ਕੰਮ ਕਰਨ ਅਤੇ ਕੇਂਦਰੀ ਰਿਪੋਜ਼ਟਰੀ ਵਿੱਚ ਉਹਨਾਂ ਦੇ ਵਿਕਾਸ ਦੀ ਜਾਂਚ ਕਰਨ ਦਾ ਮੌਕਾ ਹੁੰਦਾ ਹੈ।

ਇਹ ਸੰਭਵ ਹੈ, ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਦੌਰਾਨ ਜਾਂ ਗ੍ਰਾਫ ਨੂੰ ਚਲਾਉਣ ਤੋਂ ਬਾਅਦ, ਪਰਿਵਰਤਨ ਨੂੰ ਜੋੜਨ ਵਾਲੇ ਕਿਸੇ ਵੀ ਪ੍ਰਵਾਹ 'ਤੇ ਕਲਿੱਕ ਕਰਨਾ ਅਤੇ ਇਹਨਾਂ ਪਰਿਵਰਤਨਾਂ ਦੇ ਵਿਚਕਾਰ ਲੰਘਣ ਵਾਲੇ ਡੇਟਾ ਨੂੰ ਵੇਖਣਾ:

ਕਿਸੇ ਵੀ ਸਟ੍ਰੀਮ 'ਤੇ ਕਲਿੱਕ ਕਰਨਾ ਅਤੇ ਟਰੈਕਿੰਗ ਵੇਰਵਿਆਂ ਨੂੰ ਦੇਖਣਾ ਵੀ ਸੰਭਵ ਹੈ - ਪਰਿਵਰਤਨ ਨੇ ਕਿੰਨੇ ਸਮਾਨਾਂਤਰਾਂ ਵਿੱਚ ਕੰਮ ਕੀਤਾ, ਕਿੰਨੀਆਂ ਲਾਈਨਾਂ ਅਤੇ ਬਾਈਟਾਂ ਨੂੰ ਕਿਸ ਸਮਾਨਾਂਤਰ ਵਿੱਚ ਲੋਡ ਕੀਤਾ ਗਿਆ ਸੀ:

ਗ੍ਰਾਫ ਦੇ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਨੂੰ ਪੜਾਵਾਂ ਵਿੱਚ ਵੰਡਣਾ ਅਤੇ ਨਿਸ਼ਾਨ ਲਗਾਉਣਾ ਸੰਭਵ ਹੈ ਕਿ ਕੁਝ ਪਰਿਵਰਤਨ ਪਹਿਲਾਂ (ਜ਼ੀਰੋ ਪੜਾਅ ਵਿੱਚ), ਅਗਲੇ ਪੜਾਅ ਵਿੱਚ, ਅਗਲੇ ਪੜਾਅ ਵਿੱਚ ਦੂਜੇ ਪੜਾਅ ਆਦਿ ਵਿੱਚ ਕੀਤੇ ਜਾਣ ਦੀ ਲੋੜ ਹੈ।

ਹਰੇਕ ਪਰਿਵਰਤਨ ਲਈ, ਤੁਸੀਂ ਅਖੌਤੀ ਲੇਆਉਟ (ਜਿੱਥੇ ਇਸਨੂੰ ਲਾਗੂ ਕੀਤਾ ਜਾਵੇਗਾ) ਦੀ ਚੋਣ ਕਰ ਸਕਦੇ ਹੋ: ਸਮਾਨਾਂਤਰ ਜਾਂ ਸਮਾਨਾਂਤਰ ਥਰਿੱਡਾਂ ਦੇ ਬਿਨਾਂ, ਜਿਸ ਦੀ ਗਿਣਤੀ ਨਿਰਧਾਰਤ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ। ਉਸੇ ਸਮੇਂ, ਅਸਥਾਈ ਫਾਈਲਾਂ ਜੋ ਕਿ ਐਬ ਇਨੀਟਿਓ ਬਣਾਉਂਦਾ ਹੈ ਜਦੋਂ ਪਰਿਵਰਤਨ ਚੱਲ ਰਹੇ ਹੁੰਦੇ ਹਨ, ਨੂੰ ਸਰਵਰ ਫਾਈਲ ਸਿਸਟਮ ਅਤੇ HDFS ਦੋਵਾਂ ਵਿੱਚ ਰੱਖਿਆ ਜਾ ਸਕਦਾ ਹੈ।

ਹਰੇਕ ਪਰਿਵਰਤਨ ਵਿੱਚ, ਡਿਫੌਲਟ ਟੈਂਪਲੇਟ ਦੇ ਅਧਾਰ ਤੇ, ਤੁਸੀਂ PDL ਵਿੱਚ ਆਪਣੀ ਖੁਦ ਦੀ ਸਕ੍ਰਿਪਟ ਬਣਾ ਸਕਦੇ ਹੋ, ਜੋ ਕਿ ਇੱਕ ਸ਼ੈੱਲ ਵਰਗੀ ਹੈ।

PDL ਨਾਲ ਤੁਸੀਂ ਪਰਿਵਰਤਨ ਦੀ ਕਾਰਜਕੁਸ਼ਲਤਾ ਨੂੰ ਵਧਾ ਸਕਦੇ ਹੋ ਅਤੇ, ਖਾਸ ਤੌਰ 'ਤੇ, ਤੁਸੀਂ ਰਨਟਾਈਮ ਪੈਰਾਮੀਟਰਾਂ ਦੇ ਆਧਾਰ 'ਤੇ ਆਰਬਿਟਰੇਰੀ ਕੋਡ ਦੇ ਟੁਕੜੇ ਬਣਾ ਸਕਦੇ ਹੋ।

Ab Initio ਕੋਲ ਸ਼ੈੱਲ ਦੁਆਰਾ OS ਨਾਲ ਚੰਗੀ ਤਰ੍ਹਾਂ ਵਿਕਸਤ ਏਕੀਕਰਣ ਵੀ ਹੈ। ਖਾਸ ਤੌਰ 'ਤੇ, Sberbank linux ksh ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। ਤੁਸੀਂ ਸ਼ੈੱਲ ਨਾਲ ਵੇਰੀਏਬਲਾਂ ਦਾ ਆਦਾਨ-ਪ੍ਰਦਾਨ ਕਰ ਸਕਦੇ ਹੋ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਗ੍ਰਾਫ ਪੈਰਾਮੀਟਰਾਂ ਵਜੋਂ ਵਰਤ ਸਕਦੇ ਹੋ। ਤੁਸੀਂ ਸ਼ੈੱਲ ਤੋਂ ਐਬ ਇਨੀਟਿਓ ਗ੍ਰਾਫਾਂ ਦੇ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਨੂੰ ਕਾਲ ਕਰ ਸਕਦੇ ਹੋ ਅਤੇ ਐਬ ਇਨੀਟਿਓ ਦਾ ਪ੍ਰਬੰਧ ਕਰ ਸਕਦੇ ਹੋ।

Ab Initio GDE ਤੋਂ ਇਲਾਵਾ, ਡਿਲੀਵਰੀ ਵਿੱਚ ਕਈ ਹੋਰ ਉਤਪਾਦ ਸ਼ਾਮਲ ਹਨ। ਇੱਕ ਓਪਰੇਟਿੰਗ ਸਿਸਟਮ ਕਹੇ ਜਾਣ ਦੇ ਦਾਅਵੇ ਦੇ ਨਾਲ ਇਸਦਾ ਆਪਣਾ ਕੋ> ਓਪਰੇਸ਼ਨ ਸਿਸਟਮ ਹੈ। ਇੱਥੇ ਇੱਕ ਨਿਯੰਤਰਣ>ਕੇਂਦਰ ਹੈ ਜਿੱਥੇ ਤੁਸੀਂ ਡਾਉਨਲੋਡ ਦੇ ਪ੍ਰਵਾਹ ਨੂੰ ਤਹਿ ਅਤੇ ਨਿਗਰਾਨੀ ਕਰ ਸਕਦੇ ਹੋ। Ab Initio GDE ਦੀ ਇਜਾਜ਼ਤ ਨਾਲੋਂ ਵਧੇਰੇ ਮੁੱਢਲੇ ਪੱਧਰ 'ਤੇ ਵਿਕਾਸ ਕਰਨ ਲਈ ਉਤਪਾਦ ਹਨ।

MDW ਫਰੇਮਵਰਕ ਦਾ ਵੇਰਵਾ ਅਤੇ GreenPlum ਲਈ ਇਸਦੀ ਕਸਟਮਾਈਜ਼ੇਸ਼ਨ 'ਤੇ ਕੰਮ

ਇਸਦੇ ਉਤਪਾਦਾਂ ਦੇ ਨਾਲ, ਵਿਕਰੇਤਾ MDW (ਮੈਟਾਡੇਟਾ ਡ੍ਰਾਈਵਨ ਵੇਅਰਹਾਊਸ) ਉਤਪਾਦ ਦੀ ਸਪਲਾਈ ਕਰਦਾ ਹੈ, ਜੋ ਕਿ ਇੱਕ ਗ੍ਰਾਫ ਕੌਂਫਿਗਰੇਟਰ ਹੈ ਜੋ ਡੇਟਾ ਵੇਅਰਹਾਊਸਾਂ ਜਾਂ ਡੇਟਾ ਵਾਲਟਸ ਨੂੰ ਭਰਨ ਦੇ ਖਾਸ ਕੰਮਾਂ ਵਿੱਚ ਮਦਦ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ।

ਇਸ ਵਿੱਚ ਕਸਟਮ (ਪ੍ਰੋਜੈਕਟ-ਵਿਸ਼ੇਸ਼) ਮੈਟਾਡੇਟਾ ਪਾਰਸਰ ਅਤੇ ਬਾਕਸ ਤੋਂ ਬਾਹਰ ਤਿਆਰ ਕੋਡ ਜਨਰੇਟਰ ਸ਼ਾਮਲ ਹਨ।

ਇੰਪੁੱਟ ਦੇ ਤੌਰ 'ਤੇ, MDW ਇੱਕ ਡੇਟਾ ਮਾਡਲ, ਇੱਕ ਡੇਟਾਬੇਸ (Oracle, Teradata ਜਾਂ Hive) ਨਾਲ ਇੱਕ ਕਨੈਕਸ਼ਨ ਸਥਾਪਤ ਕਰਨ ਲਈ ਇੱਕ ਸੰਰਚਨਾ ਫਾਈਲ ਅਤੇ ਕੁਝ ਹੋਰ ਸੈਟਿੰਗਾਂ ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ। ਪ੍ਰੋਜੈਕਟ-ਵਿਸ਼ੇਸ਼ ਭਾਗ, ਉਦਾਹਰਨ ਲਈ, ਮਾਡਲ ਨੂੰ ਇੱਕ ਡੇਟਾਬੇਸ ਵਿੱਚ ਤੈਨਾਤ ਕਰਦਾ ਹੈ। ਉਤਪਾਦ ਦਾ ਆਊਟ-ਆਫ-ਦ-ਬਾਕਸ ਹਿੱਸਾ ਮਾਡਲ ਟੇਬਲ ਵਿੱਚ ਡੇਟਾ ਲੋਡ ਕਰਕੇ ਉਹਨਾਂ ਲਈ ਗ੍ਰਾਫ ਅਤੇ ਸੰਰਚਨਾ ਫਾਈਲਾਂ ਬਣਾਉਂਦਾ ਹੈ। ਇਸ ਸਥਿਤੀ ਵਿੱਚ, ਗ੍ਰਾਫ (ਅਤੇ psets) ਨੂੰ ਅੱਪਡੇਟ ਕਰਨ ਵਾਲੀਆਂ ਸੰਸਥਾਵਾਂ 'ਤੇ ਸ਼ੁਰੂਆਤੀ ਅਤੇ ਵਾਧੇ ਵਾਲੇ ਕੰਮ ਦੇ ਕਈ ਢੰਗਾਂ ਲਈ ਬਣਾਇਆ ਗਿਆ ਹੈ।

Hive ਅਤੇ RDBMS ਦੇ ਮਾਮਲਿਆਂ ਵਿੱਚ, ਸ਼ੁਰੂਆਤੀ ਅਤੇ ਵਾਧੇ ਵਾਲੇ ਡੇਟਾ ਅੱਪਡੇਟ ਲਈ ਵੱਖ-ਵੱਖ ਗ੍ਰਾਫ਼ ਤਿਆਰ ਕੀਤੇ ਜਾਂਦੇ ਹਨ।

Hive ਦੇ ਮਾਮਲੇ ਵਿੱਚ, ਆਉਣ ਵਾਲਾ ਡੈਲਟਾ ਡੇਟਾ ਅਬ ਇਨੀਟਿਓ ਦੁਆਰਾ ਜੁੜਿਆ ਹੋਇਆ ਹੈ ਉਸ ਡੇਟਾ ਨਾਲ ਜੁੜੋ ਜੋ ਅਪਡੇਟ ਤੋਂ ਪਹਿਲਾਂ ਸਾਰਣੀ ਵਿੱਚ ਸੀ। MDW ਵਿੱਚ ਡੇਟਾ ਲੋਡਰ (ਹਾਈਵ ਅਤੇ RDBMS ਦੋਨਾਂ ਵਿੱਚ) ਨਾ ਸਿਰਫ਼ ਡੈਲਟਾ ਤੋਂ ਨਵਾਂ ਡੇਟਾ ਸ਼ਾਮਲ ਕਰਦੇ ਹਨ, ਸਗੋਂ ਉਹਨਾਂ ਡੇਟਾ ਦੀ ਪ੍ਰਸੰਗਿਕਤਾ ਦੇ ਸਮੇਂ ਨੂੰ ਵੀ ਬੰਦ ਕਰਦੇ ਹਨ ਜਿਸ ਦੀਆਂ ਪ੍ਰਾਇਮਰੀ ਕੁੰਜੀਆਂ ਨੂੰ ਡੈਲਟਾ ਪ੍ਰਾਪਤ ਹੁੰਦਾ ਹੈ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਤੁਹਾਨੂੰ ਡੇਟਾ ਦੇ ਨਾ ਬਦਲੇ ਹੋਏ ਹਿੱਸੇ ਨੂੰ ਦੁਬਾਰਾ ਲਿਖਣਾ ਹੋਵੇਗਾ। ਪਰ ਇਹ ਇਸ ਲਈ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿਉਂਕਿ Hive ਵਿੱਚ ਡਿਲੀਟ ਜਾਂ ਅਪਡੇਟ ਓਪਰੇਸ਼ਨ ਨਹੀਂ ਹਨ।

RDBMS ਦੇ ਮਾਮਲੇ ਵਿੱਚ, ਵਾਧੇ ਵਾਲੇ ਡੇਟਾ ਅੱਪਡੇਟ ਕਰਨ ਲਈ ਗ੍ਰਾਫ਼ ਵਧੇਰੇ ਅਨੁਕੂਲ ਦਿਖਾਈ ਦਿੰਦੇ ਹਨ, ਕਿਉਂਕਿ RDBMS ਵਿੱਚ ਅਸਲ ਅੱਪਡੇਟ ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਹੁੰਦੀ ਹੈ।

ਪ੍ਰਾਪਤ ਡੈਲਟਾ ਨੂੰ ਡੇਟਾਬੇਸ ਵਿੱਚ ਇੱਕ ਵਿਚਕਾਰਲੇ ਸਾਰਣੀ ਵਿੱਚ ਲੋਡ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਇਸ ਤੋਂ ਬਾਅਦ, ਡੈਲਟਾ ਉਸ ਡੇਟਾ ਨਾਲ ਜੁੜ ਜਾਂਦਾ ਹੈ ਜੋ ਅਪਡੇਟ ਤੋਂ ਪਹਿਲਾਂ ਟੇਬਲ ਵਿੱਚ ਸੀ। ਅਤੇ ਇਹ ਇੱਕ ਤਿਆਰ ਕੀਤੀ SQL ਪੁੱਛਗਿੱਛ ਦੀ ਵਰਤੋਂ ਕਰਕੇ SQL ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਅੱਗੇ, SQL ਕਮਾਂਡਾਂ ਡਿਲੀਟ+ਇਨਸਰਟ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, ਡੈਲਟਾ ਤੋਂ ਨਵਾਂ ਡੇਟਾ ਟਾਰਗਿਟ ਟੇਬਲ ਵਿੱਚ ਪਾ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ ਅਤੇ ਡੈਲਟਾ ਦੀਆਂ ਪ੍ਰਾਇਮਰੀ ਕੁੰਜੀਆਂ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਵਾਲੇ ਡੇਟਾ ਦੀ ਪ੍ਰਸੰਗਿਕਤਾ ਦੀ ਮਿਆਦ ਬੰਦ ਹੋ ਜਾਂਦੀ ਹੈ।
ਬਿਨਾਂ ਬਦਲੇ ਡੇਟਾ ਨੂੰ ਦੁਬਾਰਾ ਲਿਖਣ ਦੀ ਕੋਈ ਲੋੜ ਨਹੀਂ ਹੈ।

ਇਸ ਲਈ ਅਸੀਂ ਇਸ ਸਿੱਟੇ ਤੇ ਪਹੁੰਚੇ ਕਿ Hive ਦੇ ਮਾਮਲੇ ਵਿੱਚ, MDW ਨੂੰ ਪੂਰੀ ਸਾਰਣੀ ਨੂੰ ਮੁੜ ਲਿਖਣ ਲਈ ਜਾਣਾ ਪੈਂਦਾ ਹੈ ਕਿਉਂਕਿ Hive ਵਿੱਚ ਇੱਕ ਅੱਪਡੇਟ ਫੰਕਸ਼ਨ ਨਹੀਂ ਹੁੰਦਾ ਹੈ। ਅਤੇ ਜਦੋਂ ਅੱਪਡੇਟ ਕਰਨ ਦੀ ਖੋਜ ਕੀਤੀ ਗਈ ਹੈ ਤਾਂ ਡੇਟਾ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਦੁਬਾਰਾ ਲਿਖਣ ਨਾਲੋਂ ਬਿਹਤਰ ਕੁਝ ਨਹੀਂ ਹੈ। RDBMS ਦੇ ਮਾਮਲੇ ਵਿੱਚ, ਇਸਦੇ ਉਲਟ, ਉਤਪਾਦ ਦੇ ਨਿਰਮਾਤਾਵਾਂ ਨੇ SQL ਦੀ ਵਰਤੋਂ ਕਰਨ ਲਈ ਟੇਬਲਾਂ ਦੇ ਕੁਨੈਕਸ਼ਨ ਅਤੇ ਅੱਪਡੇਟ ਨੂੰ ਸੌਂਪਣਾ ਜ਼ਰੂਰੀ ਸਮਝਿਆ।

Sberbank ਵਿਖੇ ਇੱਕ ਪ੍ਰੋਜੈਕਟ ਲਈ, ਅਸੀਂ GreenPlum ਲਈ ਇੱਕ ਡਾਟਾਬੇਸ ਲੋਡਰ ਦਾ ਇੱਕ ਨਵਾਂ, ਮੁੜ ਵਰਤੋਂ ਯੋਗ ਲਾਗੂਕਰਨ ਬਣਾਇਆ ਹੈ। ਇਹ ਉਸ ਸੰਸਕਰਣ ਦੇ ਅਧਾਰ ਤੇ ਕੀਤਾ ਗਿਆ ਸੀ ਜੋ MDW ਟੈਰਾਡੇਟਾ ਲਈ ਤਿਆਰ ਕਰਦਾ ਹੈ। ਇਹ ਟੈਰਾਡਾਟਾ ਸੀ, ਨਾ ਕਿ ਓਰੇਕਲ, ਜੋ ਇਸ ਲਈ ਸਭ ਤੋਂ ਨੇੜੇ ਅਤੇ ਸਭ ਤੋਂ ਵਧੀਆ ਆਇਆ, ਕਿਉਂਕਿ... ਇੱਕ MPP ਸਿਸਟਮ ਵੀ ਹੈ। ਟੈਰਾਡੇਟਾ ਅਤੇ ਗ੍ਰੀਨਪਲਮ ਦੇ ਕੰਮ ਕਰਨ ਦੇ ਢੰਗ, ਅਤੇ ਨਾਲ ਹੀ ਸੰਟੈਕਸ, ਸਮਾਨ ਨਿਕਲੇ।

ਵੱਖ-ਵੱਖ RDBMS ਵਿਚਕਾਰ MDW-ਨਾਜ਼ੁਕ ਅੰਤਰਾਂ ਦੀਆਂ ਉਦਾਹਰਨਾਂ ਹੇਠਾਂ ਦਿੱਤੀਆਂ ਗਈਆਂ ਹਨ। ਗ੍ਰੀਨਪਲਮ ਵਿੱਚ, ਟੈਰਾਡੇਟਾ ਦੇ ਉਲਟ, ਟੇਬਲ ਬਣਾਉਣ ਵੇਲੇ ਤੁਹਾਨੂੰ ਇੱਕ ਧਾਰਾ ਲਿਖਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ

distributed by

ਟੈਰਾਡਾਟਾ ਲਿਖਦਾ ਹੈ:

delete <table> all

, ਅਤੇ ਗ੍ਰੀਨਪਲਮ ਵਿੱਚ ਉਹ ਲਿਖਦੇ ਹਨ

delete from <table>

ਓਰੇਕਲ ਵਿੱਚ, ਓਪਟੀਮਾਈਜੇਸ਼ਨ ਦੇ ਉਦੇਸ਼ਾਂ ਲਈ ਉਹ ਲਿਖਦੇ ਹਨ

delete from t where rowid in (<соединение t с дельтой>)

, ਅਤੇ Teradata ਅਤੇ GreenPlum ਲਿਖਦੇ ਹਨ

delete from t where exists (select * from delta where delta.pk=t.pk)

ਅਸੀਂ ਇਹ ਵੀ ਨੋਟ ਕਰਦੇ ਹਾਂ ਕਿ Ab Initio ਲਈ GreenPlum ਨਾਲ ਕੰਮ ਕਰਨ ਲਈ, Ab Initio ਕਲੱਸਟਰ ਦੇ ਸਾਰੇ ਨੋਡਾਂ 'ਤੇ GreenPlum ਕਲਾਇੰਟ ਨੂੰ ਸਥਾਪਤ ਕਰਨਾ ਜ਼ਰੂਰੀ ਸੀ। ਇਹ ਇਸ ਲਈ ਹੈ ਕਿਉਂਕਿ ਅਸੀਂ ਆਪਣੇ ਕਲੱਸਟਰ ਦੇ ਸਾਰੇ ਨੋਡਾਂ ਤੋਂ ਇੱਕੋ ਸਮੇਂ ਗ੍ਰੀਨਪਲਮ ਨਾਲ ਜੁੜੇ ਹਾਂ। ਅਤੇ ਗ੍ਰੀਨਪਲਮ ਤੋਂ ਸਮਾਨਾਂਤਰ ਪੜ੍ਹਨ ਲਈ ਅਤੇ ਗ੍ਰੀਨਪਲਮ ਤੋਂ ਡੇਟਾ ਦੇ ਆਪਣੇ ਹਿੱਸੇ ਨੂੰ ਪੜ੍ਹਨ ਲਈ ਹਰੇਕ ਸਮਾਨਾਂਤਰ Ab Initio ਥ੍ਰੈਡ ਨੂੰ ਪੜ੍ਹਨ ਲਈ, ਸਾਨੂੰ SQL ਸਵਾਲਾਂ ਦੇ "ਕਿੱਥੇ" ਭਾਗ ਵਿੱਚ Ab Initio ਦੁਆਰਾ ਸਮਝਿਆ ਗਿਆ ਇੱਕ ਨਿਰਮਾਣ ਰੱਖਣਾ ਪਿਆ।

where ABLOCAL()

ਅਤੇ ਪਰਿਵਰਤਨ ਡੇਟਾਬੇਸ ਤੋਂ ਪੈਰਾਮੀਟਰ ਰੀਡਿੰਗ ਨੂੰ ਨਿਸ਼ਚਿਤ ਕਰਕੇ ਇਸ ਨਿਰਮਾਣ ਦਾ ਮੁੱਲ ਨਿਰਧਾਰਤ ਕਰੋ

ablocal_expr=«string_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))»

, ਜੋ ਕਿ ਕੁਝ ਅਜਿਹਾ ਕਰਨ ਲਈ ਕੰਪਾਇਲ ਕਰਦਾ ਹੈ

mod(sk,10)=3

, i.e. ਤੁਹਾਨੂੰ ਹਰ ਇੱਕ ਭਾਗ ਲਈ ਇੱਕ ਸਪਸ਼ਟ ਫਿਲਟਰ ਨਾਲ ਗ੍ਰੀਨਪਲਮ ਨੂੰ ਪੁੱਛਣਾ ਹੋਵੇਗਾ। ਹੋਰ ਡੇਟਾਬੇਸ (Teradata, Oracle) ਲਈ, Ab Initio ਇਸ ਸਮਾਨਤਾ ਨੂੰ ਆਟੋਮੈਟਿਕ ਹੀ ਕਰ ਸਕਦਾ ਹੈ।

Hive ਅਤੇ GreenPlum ਵਿਚਕਾਰ Ab Initio ਪ੍ਰਦਰਸ਼ਨ ਦੀ ਤੁਲਨਾ

Sberbank ਨੇ Hive ਦੇ ਸਬੰਧ ਵਿੱਚ ਅਤੇ GreenPlum ਦੇ ਸਬੰਧ ਵਿੱਚ MDW ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੇ ਗ੍ਰਾਫਾਂ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਦੀ ਤੁਲਨਾ ਕਰਨ ਲਈ ਇੱਕ ਪ੍ਰਯੋਗ ਕੀਤਾ। ਪ੍ਰਯੋਗ ਦੇ ਹਿੱਸੇ ਦੇ ਰੂਪ ਵਿੱਚ, Hive ਦੇ ਮਾਮਲੇ ਵਿੱਚ Ab Initio ਦੇ ਸਮਾਨ ਕਲੱਸਟਰ 'ਤੇ 5 ਨੋਡ ਸਨ, ਅਤੇ ਗ੍ਰੀਨਪਲਮ ਦੇ ਮਾਮਲੇ ਵਿੱਚ ਇੱਕ ਵੱਖਰੇ ਕਲੱਸਟਰ 'ਤੇ 4 ਨੋਡ ਸਨ। ਉਹ. Hive ਦਾ ਗ੍ਰੀਨਪਲਮ ਨਾਲੋਂ ਕੁਝ ਹਾਰਡਵੇਅਰ ਫਾਇਦਾ ਸੀ।

ਅਸੀਂ Hive ਅਤੇ GreenPlum ਵਿੱਚ ਡੇਟਾ ਨੂੰ ਅੱਪਡੇਟ ਕਰਨ ਦਾ ਇੱਕੋ ਜਿਹਾ ਕੰਮ ਕਰਨ ਵਾਲੇ ਗ੍ਰਾਫਾਂ ਦੇ ਦੋ ਜੋੜਿਆਂ 'ਤੇ ਵਿਚਾਰ ਕੀਤਾ। ਉਸੇ ਸਮੇਂ, MDW ਸੰਰਚਨਾਕਾਰ ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੇ ਗ੍ਰਾਫ ਲਾਂਚ ਕੀਤੇ ਗਏ ਸਨ:

• ਸ਼ੁਰੂਆਤੀ ਲੋਡ + ਇੱਕ Hive ਸਾਰਣੀ ਵਿੱਚ ਬੇਤਰਤੀਬੇ ਤੌਰ 'ਤੇ ਤਿਆਰ ਕੀਤੇ ਡੇਟਾ ਦਾ ਵਾਧਾ ਲੋਡ
• ਸ਼ੁਰੂਆਤੀ ਲੋਡ + ਉਸੇ ਗ੍ਰੀਨਪਲਮ ਟੇਬਲ ਵਿੱਚ ਬੇਤਰਤੀਬੇ ਤੌਰ 'ਤੇ ਤਿਆਰ ਕੀਤੇ ਡੇਟਾ ਦਾ ਵਾਧਾ ਲੋਡ

ਦੋਵਾਂ ਮਾਮਲਿਆਂ (ਹਾਈਵ ਅਤੇ ਗ੍ਰੀਨਪਲਮ) ਵਿੱਚ ਉਹਨਾਂ ਨੇ ਇੱਕੋ ਐਬ ਇਨੀਟੀਓ ਕਲੱਸਟਰ 'ਤੇ 10 ਸਮਾਨਾਂਤਰ ਥ੍ਰੈੱਡਾਂ 'ਤੇ ਅੱਪਲੋਡ ਕੀਤੇ। Ab Initio ਨੇ HDFS ਵਿੱਚ ਗਣਨਾ ਲਈ ਵਿਚਕਾਰਲੇ ਡੇਟਾ ਨੂੰ ਸੁਰੱਖਿਅਤ ਕੀਤਾ (Ab Initio ਦੇ ਰੂਪ ਵਿੱਚ, HDFS ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ MFS ਖਾਕਾ ਵਰਤਿਆ ਗਿਆ ਸੀ)। ਬੇਤਰਤੀਬੇ ਤੌਰ 'ਤੇ ਤਿਆਰ ਕੀਤੇ ਗਏ ਡੇਟਾ ਦੀ ਇੱਕ ਲਾਈਨ ਨੇ ਦੋਵਾਂ ਮਾਮਲਿਆਂ ਵਿੱਚ 200 ਬਾਈਟਾਂ 'ਤੇ ਕਬਜ਼ਾ ਕੀਤਾ।

ਨਤੀਜਾ ਇਸ ਤਰ੍ਹਾਂ ਸੀ:

ਛਪਾਕੀ:

Hive ਵਿੱਚ ਸ਼ੁਰੂਆਤੀ ਲੋਡਿੰਗ

ਕਤਾਰਾਂ ਸ਼ਾਮਲ ਕੀਤੀਆਂ ਗਈਆਂ
6 000 000
60 000 000
600 000 000

ਸ਼ੁਰੂਆਤੀ ਮਿਆਦ
ਸਕਿੰਟਾਂ ਵਿੱਚ ਡਾਊਨਲੋਡ
41
203
1 601

Hive ਵਿੱਚ ਵਧਦੀ ਲੋਡਿੰਗ

ਵਿੱਚ ਉਪਲਬਧ ਕਤਾਰਾਂ ਦੀ ਸੰਖਿਆ
ਪ੍ਰਯੋਗ ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ ਟੀਚਾ ਸਾਰਣੀ
6 000 000
60 000 000
600 000 000

ਲਾਗੂ ਕੀਤੀਆਂ ਡੈਲਟਾ ਲਾਈਨਾਂ ਦੀ ਗਿਣਤੀ
ਪ੍ਰਯੋਗ ਦੇ ਦੌਰਾਨ ਨਿਸ਼ਾਨਾ ਸਾਰਣੀ
6 000 000
6 000 000
6 000 000

ਵਾਧੇ ਦੀ ਮਿਆਦ
ਸਕਿੰਟਾਂ ਵਿੱਚ ਡਾਊਨਲੋਡ
88
299
2 541

ਗ੍ਰੀਨਪਲਮ:

ਗ੍ਰੀਨਪਲਮ ਵਿੱਚ ਸ਼ੁਰੂਆਤੀ ਲੋਡਿੰਗ

ਕਤਾਰਾਂ ਸ਼ਾਮਲ ਕੀਤੀਆਂ ਗਈਆਂ
6 000 000
60 000 000
600 000 000

ਸ਼ੁਰੂਆਤੀ ਮਿਆਦ
ਸਕਿੰਟਾਂ ਵਿੱਚ ਡਾਊਨਲੋਡ
72
360
3 631

ਗ੍ਰੀਨਪਲਮ ਵਿੱਚ ਵਧਦੀ ਲੋਡਿੰਗ

ਵਿੱਚ ਉਪਲਬਧ ਕਤਾਰਾਂ ਦੀ ਸੰਖਿਆ
ਪ੍ਰਯੋਗ ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ ਟੀਚਾ ਸਾਰਣੀ
6 000 000
60 000 000
600 000 000

ਲਾਗੂ ਕੀਤੀਆਂ ਡੈਲਟਾ ਲਾਈਨਾਂ ਦੀ ਗਿਣਤੀ
ਪ੍ਰਯੋਗ ਦੇ ਦੌਰਾਨ ਨਿਸ਼ਾਨਾ ਸਾਰਣੀ
6 000 000
6 000 000
6 000 000

ਵਾਧੇ ਦੀ ਮਿਆਦ
ਸਕਿੰਟਾਂ ਵਿੱਚ ਡਾਊਨਲੋਡ
159
199
321

ਅਸੀਂ ਦੇਖਦੇ ਹਾਂ ਕਿ Hive ਅਤੇ GreenPlum ਦੋਵਾਂ ਵਿੱਚ ਸ਼ੁਰੂਆਤੀ ਲੋਡਿੰਗ ਦੀ ਗਤੀ ਰੇਖਿਕ ਤੌਰ 'ਤੇ ਡੇਟਾ ਦੀ ਮਾਤਰਾ 'ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ ਅਤੇ, ਬਿਹਤਰ ਹਾਰਡਵੇਅਰ ਦੇ ਕਾਰਨਾਂ ਕਰਕੇ, ਇਹ ਗ੍ਰੀਨਪਲਮ ਨਾਲੋਂ Hive ਲਈ ਥੋੜ੍ਹਾ ਤੇਜ਼ ਹੈ।

Hive ਵਿੱਚ ਵਧਦੀ ਲੋਡਿੰਗ ਵੀ ਰੇਖਿਕ ਤੌਰ 'ਤੇ ਟਾਰਗੇਟ ਟੇਬਲ ਵਿੱਚ ਉਪਲਬਧ ਪਹਿਲਾਂ ਲੋਡ ਕੀਤੇ ਡੇਟਾ ਦੀ ਮਾਤਰਾ 'ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ ਅਤੇ ਵਾਲੀਅਮ ਦੇ ਵਧਣ ਨਾਲ ਕਾਫ਼ੀ ਹੌਲੀ ਹੌਲੀ ਅੱਗੇ ਵਧਦੀ ਹੈ। ਇਹ ਟੀਚਾ ਸਾਰਣੀ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਨਾਲ ਦੁਬਾਰਾ ਲਿਖਣ ਦੀ ਲੋੜ ਕਾਰਨ ਹੁੰਦਾ ਹੈ। ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਵੱਡੀਆਂ ਟੇਬਲਾਂ ਵਿੱਚ ਛੋਟੀਆਂ ਤਬਦੀਲੀਆਂ ਨੂੰ ਲਾਗੂ ਕਰਨਾ Hive ਲਈ ਇੱਕ ਵਧੀਆ ਵਰਤੋਂ ਵਾਲਾ ਕੇਸ ਨਹੀਂ ਹੈ।

ਗ੍ਰੀਨਪਲਮ ਵਿੱਚ ਵਧਦੀ ਲੋਡਿੰਗ ਟਾਰਗੇਟ ਟੇਬਲ ਵਿੱਚ ਉਪਲਬਧ ਪਹਿਲਾਂ ਲੋਡ ਕੀਤੇ ਡੇਟਾ ਦੀ ਮਾਤਰਾ 'ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ ਅਤੇ ਬਹੁਤ ਤੇਜ਼ੀ ਨਾਲ ਅੱਗੇ ਵਧਦੀ ਹੈ। ਅਜਿਹਾ SQL Joins ਅਤੇ GreenPlum ਆਰਕੀਟੈਕਚਰ ਦੇ ਕਾਰਨ ਹੋਇਆ ਹੈ, ਜੋ ਮਿਟਾਉਣ ਦੀ ਕਾਰਵਾਈ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ।

ਇਸ ਲਈ, ਗ੍ਰੀਨਪਲਮ ਡੈਲਟਾ ਨੂੰ ਡਿਲੀਟ+ਇਨਸਰਟ ਵਿਧੀ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਜੋੜਦਾ ਹੈ, ਪਰ Hive ਵਿੱਚ ਡਿਲੀਟ ਜਾਂ ਅੱਪਡੇਟ ਓਪਰੇਸ਼ਨ ਨਹੀਂ ਹੁੰਦੇ ਹਨ, ਇਸਲਈ ਪੂਰੇ ਡੇਟਾ ਐਰੇ ਨੂੰ ਇੱਕ ਵਾਧੇ ਵਾਲੇ ਅਪਡੇਟ ਦੇ ਦੌਰਾਨ ਪੂਰੀ ਤਰ੍ਹਾਂ ਦੁਬਾਰਾ ਲਿਖਣ ਲਈ ਮਜਬੂਰ ਕੀਤਾ ਗਿਆ ਸੀ। ਬੋਲਡ ਵਿੱਚ ਉਜਾਗਰ ਕੀਤੇ ਗਏ ਸੈੱਲਾਂ ਦੀ ਤੁਲਨਾ ਸਭ ਤੋਂ ਵੱਧ ਜ਼ਾਹਰ ਕਰਨ ਵਾਲੀ ਹੈ, ਕਿਉਂਕਿ ਇਹ ਸਰੋਤ-ਸੰਬੰਧਿਤ ਡਾਉਨਲੋਡਸ ਦੀ ਵਰਤੋਂ ਕਰਨ ਲਈ ਸਭ ਤੋਂ ਆਮ ਵਿਕਲਪ ਨਾਲ ਮੇਲ ਖਾਂਦੀ ਹੈ। ਅਸੀਂ ਦੇਖਦੇ ਹਾਂ ਕਿ ਗ੍ਰੀਨਪਲਮ ਨੇ ਇਸ ਟੈਸਟ ਵਿੱਚ Hive ਨੂੰ 8 ਵਾਰ ਹਰਾਇਆ।

ਨਜ਼ਦੀਕੀ ਰੀਅਲ ਟਾਈਮ ਮੋਡ ਵਿੱਚ ਗ੍ਰੀਨਪਲਮ ਦੇ ਨਾਲ ਐਬ ਇਨੀਟੀਓ ਕੰਮ ਕਰਨਾ

ਇਸ ਪ੍ਰਯੋਗ ਵਿੱਚ, ਅਸੀਂ ਗ੍ਰੀਨਪਲਮ ਟੇਬਲ ਨੂੰ ਬੇਤਰਤੀਬੇ ਤੌਰ 'ਤੇ ਤਿਆਰ ਕੀਤੇ ਅੰਕੜਿਆਂ ਦੇ ਨਾਲ ਨਜ਼ਦੀਕੀ ਅਸਲ ਸਮੇਂ ਵਿੱਚ ਅੱਪਡੇਟ ਕਰਨ ਦੀ Ab Initio ਦੀ ਯੋਗਤਾ ਦੀ ਜਾਂਚ ਕਰਾਂਗੇ। ਆਓ GreenPlum ਸਾਰਣੀ dev42_1_db_usl.TESTING_SUBJ_org_finval 'ਤੇ ਵਿਚਾਰ ਕਰੀਏ, ਜਿਸ ਨਾਲ ਅਸੀਂ ਕੰਮ ਕਰਾਂਗੇ।

ਅਸੀਂ ਇਸਦੇ ਨਾਲ ਕੰਮ ਕਰਨ ਲਈ ਤਿੰਨ Ab Initio ਗ੍ਰਾਫ ਦੀ ਵਰਤੋਂ ਕਰਾਂਗੇ:

1) ਗ੍ਰਾਫ Create_test_data.mp - HDFS ਵਿੱਚ 10 ਸਮਾਨਾਂਤਰ ਥਰਿੱਡਾਂ ਵਿੱਚ 6 ਕਤਾਰਾਂ ਨਾਲ ਡਾਟਾ ਫਾਈਲਾਂ ਬਣਾਉਂਦਾ ਹੈ। ਡੇਟਾ ਬੇਤਰਤੀਬ ਹੈ, ਇਸਦੀ ਬਣਤਰ ਨੂੰ ਸਾਡੀ ਸਾਰਣੀ ਵਿੱਚ ਸੰਮਿਲਿਤ ਕਰਨ ਲਈ ਵਿਵਸਥਿਤ ਕੀਤਾ ਗਿਆ ਹੈ

2) ਗ੍ਰਾਫ mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset – 10 ਪੈਰਲਲ ਥ੍ਰੈੱਡਾਂ ਵਿੱਚ ਸਾਡੀ ਸਾਰਣੀ ਵਿੱਚ ਡੇਟਾ ਸੰਮਿਲਨ ਸ਼ੁਰੂ ਕਰਕੇ MDW ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਗ੍ਰਾਫ (ਗ੍ਰਾਫ (1) ਦੁਆਰਾ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਟੈਸਟ ਡੇਟਾ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ)

3) ਗ੍ਰਾਫ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset – ਤਾਜ਼ੇ ਪ੍ਰਾਪਤ ਕੀਤੇ ਡੇਟਾ (ਡੈਲਟਾ) ਦੇ ਇੱਕ ਹਿੱਸੇ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ 10 ਸਮਾਨਾਂਤਰ ਥਰਿੱਡਾਂ ਵਿੱਚ ਸਾਡੀ ਸਾਰਣੀ ਦੇ ਵਾਧੇ ਵਾਲੇ ਅੱਪਡੇਟ ਲਈ MDW ਦੁਆਰਾ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਇੱਕ ਗ੍ਰਾਫ (1) ਦੁਆਰਾ ਤਿਆਰ ਕੀਤਾ ਗਿਆ

ਚਲੋ ਹੇਠਾਂ ਦਿੱਤੀ ਸਕ੍ਰਿਪਟ ਨੂੰ NRT ਮੋਡ ਵਿੱਚ ਚਲਾਉਂਦੇ ਹਾਂ:

• 6 ਟੈਸਟ ਲਾਈਨਾਂ ਤਿਆਰ ਕਰੋ
• ਇੱਕ ਖਾਲੀ ਸਾਰਣੀ ਵਿੱਚ 6 ਟੈਸਟ ਕਤਾਰਾਂ ਨੂੰ ਸੰਮਿਲਿਤ ਕਰੋ ਇੱਕ ਸ਼ੁਰੂਆਤੀ ਲੋਡ ਕਰੋ
• ਵਾਧੇ ਵਾਲੇ ਡਾਊਨਲੋਡ ਨੂੰ 5 ਵਾਰ ਦੁਹਰਾਓ
  • 6 ਟੈਸਟ ਲਾਈਨਾਂ ਤਿਆਰ ਕਰੋ
  • ਸਾਰਣੀ ਵਿੱਚ 6 ਟੈਸਟ ਕਤਾਰਾਂ ਦਾ ਇੱਕ ਵਾਧਾ ਸੰਮਿਲਿਤ ਕਰੋ (ਇਸ ਸਥਿਤੀ ਵਿੱਚ, ਵੈਧ_to_ts ਮਿਆਦ ਪੁੱਗਣ ਦਾ ਸਮਾਂ ਪੁਰਾਣੇ ਡੇਟਾ ਤੇ ਸੈੱਟ ਕੀਤਾ ਗਿਆ ਹੈ ਅਤੇ ਉਸੇ ਪ੍ਰਾਇਮਰੀ ਕੁੰਜੀ ਨਾਲ ਹੋਰ ਤਾਜ਼ਾ ਡੇਟਾ ਸ਼ਾਮਲ ਕੀਤਾ ਗਿਆ ਹੈ)

ਇਹ ਦ੍ਰਿਸ਼ ਕਿਸੇ ਖਾਸ ਕਾਰੋਬਾਰੀ ਪ੍ਰਣਾਲੀ ਦੇ ਅਸਲ ਸੰਚਾਲਨ ਦੇ ਮੋਡ ਦੀ ਨਕਲ ਕਰਦਾ ਹੈ - ਨਵੇਂ ਡੇਟਾ ਦਾ ਕਾਫ਼ੀ ਵੱਡਾ ਹਿੱਸਾ ਅਸਲ ਸਮੇਂ ਵਿੱਚ ਪ੍ਰਗਟ ਹੁੰਦਾ ਹੈ ਅਤੇ ਤੁਰੰਤ ਗ੍ਰੀਨਪਲਮ ਵਿੱਚ ਡੋਲ੍ਹਿਆ ਜਾਂਦਾ ਹੈ।

ਆਉ ਹੁਣ ਸਕ੍ਰਿਪਟ ਦੇ ਲੌਗ ਨੂੰ ਵੇਖੀਏ:

2020-06-04 11:49:11 ਵਜੇ Create_test_data.input.pset ਸ਼ੁਰੂ ਕਰੋ
Create_test_data.input.pset ਨੂੰ 2020-06-04 11:49:37 'ਤੇ ਪੂਰਾ ਕਰੋ
mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:49:37 ਵਜੇ ਸ਼ੁਰੂ ਕਰੋ
mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:50:42 'ਤੇ ਸਮਾਪਤ ਕਰੋ
2020-06-04 11:50:42 ਵਜੇ Create_test_data.input.pset ਸ਼ੁਰੂ ਕਰੋ
Create_test_data.input.pset ਨੂੰ 2020-06-04 11:51:06 'ਤੇ ਪੂਰਾ ਕਰੋ
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:51:06 ਵਜੇ ਸ਼ੁਰੂ ਕਰੋ
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:53:41 'ਤੇ ਪੂਰਾ ਕਰੋ
2020-06-04 11:53:41 ਵਜੇ Create_test_data.input.pset ਸ਼ੁਰੂ ਕਰੋ
Create_test_data.input.pset ਨੂੰ 2020-06-04 11:54:04 'ਤੇ ਪੂਰਾ ਕਰੋ
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:54:04 ਵਜੇ ਸ਼ੁਰੂ ਕਰੋ
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:56:51 'ਤੇ ਪੂਰਾ ਕਰੋ
2020-06-04 11:56:51 ਵਜੇ Create_test_data.input.pset ਸ਼ੁਰੂ ਕਰੋ
Create_test_data.input.pset ਨੂੰ 2020-06-04 11:57:14 'ਤੇ ਪੂਰਾ ਕਰੋ
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:57:14 ਵਜੇ ਸ਼ੁਰੂ ਕਰੋ
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:59:55 'ਤੇ ਪੂਰਾ ਕਰੋ
2020-06-04 11:59:55 ਵਜੇ Create_test_data.input.pset ਸ਼ੁਰੂ ਕਰੋ
Create_test_data.input.pset ਨੂੰ 2020-06-04 12:00:23 'ਤੇ ਪੂਰਾ ਕਰੋ
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 12:00:23 ਵਜੇ ਸ਼ੁਰੂ ਕਰੋ
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 12:03:23 'ਤੇ ਪੂਰਾ ਕਰੋ
2020-06-04 12:03:23 ਵਜੇ Create_test_data.input.pset ਸ਼ੁਰੂ ਕਰੋ
Create_test_data.input.pset ਨੂੰ 2020-06-04 12:03:49 'ਤੇ ਪੂਰਾ ਕਰੋ
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 12:03:49 ਵਜੇ ਸ਼ੁਰੂ ਕਰੋ
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 12:06:46 'ਤੇ ਪੂਰਾ ਕਰੋ

ਇਹ ਤਸਵੀਰ ਸਾਹਮਣੇ ਆਉਂਦੀ ਹੈ:

ਗਰਾਫ਼
ਸ਼ੁਰੂਆਤੀ ਸਮਾਂ
ਸਮਾਂ ਸਮਾਪਤ ਕਰੋ
ਲੰਬਾਈ

ਬਣਾਓ_test_data.input.pset
04.06.2020 11: 49: 11
04.06.2020 11: 49: 37
00:00:26

mdw_load.day_one.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 49: 37
04.06.2020 11: 50: 42
00:01:05

ਬਣਾਓ_test_data.input.pset
04.06.2020 11: 50: 42
04.06.2020 11: 51: 06
00:00:24

mdw_load.regular.current।
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 51: 06
04.06.2020 11: 53: 41
00:02:35

ਬਣਾਓ_test_data.input.pset
04.06.2020 11: 53: 41
04.06.2020 11: 54: 04
00:00:23

mdw_load.regular.current।
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 54: 04
04.06.2020 11: 56: 51
00:02:47

ਬਣਾਓ_test_data.input.pset
04.06.2020 11: 56: 51
04.06.2020 11: 57: 14
00:00:23

mdw_load.regular.current।
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 57: 14
04.06.2020 11: 59: 55
00:02:41

ਬਣਾਓ_test_data.input.pset
04.06.2020 11: 59: 55
04.06.2020 12: 00: 23
00:00:28

mdw_load.regular.current।
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 12: 00: 23
04.06.2020 12: 03: 23
00:03:00

ਬਣਾਓ_test_data.input.pset
04.06.2020 12: 03: 23
04.06.2020 12: 03: 49
00:00:26

mdw_load.regular.current।
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 12: 03: 49
04.06.2020 12: 06: 46
00:02:57

ਅਸੀਂ ਦੇਖਦੇ ਹਾਂ ਕਿ 6 ਮਿੰਟਾਂ ਵਿੱਚ 000 ਇੰਕਰੀਮੈਂਟ ਲਾਈਨਾਂ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਜੋ ਕਿ ਕਾਫ਼ੀ ਤੇਜ਼ ਹੈ।
ਟੀਚੇ ਦੀ ਸਾਰਣੀ ਵਿੱਚ ਡੇਟਾ ਨੂੰ ਇਸ ਤਰ੍ਹਾਂ ਵੰਡਿਆ ਗਿਆ:

select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;

ਤੁਸੀਂ ਗ੍ਰਾਫਾਂ ਨੂੰ ਲਾਂਚ ਕੀਤੇ ਜਾਣ ਦੇ ਸਮੇਂ ਲਈ ਸੰਮਿਲਿਤ ਡੇਟਾ ਦਾ ਪੱਤਰ ਵਿਹਾਰ ਦੇਖ ਸਕਦੇ ਹੋ।
ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਤੁਸੀਂ ਗ੍ਰੀਨਪੱਲਮ ਵਿੱਚ ਬਹੁਤ ਜ਼ਿਆਦਾ ਫ੍ਰੀਕੁਐਂਸੀ ਦੇ ਨਾਲ ਗ੍ਰੀਨਪਲਮ ਵਿੱਚ ਡੇਟਾ ਦੀ ਵਧਦੀ ਲੋਡਿੰਗ ਨੂੰ ਚਲਾ ਸਕਦੇ ਹੋ ਅਤੇ ਗ੍ਰੀਨਪਲਮ ਵਿੱਚ ਇਸ ਡੇਟਾ ਨੂੰ ਸੰਮਿਲਿਤ ਕਰਨ ਦੀ ਉੱਚ ਗਤੀ ਦੇਖ ਸਕਦੇ ਹੋ। ਬੇਸ਼ੱਕ, ਇੱਕ ਸਕਿੰਟ ਵਿੱਚ ਇੱਕ ਵਾਰ ਲਾਂਚ ਕਰਨਾ ਸੰਭਵ ਨਹੀਂ ਹੋਵੇਗਾ, ਕਿਉਂਕਿ ਐਬ ਇਨੀਟਿਓ, ਕਿਸੇ ਵੀ ETL ਟੂਲ ਵਾਂਗ, ਲਾਂਚ ਕੀਤੇ ਜਾਣ 'ਤੇ "ਸ਼ੁਰੂ ਕਰਨ" ਲਈ ਸਮੇਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।

ਸਿੱਟਾ

Ab Initio ਵਰਤਮਾਨ ਵਿੱਚ Sberbank ਵਿੱਚ ਇੱਕ ਯੂਨੀਫਾਈਡ ਸਿਮੈਂਟਿਕ ਡੇਟਾ ਲੇਅਰ (ESS) ਬਣਾਉਣ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ। ਇਸ ਪ੍ਰੋਜੈਕਟ ਵਿੱਚ ਵੱਖ-ਵੱਖ ਬੈਂਕਿੰਗ ਕਾਰੋਬਾਰੀ ਸੰਸਥਾਵਾਂ ਦੇ ਰਾਜ ਦਾ ਇੱਕ ਯੂਨੀਫਾਈਡ ਸੰਸਕਰਣ ਬਣਾਉਣਾ ਸ਼ਾਮਲ ਹੈ। ਜਾਣਕਾਰੀ ਵੱਖ-ਵੱਖ ਸਰੋਤਾਂ ਤੋਂ ਮਿਲਦੀ ਹੈ, ਜਿਸ ਦੀਆਂ ਪ੍ਰਤੀਕ੍ਰਿਤੀਆਂ ਹਡੂਪ 'ਤੇ ਤਿਆਰ ਕੀਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ। ਕਾਰੋਬਾਰੀ ਲੋੜਾਂ ਦੇ ਅਧਾਰ ਤੇ, ਇੱਕ ਡੇਟਾ ਮਾਡਲ ਤਿਆਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਅਤੇ ਡੇਟਾ ਪਰਿਵਰਤਨ ਦਾ ਵਰਣਨ ਕੀਤਾ ਜਾਂਦਾ ਹੈ. Ab Initio ESN ਵਿੱਚ ਜਾਣਕਾਰੀ ਲੋਡ ਕਰਦਾ ਹੈ ਅਤੇ ਡਾਉਨਲੋਡ ਕੀਤਾ ਡੇਟਾ ਨਾ ਸਿਰਫ਼ ਆਪਣੇ ਆਪ ਵਿੱਚ ਕਾਰੋਬਾਰ ਲਈ ਦਿਲਚਸਪੀ ਰੱਖਦਾ ਹੈ, ਬਲਕਿ ਡੇਟਾ ਮਾਰਟ ਬਣਾਉਣ ਲਈ ਇੱਕ ਸਰੋਤ ਵਜੋਂ ਵੀ ਕੰਮ ਕਰਦਾ ਹੈ। ਉਸੇ ਸਮੇਂ, ਉਤਪਾਦ ਦੀ ਕਾਰਜਕੁਸ਼ਲਤਾ ਤੁਹਾਨੂੰ ਰਿਸੀਵਰ (ਹਾਈਵ, ਗ੍ਰੀਨਪਲਮ, ਟੈਰਾਡੇਟਾ, ਓਰੇਕਲ) ਦੇ ਤੌਰ 'ਤੇ ਵੱਖ-ਵੱਖ ਪ੍ਰਣਾਲੀਆਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ, ਜੋ ਕਿਸੇ ਕਾਰੋਬਾਰ ਲਈ ਲੋੜੀਂਦੇ ਵੱਖ-ਵੱਖ ਫਾਰਮੈਟਾਂ ਵਿੱਚ ਆਸਾਨੀ ਨਾਲ ਡਾਟਾ ਤਿਆਰ ਕਰਨਾ ਸੰਭਵ ਬਣਾਉਂਦਾ ਹੈ।

Ab Initio ਦੀਆਂ ਸਮਰੱਥਾਵਾਂ ਵਿਆਪਕ ਹਨ; ਉਦਾਹਰਨ ਲਈ, ਸ਼ਾਮਲ ਕੀਤਾ ਗਿਆ MDW ਫਰੇਮਵਰਕ ਬਾਕਸ ਤੋਂ ਬਾਹਰ ਤਕਨੀਕੀ ਅਤੇ ਵਪਾਰਕ ਇਤਿਹਾਸਕ ਡੇਟਾ ਬਣਾਉਣਾ ਸੰਭਵ ਬਣਾਉਂਦਾ ਹੈ। ਡਿਵੈਲਪਰਾਂ ਲਈ, ਐਬ ਇਨੀਟੀਓ ਪਹੀਏ ਨੂੰ ਮੁੜ ਖੋਜਣ ਲਈ ਨਹੀਂ, ਪਰ ਬਹੁਤ ਸਾਰੇ ਮੌਜੂਦਾ ਕਾਰਜਸ਼ੀਲ ਭਾਗਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਸੰਭਵ ਬਣਾਉਂਦਾ ਹੈ, ਜੋ ਕਿ ਡਾਟਾ ਨਾਲ ਕੰਮ ਕਰਨ ਵੇਲੇ ਜ਼ਰੂਰੀ ਤੌਰ 'ਤੇ ਲਾਇਬ੍ਰੇਰੀਆਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।

ਲੇਖਕ Sberbank SberProfi DWH/BigData ਦੇ ਪੇਸ਼ੇਵਰ ਭਾਈਚਾਰੇ ਵਿੱਚ ਮਾਹਰ ਹੈ। SberProfi DWH/BigData ਪੇਸ਼ੇਵਰ ਭਾਈਚਾਰਾ ਹੈਡੂਪ ਈਕੋਸਿਸਟਮ, ਟੈਰਾਡੇਟਾ, ਓਰੇਕਲ ਡੀਬੀ, ਗ੍ਰੀਨਪਲਮ, ਅਤੇ ਨਾਲ ਹੀ BI ਟੂਲ Qlik, SAP BO, Tableau, ਆਦਿ ਵਰਗੇ ਖੇਤਰਾਂ ਵਿੱਚ ਯੋਗਤਾਵਾਂ ਨੂੰ ਵਿਕਸਤ ਕਰਨ ਲਈ ਜ਼ਿੰਮੇਵਾਰ ਹੈ।

ਸਰੋਤ: www.habr.com