ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਪਲੇਟਫਾਰਮਾਂ ਵਿੱਚ ਘੱਟ-ਕੋਡ ਦੀ ਵਰਤੋਂ

ਪਿਆਰੇ ਪਾਠਕੋ, ਚੰਗਾ ਦਿਨ!

ਜਲਦੀ ਜਾਂ ਬਾਅਦ ਵਿੱਚ ਡੇਟਾ ਨੂੰ ਇਕੱਤਰ ਕਰਨ ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਲਈ ਆਈਟੀ ਪਲੇਟਫਾਰਮ ਬਣਾਉਣ ਦਾ ਕੰਮ ਕਿਸੇ ਵੀ ਕੰਪਨੀ ਲਈ ਪੈਦਾ ਹੁੰਦਾ ਹੈ ਜਿਸਦਾ ਕਾਰੋਬਾਰ ਇੱਕ ਬੌਧਿਕ ਤੌਰ 'ਤੇ ਲੋਡ ਕੀਤੇ ਸੇਵਾ ਪ੍ਰਦਾਨ ਕਰਨ ਵਾਲੇ ਮਾਡਲ ਜਾਂ ਤਕਨੀਕੀ ਤੌਰ 'ਤੇ ਗੁੰਝਲਦਾਰ ਉਤਪਾਦਾਂ ਦੀ ਸਿਰਜਣਾ 'ਤੇ ਅਧਾਰਤ ਹੈ। ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਪਲੇਟਫਾਰਮ ਬਣਾਉਣਾ ਇੱਕ ਗੁੰਝਲਦਾਰ ਅਤੇ ਸਮਾਂ ਬਰਬਾਦ ਕਰਨ ਵਾਲਾ ਕੰਮ ਹੈ। ਹਾਲਾਂਕਿ, ਕਿਸੇ ਵੀ ਕੰਮ ਨੂੰ ਸਰਲ ਬਣਾਇਆ ਜਾ ਸਕਦਾ ਹੈ. ਇਸ ਲੇਖ ਵਿੱਚ ਮੈਂ ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਹੱਲ ਬਣਾਉਣ ਵਿੱਚ ਮਦਦ ਲਈ ਘੱਟ-ਕੋਡ ਟੂਲਸ ਦੀ ਵਰਤੋਂ ਕਰਨ ਵਿੱਚ ਆਪਣਾ ਅਨੁਭਵ ਸਾਂਝਾ ਕਰਨਾ ਚਾਹੁੰਦਾ ਹਾਂ। ਇਹ ਤਜਰਬਾ ਨਿਓਫਲੈਕਸ ਕੰਪਨੀ ਦੇ ਬਿਗ ਡੇਟਾ ਸੋਲਿਊਸ਼ਨ ਦਿਸ਼ਾ ਵਿੱਚ ਕਈ ਪ੍ਰੋਜੈਕਟਾਂ ਨੂੰ ਲਾਗੂ ਕਰਨ ਦੌਰਾਨ ਹਾਸਲ ਕੀਤਾ ਗਿਆ ਸੀ। 2005 ਤੋਂ, ਨਿਓਫਲੈਕਸ ਦੀ ਬਿਗ ਡਾਟਾ ਸੋਲਿਊਸ਼ਨ ਦਿਸ਼ਾ ਡਾਟਾ ਵੇਅਰਹਾਊਸ ਅਤੇ ਝੀਲਾਂ ਬਣਾਉਣ, ਸੂਚਨਾ ਪ੍ਰੋਸੈਸਿੰਗ ਦੀ ਗਤੀ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਦੀਆਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਅਤੇ ਡਾਟਾ ਗੁਣਵੱਤਾ ਪ੍ਰਬੰਧਨ ਲਈ ਇੱਕ ਵਿਧੀ 'ਤੇ ਕੰਮ ਕਰਨ ਦੇ ਮੁੱਦਿਆਂ ਨਾਲ ਨਜਿੱਠ ਰਹੀ ਹੈ।

ਕੋਈ ਵੀ ਕਮਜ਼ੋਰ ਅਤੇ/ਜਾਂ ਮਜ਼ਬੂਤ ​​ਸਟ੍ਰਕਚਰਡ ਡੇਟਾ ਦੇ ਚੇਤੰਨ ਸੰਚਵ ਤੋਂ ਬਚਣ ਦੇ ਯੋਗ ਨਹੀਂ ਹੋਵੇਗਾ। ਸ਼ਾਇਦ ਭਾਵੇਂ ਅਸੀਂ ਛੋਟੇ ਕਾਰੋਬਾਰਾਂ ਬਾਰੇ ਗੱਲ ਕਰ ਰਹੇ ਹਾਂ. ਆਖ਼ਰਕਾਰ, ਜਦੋਂ ਇੱਕ ਕਾਰੋਬਾਰ ਨੂੰ ਸਕੇਲ ਕਰਨਾ, ਇੱਕ ਹੋਨਹਾਰ ਉੱਦਮੀ ਨੂੰ ਇੱਕ ਵਫ਼ਾਦਾਰੀ ਪ੍ਰੋਗਰਾਮ ਵਿਕਸਤ ਕਰਨ ਦੇ ਮੁੱਦਿਆਂ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪਏਗਾ, ਵਿਕਰੀ ਦੇ ਬਿੰਦੂਆਂ ਦੀ ਪ੍ਰਭਾਵਸ਼ੀਲਤਾ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨਾ ਚਾਹੇਗਾ, ਨਿਸ਼ਾਨਾ ਇਸ਼ਤਿਹਾਰਬਾਜ਼ੀ ਬਾਰੇ ਸੋਚੇਗਾ, ਅਤੇ ਨਾਲ ਵਾਲੇ ਉਤਪਾਦਾਂ ਦੀ ਮੰਗ ਤੋਂ ਉਲਝ ਜਾਵੇਗਾ। . ਪਹਿਲੇ ਅਨੁਮਾਨ ਤੱਕ, ਸਮੱਸਿਆ ਨੂੰ "ਗੋਡੇ 'ਤੇ" ਹੱਲ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਪਰ ਜਿਵੇਂ ਕਿ ਕਾਰੋਬਾਰ ਵਧਦਾ ਹੈ, ਇੱਕ ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਪਲੇਟਫਾਰਮ 'ਤੇ ਆਉਣਾ ਅਜੇ ਵੀ ਅਟੱਲ ਹੈ।

ਹਾਲਾਂਕਿ, ਕਿਸ ਸਥਿਤੀ ਵਿੱਚ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਾਰਜ "ਰਾਕੇਟ ਸਾਇੰਸ" ਕਲਾਸ ਸਮੱਸਿਆਵਾਂ ਵਿੱਚ ਵਿਕਸਤ ਹੋ ਸਕਦੇ ਹਨ? ਸ਼ਾਇਦ ਇਸ ਸਮੇਂ ਜਦੋਂ ਅਸੀਂ ਅਸਲ ਵਿੱਚ ਵੱਡੇ ਡੇਟਾ ਬਾਰੇ ਗੱਲ ਕਰ ਰਹੇ ਹਾਂ.
ਰਾਕੇਟ ਸਾਇੰਸ ਨੂੰ ਆਸਾਨ ਬਣਾਉਣ ਲਈ, ਤੁਸੀਂ ਹਾਥੀ ਦੇ ਟੁਕੜੇ ਨੂੰ ਟੁਕੜੇ ਕਰਕੇ ਖਾ ਸਕਦੇ ਹੋ।

ਤੁਹਾਡੀਆਂ ਐਪਲੀਕੇਸ਼ਨਾਂ/ਸੇਵਾਵਾਂ/ਮਾਈਕ੍ਰੋਸਰਵਿਸਿਜ਼ ਜਿੰਨੀਆਂ ਜ਼ਿਆਦਾ ਵੱਖਰੀਆਂ ਅਤੇ ਖੁਦਮੁਖਤਿਆਰੀ ਹਨ, ਤੁਹਾਡੇ ਲਈ, ਤੁਹਾਡੇ ਸਹਿਯੋਗੀਆਂ ਅਤੇ ਪੂਰੇ ਕਾਰੋਬਾਰ ਲਈ ਹਾਥੀ ਨੂੰ ਹਜ਼ਮ ਕਰਨਾ ਓਨਾ ਹੀ ਆਸਾਨ ਹੋਵੇਗਾ।

DevOps ਟੀਮਾਂ ਦੇ ਇੰਜਨੀਅਰਿੰਗ ਅਭਿਆਸਾਂ ਦੇ ਆਧਾਰ 'ਤੇ ਲੈਂਡਸਕੇਪ ਨੂੰ ਦੁਬਾਰਾ ਬਣਾਉਣ ਦੇ ਨਾਲ, ਸਾਡੇ ਲਗਭਗ ਸਾਰੇ ਗਾਹਕ ਇਸ ਸਥਿਤੀ 'ਤੇ ਆਏ ਸਨ।

ਪਰ ਇੱਕ "ਵੱਖਰੀ, ਹਾਥੀ" ਖੁਰਾਕ ਦੇ ਨਾਲ ਵੀ, ਸਾਡੇ ਕੋਲ IT ਲੈਂਡਸਕੇਪ ਦੇ "ਓਵਰਸੈਚੁਰੇਸ਼ਨ" ਦਾ ਇੱਕ ਚੰਗਾ ਮੌਕਾ ਹੈ। ਇਸ ਸਮੇਂ ਰੁਕਣਾ, ਸਾਹ ਛੱਡਣਾ ਅਤੇ ਪਾਸੇ ਵੱਲ ਵੇਖਣਾ ਮਹੱਤਵਪੂਰਣ ਹੈ ਘੱਟ-ਕੋਡ ਇੰਜੀਨੀਅਰਿੰਗ ਪਲੇਟਫਾਰਮ.

ਬਹੁਤ ਸਾਰੇ ਡਿਵੈਲਪਰ ਘੱਟ-ਕੋਡ ਪ੍ਰਣਾਲੀਆਂ ਦੇ UI ਇੰਟਰਫੇਸਾਂ ਵਿੱਚ "ਖਿੱਚਣ" ਤੀਰ ਵੱਲ ਸਿੱਧੇ ਕੋਡ ਲਿਖਣ ਤੋਂ ਦੂਰ ਜਾਣ 'ਤੇ ਆਪਣੇ ਕਰੀਅਰ ਦੇ ਅੰਤਮ ਅੰਤ ਦੀ ਸੰਭਾਵਨਾ ਤੋਂ ਡਰੇ ਹੋਏ ਹਨ। ਪਰ ਮਸ਼ੀਨ ਟੂਲਜ਼ ਦੇ ਆਗਮਨ ਨੇ ਇੰਜੀਨੀਅਰਾਂ ਦੇ ਗਾਇਬ ਹੋਣ ਦੀ ਅਗਵਾਈ ਨਹੀਂ ਕੀਤੀ, ਸਗੋਂ ਉਨ੍ਹਾਂ ਦੇ ਕੰਮ ਨੂੰ ਇੱਕ ਨਵੇਂ ਪੱਧਰ 'ਤੇ ਲਿਆਂਦਾ!

ਆਉ ਪਤਾ ਕਰੀਏ ਕਿ ਕਿਉਂ।

ਲੌਜਿਸਟਿਕਸ, ਦੂਰਸੰਚਾਰ ਉਦਯੋਗ, ਮੀਡੀਆ ਖੋਜ, ਵਿੱਤੀ ਖੇਤਰ ਦੇ ਖੇਤਰ ਵਿੱਚ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਹਮੇਸ਼ਾਂ ਹੇਠਾਂ ਦਿੱਤੇ ਪ੍ਰਸ਼ਨਾਂ ਨਾਲ ਜੁੜਿਆ ਹੁੰਦਾ ਹੈ:

• ਆਟੋਮੈਟਿਕ ਵਿਸ਼ਲੇਸ਼ਣ ਦੀ ਗਤੀ;
• ਮੁੱਖ ਡਾਟਾ ਉਤਪਾਦਨ ਪ੍ਰਵਾਹ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕੀਤੇ ਬਿਨਾਂ ਪ੍ਰਯੋਗ ਕਰਨ ਦੀ ਸਮਰੱਥਾ;
• ਤਿਆਰ ਡੇਟਾ ਦੀ ਭਰੋਸੇਯੋਗਤਾ;
• ਟਰੈਕਿੰਗ ਅਤੇ ਸੰਸਕਰਣ ਬਦਲੋ;
• ਡੇਟਾ ਪ੍ਰੋਵੇਂਸ, ਡੇਟਾ ਵੰਸ਼, ਸੀਡੀਸੀ;
• ਉਤਪਾਦਨ ਦੇ ਵਾਤਾਵਰਣ ਲਈ ਨਵੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੀ ਤੇਜ਼ ਸਪੁਰਦਗੀ;
• ਅਤੇ ਬਦਨਾਮ: ਵਿਕਾਸ ਅਤੇ ਸਹਾਇਤਾ ਦੀ ਲਾਗਤ.

ਭਾਵ, ਇੰਜੀਨੀਅਰਾਂ ਕੋਲ ਉੱਚ-ਪੱਧਰੀ ਕਾਰਜਾਂ ਦੀ ਇੱਕ ਵੱਡੀ ਗਿਣਤੀ ਹੁੰਦੀ ਹੈ, ਜੋ ਘੱਟ-ਪੱਧਰੀ ਵਿਕਾਸ ਕਾਰਜਾਂ ਪ੍ਰਤੀ ਆਪਣੀ ਚੇਤਨਾ ਨੂੰ ਸਾਫ਼ ਕਰਕੇ ਹੀ ਲੋੜੀਂਦੀ ਕੁਸ਼ਲਤਾ ਨਾਲ ਪੂਰੇ ਕੀਤੇ ਜਾ ਸਕਦੇ ਹਨ।

ਡਿਵੈਲਪਰਾਂ ਲਈ ਨਵੇਂ ਪੱਧਰ 'ਤੇ ਜਾਣ ਲਈ ਜ਼ਰੂਰੀ ਸ਼ਰਤਾਂ ਕਾਰੋਬਾਰ ਦਾ ਵਿਕਾਸ ਅਤੇ ਡਿਜੀਟਲਾਈਜ਼ੇਸ਼ਨ ਸਨ। ਡਿਵੈਲਪਰ ਦਾ ਮੁੱਲ ਵੀ ਬਦਲ ਰਿਹਾ ਹੈ: ਡਿਵੈਲਪਰਾਂ ਦੀ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਘਾਟ ਹੈ ਜੋ ਸਵੈਚਲਿਤ ਹੋਣ ਵਾਲੇ ਕਾਰੋਬਾਰ ਦੇ ਸੰਕਲਪਾਂ ਵਿੱਚ ਆਪਣੇ ਆਪ ਨੂੰ ਲੀਨ ਕਰ ਸਕਦੇ ਹਨ।

ਆਓ ਘੱਟ-ਪੱਧਰੀ ਅਤੇ ਉੱਚ-ਪੱਧਰੀ ਪ੍ਰੋਗਰਾਮਿੰਗ ਭਾਸ਼ਾਵਾਂ ਦੇ ਨਾਲ ਇੱਕ ਸਮਾਨਤਾ ਖਿੱਚੀਏ। ਹੇਠਲੇ-ਪੱਧਰੀ ਭਾਸ਼ਾਵਾਂ ਤੋਂ ਉੱਚ-ਪੱਧਰੀ ਭਾਸ਼ਾਵਾਂ ਵੱਲ ਪਰਿਵਰਤਨ "ਹਾਰਡਵੇਅਰ ਦੀ ਭਾਸ਼ਾ ਵਿੱਚ ਸਿੱਧੇ ਨਿਰਦੇਸ਼ਾਂ" ਤੋਂ "ਲੋਕਾਂ ਦੀ ਭਾਸ਼ਾ ਵਿੱਚ ਨਿਰਦੇਸ਼ਾਂ" ਵੱਲ ਇੱਕ ਤਬਦੀਲੀ ਹੈ। ਭਾਵ, ਐਬਸਟਰੈਕਸ਼ਨ ਦੀ ਕੁਝ ਪਰਤ ਜੋੜਨਾ. ਇਸ ਸਥਿਤੀ ਵਿੱਚ, ਉੱਚ-ਪੱਧਰੀ ਪ੍ਰੋਗਰਾਮਿੰਗ ਭਾਸ਼ਾਵਾਂ ਤੋਂ ਲੋ-ਕੋਡ ਪਲੇਟਫਾਰਮਾਂ ਵਿੱਚ ਤਬਦੀਲੀ "ਲੋਕਾਂ ਦੀ ਭਾਸ਼ਾ ਵਿੱਚ ਨਿਰਦੇਸ਼ਾਂ" ਤੋਂ "ਵਪਾਰ ਦੀ ਭਾਸ਼ਾ ਵਿੱਚ ਨਿਰਦੇਸ਼ਾਂ" ਵੱਲ ਇੱਕ ਤਬਦੀਲੀ ਹੈ। ਜੇ ਇੱਥੇ ਡਿਵੈਲਪਰ ਹਨ ਜੋ ਇਸ ਤੱਥ ਤੋਂ ਦੁਖੀ ਹਨ, ਤਾਂ ਉਹ ਉਦਾਸ ਹੋ ਗਏ ਹਨ, ਸ਼ਾਇਦ, ਜਾਵਾ ਸਕ੍ਰਿਪਟ ਦੇ ਜਨਮ ਤੋਂ ਬਾਅਦ, ਜੋ ਕਿ ਐਰੇ ਲੜੀਬੱਧ ਫੰਕਸ਼ਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ. ਅਤੇ ਇਹ ਫੰਕਸ਼ਨ, ਬੇਸ਼ਕ, ਉਸੇ ਉੱਚ-ਪੱਧਰੀ ਪ੍ਰੋਗਰਾਮਿੰਗ ਦੇ ਦੂਜੇ ਸਾਧਨਾਂ ਦੁਆਰਾ ਹੁੱਡ ਦੇ ਹੇਠਾਂ ਸੌਫਟਵੇਅਰ ਲਾਗੂ ਕਰਨਾ ਹੈ.

ਇਸ ਲਈ, ਲੋਅ-ਕੋਡ ਸਿਰਫ਼ ਐਬਸਟਰੈਕਸ਼ਨ ਦੇ ਇੱਕ ਹੋਰ ਪੱਧਰ ਦੀ ਦਿੱਖ ਹੈ।

ਘੱਟ-ਕੋਡ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਅਨੁਭਵ ਨੂੰ ਲਾਗੂ ਕੀਤਾ ਗਿਆ ਹੈ

ਲੋਅ-ਕੋਡ ਦਾ ਵਿਸ਼ਾ ਕਾਫ਼ੀ ਵਿਆਪਕ ਹੈ, ਪਰ ਹੁਣ ਮੈਂ ਸਾਡੇ ਪ੍ਰੋਜੈਕਟਾਂ ਵਿੱਚੋਂ ਇੱਕ ਦੀ ਉਦਾਹਰਣ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ "ਘੱਟ-ਕੋਡ ਧਾਰਨਾਵਾਂ" ਦੇ ਵਿਹਾਰਕ ਉਪਯੋਗ ਬਾਰੇ ਗੱਲ ਕਰਨਾ ਚਾਹਾਂਗਾ।

ਨਿਓਫਲੈਕਸ ਦਾ ਬਿਗ ਡੇਟਾ ਸੋਲਿਊਸ਼ਨ ਡਿਵੀਜ਼ਨ ਕਾਰੋਬਾਰ ਦੇ ਵਿੱਤੀ ਖੇਤਰ, ਡਾਟਾ ਵੇਅਰਹਾਊਸ ਅਤੇ ਝੀਲਾਂ ਬਣਾਉਣ ਅਤੇ ਵੱਖ-ਵੱਖ ਰਿਪੋਰਟਿੰਗ ਨੂੰ ਸਵੈਚਲਿਤ ਕਰਨ ਵਿੱਚ ਵਧੇਰੇ ਮਾਹਰ ਹੈ। ਇਸ ਸਥਾਨ ਵਿੱਚ, ਘੱਟ-ਕੋਡ ਦੀ ਵਰਤੋਂ ਲੰਬੇ ਸਮੇਂ ਤੋਂ ਇੱਕ ਮਿਆਰ ਬਣ ਗਈ ਹੈ. ਹੋਰ ਘੱਟ-ਕੋਡ ਸਾਧਨਾਂ ਵਿੱਚ, ਅਸੀਂ ਈਟੀਐਲ ਪ੍ਰਕਿਰਿਆਵਾਂ ਨੂੰ ਸੰਗਠਿਤ ਕਰਨ ਲਈ ਟੂਲਸ ਦਾ ਜ਼ਿਕਰ ਕਰ ਸਕਦੇ ਹਾਂ: ਇਨਫੋਰਮੈਟਿਕਾ ਪਾਵਰ ਸੈਂਟਰ, ਆਈਬੀਐਮ ਡੇਟਾਸਟੇਜ, ਪੈਂਟਾਹੋ ਡੇਟਾ ਏਕੀਕਰਣ। ਜਾਂ Oracle Apex, ਜੋ ਡੇਟਾ ਨੂੰ ਐਕਸੈਸ ਕਰਨ ਅਤੇ ਸੰਪਾਦਿਤ ਕਰਨ ਲਈ ਇੰਟਰਫੇਸ ਦੇ ਤੇਜ਼ੀ ਨਾਲ ਵਿਕਾਸ ਲਈ ਇੱਕ ਵਾਤਾਵਰਣ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ। ਹਾਲਾਂਕਿ, ਘੱਟ-ਕੋਡ ਵਿਕਾਸ ਸਾਧਨਾਂ ਦੀ ਵਰਤੋਂ ਵਿੱਚ ਹਮੇਸ਼ਾਂ ਵਿਕਰੇਤਾ 'ਤੇ ਸਪੱਸ਼ਟ ਨਿਰਭਰਤਾ ਦੇ ਨਾਲ ਇੱਕ ਵਪਾਰਕ ਤਕਨਾਲੋਜੀ ਸਟੈਕ 'ਤੇ ਉੱਚ ਨਿਸ਼ਾਨੇ ਵਾਲੇ ਐਪਲੀਕੇਸ਼ਨਾਂ ਨੂੰ ਬਣਾਉਣਾ ਸ਼ਾਮਲ ਨਹੀਂ ਹੁੰਦਾ ਹੈ।

ਘੱਟ-ਕੋਡ ਪਲੇਟਫਾਰਮਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, ਤੁਸੀਂ ਡੇਟਾ ਪ੍ਰਵਾਹ ਦੇ ਆਰਕੈਸਟ੍ਰੇਸ਼ਨ ਨੂੰ ਵੀ ਵਿਵਸਥਿਤ ਕਰ ਸਕਦੇ ਹੋ, ਡੇਟਾ ਸਾਇੰਸ ਪਲੇਟਫਾਰਮ ਬਣਾ ਸਕਦੇ ਹੋ ਜਾਂ, ਉਦਾਹਰਨ ਲਈ, ਡੇਟਾ ਗੁਣਵੱਤਾ ਦੀ ਜਾਂਚ ਕਰਨ ਲਈ ਮੋਡਿਊਲ ਬਣਾ ਸਕਦੇ ਹੋ।

ਘੱਟ-ਕੋਡ ਡਿਵੈਲਪਮੈਂਟ ਟੂਲਜ਼ ਦੀ ਵਰਤੋਂ ਕਰਨ ਵਿੱਚ ਅਨੁਭਵ ਦੀਆਂ ਲਾਗੂ ਕੀਤੀਆਂ ਉਦਾਹਰਣਾਂ ਵਿੱਚੋਂ ਇੱਕ ਹੈ ਨਿਓਫਲੇਕਸ ਅਤੇ ਮੀਡੀਆਸਕੋਪ, ਰੂਸੀ ਮੀਡੀਆ ਖੋਜ ਬਾਜ਼ਾਰ ਵਿੱਚ ਨੇਤਾਵਾਂ ਵਿੱਚੋਂ ਇੱਕ ਦਾ ਸਹਿਯੋਗ। ਇਸ ਕੰਪਨੀ ਦੇ ਵਪਾਰਕ ਉਦੇਸ਼ਾਂ ਵਿੱਚੋਂ ਇੱਕ ਡੇਟਾ ਦਾ ਉਤਪਾਦਨ ਹੈ ਜਿਸ ਦੇ ਅਧਾਰ 'ਤੇ ਵਿਗਿਆਪਨਕਰਤਾ, ਇੰਟਰਨੈਟ ਪਲੇਟਫਾਰਮ, ਟੀਵੀ ਚੈਨਲ, ਰੇਡੀਓ ਸਟੇਸ਼ਨ, ਵਿਗਿਆਪਨ ਏਜੰਸੀਆਂ ਅਤੇ ਬ੍ਰਾਂਡ ਵਿਗਿਆਪਨ ਖਰੀਦਣ ਬਾਰੇ ਫੈਸਲੇ ਲੈਂਦੇ ਹਨ ਅਤੇ ਉਨ੍ਹਾਂ ਦੇ ਮਾਰਕੀਟਿੰਗ ਸੰਚਾਰਾਂ ਦੀ ਯੋਜਨਾ ਬਣਾਉਂਦੇ ਹਨ।

ਮੀਡੀਆ ਖੋਜ ਵਪਾਰ ਦਾ ਇੱਕ ਤਕਨੀਕੀ ਤੌਰ 'ਤੇ ਲੋਡ ਕੀਤਾ ਖੇਤਰ ਹੈ। ਵੀਡੀਓ ਕ੍ਰਮ ਨੂੰ ਪਛਾਣਨਾ, ਦੇਖਣ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਵਾਲੇ ਡਿਵਾਈਸਾਂ ਤੋਂ ਡੇਟਾ ਇਕੱਠਾ ਕਰਨਾ, ਵੈੱਬ ਸਰੋਤਾਂ 'ਤੇ ਗਤੀਵਿਧੀ ਨੂੰ ਮਾਪਣਾ - ਇਹ ਸਭ ਇਹ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਕੰਪਨੀ ਕੋਲ ਇੱਕ ਵੱਡਾ IT ਸਟਾਫ ਹੈ ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਹੱਲਾਂ ਨੂੰ ਬਣਾਉਣ ਵਿੱਚ ਬਹੁਤ ਵੱਡਾ ਤਜਰਬਾ ਹੈ। ਪਰ ਜਾਣਕਾਰੀ ਦੀ ਮਾਤਰਾ, ਸੰਖਿਆ ਅਤੇ ਇਸਦੇ ਸਰੋਤਾਂ ਦੀ ਵਿਭਿੰਨਤਾ ਵਿੱਚ ਘਾਤਕ ਵਾਧਾ IT ਡੇਟਾ ਉਦਯੋਗ ਨੂੰ ਨਿਰੰਤਰ ਤਰੱਕੀ ਕਰਨ ਲਈ ਮਜਬੂਰ ਕਰਦਾ ਹੈ। ਪਹਿਲਾਂ ਤੋਂ ਕੰਮ ਕਰ ਰਹੇ ਮੀਡੀਆਸਕੋਪ ਐਨਾਲਿਟੀਕਲ ਪਲੇਟਫਾਰਮ ਨੂੰ ਸਕੇਲ ਕਰਨ ਦਾ ਸਭ ਤੋਂ ਸਰਲ ਹੱਲ IT ਸਟਾਫ ਨੂੰ ਵਧਾਉਣਾ ਹੋ ਸਕਦਾ ਹੈ। ਪਰ ਇੱਕ ਬਹੁਤ ਜ਼ਿਆਦਾ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਹੱਲ ਹੈ ਵਿਕਾਸ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਤੇਜ਼ ਕਰਨਾ. ਇਸ ਦਿਸ਼ਾ ਵੱਲ ਜਾਣ ਵਾਲੇ ਕਦਮਾਂ ਵਿੱਚੋਂ ਇੱਕ ਘੱਟ-ਕੋਡ ਪਲੇਟਫਾਰਮਾਂ ਦੀ ਵਰਤੋਂ ਹੋ ਸਕਦੀ ਹੈ।

ਜਿਸ ਸਮੇਂ ਪ੍ਰੋਜੈਕਟ ਸ਼ੁਰੂ ਹੋਇਆ, ਕੰਪਨੀ ਕੋਲ ਪਹਿਲਾਂ ਹੀ ਇੱਕ ਕਾਰਜਸ਼ੀਲ ਉਤਪਾਦ ਹੱਲ ਸੀ। ਹਾਲਾਂਕਿ, MSSQL ਵਿੱਚ ਹੱਲ ਨੂੰ ਲਾਗੂ ਕਰਨਾ ਵਿਕਾਸ ਦੀ ਇੱਕ ਸਵੀਕਾਰਯੋਗ ਲਾਗਤ ਨੂੰ ਕਾਇਮ ਰੱਖਦੇ ਹੋਏ ਸਕੇਲਿੰਗ ਕਾਰਜਕੁਸ਼ਲਤਾ ਦੀਆਂ ਉਮੀਦਾਂ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਪੂਰਾ ਨਹੀਂ ਕਰ ਸਕਿਆ।

ਸਾਡੇ ਸਾਹਮਣੇ ਕੰਮ ਸੱਚਮੁੱਚ ਅਭਿਲਾਸ਼ੀ ਸੀ - Neoflex ਅਤੇ Mediascope ਨੂੰ ਇੱਕ ਸਾਲ ਤੋਂ ਵੀ ਘੱਟ ਸਮੇਂ ਵਿੱਚ ਇੱਕ ਉਦਯੋਗਿਕ ਹੱਲ ਬਣਾਉਣਾ ਸੀ, ਸ਼ੁਰੂਆਤੀ ਮਿਤੀ ਦੀ ਪਹਿਲੀ ਤਿਮਾਹੀ ਦੇ ਅੰਦਰ MVP ਦੇ ਜਾਰੀ ਹੋਣ ਦੇ ਅਧੀਨ।

ਹਾਡੂਪ ਟੈਕਨਾਲੋਜੀ ਸਟੈਕ ਨੂੰ ਲੋ-ਕੋਡ ਕੰਪਿਊਟਿੰਗ 'ਤੇ ਆਧਾਰਿਤ ਨਵਾਂ ਡਾਟਾ ਪਲੇਟਫਾਰਮ ਬਣਾਉਣ ਲਈ ਬੁਨਿਆਦ ਵਜੋਂ ਚੁਣਿਆ ਗਿਆ ਸੀ। HDFS ਪੈਰਕੇਟ ਫਾਈਲਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਡੇਟਾ ਸਟੋਰੇਜ ਲਈ ਮਿਆਰੀ ਬਣ ਗਿਆ ਹੈ। ਪਲੇਟਫਾਰਮ ਵਿੱਚ ਸਥਿਤ ਡੇਟਾ ਤੱਕ ਪਹੁੰਚ ਕਰਨ ਲਈ, Hive ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਗਈ ਸੀ, ਜਿਸ ਵਿੱਚ ਸਾਰੇ ਉਪਲਬਧ ਸਟੋਰਫਰੰਟ ਬਾਹਰੀ ਟੇਬਲ ਦੇ ਰੂਪ ਵਿੱਚ ਪੇਸ਼ ਕੀਤੇ ਗਏ ਹਨ। ਸਟੋਰੇਜ ਵਿੱਚ ਡਾਟਾ ਲੋਡ ਕਰਨਾ ਕਾਫਕਾ ਅਤੇ ਅਪਾਚੇ ਨੀਫਾਈ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਲਾਗੂ ਕੀਤਾ ਗਿਆ ਸੀ।

ਇਸ ਸੰਕਲਪ ਵਿੱਚ ਲੋਵੇ-ਕੋਡ ਟੂਲ ਦੀ ਵਰਤੋਂ ਇੱਕ ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਪਲੇਟਫਾਰਮ ਬਣਾਉਣ ਵਿੱਚ ਸਭ ਤੋਂ ਵੱਧ ਕਿਰਤ-ਸੰਵੇਦਨਸ਼ੀਲ ਕਾਰਜ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਲਈ ਕੀਤੀ ਗਈ ਸੀ - ਡੇਟਾ ਗਣਨਾ ਦਾ ਕੰਮ।

ਘੱਟ-ਕੋਡ ਡੇਟਾਗ੍ਰਾਮ ਟੂਲ ਨੂੰ ਡੇਟਾ ਮੈਪਿੰਗ ਲਈ ਮੁੱਖ ਵਿਧੀ ਵਜੋਂ ਚੁਣਿਆ ਗਿਆ ਸੀ। ਨਿਓਫਲੈਕਸ ਡਾਟਾਗ੍ਰਾਮ ਪਰਿਵਰਤਨ ਅਤੇ ਡੇਟਾ ਦੇ ਪ੍ਰਵਾਹ ਨੂੰ ਵਿਕਸਤ ਕਰਨ ਲਈ ਇੱਕ ਸਾਧਨ ਹੈ।
ਇਸ ਟੂਲ ਦੀ ਵਰਤੋਂ ਕਰਕੇ, ਤੁਸੀਂ ਸਕਲਾ ਕੋਡ ਨੂੰ ਹੱਥੀਂ ਲਿਖੇ ਬਿਨਾਂ ਕਰ ਸਕਦੇ ਹੋ। ਮਾਡਲ ਡਰਾਈਵ ਆਰਕੀਟੈਕਚਰ ਪਹੁੰਚ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਸਕੇਲਾ ਕੋਡ ਆਪਣੇ ਆਪ ਤਿਆਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।

ਇਸ ਪਹੁੰਚ ਦਾ ਇੱਕ ਸਪੱਸ਼ਟ ਫਾਇਦਾ ਵਿਕਾਸ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਤੇਜ਼ ਕਰਨਾ ਹੈ. ਹਾਲਾਂਕਿ, ਗਤੀ ਤੋਂ ਇਲਾਵਾ, ਹੇਠਾਂ ਦਿੱਤੇ ਫਾਇਦੇ ਵੀ ਹਨ:

• ਸਰੋਤਾਂ/ਰਿਸੀਵਰਾਂ ਦੀ ਸਮੱਗਰੀ ਅਤੇ ਬਣਤਰ ਨੂੰ ਦੇਖਣਾ;
• ਵਿਅਕਤੀਗਤ ਖੇਤਰਾਂ (ਵੰਸ਼) ਵਿੱਚ ਡੇਟਾ ਪ੍ਰਵਾਹ ਵਸਤੂਆਂ ਦੀ ਉਤਪਤੀ ਦਾ ਪਤਾ ਲਗਾਉਣਾ;
• ਵਿਚਕਾਰਲੇ ਨਤੀਜਿਆਂ ਨੂੰ ਦੇਖਣ ਦੇ ਨਾਲ ਪਰਿਵਰਤਨ ਦਾ ਅੰਸ਼ਕ ਐਗਜ਼ੀਕਿਊਸ਼ਨ;
• ਸ੍ਰੋਤ ਕੋਡ ਦੀ ਸਮੀਖਿਆ ਕਰਨਾ ਅਤੇ ਲਾਗੂ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਇਸਨੂੰ ਐਡਜਸਟ ਕਰਨਾ;
• ਪਰਿਵਰਤਨ ਦੀ ਆਟੋਮੈਟਿਕ ਪ੍ਰਮਾਣਿਕਤਾ;
• ਆਟੋਮੈਟਿਕ ਡਾਟਾ ਡਾਊਨਲੋਡ 1 ਵਿੱਚ 1।

ਪਰਿਵਰਤਨ ਪੈਦਾ ਕਰਨ ਲਈ ਘੱਟ-ਕੋਡ ਹੱਲਾਂ ਵਿੱਚ ਦਾਖਲੇ ਵਿੱਚ ਰੁਕਾਵਟ ਬਹੁਤ ਘੱਟ ਹੈ: ਡਿਵੈਲਪਰ ਨੂੰ SQL ਨੂੰ ਜਾਣਨ ਅਤੇ ETL ਸਾਧਨਾਂ ਨਾਲ ਕੰਮ ਕਰਨ ਦਾ ਤਜਰਬਾ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ। ਇਹ ਵਰਣਨ ਯੋਗ ਹੈ ਕਿ ਕੋਡ-ਸੰਚਾਲਿਤ ਪਰਿਵਰਤਨ ਜਨਰੇਟਰ ਸ਼ਬਦ ਦੇ ਵਿਆਪਕ ਅਰਥਾਂ ਵਿੱਚ ETL ਟੂਲ ਨਹੀਂ ਹਨ। ਘੱਟ-ਕੋਡ ਸਾਧਨਾਂ ਦਾ ਆਪਣਾ ਕੋਡ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਵਾਤਾਵਰਨ ਨਹੀਂ ਹੋ ਸਕਦਾ। ਯਾਨੀ, ਜਨਰੇਟ ਕੀਤਾ ਕੋਡ ਵਾਤਾਵਰਣ ਵਿੱਚ ਚਲਾਇਆ ਜਾਵੇਗਾ ਜੋ ਕਿ ਘੱਟ-ਕੋਡ ਹੱਲ ਨੂੰ ਸਥਾਪਿਤ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਹੀ ਕਲੱਸਟਰ 'ਤੇ ਮੌਜੂਦ ਸੀ। ਅਤੇ ਇਹ ਸ਼ਾਇਦ ਘੱਟ-ਕੋਡ ਕਰਮ ਲਈ ਇੱਕ ਹੋਰ ਪਲੱਸ ਹੈ। ਕਿਉਂਕਿ, ਇੱਕ ਘੱਟ-ਕੋਡ ਟੀਮ ਦੇ ਸਮਾਨਾਂਤਰ ਵਿੱਚ, ਇੱਕ "ਕਲਾਸਿਕ" ਟੀਮ ਕੰਮ ਕਰ ਸਕਦੀ ਹੈ ਜੋ ਕਾਰਜਸ਼ੀਲਤਾ ਨੂੰ ਲਾਗੂ ਕਰਦੀ ਹੈ, ਉਦਾਹਰਨ ਲਈ, ਸ਼ੁੱਧ ਸਕੇਲਾ ਕੋਡ ਵਿੱਚ। ਉਤਪਾਦਨ ਵਿੱਚ ਦੋਵਾਂ ਟੀਮਾਂ ਤੋਂ ਸੁਧਾਰ ਲਿਆਉਣਾ ਸਧਾਰਨ ਅਤੇ ਸਹਿਜ ਹੋਵੇਗਾ।

ਇਹ ਸ਼ਾਇਦ ਧਿਆਨ ਦੇਣ ਯੋਗ ਹੈ ਕਿ ਘੱਟ-ਕੋਡ ਤੋਂ ਇਲਾਵਾ, ਕੋਈ-ਕੋਡ ਹੱਲ ਵੀ ਨਹੀਂ ਹਨ। ਅਤੇ ਉਹਨਾਂ ਦੇ ਮੂਲ ਵਿੱਚ, ਇਹ ਵੱਖਰੀਆਂ ਚੀਜ਼ਾਂ ਹਨ. ਲੋਅ-ਕੋਡ ਡਿਵੈਲਪਰ ਨੂੰ ਤਿਆਰ ਕੀਤੇ ਕੋਡ ਵਿੱਚ ਹੋਰ ਦਖਲ ਦੇਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ। ਡੇਟਾਗ੍ਰਾਮ ਦੇ ਮਾਮਲੇ ਵਿੱਚ, ਤਿਆਰ ਕੀਤੇ ਸਕੇਲਾ ਕੋਡ ਨੂੰ ਵੇਖਣਾ ਅਤੇ ਸੰਪਾਦਿਤ ਕਰਨਾ ਸੰਭਵ ਹੈ; ਕੋਈ-ਕੋਡ ਅਜਿਹਾ ਮੌਕਾ ਪ੍ਰਦਾਨ ਨਹੀਂ ਕਰ ਸਕਦਾ ਹੈ। ਇਹ ਅੰਤਰ ਨਾ ਸਿਰਫ ਹੱਲ ਦੀ ਲਚਕਤਾ ਦੇ ਰੂਪ ਵਿੱਚ, ਬਲਕਿ ਡੇਟਾ ਇੰਜੀਨੀਅਰਾਂ ਦੇ ਕੰਮ ਵਿੱਚ ਆਰਾਮ ਅਤੇ ਪ੍ਰੇਰਣਾ ਦੇ ਰੂਪ ਵਿੱਚ ਵੀ ਬਹੁਤ ਮਹੱਤਵਪੂਰਨ ਹੈ.

ਹੱਲ ਆਰਕੀਟੈਕਚਰ

ਆਉ ਇਹ ਪਤਾ ਲਗਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰੀਏ ਕਿ ਕਿਵੇਂ ਇੱਕ ਘੱਟ-ਕੋਡ ਟੂਲ ਡੇਟਾ ਗਣਨਾ ਕਾਰਜਕੁਸ਼ਲਤਾ ਨੂੰ ਵਿਕਸਤ ਕਰਨ ਦੀ ਗਤੀ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਦੀ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ. ਪਹਿਲਾਂ, ਆਓ ਸਿਸਟਮ ਦੇ ਕਾਰਜਸ਼ੀਲ ਢਾਂਚੇ ਨੂੰ ਵੇਖੀਏ। ਇਸ ਮਾਮਲੇ ਵਿੱਚ ਇੱਕ ਉਦਾਹਰਨ ਮੀਡੀਆ ਖੋਜ ਲਈ ਡਾਟਾ ਉਤਪਾਦਨ ਮਾਡਲ ਹੈ।

ਸਾਡੇ ਕੇਸ ਵਿੱਚ ਡੇਟਾ ਸਰੋਤ ਬਹੁਤ ਹੀ ਵਿਭਿੰਨ ਅਤੇ ਵਿਭਿੰਨ ਹਨ:

• ਲੋਕ ਮੀਟਰ (ਟੀਵੀ ਮੀਟਰ) ਉਹ ਸਾਫਟਵੇਅਰ ਅਤੇ ਹਾਰਡਵੇਅਰ ਯੰਤਰ ਹਨ ਜੋ ਟੈਲੀਵਿਜ਼ਨ ਪੈਨਲ ਦੇ ਉੱਤਰਦਾਤਾਵਾਂ ਤੋਂ ਉਪਭੋਗਤਾ ਵਿਵਹਾਰ ਨੂੰ ਪੜ੍ਹਦੇ ਹਨ - ਅਧਿਐਨ ਵਿੱਚ ਹਿੱਸਾ ਲੈਣ ਵਾਲੇ ਘਰ ਵਿੱਚ ਕਿਸਨੇ, ਕਦੋਂ ਅਤੇ ਕਿਹੜਾ ਟੀਵੀ ਚੈਨਲ ਦੇਖਿਆ ਸੀ। ਸਪਲਾਈ ਕੀਤੀ ਜਾਣਕਾਰੀ ਮੀਡੀਆ ਪੈਕੇਜ ਅਤੇ ਮੀਡੀਆ ਉਤਪਾਦ ਨਾਲ ਜੁੜੇ ਪ੍ਰਸਾਰਣ ਦੇਖਣ ਦੇ ਅੰਤਰਾਲਾਂ ਦੀ ਇੱਕ ਧਾਰਾ ਹੈ। ਡੇਟਾ ਲੇਕ ਵਿੱਚ ਲੋਡ ਹੋਣ ਦੇ ਪੜਾਅ 'ਤੇ ਡੇਟਾ ਨੂੰ ਜਨਸੰਖਿਆ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ, ਭੂ-ਵਿਗਿਆਨ, ਸਮਾਂ ਖੇਤਰ ਅਤੇ ਕਿਸੇ ਖਾਸ ਮੀਡੀਆ ਉਤਪਾਦ ਦੇ ਟੈਲੀਵਿਜ਼ਨ ਦੇਖਣ ਦੇ ਵਿਸ਼ਲੇਸ਼ਣ ਲਈ ਲੋੜੀਂਦੀ ਹੋਰ ਜਾਣਕਾਰੀ ਨਾਲ ਭਰਪੂਰ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਲਏ ਗਏ ਮਾਪਾਂ ਦੀ ਵਰਤੋਂ ਵਿਗਿਆਪਨ ਮੁਹਿੰਮਾਂ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਜਾਂ ਯੋਜਨਾ ਬਣਾਉਣ, ਦਰਸ਼ਕਾਂ ਦੀ ਗਤੀਵਿਧੀ ਅਤੇ ਤਰਜੀਹਾਂ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨ ਅਤੇ ਪ੍ਰਸਾਰਣ ਨੈਟਵਰਕ ਨੂੰ ਕੰਪਾਇਲ ਕਰਨ ਲਈ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ;
• ਡੇਟਾ ਟੈਲੀਵਿਜ਼ਨ ਪ੍ਰਸਾਰਣ ਨੂੰ ਸਟ੍ਰੀਮ ਕਰਨ ਅਤੇ ਇੰਟਰਨੈਟ ਤੇ ਵੀਡੀਓ ਸਰੋਤ ਸਮੱਗਰੀ ਨੂੰ ਦੇਖਣ ਨੂੰ ਮਾਪਣ ਲਈ ਨਿਗਰਾਨੀ ਪ੍ਰਣਾਲੀਆਂ ਤੋਂ ਆ ਸਕਦਾ ਹੈ;
• ਵੈੱਬ ਵਾਤਾਵਰਨ ਵਿੱਚ ਮਾਪਣ ਵਾਲੇ ਟੂਲ, ਸਾਈਟ-ਕੇਂਦ੍ਰਿਤ ਅਤੇ ਉਪਭੋਗਤਾ-ਕੇਂਦ੍ਰਿਤ ਮੀਟਰਾਂ ਸਮੇਤ। ਡੇਟਾ ਲੇਕ ਲਈ ਡੇਟਾ ਪ੍ਰਦਾਤਾ ਇੱਕ ਖੋਜ ਬਾਰ ਬ੍ਰਾਊਜ਼ਰ ਐਡ-ਆਨ ਅਤੇ ਇੱਕ ਬਿਲਟ-ਇਨ VPN ਦੇ ਨਾਲ ਇੱਕ ਮੋਬਾਈਲ ਐਪਲੀਕੇਸ਼ਨ ਹੋ ਸਕਦਾ ਹੈ।
• ਡੇਟਾ ਉਹਨਾਂ ਸਾਈਟਾਂ ਤੋਂ ਵੀ ਆ ਸਕਦਾ ਹੈ ਜੋ ਔਨਲਾਈਨ ਪ੍ਰਸ਼ਨਾਵਲੀ ਭਰਨ ਦੇ ਨਤੀਜਿਆਂ ਅਤੇ ਕੰਪਨੀ ਦੇ ਸਰਵੇਖਣਾਂ ਵਿੱਚ ਟੈਲੀਫੋਨ ਇੰਟਰਵਿਊਆਂ ਦੇ ਨਤੀਜਿਆਂ ਨੂੰ ਇਕੱਠਾ ਕਰਦੀਆਂ ਹਨ;
• ਭਾਈਵਾਲ ਕੰਪਨੀਆਂ ਦੇ ਲੌਗਸ ਤੋਂ ਜਾਣਕਾਰੀ ਨੂੰ ਡਾਊਨਲੋਡ ਕਰਕੇ ਡਾਟਾ ਝੀਲ ਦਾ ਵਾਧੂ ਸੰਸ਼ੋਧਨ ਹੋ ਸਕਦਾ ਹੈ।

ਜਿਵੇਂ ਕਿ ਸਰੋਤ ਪ੍ਰਣਾਲੀਆਂ ਤੋਂ ਕੱਚੇ ਡੇਟਾ ਦੇ ਪ੍ਰਾਇਮਰੀ ਸਟੇਜਿੰਗ ਵਿੱਚ ਲੋਡ ਹੋ ਰਿਹਾ ਹੈ ਦੇ ਲਾਗੂਕਰਨ ਨੂੰ ਵੱਖ-ਵੱਖ ਤਰੀਕਿਆਂ ਨਾਲ ਸੰਗਠਿਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਜੇਕਰ ਇਹਨਾਂ ਉਦੇਸ਼ਾਂ ਲਈ ਘੱਟ-ਕੋਡ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਤਾਂ ਮੈਟਾਡੇਟਾ ਦੇ ਅਧਾਰ 'ਤੇ ਲੋਡਿੰਗ ਸਕ੍ਰਿਪਟਾਂ ਦੀ ਆਟੋਮੈਟਿਕ ਜਨਰੇਸ਼ਨ ਸੰਭਵ ਹੈ। ਇਸ ਸਥਿਤੀ ਵਿੱਚ, ਮੈਪਿੰਗ ਨੂੰ ਨਿਸ਼ਾਨਾ ਬਣਾਉਣ ਲਈ ਵਿਕਾਸਸ਼ੀਲ ਸਰੋਤ ਦੇ ਪੱਧਰ ਤੱਕ ਹੇਠਾਂ ਜਾਣ ਦੀ ਕੋਈ ਲੋੜ ਨਹੀਂ ਹੈ। ਆਟੋਮੈਟਿਕ ਲੋਡਿੰਗ ਨੂੰ ਲਾਗੂ ਕਰਨ ਲਈ, ਸਾਨੂੰ ਸਰੋਤ ਨਾਲ ਇੱਕ ਕਨੈਕਸ਼ਨ ਸਥਾਪਤ ਕਰਨ ਦੀ ਲੋੜ ਹੈ, ਅਤੇ ਫਿਰ ਲੋਡਿੰਗ ਇੰਟਰਫੇਸ ਵਿੱਚ ਲੋਡ ਕੀਤੀਆਂ ਜਾਣ ਵਾਲੀਆਂ ਇਕਾਈਆਂ ਦੀ ਸੂਚੀ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ। HDFS ਵਿੱਚ ਡਾਇਰੈਕਟਰੀ ਢਾਂਚਾ ਆਪਣੇ ਆਪ ਹੀ ਬਣਾਇਆ ਜਾਵੇਗਾ ਅਤੇ ਸਰੋਤ ਸਿਸਟਮ 'ਤੇ ਡਾਟਾ ਸਟੋਰੇਜ ਢਾਂਚੇ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੋਵੇਗਾ।

ਹਾਲਾਂਕਿ, ਇਸ ਪ੍ਰੋਜੈਕਟ ਦੇ ਸੰਦਰਭ ਵਿੱਚ, ਅਸੀਂ ਇਸ ਤੱਥ ਦੇ ਕਾਰਨ ਘੱਟ-ਕੋਡ ਪਲੇਟਫਾਰਮ ਦੀ ਇਸ ਵਿਸ਼ੇਸ਼ਤਾ ਦੀ ਵਰਤੋਂ ਨਾ ਕਰਨ ਦਾ ਫੈਸਲਾ ਕੀਤਾ ਹੈ ਕਿਉਂਕਿ ਮੀਡੀਆਸਕੋਪ ਕੰਪਨੀ ਨੇ ਪਹਿਲਾਂ ਹੀ ਸੁਤੰਤਰ ਤੌਰ 'ਤੇ Nifi + Kafka ਸੁਮੇਲ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਇੱਕ ਸਮਾਨ ਸੇਵਾ ਬਣਾਉਣ ਲਈ ਕੰਮ ਸ਼ੁਰੂ ਕਰ ਦਿੱਤਾ ਹੈ।

ਇਹ ਤੁਰੰਤ ਇਹ ਦਰਸਾਉਣ ਦੇ ਯੋਗ ਹੈ ਕਿ ਇਹ ਸਾਧਨ ਪਰਿਵਰਤਨਯੋਗ ਨਹੀਂ ਹਨ, ਸਗੋਂ ਪੂਰਕ ਹਨ। ਨਿਫੀ ਅਤੇ ਕਾਫਕਾ ਸਿੱਧੇ (ਨਿਫੀ -> ਕਾਫਕਾ) ਅਤੇ ਰਿਵਰਸ (ਕਾਫਕਾ -> ਨਿਫੀ) ਕਨੈਕਸ਼ਨ ਦੋਵਾਂ ਵਿੱਚ ਕੰਮ ਕਰਨ ਦੇ ਯੋਗ ਹਨ। ਮੀਡੀਆ ਖੋਜ ਪਲੇਟਫਾਰਮ ਲਈ, ਬੰਡਲ ਦਾ ਪਹਿਲਾ ਸੰਸਕਰਣ ਵਰਤਿਆ ਗਿਆ ਸੀ।

ਸਾਡੇ ਕੇਸ ਵਿੱਚ, NayFi ਨੂੰ ਸਰੋਤ ਪ੍ਰਣਾਲੀਆਂ ਤੋਂ ਵੱਖ-ਵੱਖ ਕਿਸਮਾਂ ਦੇ ਡੇਟਾ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਨ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਕਾਫਕਾ ਬ੍ਰੋਕਰ ਨੂੰ ਭੇਜਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਇਸ ਸਥਿਤੀ ਵਿੱਚ, PublishKafka Nifi ਪ੍ਰੋਸੈਸਰਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਇੱਕ ਖਾਸ ਕਾਫਕਾ ਵਿਸ਼ੇ 'ਤੇ ਸੰਦੇਸ਼ ਭੇਜੇ ਗਏ ਸਨ। ਇਹਨਾਂ ਪਾਈਪਲਾਈਨਾਂ ਦਾ ਆਰਕੈਸਟ੍ਰੇਸ਼ਨ ਅਤੇ ਰੱਖ-ਰਖਾਅ ਇੱਕ ਵਿਜ਼ੂਅਲ ਇੰਟਰਫੇਸ ਵਿੱਚ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। Nifi ਟੂਲ ਅਤੇ Nifi + Kafka ਸੁਮੇਲ ਦੀ ਵਰਤੋਂ ਨੂੰ ਵਿਕਾਸ ਲਈ ਇੱਕ ਘੱਟ-ਕੋਡ ਪਹੁੰਚ ਵੀ ਕਿਹਾ ਜਾ ਸਕਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਬਿਗ ਡੇਟਾ ਤਕਨਾਲੋਜੀ ਵਿੱਚ ਦਾਖਲੇ ਲਈ ਘੱਟ ਰੁਕਾਵਟ ਹੈ ਅਤੇ ਐਪਲੀਕੇਸ਼ਨ ਵਿਕਾਸ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਤੇਜ਼ ਕਰਦਾ ਹੈ।

ਪ੍ਰੋਜੈਕਟ ਲਾਗੂ ਕਰਨ ਦਾ ਅਗਲਾ ਪੜਾਅ ਵਿਸਤ੍ਰਿਤ ਡੇਟਾ ਨੂੰ ਇੱਕ ਸਿੰਗਲ ਅਰਥ ਪਰਤ ਫਾਰਮੈਟ ਵਿੱਚ ਲਿਆਉਣਾ ਸੀ। ਜੇਕਰ ਕਿਸੇ ਇਕਾਈ ਦੀਆਂ ਇਤਿਹਾਸਕ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਹਨ, ਤਾਂ ਗਣਨਾ ਪ੍ਰਸ਼ਨ ਵਿੱਚ ਭਾਗ ਦੇ ਸੰਦਰਭ ਵਿੱਚ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਜੇਕਰ ਇਕਾਈ ਇਤਿਹਾਸਕ ਨਹੀਂ ਹੈ, ਤਾਂ ਇਹ ਵਿਕਲਪਿਕ ਤੌਰ 'ਤੇ ਜਾਂ ਤਾਂ ਵਸਤੂ ਦੀ ਸਮੁੱਚੀ ਸਮੱਗਰੀ ਦੀ ਮੁੜ ਗਣਨਾ ਕਰਨਾ ਸੰਭਵ ਹੈ, ਜਾਂ ਇਸ ਵਸਤੂ ਦੀ ਮੁੜ ਗਣਨਾ ਕਰਨ ਤੋਂ ਪੂਰੀ ਤਰ੍ਹਾਂ ਇਨਕਾਰ ਕਰ ਸਕਦਾ ਹੈ (ਬਦਲਾਵਾਂ ਦੀ ਘਾਟ ਕਾਰਨ)। ਇਸ ਪੜਾਅ 'ਤੇ, ਸਾਰੀਆਂ ਇਕਾਈਆਂ ਲਈ ਕੁੰਜੀਆਂ ਤਿਆਰ ਕੀਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ। ਕੁੰਜੀਆਂ ਨੂੰ ਮਾਸਟਰ ਆਬਜੈਕਟ ਦੇ ਅਨੁਸਾਰੀ Hbase ਡਾਇਰੈਕਟਰੀਆਂ ਵਿੱਚ ਸਟੋਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਪਲੇਟਫਾਰਮ ਵਿੱਚ ਕੁੰਜੀਆਂ ਅਤੇ ਸਰੋਤ ਪ੍ਰਣਾਲੀਆਂ ਦੀਆਂ ਕੁੰਜੀਆਂ ਵਿਚਕਾਰ ਇੱਕ ਪੱਤਰ ਵਿਹਾਰ ਹੁੰਦਾ ਹੈ। ਪਰਮਾਣੂ ਇਕਾਈਆਂ ਦਾ ਏਕੀਕਰਣ ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਡੇਟਾ ਦੀ ਸ਼ੁਰੂਆਤੀ ਗਣਨਾ ਦੇ ਨਤੀਜਿਆਂ ਦੇ ਨਾਲ ਸੰਸ਼ੋਧਨ ਦੇ ਨਾਲ ਹੈ। ਡੇਟਾ ਗਣਨਾ ਲਈ ਫਰੇਮਵਰਕ ਸਪਾਰਕ ਸੀ। ਇੱਕ ਸਿੰਗਲ ਸਿਮੈਂਟਿਕਸ ਵਿੱਚ ਡੇਟਾ ਲਿਆਉਣ ਲਈ ਵਰਣਿਤ ਕਾਰਜਕੁਸ਼ਲਤਾ ਨੂੰ ਵੀ ਘੱਟ-ਕੋਡ ਡੇਟਾਗ੍ਰਾਮ ਟੂਲ ਤੋਂ ਮੈਪਿੰਗ ਦੇ ਅਧਾਰ ਤੇ ਲਾਗੂ ਕੀਤਾ ਗਿਆ ਸੀ।

ਟਾਰਗੇਟ ਆਰਕੀਟੈਕਚਰ ਲਈ ਕਾਰੋਬਾਰੀ ਉਪਭੋਗਤਾਵਾਂ ਲਈ ਡੇਟਾ ਤੱਕ SQL ਪਹੁੰਚ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। Hive ਇਸ ਵਿਕਲਪ ਲਈ ਵਰਤਿਆ ਗਿਆ ਸੀ. ਜਦੋਂ ਤੁਸੀਂ ਲੋ-ਕੋਡ ਟੂਲ ਵਿੱਚ "ਰਜਿਸਟਰ ਹਾਈਵ ਟੇਬਲ" ਵਿਕਲਪ ਨੂੰ ਸਮਰੱਥ ਕਰਦੇ ਹੋ ਤਾਂ ਆਬਜੈਕਟ ਆਪਣੇ ਆਪ ਹੀ Hive ਵਿੱਚ ਰਜਿਸਟਰ ਹੋ ਜਾਂਦੇ ਹਨ।

ਗਣਨਾ ਪ੍ਰਵਾਹ ਨਿਯੰਤਰਣ

ਡੈਟਾਗ੍ਰਾਮ ਵਿੱਚ ਵਰਕਫਲੋ ਫਲੋ ਡਿਜ਼ਾਈਨ ਬਣਾਉਣ ਲਈ ਇੱਕ ਇੰਟਰਫੇਸ ਹੈ। ਮੈਪਿੰਗ ਨੂੰ Oozie ਸ਼ਡਿਊਲਰ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਲਾਂਚ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਸਟ੍ਰੀਮ ਡਿਵੈਲਪਰ ਇੰਟਰਫੇਸ ਵਿੱਚ, ਸਮਾਂਤਰ, ਕ੍ਰਮਵਾਰ, ਜਾਂ ਐਗਜ਼ੀਕਿਊਸ਼ਨ-ਨਿਰਭਰ ਡੇਟਾ ਪਰਿਵਰਤਨ ਲਈ ਸਕੀਮਾਂ ਬਣਾਉਣਾ ਸੰਭਵ ਹੈ। ਸ਼ੈੱਲ ਸਕ੍ਰਿਪਟਾਂ ਅਤੇ ਜਾਵਾ ਪ੍ਰੋਗਰਾਮਾਂ ਲਈ ਸਮਰਥਨ ਹੈ। ਅਪਾਚੇ ਲਿਵੀ ਸਰਵਰ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਵੀ ਸੰਭਵ ਹੈ। ਅਪਾਚੇ ਲਿਵੀ ਦੀ ਵਰਤੋਂ ਵਿਕਾਸ ਵਾਤਾਵਰਣ ਤੋਂ ਸਿੱਧੇ ਐਪਲੀਕੇਸ਼ਨਾਂ ਨੂੰ ਚਲਾਉਣ ਲਈ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।

ਜੇਕਰ ਕੰਪਨੀ ਕੋਲ ਪਹਿਲਾਂ ਤੋਂ ਹੀ ਆਪਣੀ ਖੁਦ ਦੀ ਪ੍ਰਕਿਰਿਆ ਆਰਕੈਸਟਰੇਟਰ ਹੈ, ਤਾਂ ਮੌਜੂਦਾ ਪ੍ਰਵਾਹ ਵਿੱਚ ਮੈਪਿੰਗ ਨੂੰ ਏਮਬੇਡ ਕਰਨ ਲਈ REST API ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਸੰਭਵ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਸਾਡੇ ਕੋਲ PLSQL ਅਤੇ Kotlin ਵਿੱਚ ਲਿਖੇ ਆਰਕੈਸਟਰੇਟਰਾਂ ਵਿੱਚ Scala ਵਿੱਚ ਮੈਪਿੰਗ ਨੂੰ ਏਮਬੈਡ ਕਰਨ ਦਾ ਕਾਫੀ ਸਫਲ ਤਜਰਬਾ ਸੀ। ਇੱਕ ਘੱਟ-ਕੋਡ ਟੂਲ ਦੇ REST API ਵਿੱਚ ਓਪਰੇਸ਼ਨ ਸ਼ਾਮਲ ਹੁੰਦੇ ਹਨ ਜਿਵੇਂ ਕਿ ਮੈਪਿੰਗ ਡਿਜ਼ਾਈਨ ਦੇ ਆਧਾਰ 'ਤੇ ਇੱਕ ਐਗਜ਼ੀਕਿਊਟੇਬਲ ਸਾਲ ਬਣਾਉਣਾ, ਇੱਕ ਮੈਪਿੰਗ ਨੂੰ ਕਾਲ ਕਰਨਾ, ਮੈਪਿੰਗ ਦੇ ਕ੍ਰਮ ਨੂੰ ਕਾਲ ਕਰਨਾ, ਅਤੇ, ਬੇਸ਼ਕ, ਮੈਪਿੰਗ ਚਲਾਉਣ ਲਈ URL ਨੂੰ ਪੈਰਾਮੀਟਰ ਪਾਸ ਕਰਨਾ।

ਓਜ਼ੀ ਦੇ ਨਾਲ, ਏਅਰਫਲੋ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਗਣਨਾ ਦੇ ਪ੍ਰਵਾਹ ਨੂੰ ਸੰਗਠਿਤ ਕਰਨਾ ਸੰਭਵ ਹੈ. ਸ਼ਾਇਦ ਮੈਂ ਓਜ਼ੀ ਅਤੇ ਏਅਰਫਲੋ ਵਿਚਕਾਰ ਤੁਲਨਾ 'ਤੇ ਜ਼ਿਆਦਾ ਸਮਾਂ ਨਹੀਂ ਸੋਚਾਂਗਾ, ਪਰ ਸਿਰਫ਼ ਇਹ ਕਹਾਂਗਾ ਕਿ ਮੀਡੀਆ ਖੋਜ ਪ੍ਰੋਜੈਕਟ 'ਤੇ ਕੰਮ ਦੇ ਸੰਦਰਭ ਵਿੱਚ, ਚੋਣ ਏਅਰਫਲੋ ਦੇ ਹੱਕ ਵਿੱਚ ਡਿੱਗ ਗਈ। ਇਸ ਵਾਰ ਮੁੱਖ ਦਲੀਲਾਂ ਉਤਪਾਦ ਨੂੰ ਵਿਕਸਤ ਕਰਨ ਵਾਲਾ ਇੱਕ ਵਧੇਰੇ ਸਰਗਰਮ ਭਾਈਚਾਰਾ ਅਤੇ ਇੱਕ ਵਧੇਰੇ ਵਿਕਸਤ ਇੰਟਰਫੇਸ + API ਸੀ।

ਏਅਰਫਲੋ ਵੀ ਵਧੀਆ ਹੈ ਕਿਉਂਕਿ ਇਹ ਗਣਨਾ ਪ੍ਰਕਿਰਿਆਵਾਂ ਦਾ ਵਰਣਨ ਕਰਨ ਲਈ ਪਿਆਰੇ ਪਾਈਥਨ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। ਅਤੇ ਆਮ ਤੌਰ 'ਤੇ, ਇੱਥੇ ਬਹੁਤ ਸਾਰੇ ਓਪਨ ਸੋਰਸ ਵਰਕਫਲੋ ਪ੍ਰਬੰਧਨ ਪਲੇਟਫਾਰਮ ਨਹੀਂ ਹਨ। ਪ੍ਰਕਿਰਿਆਵਾਂ (ਗੈਂਟ ਚਾਰਟ ਸਮੇਤ) ਦੇ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਨੂੰ ਲਾਂਚ ਕਰਨਾ ਅਤੇ ਨਿਗਰਾਨੀ ਕਰਨਾ ਸਿਰਫ ਏਅਰਫਲੋ ਦੇ ਕਰਮ ਵਿੱਚ ਬਿੰਦੂ ਜੋੜਦਾ ਹੈ।

ਘੱਟ-ਕੋਡ ਹੱਲ ਮੈਪਿੰਗ ਸ਼ੁਰੂ ਕਰਨ ਲਈ ਸੰਰਚਨਾ ਫਾਇਲ ਫਾਰਮੈਟ ਸਪਾਰਕ-ਸਬਮਿਟ ਬਣ ਗਿਆ ਹੈ। ਇਹ ਦੋ ਕਾਰਨਾਂ ਕਰਕੇ ਹੋਇਆ। ਪਹਿਲਾਂ, ਸਪਾਰਕ-ਸਬਮਿਟ ਤੁਹਾਨੂੰ ਕੰਸੋਲ ਤੋਂ ਸਿੱਧੇ ਜਾਰ ਫਾਈਲ ਨੂੰ ਚਲਾਉਣ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ। ਦੂਜਾ, ਇਸ ਵਿੱਚ ਵਰਕਫਲੋ ਨੂੰ ਕੌਂਫਿਗਰ ਕਰਨ ਲਈ ਸਾਰੀ ਲੋੜੀਂਦੀ ਜਾਣਕਾਰੀ ਹੋ ਸਕਦੀ ਹੈ (ਜੋ ਡੈਗ ਤਿਆਰ ਕਰਨ ਵਾਲੀਆਂ ਸਕ੍ਰਿਪਟਾਂ ਨੂੰ ਲਿਖਣਾ ਸੌਖਾ ਬਣਾਉਂਦਾ ਹੈ)।
ਸਾਡੇ ਕੇਸ ਵਿੱਚ ਏਅਰਫਲੋ ਵਰਕਫਲੋ ਦਾ ਸਭ ਤੋਂ ਆਮ ਤੱਤ SparkSubmitOperator ਸੀ।

SparkSubmitOperator ਤੁਹਾਨੂੰ ਜਾਰ ਚਲਾਉਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ - ਉਹਨਾਂ ਲਈ ਪਹਿਲਾਂ ਤੋਂ ਤਿਆਰ ਇਨਪੁਟ ਪੈਰਾਮੀਟਰਾਂ ਨਾਲ ਪੈਕ ਕੀਤੇ ਡੈਟਾਗ੍ਰਾਮ ਮੈਪਿੰਗ।

ਇਹ ਵਰਣਨ ਯੋਗ ਹੈ ਕਿ ਹਰੇਕ ਏਅਰਫਲੋ ਟਾਸਕ ਇੱਕ ਵੱਖਰੇ ਥ੍ਰੈਡ ਵਿੱਚ ਚੱਲਦਾ ਹੈ ਅਤੇ ਹੋਰ ਕੰਮਾਂ ਬਾਰੇ ਕੁਝ ਨਹੀਂ ਜਾਣਦਾ ਹੈ। ਇਸਲਈ, ਟਾਸਕਾਂ ਵਿਚਕਾਰ ਆਪਸੀ ਤਾਲਮੇਲ ਕੰਟਰੋਲ ਓਪਰੇਟਰਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ ਡਮੀ ਓਪਰੇਟਰ ਜਾਂ ਬ੍ਰਾਂਚਪਾਈਥਨ ਓਪਰੇਟਰ।

ਇਕੱਠੇ ਕੀਤੇ ਗਏ, ਸੰਰਚਨਾ ਫਾਈਲਾਂ (ਡੈਗ ਬਣਾਉਣ) ਦੇ ਵਿਆਪਕਕਰਨ ਦੇ ਨਾਲ ਜੋੜ ਕੇ ਡੈਟਾਗ੍ਰਾਮ ਲੋ-ਕੋਡ ਹੱਲ ਦੀ ਵਰਤੋਂ ਨੇ ਡੇਟਾ ਲੋਡ ਕਰਨ ਦੇ ਪ੍ਰਵਾਹ ਨੂੰ ਵਿਕਸਤ ਕਰਨ ਦੀ ਪ੍ਰਕਿਰਿਆ ਦੇ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਪ੍ਰਵੇਗ ਅਤੇ ਸਰਲੀਕਰਨ ਵੱਲ ਅਗਵਾਈ ਕੀਤੀ।

ਗਣਨਾਵਾਂ ਦਿਖਾਓ

ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਡੇਟਾ ਦੇ ਉਤਪਾਦਨ ਵਿੱਚ ਸ਼ਾਇਦ ਸਭ ਤੋਂ ਬੌਧਿਕ ਤੌਰ 'ਤੇ ਲੋਡ ਕੀਤਾ ਪੜਾਅ ਸ਼ੋਅਕੇਸ ਬਣਾਉਣ ਦਾ ਕਦਮ ਹੈ। ਇੱਕ ਖੋਜ ਕੰਪਨੀ ਦੇ ਡੇਟਾ ਗਣਨਾ ਦੇ ਪ੍ਰਵਾਹ ਦੇ ਸੰਦਰਭ ਵਿੱਚ, ਇਸ ਪੜਾਅ 'ਤੇ, ਡੇਟਾ ਨੂੰ ਇੱਕ ਸੰਦਰਭ ਪ੍ਰਸਾਰਣ ਵਿੱਚ ਘਟਾ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ, ਸਮਾਂ ਖੇਤਰਾਂ ਲਈ ਖਾਤੇ ਵਿੱਚ ਸੁਧਾਰਾਂ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਦੇ ਹੋਏ ਅਤੇ ਪ੍ਰਸਾਰਣ ਗਰਿੱਡ ਨਾਲ ਲਿੰਕ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਸਥਾਨਕ ਪ੍ਰਸਾਰਣ ਨੈਟਵਰਕ (ਸਥਾਨਕ ਖ਼ਬਰਾਂ ਅਤੇ ਇਸ਼ਤਿਹਾਰਬਾਜ਼ੀ) ਲਈ ਵਿਵਸਥਿਤ ਕਰਨਾ ਵੀ ਸੰਭਵ ਹੈ। ਹੋਰ ਚੀਜ਼ਾਂ ਦੇ ਨਾਲ, ਇਹ ਕਦਮ ਦੇਖਣ ਦੇ ਅੰਤਰਾਲਾਂ ਦੇ ਵਿਸ਼ਲੇਸ਼ਣ ਦੇ ਆਧਾਰ 'ਤੇ ਮੀਡੀਆ ਉਤਪਾਦਾਂ ਦੇ ਲਗਾਤਾਰ ਦੇਖਣ ਦੇ ਅੰਤਰਾਲਾਂ ਨੂੰ ਤੋੜਦਾ ਹੈ। ਤੁਰੰਤ, ਦੇਖਣ ਦੇ ਮੁੱਲ ਉਹਨਾਂ ਦੀ ਮਹੱਤਤਾ (ਇੱਕ ਸੁਧਾਰ ਕਾਰਕ ਦੀ ਗਣਨਾ) ਬਾਰੇ ਜਾਣਕਾਰੀ ਦੇ ਅਧਾਰ ਤੇ "ਵਜ਼ਨ" ਹੁੰਦੇ ਹਨ।

ਸ਼ੋਅਕੇਸ ਤਿਆਰ ਕਰਨ ਵਿੱਚ ਇੱਕ ਵੱਖਰਾ ਕਦਮ ਡਾਟਾ ਪ੍ਰਮਾਣਿਕਤਾ ਹੈ। ਪ੍ਰਮਾਣਿਕਤਾ ਐਲਗੋਰਿਦਮ ਵਿੱਚ ਕਈ ਗਣਿਤ ਵਿਗਿਆਨ ਮਾਡਲਾਂ ਦੀ ਵਰਤੋਂ ਸ਼ਾਮਲ ਹੁੰਦੀ ਹੈ। ਹਾਲਾਂਕਿ, ਇੱਕ ਘੱਟ-ਕੋਡ ਪਲੇਟਫਾਰਮ ਦੀ ਵਰਤੋਂ ਤੁਹਾਨੂੰ ਇੱਕ ਗੁੰਝਲਦਾਰ ਐਲਗੋਰਿਦਮ ਨੂੰ ਵੱਖ-ਵੱਖ ਵਿਜ਼ੂਲੀ ਪੜ੍ਹਨਯੋਗ ਮੈਪਿੰਗਾਂ ਵਿੱਚ ਤੋੜਨ ਦੀ ਆਗਿਆ ਦਿੰਦੀ ਹੈ। ਹਰੇਕ ਮੈਪਿੰਗ ਇੱਕ ਤੰਗ ਕੰਮ ਕਰਦੀ ਹੈ। ਨਤੀਜੇ ਵਜੋਂ, ਵਿਚਕਾਰਲੇ ਡੀਬੱਗਿੰਗ, ਲੌਗਿੰਗ ਅਤੇ ਡੇਟਾ ਦੀ ਤਿਆਰੀ ਦੇ ਪੜਾਵਾਂ ਦੀ ਵਿਜ਼ੂਅਲਾਈਜ਼ੇਸ਼ਨ ਸੰਭਵ ਹੈ।

ਪ੍ਰਮਾਣਿਕਤਾ ਐਲਗੋਰਿਦਮ ਨੂੰ ਨਿਮਨਲਿਖਤ ਉਪ-ਪੜਾਆਂ ਵਿੱਚ ਵੱਖ ਕਰਨ ਦਾ ਫੈਸਲਾ ਕੀਤਾ ਗਿਆ ਸੀ:

• 60 ਦਿਨਾਂ ਲਈ ਖੇਤਰ ਵਿੱਚ ਸਾਰੇ ਨੈੱਟਵਰਕਾਂ ਨੂੰ ਦੇਖਣ ਦੇ ਨਾਲ ਇੱਕ ਖੇਤਰ ਵਿੱਚ ਟੀਵੀ ਨੈੱਟਵਰਕ ਦੇਖਣ ਦੀ ਨਿਰਭਰਤਾ ਦੇ ਰਿਗਰੈਸ਼ਨ ਨੂੰ ਬਣਾਉਣਾ।
• ਸਾਰੇ ਰਿਗਰੈਸ਼ਨ ਬਿੰਦੂਆਂ ਲਈ ਅਤੇ ਗਣਨਾ ਕੀਤੇ ਦਿਨ ਲਈ ਵਿਦਿਆਰਥੀ ਰਹਿਤ ਅਵਸ਼ੇਸ਼ਾਂ ਦੀ ਗਣਨਾ (ਰਿਗਰੈਸ਼ਨ ਮਾਡਲ ਦੁਆਰਾ ਪੂਰਵ-ਅਨੁਮਾਨ ਤੋਂ ਅਸਲ ਮੁੱਲਾਂ ਦੇ ਵਿਵਹਾਰ)।
• ਅਸਧਾਰਨ ਖੇਤਰ-ਨੈੱਟਵਰਕ ਜੋੜਿਆਂ ਦੀ ਇੱਕ ਚੋਣ, ਜਿੱਥੇ ਨਿਪਟਾਰੇ ਦੇ ਦਿਨ ਦਾ ਵਿਦਿਆਰਥੀ ਸੰਤੁਲਨ ਆਦਰਸ਼ (ਓਪਰੇਸ਼ਨ ਸੈਟਿੰਗਾਂ ਦੁਆਰਾ ਨਿਰਧਾਰਤ) ਤੋਂ ਵੱਧ ਜਾਂਦਾ ਹੈ।
• ਨਮੂਨੇ ਵਿੱਚੋਂ ਇਸ ਉੱਤਰਦਾਤਾ ਨੂੰ ਦੇਖਣ ਨੂੰ ਛੱਡ ਕੇ, ਇਸ ਉੱਤਰਦਾਤਾ ਦੇ ਯੋਗਦਾਨ (ਵਿਦਿਆਰਥੀ ਰਹਿਤ ਬਕਾਇਆ ਵਿੱਚ ਤਬਦੀਲੀ ਦੀ ਮਾਤਰਾ) ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਦੇ ਹੋਏ, ਖੇਤਰ ਵਿੱਚ ਨੈੱਟਵਰਕ ਦੇਖਣ ਵਾਲੇ ਹਰੇਕ ਉੱਤਰਦਾਤਾ ਲਈ ਅਸਧਾਰਨ ਖੇਤਰ-ਟੀਵੀ ਨੈੱਟਵਰਕ ਜੋੜਿਆਂ ਲਈ ਠੀਕ ਕੀਤੇ ਵਿਦਿਆਰਥੀ ਰਹਿਤ ਬਚੇ ਦੀ ਮੁੜ ਗਣਨਾ। .
• ਉਹਨਾਂ ਉਮੀਦਵਾਰਾਂ ਦੀ ਖੋਜ ਕਰੋ ਜਿਨ੍ਹਾਂ ਦੀ ਬੇਦਖਲੀ ਤਨਖਾਹ ਦੇ ਵਿਦਿਆਰਥੀ ਸੰਤੁਲਨ ਨੂੰ ਆਮ ਵਾਂਗ ਵਾਪਸ ਲਿਆਉਂਦੀ ਹੈ।

ਉਪਰੋਕਤ ਉਦਾਹਰਨ ਇਸ ਕਲਪਨਾ ਦੀ ਪੁਸ਼ਟੀ ਕਰਦੀ ਹੈ ਕਿ ਇੱਕ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਦੇ ਦਿਮਾਗ ਵਿੱਚ ਪਹਿਲਾਂ ਹੀ ਬਹੁਤ ਜ਼ਿਆਦਾ ਹੈ ... ਅਤੇ, ਜੇਕਰ ਇਹ ਸੱਚਮੁੱਚ ਇੱਕ "ਇੰਜੀਨੀਅਰ" ਹੈ ਅਤੇ "ਕੋਡਰ" ਨਹੀਂ ਹੈ, ਤਾਂ ਉਹ ਘੱਟ-ਕੋਡ ਸਾਧਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਸਮੇਂ ਪੇਸ਼ੇਵਰ ਪਤਨ ਦਾ ਡਰ ਹੈ. ਅੰਤ ਵਿੱਚ ਪਿੱਛੇ ਹਟਣਾ ਚਾਹੀਦਾ ਹੈ।

ਲੋਅ-ਕੋਡ ਹੋਰ ਕੀ ਕਰ ਸਕਦਾ ਹੈ?

ਸਕਾਲਾ ਵਿੱਚ ਹੱਥੀਂ ਕੋਡ ਲਿਖਣ ਦੀ ਲੋੜ ਤੋਂ ਬਿਨਾਂ ਬੈਚ ਅਤੇ ਸਟ੍ਰੀਮ ਡੇਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਲਈ ਇੱਕ ਲੋ-ਕੋਡ ਟੂਲ ਦੀ ਵਰਤੋਂ ਦਾ ਘੇਰਾ ਇੱਥੇ ਖਤਮ ਨਹੀਂ ਹੁੰਦਾ।

ਡੈਟਾਲੇਕ ਦੇ ਵਿਕਾਸ ਵਿੱਚ ਘੱਟ-ਕੋਡ ਦੀ ਵਰਤੋਂ ਸਾਡੇ ਲਈ ਪਹਿਲਾਂ ਹੀ ਇੱਕ ਮਿਆਰ ਬਣ ਗਈ ਹੈ. ਅਸੀਂ ਸ਼ਾਇਦ ਕਹਿ ਸਕਦੇ ਹਾਂ ਕਿ ਹੈਡੂਪ ਸਟੈਕ 'ਤੇ ਅਧਾਰਤ ਹੱਲ RDBMS 'ਤੇ ਅਧਾਰਤ ਕਲਾਸਿਕ DWHs ਦੇ ਵਿਕਾਸ ਮਾਰਗ ਦੀ ਪਾਲਣਾ ਕਰਦੇ ਹਨ। Hadoop ਸਟੈਕ 'ਤੇ ਲੋ-ਕੋਡ ਟੂਲ ਡੇਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਕਾਰਜਾਂ ਅਤੇ ਅੰਤਮ BI ਇੰਟਰਫੇਸ ਬਣਾਉਣ ਦੇ ਕੰਮ ਦੋਵਾਂ ਨੂੰ ਹੱਲ ਕਰ ਸਕਦੇ ਹਨ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਇਹ ਨੋਟ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ BI ਦਾ ਮਤਲਬ ਸਿਰਫ ਡੇਟਾ ਦੀ ਨੁਮਾਇੰਦਗੀ ਹੀ ਨਹੀਂ, ਸਗੋਂ ਵਪਾਰਕ ਉਪਭੋਗਤਾਵਾਂ ਦੁਆਰਾ ਇਸਦਾ ਸੰਪਾਦਨ ਵੀ ਹੋ ਸਕਦਾ ਹੈ। ਵਿੱਤੀ ਖੇਤਰ ਲਈ ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਪਲੇਟਫਾਰਮ ਬਣਾਉਣ ਵੇਲੇ ਅਸੀਂ ਅਕਸਰ ਇਸ ਕਾਰਜਕੁਸ਼ਲਤਾ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਾਂ।

ਹੋਰ ਚੀਜ਼ਾਂ ਦੇ ਨਾਲ, ਲੋ-ਕੋਡ ਅਤੇ, ਖਾਸ ਤੌਰ 'ਤੇ, ਡੇਟਾਗ੍ਰਾਮ ਦੀ ਵਰਤੋਂ ਕਰਕੇ, ਵਿਅਕਤੀਗਤ ਖੇਤਰਾਂ (ਵੰਸ਼) ਤੱਕ ਪ੍ਰਮਾਣੂਤਾ ਦੇ ਨਾਲ ਡੇਟਾ ਸਟ੍ਰੀਮ ਆਬਜੈਕਟ ਦੇ ਮੂਲ ਨੂੰ ਟਰੈਕ ਕਰਨ ਦੀ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰਨਾ ਸੰਭਵ ਹੈ। ਅਜਿਹਾ ਕਰਨ ਲਈ, ਲੋ-ਕੋਡ ਟੂਲ ਅਪਾਚੇ ਐਟਲਸ ਅਤੇ ਕਲਾਉਡੇਰਾ ਨੇਵੀਗੇਟਰ ਨਾਲ ਇੰਟਰਫੇਸ ਨੂੰ ਲਾਗੂ ਕਰਦਾ ਹੈ। ਜ਼ਰੂਰੀ ਤੌਰ 'ਤੇ, ਡਿਵੈਲਪਰ ਨੂੰ ਐਟਲਸ ਡਿਕਸ਼ਨਰੀਆਂ ਵਿੱਚ ਵਸਤੂਆਂ ਦੇ ਇੱਕ ਸਮੂਹ ਨੂੰ ਰਜਿਸਟਰ ਕਰਨ ਅਤੇ ਮੈਪਿੰਗ ਬਣਾਉਣ ਵੇਲੇ ਰਜਿਸਟਰਡ ਵਸਤੂਆਂ ਦਾ ਹਵਾਲਾ ਦੇਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਡੇਟਾ ਦੇ ਮੂਲ ਨੂੰ ਟਰੈਕ ਕਰਨ ਜਾਂ ਆਬਜੈਕਟ ਨਿਰਭਰਤਾ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਲਈ ਵਿਧੀ ਬਹੁਤ ਸਮਾਂ ਬਚਾਉਂਦੀ ਹੈ ਜਦੋਂ ਗਣਨਾ ਐਲਗੋਰਿਦਮ ਵਿੱਚ ਸੁਧਾਰ ਕਰਨ ਦੀ ਜ਼ਰੂਰਤ ਹੁੰਦੀ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਵਿੱਤੀ ਸਟੇਟਮੈਂਟਾਂ ਨੂੰ ਤਿਆਰ ਕਰਦੇ ਸਮੇਂ, ਇਹ ਵਿਸ਼ੇਸ਼ਤਾ ਤੁਹਾਨੂੰ ਵਿਧਾਨਿਕ ਤਬਦੀਲੀਆਂ ਦੀ ਮਿਆਦ ਵਿੱਚ ਵਧੇਰੇ ਆਰਾਮ ਨਾਲ ਬਚਣ ਦੀ ਆਗਿਆ ਦਿੰਦੀ ਹੈ। ਆਖ਼ਰਕਾਰ, ਅਸੀਂ ਇੱਕ ਵਿਸਤ੍ਰਿਤ ਪਰਤ ਦੀਆਂ ਵਸਤੂਆਂ ਦੇ ਸੰਦਰਭ ਵਿੱਚ ਅੰਤਰ-ਰੂਪ ਨਿਰਭਰਤਾ ਨੂੰ ਜਿੰਨਾ ਬਿਹਤਰ ਸਮਝਾਂਗੇ, ਓਨਾ ਹੀ ਘੱਟ ਅਸੀਂ "ਅਚਾਨਕ" ਨੁਕਸ ਦਾ ਸਾਹਮਣਾ ਕਰਾਂਗੇ ਅਤੇ ਮੁੜ ਕੰਮ ਕਰਨ ਦੀ ਗਿਣਤੀ ਨੂੰ ਘਟਾਵਾਂਗੇ।

ਡਾਟਾ ਗੁਣਵੱਤਾ ਅਤੇ ਘੱਟ-ਕੋਡ

ਮੀਡੀਆਸਕੋਪ ਪ੍ਰੋਜੈਕਟ 'ਤੇ ਲੋ-ਕੋਡ ਟੂਲ ਦੁਆਰਾ ਲਾਗੂ ਕੀਤਾ ਗਿਆ ਇੱਕ ਹੋਰ ਕੰਮ ਡੇਟਾ ਕੁਆਲਿਟੀ ਕਲਾਸ ਟਾਸਕ ਸੀ। ਖੋਜ ਕੰਪਨੀ ਪ੍ਰੋਜੈਕਟ ਲਈ ਡੇਟਾ ਤਸਦੀਕ ਪਾਈਪਲਾਈਨ ਨੂੰ ਲਾਗੂ ਕਰਨ ਦੀ ਇੱਕ ਵਿਸ਼ੇਸ਼ਤਾ ਮੁੱਖ ਡੇਟਾ ਗਣਨਾ ਪ੍ਰਵਾਹ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਅਤੇ ਗਤੀ 'ਤੇ ਪ੍ਰਭਾਵ ਦੀ ਘਾਟ ਸੀ। ਸੁਤੰਤਰ ਡੇਟਾ ਤਸਦੀਕ ਪ੍ਰਵਾਹ ਨੂੰ ਆਰਕੇਸਟ੍ਰੇਟ ਕਰਨ ਦੇ ਯੋਗ ਹੋਣ ਲਈ, ਪਹਿਲਾਂ ਤੋਂ ਹੀ ਜਾਣੂ ਅਪਾਚੇ ਏਅਰਫਲੋ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਗਈ ਸੀ। ਜਿਵੇਂ ਕਿ ਡੇਟਾ ਉਤਪਾਦਨ ਦਾ ਹਰੇਕ ਪੜਾਅ ਤਿਆਰ ਸੀ, ਡੀਕਿਊ ਪਾਈਪਲਾਈਨ ਦਾ ਇੱਕ ਵੱਖਰਾ ਹਿੱਸਾ ਸਮਾਨਾਂਤਰ ਵਿੱਚ ਲਾਂਚ ਕੀਤਾ ਗਿਆ ਸੀ।

ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਪਲੇਟਫਾਰਮ ਵਿੱਚ ਇਸਦੀ ਸ਼ੁਰੂਆਤ ਦੇ ਪਲ ਤੋਂ ਡੇਟਾ ਦੀ ਗੁਣਵੱਤਾ ਦੀ ਨਿਗਰਾਨੀ ਕਰਨਾ ਇੱਕ ਚੰਗਾ ਅਭਿਆਸ ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ। ਮੈਟਾਡੇਟਾ ਬਾਰੇ ਜਾਣਕਾਰੀ ਹੋਣ ਨਾਲ, ਅਸੀਂ ਮੁੱਢਲੀਆਂ ਸ਼ਰਤਾਂ ਦੀ ਪਾਲਣਾ ਦੀ ਜਾਂਚ ਕਰ ਸਕਦੇ ਹਾਂ ਜਦੋਂ ਤੋਂ ਜਾਣਕਾਰੀ ਪ੍ਰਾਇਮਰੀ ਪਰਤ ਵਿੱਚ ਦਾਖਲ ਹੁੰਦੀ ਹੈ - ਨਲ, ਰੁਕਾਵਟਾਂ, ਵਿਦੇਸ਼ੀ ਕੁੰਜੀਆਂ ਨਹੀਂ। ਇਹ ਕਾਰਜਕੁਸ਼ਲਤਾ ਡੈਟਾਗ੍ਰਾਮ ਵਿੱਚ ਡਾਟਾ ਗੁਣਵੱਤਾ ਪਰਿਵਾਰ ਦੇ ਸਵੈਚਲਿਤ ਤੌਰ 'ਤੇ ਤਿਆਰ ਕੀਤੀ ਮੈਪਿੰਗ ਦੇ ਆਧਾਰ 'ਤੇ ਲਾਗੂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਇਸ ਕੇਸ ਵਿੱਚ ਕੋਡ ਬਣਾਉਣਾ ਵੀ ਮਾਡਲ ਮੈਟਾਡੇਟਾ 'ਤੇ ਅਧਾਰਤ ਹੈ। ਮੀਡੀਆਸਕੋਪ ਪ੍ਰੋਜੈਕਟ 'ਤੇ, ਇੰਟਰਫੇਸ ਨੂੰ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਆਰਕੀਟੈਕਟ ਉਤਪਾਦ ਦੇ ਮੈਟਾਡੇਟਾ ਨਾਲ ਕੀਤਾ ਗਿਆ ਸੀ।

ਐਂਟਰਪ੍ਰਾਈਜ਼ ਆਰਕੀਟੈਕਟ ਦੇ ਨਾਲ ਲੋ-ਕੋਡ ਟੂਲ ਨੂੰ ਜੋੜ ਕੇ, ਹੇਠਾਂ ਦਿੱਤੀਆਂ ਜਾਂਚਾਂ ਆਪਣੇ ਆਪ ਤਿਆਰ ਕੀਤੀਆਂ ਗਈਆਂ ਸਨ:

• "ਨਲ" ਮੋਡੀਫਾਇਰ ਦੇ ਨਾਲ ਖੇਤਰਾਂ ਵਿੱਚ "ਨੱਲ" ਮੁੱਲਾਂ ਦੀ ਮੌਜੂਦਗੀ ਦੀ ਜਾਂਚ ਕਰ ਰਿਹਾ ਹੈ;
• ਪ੍ਰਾਇਮਰੀ ਕੁੰਜੀ ਦੇ ਡੁਪਲੀਕੇਟ ਦੀ ਮੌਜੂਦਗੀ ਦੀ ਜਾਂਚ ਕਰਨਾ;
• ਕਿਸੇ ਇਕਾਈ ਦੀ ਵਿਦੇਸ਼ੀ ਕੁੰਜੀ ਦੀ ਜਾਂਚ ਕਰਨਾ;
• ਖੇਤਰਾਂ ਦੇ ਇੱਕ ਸਮੂਹ ਦੇ ਅਧਾਰ ਤੇ ਇੱਕ ਸਤਰ ਦੀ ਵਿਲੱਖਣਤਾ ਦੀ ਜਾਂਚ ਕਰਨਾ।

ਡੇਟਾ ਦੀ ਉਪਲਬਧਤਾ ਅਤੇ ਭਰੋਸੇਯੋਗਤਾ ਦੀਆਂ ਵਧੇਰੇ ਗੁੰਝਲਦਾਰ ਜਾਂਚਾਂ ਲਈ, ਸਕੇਲਾ ਐਕਸਪ੍ਰੈਸ਼ਨ ਦੇ ਨਾਲ ਇੱਕ ਮੈਪਿੰਗ ਬਣਾਈ ਗਈ ਸੀ, ਜੋ ਕਿ ਜ਼ੈਪੇਲਿਨ ਦੇ ਵਿਸ਼ਲੇਸ਼ਕਾਂ ਦੁਆਰਾ ਤਿਆਰ ਇੱਕ ਬਾਹਰੀ ਸਪਾਰਕ SQL ਚੈੱਕ ਕੋਡ ਨੂੰ ਇਨਪੁਟ ਵਜੋਂ ਲੈਂਦਾ ਹੈ।

ਬੇਸ਼ੱਕ, ਚੈਕਾਂ ਦੀ ਆਟੋਮੈਟਿਕ ਪੀੜ੍ਹੀ ਹੌਲੀ-ਹੌਲੀ ਪ੍ਰਾਪਤ ਕੀਤੀ ਜਾਣੀ ਚਾਹੀਦੀ ਹੈ। ਵਰਣਿਤ ਪ੍ਰੋਜੈਕਟ ਦੇ ਫਰੇਮਵਰਕ ਦੇ ਅੰਦਰ, ਇਹ ਅੱਗੇ ਦਿੱਤੇ ਕਦਮਾਂ ਦੁਆਰਾ ਕੀਤਾ ਗਿਆ ਸੀ:

• ਜ਼ੈਪੇਲਿਨ ਨੋਟਬੁੱਕਾਂ ਵਿੱਚ ਲਾਗੂ DQ;
• ਮੈਪਿੰਗ ਵਿੱਚ ਬਣਾਇਆ DQ;
• ਇੱਕ ਵੱਖਰੀ ਹਸਤੀ ਲਈ ਚੈਕਾਂ ਦੇ ਪੂਰੇ ਸਮੂਹ ਵਾਲੇ ਵੱਖਰੇ ਵਿਸ਼ਾਲ ਮੈਪਿੰਗ ਦੇ ਰੂਪ ਵਿੱਚ DQ;
• ਯੂਨੀਵਰਸਲ ਪੈਰਾਮੀਟਰਾਈਜ਼ਡ ਡੀਕਿਊ ਮੈਪਿੰਗ ਜੋ ਮੈਟਾਡੇਟਾ ਅਤੇ ਕਾਰੋਬਾਰੀ ਜਾਂਚਾਂ ਬਾਰੇ ਜਾਣਕਾਰੀ ਨੂੰ ਇਨਪੁਟ ਵਜੋਂ ਸਵੀਕਾਰ ਕਰਦੇ ਹਨ।

ਪੈਰਾਮੀਟਰਾਈਜ਼ਡ ਚੈਕ ਸੇਵਾ ਬਣਾਉਣ ਦਾ ਸ਼ਾਇਦ ਮੁੱਖ ਫਾਇਦਾ ਉਤਪਾਦਨ ਵਾਤਾਵਰਣ ਨੂੰ ਕਾਰਜਕੁਸ਼ਲਤਾ ਪ੍ਰਦਾਨ ਕਰਨ ਵਿੱਚ ਲੱਗਣ ਵਾਲੇ ਸਮੇਂ ਵਿੱਚ ਕਮੀ ਹੈ। ਨਵੀਆਂ ਗੁਣਵੱਤਾ ਜਾਂਚਾਂ ਵਿਕਾਸ ਅਤੇ ਟੈਸਟਿੰਗ ਵਾਤਾਵਰਨ ਦੁਆਰਾ ਅਸਿੱਧੇ ਤੌਰ 'ਤੇ ਕੋਡ ਪ੍ਰਦਾਨ ਕਰਨ ਦੇ ਕਲਾਸਿਕ ਪੈਟਰਨ ਨੂੰ ਬਾਈਪਾਸ ਕਰ ਸਕਦੀਆਂ ਹਨ:

• ਜਦੋਂ EA ਵਿੱਚ ਮਾਡਲ ਨੂੰ ਸੋਧਿਆ ਜਾਂਦਾ ਹੈ ਤਾਂ ਸਾਰੇ ਮੈਟਾਡੇਟਾ ਜਾਂਚਾਂ ਆਪਣੇ ਆਪ ਤਿਆਰ ਹੁੰਦੀਆਂ ਹਨ;
• ਡੇਟਾ ਉਪਲਬਧਤਾ ਜਾਂਚਾਂ (ਸਮੇਂ ਦੇ ਇੱਕ ਬਿੰਦੂ 'ਤੇ ਕਿਸੇ ਵੀ ਡੇਟਾ ਦੀ ਮੌਜੂਦਗੀ ਦਾ ਪਤਾ ਲਗਾਉਣਾ) ਇੱਕ ਡਾਇਰੈਕਟਰੀ ਦੇ ਅਧਾਰ ਤੇ ਤਿਆਰ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ ਜੋ ਵਸਤੂਆਂ ਦੇ ਸੰਦਰਭ ਵਿੱਚ ਡੇਟਾ ਦੇ ਅਗਲੇ ਹਿੱਸੇ ਦੀ ਦਿੱਖ ਦੇ ਸੰਭਾਵਿਤ ਸਮੇਂ ਨੂੰ ਸਟੋਰ ਕਰਦੀ ਹੈ;
• ਜ਼ੇਪੇਲਿਨ ਨੋਟਬੁੱਕਾਂ ਵਿੱਚ ਵਿਸ਼ਲੇਸ਼ਕਾਂ ਦੁਆਰਾ ਵਪਾਰਕ ਡੇਟਾ ਪ੍ਰਮਾਣਿਕਤਾ ਜਾਂਚਾਂ ਬਣਾਈਆਂ ਜਾਂਦੀਆਂ ਹਨ। ਉੱਥੋਂ ਉਹਨਾਂ ਨੂੰ ਉਤਪਾਦਨ ਵਾਤਾਵਰਣ ਵਿੱਚ ਸਿੱਧੇ DQ ਮੋਡੀਊਲ ਸੈੱਟਅੱਪ ਟੇਬਲ ਵਿੱਚ ਭੇਜਿਆ ਜਾਂਦਾ ਹੈ।

ਉਤਪਾਦਨ ਲਈ ਸਕ੍ਰਿਪਟਾਂ ਨੂੰ ਸਿੱਧੇ ਸ਼ਿਪਿੰਗ ਕਰਨ ਦਾ ਕੋਈ ਜੋਖਮ ਨਹੀਂ ਹੈ। ਇੱਥੋਂ ਤੱਕ ਕਿ ਇੱਕ ਸੰਟੈਕਸ ਗਲਤੀ ਦੇ ਨਾਲ, ਵੱਧ ਤੋਂ ਵੱਧ ਜੋ ਸਾਨੂੰ ਧਮਕੀ ਦਿੰਦਾ ਹੈ ਉਹ ਇੱਕ ਜਾਂਚ ਕਰਨ ਵਿੱਚ ਅਸਫਲਤਾ ਹੈ, ਕਿਉਂਕਿ ਡੇਟਾ ਗਣਨਾ ਦਾ ਪ੍ਰਵਾਹ ਅਤੇ ਗੁਣਵੱਤਾ ਜਾਂਚ ਲਾਂਚ ਪ੍ਰਵਾਹ ਇੱਕ ਦੂਜੇ ਤੋਂ ਵੱਖ ਹੁੰਦੇ ਹਨ।

ਸੰਖੇਪ ਰੂਪ ਵਿੱਚ, DQ ਸੇਵਾ ਸਥਾਈ ਤੌਰ 'ਤੇ ਉਤਪਾਦਨ ਦੇ ਵਾਤਾਵਰਣ ਵਿੱਚ ਚੱਲ ਰਹੀ ਹੈ ਅਤੇ ਡੇਟਾ ਦਾ ਅਗਲਾ ਹਿੱਸਾ ਦਿਖਾਈ ਦੇਣ ਦੇ ਪਲ ਆਪਣਾ ਕੰਮ ਸ਼ੁਰੂ ਕਰਨ ਲਈ ਤਿਆਰ ਹੈ।

ਸੰਪੂਰਨ ਹੋਣ ਦੇ ਬਜਾਏ

ਘੱਟ-ਕੋਡ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦਾ ਫਾਇਦਾ ਸਪੱਸ਼ਟ ਹੈ। ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਸਕ੍ਰੈਚ ਤੋਂ ਐਪਲੀਕੇਸ਼ਨ ਵਿਕਸਿਤ ਕਰਨ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ। ਅਤੇ ਵਾਧੂ ਕਾਰਜਾਂ ਤੋਂ ਮੁਕਤ ਇੱਕ ਪ੍ਰੋਗਰਾਮਰ ਤੇਜ਼ੀ ਨਾਲ ਨਤੀਜੇ ਪੈਦਾ ਕਰਦਾ ਹੈ। ਸਪੀਡ, ਬਦਲੇ ਵਿੱਚ, ਅਨੁਕੂਲਨ ਮੁੱਦਿਆਂ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ ਵਾਧੂ ਸਮਾਂ ਖਾਲੀ ਕਰ ਦਿੰਦੀ ਹੈ। ਇਸ ਲਈ, ਇਸ ਕੇਸ ਵਿੱਚ, ਤੁਸੀਂ ਇੱਕ ਬਿਹਤਰ ਅਤੇ ਤੇਜ਼ ਹੱਲ 'ਤੇ ਭਰੋਸਾ ਕਰ ਸਕਦੇ ਹੋ.

ਬੇਸ਼ੱਕ, ਘੱਟ-ਕੋਡ ਇੱਕ ਇਲਾਜ ਨਹੀਂ ਹੈ, ਅਤੇ ਜਾਦੂ ਆਪਣੇ ਆਪ ਨਹੀਂ ਹੋਵੇਗਾ:

• ਘੱਟ-ਕੋਡ ਉਦਯੋਗ ਇੱਕ "ਮਜ਼ਬੂਤ ​​ਹੋਣ" ਦੇ ਪੜਾਅ ਵਿੱਚੋਂ ਲੰਘ ਰਿਹਾ ਹੈ, ਅਤੇ ਅਜੇ ਤੱਕ ਕੋਈ ਸਮਾਨ ਉਦਯੋਗਿਕ ਮਿਆਰ ਨਹੀਂ ਹਨ;
• ਬਹੁਤ ਸਾਰੇ ਘੱਟ-ਕੋਡ ਹੱਲ ਮੁਫਤ ਨਹੀਂ ਹੁੰਦੇ ਹਨ, ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਖਰੀਦਣਾ ਇੱਕ ਚੇਤੰਨ ਕਦਮ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ, ਜੋ ਉਹਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੇ ਵਿੱਤੀ ਲਾਭਾਂ ਵਿੱਚ ਪੂਰੇ ਵਿਸ਼ਵਾਸ ਨਾਲ ਬਣਾਇਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ;
• ਬਹੁਤ ਸਾਰੇ ਘੱਟ-ਕੋਡ ਹੱਲ ਹਮੇਸ਼ਾ GIT/SVN ਨਾਲ ਵਧੀਆ ਕੰਮ ਨਹੀਂ ਕਰਦੇ। ਜਾਂ ਉਹ ਵਰਤਣ ਲਈ ਅਸੁਵਿਧਾਜਨਕ ਹਨ ਜੇਕਰ ਤਿਆਰ ਕੀਤਾ ਕੋਡ ਲੁਕਿਆ ਹੋਇਆ ਹੈ;
• ਆਰਕੀਟੈਕਚਰ ਦਾ ਵਿਸਤਾਰ ਕਰਦੇ ਸਮੇਂ, ਘੱਟ-ਕੋਡ ਹੱਲ ਨੂੰ ਸੋਧਣਾ ਜ਼ਰੂਰੀ ਹੋ ਸਕਦਾ ਹੈ - ਜੋ ਬਦਲੇ ਵਿੱਚ, ਘੱਟ-ਕੋਡ ਹੱਲ ਦੇ ਸਪਲਾਇਰ 'ਤੇ "ਅਟੈਚਮੈਂਟ ਅਤੇ ਨਿਰਭਰਤਾ" ਦੇ ਪ੍ਰਭਾਵ ਨੂੰ ਭੜਕਾਉਂਦਾ ਹੈ।
• ਸੁਰੱਖਿਆ ਦਾ ਇੱਕ ਢੁਕਵਾਂ ਪੱਧਰ ਸੰਭਵ ਹੈ, ਪਰ ਇਹ ਘੱਟ-ਕੋਡ ਸਿਸਟਮ ਇੰਜਣਾਂ ਵਿੱਚ ਲਾਗੂ ਕਰਨਾ ਬਹੁਤ ਮਿਹਨਤੀ ਅਤੇ ਮੁਸ਼ਕਲ ਹੈ। ਘੱਟ-ਕੋਡ ਪਲੇਟਫਾਰਮਾਂ ਨੂੰ ਨਾ ਸਿਰਫ਼ ਉਹਨਾਂ ਦੀ ਵਰਤੋਂ ਤੋਂ ਲਾਭ ਲੈਣ ਦੇ ਸਿਧਾਂਤ 'ਤੇ ਚੁਣਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਚੋਣ ਕਰਦੇ ਸਮੇਂ, ਸੰਸਥਾ ਦੇ ਸਮੁੱਚੇ IT ਲੈਂਡਸਕੇਪ ਦੇ ਪੱਧਰ ਤੱਕ ਪਹੁੰਚ ਨਿਯੰਤਰਣ ਅਤੇ ਪਛਾਣ ਡੇਟਾ ਦੇ ਡੈਲੀਗੇਸ਼ਨ/ਵਧਾਈ ਲਈ ਕਾਰਜਕੁਸ਼ਲਤਾ ਦੀ ਉਪਲਬਧਤਾ ਬਾਰੇ ਸਵਾਲ ਪੁੱਛਣਾ ਮਹੱਤਵਪੂਰਣ ਹੈ।

ਹਾਲਾਂਕਿ, ਜੇ ਚੁਣੀ ਗਈ ਪ੍ਰਣਾਲੀ ਦੀਆਂ ਸਾਰੀਆਂ ਕਮੀਆਂ ਤੁਹਾਨੂੰ ਜਾਣੀਆਂ ਜਾਂਦੀਆਂ ਹਨ, ਅਤੇ ਇਸਦੇ ਉਪਯੋਗ ਦੇ ਲਾਭ, ਫਿਰ ਵੀ, ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਬਹੁਮਤ ਵਿੱਚ ਹਨ, ਤਾਂ ਬਿਨਾਂ ਕਿਸੇ ਡਰ ਦੇ ਛੋਟੇ ਕੋਡ ਵੱਲ ਵਧੋ. ਇਸ ਤੋਂ ਇਲਾਵਾ, ਇਸ ਵਿਚ ਤਬਦੀਲੀ ਅਟੱਲ ਹੈ - ਜਿਵੇਂ ਕੋਈ ਵੀ ਵਿਕਾਸ ਅਟੱਲ ਹੈ।

ਜੇਕਰ ਇੱਕ ਲੋ-ਕੋਡ ਪਲੇਟਫਾਰਮ 'ਤੇ ਇੱਕ ਡਿਵੈਲਪਰ ਘੱਟ-ਕੋਡ ਤੋਂ ਬਿਨਾਂ ਦੋ ਡਿਵੈਲਪਰਾਂ ਨਾਲੋਂ ਤੇਜ਼ੀ ਨਾਲ ਆਪਣਾ ਕੰਮ ਕਰਦਾ ਹੈ, ਤਾਂ ਇਹ ਕੰਪਨੀ ਨੂੰ ਹਰ ਪੱਖੋਂ ਇੱਕ ਸ਼ੁਰੂਆਤੀ ਸ਼ੁਰੂਆਤ ਦਿੰਦਾ ਹੈ। ਘੱਟ-ਕੋਡ ਹੱਲਾਂ ਵਿੱਚ ਦਾਖਲੇ ਲਈ ਥ੍ਰੈਸ਼ਹੋਲਡ "ਰਵਾਇਤੀ" ਤਕਨਾਲੋਜੀਆਂ ਨਾਲੋਂ ਘੱਟ ਹੈ, ਅਤੇ ਇਸ ਨਾਲ ਕਰਮਚਾਰੀਆਂ ਦੀ ਘਾਟ ਦੇ ਮੁੱਦੇ 'ਤੇ ਸਕਾਰਾਤਮਕ ਪ੍ਰਭਾਵ ਪੈਂਦਾ ਹੈ। ਘੱਟ-ਕੋਡ ਵਾਲੇ ਸਾਧਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਸਮੇਂ, ਕਾਰਜਸ਼ੀਲ ਟੀਮਾਂ ਵਿਚਕਾਰ ਆਪਸੀ ਤਾਲਮੇਲ ਨੂੰ ਤੇਜ਼ ਕਰਨਾ ਅਤੇ ਡਾਟਾ ਵਿਗਿਆਨ ਖੋਜ ਦੇ ਚੁਣੇ ਹੋਏ ਮਾਰਗ ਦੀ ਸ਼ੁੱਧਤਾ ਬਾਰੇ ਤੇਜ਼ੀ ਨਾਲ ਫੈਸਲੇ ਲੈਣਾ ਸੰਭਵ ਹੈ। ਨੀਵੇਂ-ਪੱਧਰ ਦੇ ਪਲੇਟਫਾਰਮ ਇੱਕ ਸੰਗਠਨ ਦੇ ਡਿਜੀਟਲ ਪਰਿਵਰਤਨ ਨੂੰ ਚਲਾ ਸਕਦੇ ਹਨ ਕਿਉਂਕਿ ਤਿਆਰ ਕੀਤੇ ਗਏ ਹੱਲ ਗੈਰ-ਤਕਨੀਕੀ ਮਾਹਰਾਂ (ਖਾਸ ਤੌਰ 'ਤੇ ਵਪਾਰਕ ਉਪਭੋਗਤਾ) ਦੁਆਰਾ ਸਮਝੇ ਜਾ ਸਕਦੇ ਹਨ।

ਜੇ ਤੁਹਾਡੇ ਕੋਲ ਤੰਗ ਸਮਾਂ-ਸੀਮਾਵਾਂ, ਲੋਡ ਕੀਤੇ ਵਪਾਰਕ ਤਰਕ, ਤਕਨੀਕੀ ਮੁਹਾਰਤ ਦੀ ਘਾਟ ਹੈ, ਅਤੇ ਤੁਹਾਨੂੰ ਮਾਰਕੀਟ ਲਈ ਆਪਣਾ ਸਮਾਂ ਤੇਜ਼ ਕਰਨ ਦੀ ਲੋੜ ਹੈ, ਤਾਂ ਘੱਟ-ਕੋਡ ਤੁਹਾਡੀਆਂ ਜ਼ਰੂਰਤਾਂ ਨੂੰ ਪੂਰਾ ਕਰਨ ਦਾ ਇੱਕ ਤਰੀਕਾ ਹੈ।

ਰਵਾਇਤੀ ਵਿਕਾਸ ਸਾਧਨਾਂ ਦੀ ਮਹੱਤਤਾ ਤੋਂ ਇਨਕਾਰ ਨਹੀਂ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ, ਪਰ ਬਹੁਤ ਸਾਰੇ ਮਾਮਲਿਆਂ ਵਿੱਚ, ਘੱਟ-ਕੋਡ ਹੱਲਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਹੱਲ ਕੀਤੇ ਜਾ ਰਹੇ ਕੰਮਾਂ ਦੀ ਕੁਸ਼ਲਤਾ ਨੂੰ ਵਧਾਉਣ ਦਾ ਸਭ ਤੋਂ ਵਧੀਆ ਤਰੀਕਾ ਹੈ।

ਸਰੋਤ: www.habr.com