ਵੱਡੇ ਅਤੇ ਛੋਟੇ ਡੇਟਾ ਟੈਸਟਰ: ਰੁਝਾਨ, ਸਿਧਾਂਤ, ਮੇਰੀ ਕਹਾਣੀ

ਸਾਰਿਆਂ ਨੂੰ ਹੈਲੋ, ਮੇਰਾ ਨਾਮ ਅਲੈਗਜ਼ੈਂਡਰ ਹੈ, ਅਤੇ ਮੈਂ ਇੱਕ ਡੇਟਾ ਕੁਆਲਿਟੀ ਇੰਜੀਨੀਅਰ ਹਾਂ ਜੋ ਡੇਟਾ ਦੀ ਗੁਣਵੱਤਾ ਲਈ ਜਾਂਚ ਕਰਦਾ ਹਾਂ। ਇਹ ਲੇਖ ਇਸ ਬਾਰੇ ਗੱਲ ਕਰੇਗਾ ਕਿ ਮੈਂ ਇਸ ਤੱਕ ਕਿਵੇਂ ਆਇਆ ਅਤੇ 2020 ਵਿੱਚ ਟੈਸਟਿੰਗ ਦਾ ਇਹ ਖੇਤਰ ਇੱਕ ਲਹਿਰ ਦੇ ਸਿਖਰ 'ਤੇ ਕਿਉਂ ਸੀ।

ਗਲੋਬਲ ਰੁਝਾਨ

ਅੱਜ ਦਾ ਸੰਸਾਰ ਇੱਕ ਹੋਰ ਤਕਨੀਕੀ ਕ੍ਰਾਂਤੀ ਦਾ ਅਨੁਭਵ ਕਰ ਰਿਹਾ ਹੈ, ਜਿਸਦਾ ਇੱਕ ਪਹਿਲੂ ਹੈ ਵਿਕਰੀ, ਮੁਨਾਫੇ ਅਤੇ ਪੀਆਰ ਦੇ ਆਪਣੇ ਫਲਾਈਵ੍ਹੀਲ ਨੂੰ ਉਤਸ਼ਾਹਿਤ ਕਰਨ ਲਈ ਹਰ ਕਿਸਮ ਦੀਆਂ ਕੰਪਨੀਆਂ ਦੁਆਰਾ ਇਕੱਤਰ ਕੀਤੇ ਡੇਟਾ ਦੀ ਵਰਤੋਂ। ਅਜਿਹਾ ਲਗਦਾ ਹੈ ਕਿ ਚੰਗੇ (ਗੁਣਵੱਤਾ ਵਾਲੇ) ਡੇਟਾ ਦੀ ਮੌਜੂਦਗੀ, ਅਤੇ ਨਾਲ ਹੀ ਹੁਨਰਮੰਦ ਦਿਮਾਗ ਜੋ ਇਸ ਤੋਂ ਪੈਸਾ ਕਮਾ ਸਕਦੇ ਹਨ (ਸਹੀ ਢੰਗ ਨਾਲ ਪ੍ਰਕਿਰਿਆ, ਕਲਪਨਾ, ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਮਾਡਲ ਬਣਾਉਣ, ਆਦਿ), ਅੱਜ ਬਹੁਤ ਸਾਰੇ ਲੋਕਾਂ ਲਈ ਸਫਲਤਾ ਦੀ ਕੁੰਜੀ ਬਣ ਗਏ ਹਨ। ਜੇ 15-20 ਸਾਲ ਪਹਿਲਾਂ ਵੱਡੀਆਂ ਕੰਪਨੀਆਂ ਮੁੱਖ ਤੌਰ 'ਤੇ ਡੇਟਾ ਇਕੱਠਾ ਕਰਨ ਅਤੇ ਮੁਦਰੀਕਰਨ ਦੇ ਨਾਲ ਗਹਿਰੇ ਕੰਮ ਵਿੱਚ ਸ਼ਾਮਲ ਹੁੰਦੀਆਂ ਸਨ, ਤਾਂ ਅੱਜ ਇਹ ਲਗਭਗ ਸਾਰੇ ਸਮਝਦਾਰ ਲੋਕਾਂ ਦੀ ਬਹੁਤਾਤ ਹੈ।

ਇਸ ਸਬੰਧ ਵਿੱਚ, ਕਈ ਸਾਲ ਪਹਿਲਾਂ, ਦੁਨੀਆ ਭਰ ਵਿੱਚ ਨੌਕਰੀਆਂ ਦੀ ਖੋਜ ਲਈ ਸਮਰਪਿਤ ਸਾਰੇ ਪੋਰਟਲ ਡੇਟਾ ਸਾਇੰਟਿਸਟਾਂ ਲਈ ਖਾਲੀ ਅਸਾਮੀਆਂ ਨਾਲ ਭਰੇ ਜਾਣੇ ਸ਼ੁਰੂ ਹੋ ਗਏ ਸਨ, ਕਿਉਂਕਿ ਹਰ ਕੋਈ ਨਿਸ਼ਚਤ ਸੀ ਕਿ, ਅਜਿਹੇ ਮਾਹਰ ਨੂੰ ਨਿਯੁਕਤ ਕਰਨ ਨਾਲ, ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਦਾ ਇੱਕ ਸੁਪਰ ਮਾਡਲ ਬਣਾਉਣਾ ਸੰਭਵ ਹੋਵੇਗਾ। , ਭਵਿੱਖ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰੋ ਅਤੇ ਕੰਪਨੀ ਲਈ "ਕੁਆਂਟਮ ਲੀਪ" ਕਰੋ। ਸਮੇਂ ਦੇ ਨਾਲ, ਲੋਕਾਂ ਨੂੰ ਅਹਿਸਾਸ ਹੋਇਆ ਕਿ ਇਹ ਪਹੁੰਚ ਲਗਭਗ ਕਦੇ ਵੀ ਕਿਤੇ ਵੀ ਕੰਮ ਨਹੀਂ ਕਰਦੀ, ਕਿਉਂਕਿ ਅਜਿਹੇ ਮਾਹਰਾਂ ਦੇ ਹੱਥਾਂ ਵਿੱਚ ਆਉਣ ਵਾਲਾ ਸਾਰਾ ਡੇਟਾ ਸਿਖਲਾਈ ਮਾਡਲਾਂ ਲਈ ਢੁਕਵਾਂ ਨਹੀਂ ਹੈ.

ਅਤੇ ਡਾਟਾ ਵਿਗਿਆਨੀਆਂ ਦੀਆਂ ਬੇਨਤੀਆਂ ਸ਼ੁਰੂ ਹੋਈਆਂ: "ਆਓ ਇਹਨਾਂ ਅਤੇ ਉਹਨਾਂ ਤੋਂ ਹੋਰ ਡਾਟਾ ਖਰੀਦੀਏ...", "ਸਾਡੇ ਕੋਲ ਲੋੜੀਂਦਾ ਡਾਟਾ ਨਹੀਂ ਹੈ...", "ਸਾਨੂੰ ਕੁਝ ਹੋਰ ਡੇਟਾ ਦੀ ਲੋੜ ਹੈ, ਤਰਜੀਹੀ ਤੌਰ 'ਤੇ ਉੱਚ-ਗੁਣਵੱਤਾ ਵਾਲਾ..." . ਇਹਨਾਂ ਬੇਨਤੀਆਂ ਦੇ ਅਧਾਰ ਤੇ, ਉਹਨਾਂ ਕੰਪਨੀਆਂ ਵਿਚਕਾਰ ਬਹੁਤ ਸਾਰੀਆਂ ਪਰਸਪਰ ਕ੍ਰਿਆਵਾਂ ਹੋਣੀਆਂ ਸ਼ੁਰੂ ਹੋ ਗਈਆਂ ਜੋ ਡੇਟਾ ਦੇ ਇੱਕ ਜਾਂ ਦੂਜੇ ਸਮੂਹ ਦੀਆਂ ਮਾਲਕ ਹਨ। ਕੁਦਰਤੀ ਤੌਰ 'ਤੇ, ਇਸ ਲਈ ਇਸ ਪ੍ਰਕਿਰਿਆ ਦੇ ਤਕਨੀਕੀ ਸੰਗਠਨ ਦੀ ਲੋੜ ਸੀ - ਡੇਟਾ ਸਰੋਤ ਨਾਲ ਜੁੜਨਾ, ਇਸਨੂੰ ਡਾਊਨਲੋਡ ਕਰਨਾ, ਜਾਂਚ ਕਰਨਾ ਕਿ ਇਹ ਪੂਰੀ ਤਰ੍ਹਾਂ ਲੋਡ ਕੀਤਾ ਗਿਆ ਸੀ, ਆਦਿ। ਅਜਿਹੀਆਂ ਪ੍ਰਕਿਰਿਆਵਾਂ ਦੀ ਗਿਣਤੀ ਵਧਣ ਲੱਗੀ, ਅਤੇ ਅੱਜ ਸਾਨੂੰ ਇੱਕ ਹੋਰ ਕਿਸਮ ਦੀ ਵੱਡੀ ਲੋੜ ਹੈ। ਮਾਹਰ - ਡੇਟਾ ਕੁਆਲਿਟੀ ਇੰਜੀਨੀਅਰ - ਉਹ ਜਿਹੜੇ ਸਿਸਟਮ (ਡੇਟਾ ਪਾਈਪਲਾਈਨਾਂ), ਇਨਪੁਟ ਅਤੇ ਆਉਟਪੁੱਟ 'ਤੇ ਡੇਟਾ ਦੀ ਗੁਣਵੱਤਾ ਦੀ ਨਿਗਰਾਨੀ ਕਰਨਗੇ, ਅਤੇ ਉਹਨਾਂ ਦੀ ਸਮਰੱਥਾ, ਇਕਸਾਰਤਾ ਅਤੇ ਹੋਰ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਬਾਰੇ ਸਿੱਟੇ ਕੱਢਣਗੇ।

ਡੇਟਾ ਕੁਆਲਿਟੀ ਇੰਜਨੀਅਰਾਂ ਦਾ ਰੁਝਾਨ ਸਾਡੇ ਕੋਲ ਅਮਰੀਕਾ ਤੋਂ ਆਇਆ ਹੈ, ਜਿੱਥੇ ਪੂੰਜੀਵਾਦ ਦੇ ਭਿਆਨਕ ਯੁੱਗ ਦੇ ਵਿਚਕਾਰ, ਕੋਈ ਵੀ ਡੇਟਾ ਲਈ ਲੜਾਈ ਹਾਰਨ ਲਈ ਤਿਆਰ ਨਹੀਂ ਹੈ। ਹੇਠਾਂ ਮੈਂ ਯੂਐਸ ਵਿੱਚ ਦੋ ਸਭ ਤੋਂ ਪ੍ਰਸਿੱਧ ਨੌਕਰੀ ਖੋਜ ਸਾਈਟਾਂ ਤੋਂ ਸਕ੍ਰੀਨਸ਼ਾਟ ਪ੍ਰਦਾਨ ਕੀਤੇ ਹਨ: www.monster.com и www.dice.com — ਜੋ ਕਿ ਕੀਵਰਡਸ: ਡੇਟਾ ਕੁਆਲਿਟੀ ਅਤੇ ਡੇਟਾ ਸਾਇੰਟਿਸਟ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਪ੍ਰਾਪਤ ਕੀਤੀਆਂ ਪੋਸਟ ਕੀਤੀਆਂ ਖਾਲੀ ਅਸਾਮੀਆਂ ਦੀ ਸੰਖਿਆ 'ਤੇ ਮਾਰਚ 17, 2020 ਤੱਕ ਡੇਟਾ ਪ੍ਰਦਰਸ਼ਿਤ ਕਰਦਾ ਹੈ।

www.monster.com

ਡੇਟਾ ਸਾਇੰਟਿਸਟ - 21416 ਅਸਾਮੀਆਂ
ਡਾਟਾ ਗੁਣਵੱਤਾ - 41104 ਅਸਾਮੀਆਂ

www.dice.com

ਡੇਟਾ ਸਾਇੰਟਿਸਟ - 404 ਅਸਾਮੀਆਂ
ਡਾਟਾ ਗੁਣਵੱਤਾ - 2020 ਅਸਾਮੀਆਂ

ਸਪੱਸ਼ਟ ਤੌਰ 'ਤੇ, ਇਹ ਪੇਸ਼ੇ ਕਿਸੇ ਵੀ ਤਰੀਕੇ ਨਾਲ ਇਕ ਦੂਜੇ ਨਾਲ ਮੁਕਾਬਲਾ ਨਹੀਂ ਕਰ ਰਹੇ ਹਨ. ਸਕ੍ਰੀਨਸ਼ੌਟਸ ਦੇ ਨਾਲ, ਮੈਂ ਡੇਟਾ ਕੁਆਲਿਟੀ ਇੰਜੀਨੀਅਰਾਂ ਲਈ ਬੇਨਤੀਆਂ ਦੇ ਰੂਪ ਵਿੱਚ ਲੇਬਰ ਮਾਰਕੀਟ 'ਤੇ ਮੌਜੂਦਾ ਸਥਿਤੀ ਨੂੰ ਦਰਸਾਉਣਾ ਚਾਹੁੰਦਾ ਸੀ, ਜਿਨ੍ਹਾਂ ਵਿੱਚੋਂ ਹੁਣ ਡਾਟਾ ਵਿਗਿਆਨੀਆਂ ਨਾਲੋਂ ਬਹੁਤ ਜ਼ਿਆਦਾ ਲੋੜ ਹੈ.

ਜੂਨ 2019 ਵਿੱਚ, EPAM, ਆਧੁਨਿਕ IT ਮਾਰਕੀਟ ਦੀਆਂ ਲੋੜਾਂ ਦਾ ਜਵਾਬ ਦਿੰਦੇ ਹੋਏ, ਡੇਟਾ ਗੁਣਵੱਤਾ ਨੂੰ ਇੱਕ ਵੱਖਰੇ ਅਭਿਆਸ ਵਿੱਚ ਵੱਖ ਕੀਤਾ। ਡੇਟਾ ਕੁਆਲਿਟੀ ਇੰਜੀਨੀਅਰ, ਆਪਣੇ ਰੋਜ਼ਾਨਾ ਦੇ ਕੰਮ ਦੇ ਦੌਰਾਨ, ਡੇਟਾ ਦਾ ਪ੍ਰਬੰਧਨ ਕਰਦੇ ਹਨ, ਨਵੀਆਂ ਸਥਿਤੀਆਂ ਅਤੇ ਪ੍ਰਣਾਲੀਆਂ ਵਿੱਚ ਇਸਦੇ ਵਿਵਹਾਰ ਦੀ ਜਾਂਚ ਕਰਦੇ ਹਨ, ਡੇਟਾ ਦੀ ਸਾਰਥਕਤਾ, ਇਸਦੀ ਸਮਰੱਥਾ ਅਤੇ ਪ੍ਰਸੰਗਿਕਤਾ ਦੀ ਨਿਗਰਾਨੀ ਕਰਦੇ ਹਨ. ਇਸ ਸਭ ਦੇ ਨਾਲ, ਇੱਕ ਵਿਹਾਰਕ ਅਰਥਾਂ ਵਿੱਚ, ਡੇਟਾ ਕੁਆਲਿਟੀ ਇੰਜੀਨੀਅਰ ਅਸਲ ਵਿੱਚ ਕਲਾਸੀਕਲ ਫੰਕਸ਼ਨਲ ਟੈਸਟਿੰਗ ਲਈ ਬਹੁਤ ਘੱਟ ਸਮਾਂ ਦਿੰਦੇ ਹਨ, ਪਰ ਇਹ ਪ੍ਰੋਜੈਕਟ 'ਤੇ ਬਹੁਤ ਨਿਰਭਰ ਕਰਦਾ ਹੈ (ਮੈਂ ਹੇਠਾਂ ਇੱਕ ਉਦਾਹਰਣ ਦੇਵਾਂਗਾ)।

ਡੇਟਾ ਕੁਆਲਿਟੀ ਇੰਜੀਨੀਅਰ ਦੀਆਂ ਜ਼ਿੰਮੇਵਾਰੀਆਂ ਡੇਟਾਬੇਸ ਟੇਬਲਾਂ ਵਿੱਚ "ਨੱਲ, ਗਿਣਤੀ ਅਤੇ ਰਕਮ" ਲਈ ਰੁਟੀਨ ਮੈਨੂਅਲ/ਆਟੋਮੈਟਿਕ ਜਾਂਚਾਂ ਤੱਕ ਹੀ ਸੀਮਿਤ ਨਹੀਂ ਹਨ, ਪਰ ਗਾਹਕ ਦੀਆਂ ਵਪਾਰਕ ਜ਼ਰੂਰਤਾਂ ਦੀ ਡੂੰਘੀ ਸਮਝ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ ਅਤੇ, ਇਸਦੇ ਅਨੁਸਾਰ, ਉਪਲਬਧ ਡੇਟਾ ਨੂੰ ਇਸ ਵਿੱਚ ਬਦਲਣ ਦੀ ਯੋਗਤਾ. ਲਾਭਦਾਇਕ ਕਾਰੋਬਾਰੀ ਜਾਣਕਾਰੀ.

ਡਾਟਾ ਕੁਆਲਿਟੀ ਥਿਊਰੀ

ਅਜਿਹੇ ਇੰਜੀਨੀਅਰ ਦੀ ਭੂਮਿਕਾ ਦੀ ਪੂਰੀ ਤਰ੍ਹਾਂ ਕਲਪਨਾ ਕਰਨ ਲਈ, ਆਓ ਇਹ ਪਤਾ ਕਰੀਏ ਕਿ ਸਿਧਾਂਤ ਵਿੱਚ ਡੇਟਾ ਗੁਣਵੱਤਾ ਕੀ ਹੈ।

ਡਾਟਾ ਗੁਣ - ਡੇਟਾ ਪ੍ਰਬੰਧਨ ਦੇ ਪੜਾਵਾਂ ਵਿੱਚੋਂ ਇੱਕ (ਇੱਕ ਪੂਰੀ ਦੁਨੀਆ ਜਿਸ ਨੂੰ ਅਸੀਂ ਤੁਹਾਡੇ ਲਈ ਆਪਣੇ ਆਪ ਅਧਿਐਨ ਕਰਨ ਲਈ ਛੱਡਾਂਗੇ) ਅਤੇ ਹੇਠਾਂ ਦਿੱਤੇ ਮਾਪਦੰਡਾਂ ਦੇ ਅਨੁਸਾਰ ਡੇਟਾ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਲਈ ਜ਼ਿੰਮੇਵਾਰ ਹੈ:

ਮੈਨੂੰ ਲੱਗਦਾ ਹੈ ਕਿ ਹਰੇਕ ਬਿੰਦੂ ਨੂੰ ਸਮਝਣ ਦੀ ਕੋਈ ਲੋੜ ਨਹੀਂ ਹੈ (ਸਿਧਾਂਤਕ ਰੂਪ ਵਿੱਚ ਉਹਨਾਂ ਨੂੰ "ਡੇਟਾ ਮਾਪ" ਕਿਹਾ ਜਾਂਦਾ ਹੈ), ਉਹਨਾਂ ਨੂੰ ਤਸਵੀਰ ਵਿੱਚ ਚੰਗੀ ਤਰ੍ਹਾਂ ਦਰਸਾਇਆ ਗਿਆ ਹੈ। ਪਰ ਟੈਸਟਿੰਗ ਪ੍ਰਕਿਰਿਆ ਦਾ ਮਤਲਬ ਇਹ ਨਹੀਂ ਹੈ ਕਿ ਇਹਨਾਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਟੈਸਟ ਦੇ ਕੇਸਾਂ ਵਿੱਚ ਨਕਲ ਕਰਨਾ ਅਤੇ ਉਹਨਾਂ ਦੀ ਜਾਂਚ ਕਰਨਾ. ਡੇਟਾ ਕੁਆਲਿਟੀ ਵਿੱਚ, ਜਿਵੇਂ ਕਿ ਕਿਸੇ ਵੀ ਹੋਰ ਕਿਸਮ ਦੀ ਜਾਂਚ ਵਿੱਚ, ਇਹ ਜ਼ਰੂਰੀ ਹੈ, ਸਭ ਤੋਂ ਪਹਿਲਾਂ, ਵਪਾਰਕ ਫੈਸਲੇ ਲੈਣ ਵਾਲੇ ਪ੍ਰੋਜੈਕਟ ਭਾਗੀਦਾਰਾਂ ਨਾਲ ਸਹਿਮਤ ਹੋਏ ਡੇਟਾ ਗੁਣਵੱਤਾ ਦੀਆਂ ਜ਼ਰੂਰਤਾਂ ਨੂੰ ਬਣਾਉਣ ਲਈ.

ਡੇਟਾ ਕੁਆਲਿਟੀ ਪ੍ਰੋਜੈਕਟ 'ਤੇ ਨਿਰਭਰ ਕਰਦਿਆਂ, ਇੱਕ ਇੰਜੀਨੀਅਰ ਵੱਖ-ਵੱਖ ਫੰਕਸ਼ਨ ਕਰ ਸਕਦਾ ਹੈ: ਡੇਟਾ ਗੁਣਵੱਤਾ ਦੇ ਸਤਹੀ ਮੁਲਾਂਕਣ ਵਾਲੇ ਇੱਕ ਆਮ ਆਟੋਮੇਸ਼ਨ ਟੈਸਟਰ ਤੋਂ, ਇੱਕ ਵਿਅਕਤੀ ਤੱਕ ਜੋ ਉਪਰੋਕਤ ਮਾਪਦੰਡਾਂ ਦੇ ਅਨੁਸਾਰ ਡੇਟਾ ਦੀ ਡੂੰਘੀ ਪ੍ਰੋਫਾਈਲਿੰਗ ਕਰਦਾ ਹੈ।

ਨਾਮਕ ਕਿਤਾਬ ਵਿੱਚ ਡੇਟਾ ਪ੍ਰਬੰਧਨ, ਡੇਟਾ ਗੁਣਵੱਤਾ ਅਤੇ ਸੰਬੰਧਿਤ ਪ੍ਰਕਿਰਿਆਵਾਂ ਦਾ ਇੱਕ ਬਹੁਤ ਹੀ ਵਿਸਤ੍ਰਿਤ ਵਰਣਨ ਚੰਗੀ ਤਰ੍ਹਾਂ ਦੱਸਿਆ ਗਿਆ ਹੈ "DAMA-DMBOK: ਡੇਟਾ ਮੈਨੇਜਮੈਂਟ ਬਾਡੀ ਆਫ਼ ਨੋਲੇਜ: ਦੂਜਾ ਐਡੀਸ਼ਨ". ਮੈਂ ਇਸ ਵਿਸ਼ੇ ਦੀ ਜਾਣ-ਪਛਾਣ ਵਜੋਂ ਇਸ ਕਿਤਾਬ ਦੀ ਜ਼ੋਰਦਾਰ ਸਿਫਾਰਸ਼ ਕਰਦਾ ਹਾਂ (ਤੁਹਾਨੂੰ ਲੇਖ ਦੇ ਅੰਤ ਵਿੱਚ ਇਸਦਾ ਲਿੰਕ ਮਿਲੇਗਾ)।

ਮੇਰੀ ਕਹਾਣੀ

IT ਉਦਯੋਗ ਵਿੱਚ, ਮੈਂ ਉਤਪਾਦ ਕੰਪਨੀਆਂ ਵਿੱਚ ਇੱਕ ਜੂਨੀਅਰ ਟੈਸਟਰ ਤੋਂ EPAM ਵਿੱਚ ਇੱਕ ਲੀਡ ਡੇਟਾ ਕੁਆਲਿਟੀ ਇੰਜੀਨੀਅਰ ਤੱਕ ਕੰਮ ਕੀਤਾ। ਟੈਸਟਰ ਦੇ ਤੌਰ 'ਤੇ ਲਗਭਗ ਦੋ ਸਾਲ ਕੰਮ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਮੈਨੂੰ ਪੱਕਾ ਯਕੀਨ ਸੀ ਕਿ ਮੈਂ ਪੂਰੀ ਤਰ੍ਹਾਂ ਨਾਲ ਸਾਰੇ ਤਰ੍ਹਾਂ ਦੇ ਟੈਸਟ ਕੀਤੇ ਹਨ: ਰਿਗਰੈਸ਼ਨ, ਫੰਕਸ਼ਨਲ, ਤਣਾਅ, ਸਥਿਰਤਾ, ਸੁਰੱਖਿਆ, UI, ਆਦਿ - ਅਤੇ ਬਹੁਤ ਸਾਰੇ ਟੈਸਟਿੰਗ ਸਾਧਨਾਂ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ, ਜਿਸ ਨਾਲ ਤਿੰਨ ਪ੍ਰੋਗਰਾਮਿੰਗ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਇੱਕੋ ਸਮੇਂ ਕੰਮ ਕੀਤਾ: Java, Scala, Python.

ਪਿੱਛੇ ਮੁੜ ਕੇ, ਮੈਂ ਸਮਝਦਾ ਹਾਂ ਕਿ ਮੇਰਾ ਹੁਨਰ ਸੈੱਟ ਇੰਨਾ ਵਿਭਿੰਨ ਕਿਉਂ ਸੀ—ਮੈਂ ਡੇਟਾ-ਸੰਚਾਲਿਤ ਪ੍ਰੋਜੈਕਟਾਂ ਵਿੱਚ ਸ਼ਾਮਲ ਸੀ, ਵੱਡੇ ਅਤੇ ਛੋਟੇ। ਇਹ ਉਹ ਚੀਜ਼ ਹੈ ਜਿਸ ਨੇ ਮੈਨੂੰ ਵਿਕਾਸ ਦੇ ਬਹੁਤ ਸਾਰੇ ਸਾਧਨਾਂ ਅਤੇ ਮੌਕਿਆਂ ਦੀ ਦੁਨੀਆ ਵਿੱਚ ਲਿਆਇਆ.

ਨਵੇਂ ਗਿਆਨ ਅਤੇ ਹੁਨਰਾਂ ਨੂੰ ਹਾਸਲ ਕਰਨ ਲਈ ਕਈ ਤਰ੍ਹਾਂ ਦੇ ਔਜ਼ਾਰਾਂ ਅਤੇ ਮੌਕਿਆਂ ਦੀ ਕਦਰ ਕਰਨ ਲਈ, ਸਿਰਫ਼ ਹੇਠਾਂ ਦਿੱਤੀ ਤਸਵੀਰ ਨੂੰ ਦੇਖੋ, ਜੋ "ਡੇਟਾ ਅਤੇ ਏਆਈ" ਸੰਸਾਰ ਵਿੱਚ ਸਭ ਤੋਂ ਵੱਧ ਪ੍ਰਸਿੱਧ ਦਿਖਾਉਂਦਾ ਹੈ।

ਇਸ ਕਿਸਮ ਦਾ ਦ੍ਰਿਸ਼ਟਾਂਤ ਹਰ ਸਾਲ ਮਸ਼ਹੂਰ ਉੱਦਮ ਪੂੰਜੀਵਾਦੀ ਮੈਟ ਟਰਕ ਦੁਆਰਾ ਤਿਆਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਜੋ ਸਾਫਟਵੇਅਰ ਵਿਕਾਸ ਤੋਂ ਆਉਂਦਾ ਹੈ। ਇਥੇ ਲਿੰਕ ਉਸ ਦੇ ਬਲੌਗ ਅਤੇ ਉੱਦਮ ਪੂੰਜੀ ਫਰਮ, ਜਿੱਥੇ ਉਹ ਇੱਕ ਸਾਥੀ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ।

ਮੈਂ ਪੇਸ਼ੇਵਰ ਤੌਰ 'ਤੇ ਖਾਸ ਤੌਰ 'ਤੇ ਤੇਜ਼ੀ ਨਾਲ ਵਧਿਆ ਜਦੋਂ ਮੈਂ ਪ੍ਰੋਜੈਕਟ 'ਤੇ ਇਕਲੌਤਾ ਟੈਸਟਰ ਸੀ, ਜਾਂ ਘੱਟੋ ਘੱਟ ਪ੍ਰੋਜੈਕਟ ਦੀ ਸ਼ੁਰੂਆਤ ਵਿੱਚ. ਇਹ ਅਜਿਹੇ ਪਲ 'ਤੇ ਹੈ ਕਿ ਤੁਹਾਨੂੰ ਪੂਰੀ ਜਾਂਚ ਪ੍ਰਕਿਰਿਆ ਲਈ ਜ਼ਿੰਮੇਵਾਰ ਹੋਣਾ ਪਏਗਾ, ਅਤੇ ਤੁਹਾਡੇ ਕੋਲ ਪਿੱਛੇ ਹਟਣ ਦਾ ਕੋਈ ਮੌਕਾ ਨਹੀਂ ਹੈ, ਸਿਰਫ ਅੱਗੇ। ਪਹਿਲਾਂ ਇਹ ਡਰਾਉਣਾ ਸੀ, ਪਰ ਹੁਣ ਅਜਿਹੇ ਟੈਸਟ ਦੇ ਸਾਰੇ ਫਾਇਦੇ ਮੇਰੇ ਲਈ ਸਪੱਸ਼ਟ ਹਨ:

• ਤੁਸੀਂ ਪੂਰੀ ਟੀਮ ਨਾਲ ਪਹਿਲਾਂ ਵਾਂਗ ਸੰਚਾਰ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰਦੇ ਹੋ, ਕਿਉਂਕਿ ਸੰਚਾਰ ਲਈ ਕੋਈ ਪ੍ਰੌਕਸੀ ਨਹੀਂ ਹੈ: ਨਾ ਹੀ ਟੈਸਟ ਮੈਨੇਜਰ ਅਤੇ ਨਾ ਹੀ ਸਾਥੀ ਟੈਸਟਰ।
• ਪ੍ਰੋਜੈਕਟ ਵਿੱਚ ਡੁੱਬਣਾ ਅਵਿਸ਼ਵਾਸ਼ਯੋਗ ਰੂਪ ਵਿੱਚ ਡੂੰਘਾ ਹੋ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਤੁਹਾਡੇ ਕੋਲ ਸਾਰੇ ਭਾਗਾਂ ਬਾਰੇ ਜਾਣਕਾਰੀ ਹੁੰਦੀ ਹੈ, ਆਮ ਅਤੇ ਵਿਸਤਾਰ ਵਿੱਚ।
• ਡਿਵੈਲਪਰ ਤੁਹਾਨੂੰ "ਪਰੀਖਣ ਕਰਨ ਵਾਲੇ ਉਸ ਵਿਅਕਤੀ ਦੇ ਰੂਪ ਵਿੱਚ ਨਹੀਂ ਦੇਖਦੇ ਜੋ ਨਹੀਂ ਜਾਣਦਾ ਕਿ ਉਹ ਕੀ ਕਰ ਰਿਹਾ ਹੈ," ਸਗੋਂ ਇੱਕ ਬਰਾਬਰ ਦੇ ਰੂਪ ਵਿੱਚ ਜੋ ਆਪਣੇ ਸਵੈਚਲਿਤ ਟੈਸਟਾਂ ਅਤੇ ਟੀਮ ਦੇ ਇੱਕ ਖਾਸ ਹਿੱਸੇ ਵਿੱਚ ਦਿਖਾਈ ਦੇਣ ਵਾਲੇ ਬੱਗਾਂ ਦੀ ਉਮੀਦ ਨਾਲ ਟੀਮ ਲਈ ਸ਼ਾਨਦਾਰ ਲਾਭ ਪੈਦਾ ਕਰਦਾ ਹੈ। ਉਤਪਾਦ.
• ਨਤੀਜੇ ਵਜੋਂ, ਤੁਸੀਂ ਵਧੇਰੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ, ਵਧੇਰੇ ਯੋਗ, ਅਤੇ ਮੰਗ ਵਿੱਚ ਵਧੇਰੇ ਹੋ।

ਜਿਵੇਂ ਕਿ ਪ੍ਰੋਜੈਕਟ ਵਧਦਾ ਗਿਆ, 100% ਮਾਮਲਿਆਂ ਵਿੱਚ ਮੈਂ ਨਵੇਂ ਟੈਸਟਰਾਂ ਲਈ ਇੱਕ ਸਲਾਹਕਾਰ ਬਣ ਗਿਆ, ਉਹਨਾਂ ਨੂੰ ਸਿਖਾਉਂਦਾ ਹਾਂ ਅਤੇ ਉਸ ਗਿਆਨ ਨੂੰ ਪਾਸ ਕਰਦਾ ਹਾਂ ਜੋ ਮੈਂ ਖੁਦ ਸਿੱਖਿਆ ਸੀ। ਉਸੇ ਸਮੇਂ, ਪ੍ਰੋਜੈਕਟ 'ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹੋਏ, ਮੈਨੂੰ ਪ੍ਰਬੰਧਨ ਤੋਂ ਹਮੇਸ਼ਾ ਉੱਚ ਪੱਧਰੀ ਆਟੋ ਟੈਸਟਿੰਗ ਮਾਹਿਰ ਨਹੀਂ ਮਿਲੇ ਸਨ ਅਤੇ ਜਾਂ ਤਾਂ ਉਹਨਾਂ ਨੂੰ ਆਟੋਮੇਸ਼ਨ (ਇੱਛੁਕ ਲੋਕਾਂ ਲਈ) ਵਿੱਚ ਸਿਖਲਾਈ ਦੇਣ ਜਾਂ ਰੋਜ਼ਾਨਾ ਦੀਆਂ ਗਤੀਵਿਧੀਆਂ (ਟੂਲ) ਵਿੱਚ ਵਰਤਣ ਲਈ ਸਾਧਨ ਬਣਾਉਣ ਦੀ ਲੋੜ ਸੀ। ਡਾਟਾ ਤਿਆਰ ਕਰਨ ਅਤੇ ਇਸਨੂੰ ਸਿਸਟਮ ਵਿੱਚ ਲੋਡ ਕਰਨ ਲਈ, ਲੋਡ ਟੈਸਟਿੰਗ/ਸਥਿਰਤਾ ਟੈਸਟਿੰਗ "ਤੇਜ਼ੀ ਨਾਲ" ਕਰਨ ਲਈ ਇੱਕ ਟੂਲ, ਆਦਿ)।

ਇੱਕ ਖਾਸ ਪ੍ਰੋਜੈਕਟ ਦੀ ਉਦਾਹਰਨ

ਬਦਕਿਸਮਤੀ ਨਾਲ, ਗੈਰ-ਖੁਲਾਸਾ ਕਰਨ ਦੀਆਂ ਜ਼ਿੰਮੇਵਾਰੀਆਂ ਦੇ ਕਾਰਨ, ਮੈਂ ਉਹਨਾਂ ਪ੍ਰੋਜੈਕਟਾਂ ਬਾਰੇ ਵਿਸਥਾਰ ਵਿੱਚ ਗੱਲ ਨਹੀਂ ਕਰ ਸਕਦਾ ਜਿਨ੍ਹਾਂ 'ਤੇ ਮੈਂ ਕੰਮ ਕੀਤਾ ਹੈ, ਪਰ ਮੈਂ ਪ੍ਰੋਜੈਕਟਾਂ ਵਿੱਚੋਂ ਇੱਕ 'ਤੇ ਡੇਟਾ ਕੁਆਲਿਟੀ ਇੰਜੀਨੀਅਰ ਦੇ ਆਮ ਕੰਮਾਂ ਦੀਆਂ ਉਦਾਹਰਣਾਂ ਦੇਵਾਂਗਾ।

ਪ੍ਰੋਜੈਕਟ ਦਾ ਸਾਰ ਇਸਦੇ ਅਧਾਰ ਤੇ ਸਿਖਲਾਈ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਮਾਡਲਾਂ ਲਈ ਡੇਟਾ ਤਿਆਰ ਕਰਨ ਲਈ ਇੱਕ ਪਲੇਟਫਾਰਮ ਨੂੰ ਲਾਗੂ ਕਰਨਾ ਹੈ। ਗਾਹਕ ਅਮਰੀਕਾ ਦੀ ਇੱਕ ਵੱਡੀ ਫਾਰਮਾਸਿਊਟੀਕਲ ਕੰਪਨੀ ਸੀ। ਤਕਨੀਕੀ ਤੌਰ 'ਤੇ ਇਹ ਇੱਕ ਕਲੱਸਟਰ ਸੀ ਕਬਰਨੇਟਿਸਤੱਕ ਵਧ ਰਿਹਾ ਹੈ AWS EC2 ਉਦਾਹਰਨਾਂ, ਕਈ ਮਾਈਕ੍ਰੋ ਸਰਵਿਸਿਜ਼ ਅਤੇ EPAM ਦੇ ਅੰਡਰਲਾਈੰਗ ਓਪਨ ਸੋਰਸ ਪ੍ਰੋਜੈਕਟ ਦੇ ਨਾਲ - ਲਸ਼ਕਰ, ਇੱਕ ਖਾਸ ਗਾਹਕ ਦੀਆਂ ਲੋੜਾਂ ਅਨੁਸਾਰ ਅਨੁਕੂਲਿਤ (ਹੁਣ ਪ੍ਰੋਜੈਕਟ ਵਿੱਚ ਪੁਨਰ ਜਨਮ ਲਿਆ ਗਿਆ ਹੈ ਓਡਾਹੂ). ETL ਪ੍ਰਕਿਰਿਆਵਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਆਯੋਜਿਤ ਕੀਤੇ ਗਏ ਸਨ ਅਪਾਚੇ ਏਅਰਫਲੋ ਅਤੇ ਤੋਂ ਡਾਟਾ ਤਬਦੀਲ ਕੀਤਾ ਸੇਲਜ਼ ਫੋਰਸ ਵਿੱਚ ਗਾਹਕ ਸਿਸਟਮ AWS S3 ਬਾਲਟੀਆਂ। ਅੱਗੇ, ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਮਾਡਲ ਦੀ ਇੱਕ ਡੌਕਰ ਚਿੱਤਰ ਨੂੰ ਪਲੇਟਫਾਰਮ 'ਤੇ ਤਾਇਨਾਤ ਕੀਤਾ ਗਿਆ ਸੀ, ਜਿਸ ਨੂੰ ਤਾਜ਼ਾ ਡੇਟਾ 'ਤੇ ਸਿਖਲਾਈ ਦਿੱਤੀ ਗਈ ਸੀ ਅਤੇ, REST API ਇੰਟਰਫੇਸ ਦੀ ਵਰਤੋਂ ਕਰਕੇ, ਭਵਿੱਖਬਾਣੀਆਂ ਪੈਦਾ ਕੀਤੀਆਂ ਗਈਆਂ ਸਨ ਜੋ ਕਾਰੋਬਾਰ ਲਈ ਦਿਲਚਸਪੀ ਵਾਲੀਆਂ ਸਨ ਅਤੇ ਖਾਸ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕੀਤਾ ਗਿਆ ਸੀ।

ਦ੍ਰਿਸ਼ਟੀਗਤ ਤੌਰ 'ਤੇ, ਸਭ ਕੁਝ ਇਸ ਤਰ੍ਹਾਂ ਦਿਖਾਈ ਦਿੰਦਾ ਸੀ:

ਇਸ ਪ੍ਰੋਜੈਕਟ 'ਤੇ ਬਹੁਤ ਸਾਰੇ ਕਾਰਜਾਤਮਕ ਟੈਸਟਿੰਗ ਸਨ, ਅਤੇ ਵਿਸ਼ੇਸ਼ਤਾ ਵਿਕਾਸ ਦੀ ਗਤੀ ਅਤੇ ਰੀਲੀਜ਼ ਚੱਕਰ (ਦੋ-ਹਫ਼ਤੇ ਦੇ ਸਪ੍ਰਿੰਟਸ) ਦੀ ਗਤੀ ਨੂੰ ਬਣਾਈ ਰੱਖਣ ਦੀ ਲੋੜ ਨੂੰ ਦੇਖਦੇ ਹੋਏ, ਸਭ ਤੋਂ ਨਾਜ਼ੁਕ ਹਿੱਸਿਆਂ ਦੇ ਸਵੈਚਾਲਿਤ ਟੈਸਟਿੰਗ ਬਾਰੇ ਤੁਰੰਤ ਸੋਚਣਾ ਜ਼ਰੂਰੀ ਸੀ। ਸਿਸਟਮ. ਜ਼ਿਆਦਾਤਰ ਕੁਬਰਨੇਟਸ-ਅਧਾਰਿਤ ਪਲੇਟਫਾਰਮ ਖੁਦ ਵਿੱਚ ਲਾਗੂ ਕੀਤੇ ਗਏ ਆਟੋਟੈਸਟਾਂ ਦੁਆਰਾ ਕਵਰ ਕੀਤੇ ਗਏ ਸਨ ਰੋਬੋਟ ਫਰੇਮਵਰਕ + ਪਾਈਥਨ, ਪਰ ਉਹਨਾਂ ਦਾ ਸਮਰਥਨ ਅਤੇ ਵਿਸਤਾਰ ਕਰਨਾ ਵੀ ਜ਼ਰੂਰੀ ਸੀ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਗਾਹਕ ਦੀ ਸਹੂਲਤ ਲਈ, ਕਲੱਸਟਰ ਵਿੱਚ ਤਾਇਨਾਤ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਮਾਡਲਾਂ ਦਾ ਪ੍ਰਬੰਧਨ ਕਰਨ ਲਈ ਇੱਕ GUI ਬਣਾਇਆ ਗਿਆ ਸੀ, ਨਾਲ ਹੀ ਇਹ ਨਿਰਧਾਰਤ ਕਰਨ ਦੀ ਯੋਗਤਾ ਵੀ ਕਿ ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਲਈ ਡੇਟਾ ਨੂੰ ਕਿੱਥੇ ਅਤੇ ਕਿੱਥੇ ਟ੍ਰਾਂਸਫਰ ਕਰਨ ਦੀ ਲੋੜ ਹੈ। ਇਸ ਵਿਆਪਕ ਜੋੜ ਨਾਲ ਸਵੈਚਲਿਤ ਕਾਰਜਸ਼ੀਲ ਟੈਸਟਿੰਗ ਦਾ ਵਿਸਤਾਰ ਸ਼ਾਮਲ ਹੈ, ਜੋ ਕਿ ਜ਼ਿਆਦਾਤਰ REST API ਕਾਲਾਂ ਅਤੇ ਅੰਤ-2-ਐਂਡ UI ਟੈਸਟਾਂ ਦੀ ਇੱਕ ਛੋਟੀ ਜਿਹੀ ਗਿਣਤੀ ਦੁਆਰਾ ਕੀਤਾ ਗਿਆ ਸੀ। ਇਸ ਸਾਰੇ ਅੰਦੋਲਨ ਦੇ ਭੂਮੱਧ ਰੇਖਾ ਦੇ ਆਲੇ-ਦੁਆਲੇ, ਅਸੀਂ ਇੱਕ ਮੈਨੂਅਲ ਟੈਸਟਰ ਦੁਆਰਾ ਸ਼ਾਮਲ ਹੋਏ ਜਿਸ ਨੇ ਉਤਪਾਦ ਸੰਸਕਰਣਾਂ ਦੀ ਸਵੀਕ੍ਰਿਤੀ ਟੈਸਟਿੰਗ ਅਤੇ ਅਗਲੀ ਰੀਲੀਜ਼ ਦੀ ਸਵੀਕ੍ਰਿਤੀ ਦੇ ਸੰਬੰਧ ਵਿੱਚ ਗਾਹਕ ਨਾਲ ਸੰਚਾਰ ਕਰਨ ਦੇ ਨਾਲ ਇੱਕ ਸ਼ਾਨਦਾਰ ਕੰਮ ਕੀਤਾ. ਇਸ ਤੋਂ ਇਲਾਵਾ, ਇੱਕ ਨਵੇਂ ਮਾਹਰ ਦੇ ਆਉਣ ਦੇ ਕਾਰਨ, ਅਸੀਂ ਆਪਣੇ ਕੰਮ ਨੂੰ ਦਸਤਾਵੇਜ਼ ਬਣਾਉਣ ਅਤੇ ਕਈ ਬਹੁਤ ਮਹੱਤਵਪੂਰਨ ਮੈਨੂਅਲ ਜਾਂਚਾਂ ਨੂੰ ਜੋੜਨ ਦੇ ਯੋਗ ਹੋ ਗਏ ਜਿਨ੍ਹਾਂ ਨੂੰ ਤੁਰੰਤ ਸਵੈਚਲਿਤ ਕਰਨਾ ਮੁਸ਼ਕਲ ਸੀ।

ਅਤੇ ਅੰਤ ਵਿੱਚ, ਜਦੋਂ ਅਸੀਂ ਪਲੇਟਫਾਰਮ ਅਤੇ GUI ਐਡ-ਆਨ ਤੋਂ ਸਥਿਰਤਾ ਪ੍ਰਾਪਤ ਕੀਤੀ, ਅਸੀਂ ਅਪਾਚੇ ਏਅਰਫਲੋ DAGs ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ETL ਪਾਈਪਲਾਈਨਾਂ ਨੂੰ ਬਣਾਉਣਾ ਸ਼ੁਰੂ ਕੀਤਾ। ਸਵੈਚਲਿਤ ਡੇਟਾ ਗੁਣਵੱਤਾ ਜਾਂਚ ਵਿਸ਼ੇਸ਼ ਏਅਰਫਲੋ ਡੀਏਜੀ ਲਿਖ ਕੇ ਕੀਤੀ ਗਈ ਸੀ ਜੋ ਈਟੀਐਲ ਪ੍ਰਕਿਰਿਆ ਦੇ ਨਤੀਜਿਆਂ ਦੇ ਅਧਾਰ ਤੇ ਡੇਟਾ ਦੀ ਜਾਂਚ ਕਰਦੇ ਸਨ। ਇਸ ਪ੍ਰੋਜੈਕਟ ਦੇ ਹਿੱਸੇ ਵਜੋਂ, ਅਸੀਂ ਖੁਸ਼ਕਿਸਮਤ ਸੀ ਅਤੇ ਗਾਹਕ ਨੇ ਸਾਨੂੰ ਗੁਮਨਾਮ ਡਾਟਾ ਸੈੱਟਾਂ ਤੱਕ ਪਹੁੰਚ ਦਿੱਤੀ ਜਿਸ 'ਤੇ ਅਸੀਂ ਟੈਸਟ ਕੀਤਾ ਸੀ। ਅਸੀਂ ਕਿਸਮਾਂ ਦੀ ਪਾਲਣਾ, ਟੁੱਟੇ ਹੋਏ ਡੇਟਾ ਦੀ ਮੌਜੂਦਗੀ, ਰਿਕਾਰਡਾਂ ਦੀ ਕੁੱਲ ਸੰਖਿਆ, ਪਹਿਲਾਂ ਅਤੇ ਬਾਅਦ ਵਿੱਚ, ਏਕੀਕਰਣ ਲਈ ETL ਪ੍ਰਕਿਰਿਆ ਦੁਆਰਾ ਕੀਤੇ ਗਏ ਪਰਿਵਰਤਨਾਂ ਦੀ ਤੁਲਨਾ, ਕਾਲਮ ਦੇ ਨਾਮ ਬਦਲਣ ਅਤੇ ਹੋਰ ਚੀਜ਼ਾਂ ਲਈ ਲਾਈਨ ਦੁਆਰਾ ਡੇਟਾ ਲਾਈਨ ਦੀ ਜਾਂਚ ਕੀਤੀ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਇਹਨਾਂ ਜਾਂਚਾਂ ਨੂੰ ਵੱਖ-ਵੱਖ ਡਾਟਾ ਸਰੋਤਾਂ ਤੱਕ ਸਕੇਲ ਕੀਤਾ ਗਿਆ ਸੀ, ਉਦਾਹਰਨ ਲਈ, ਸੇਲਸਫੋਰਸ ਤੋਂ ਇਲਾਵਾ, MySQL ਨੂੰ ਵੀ।

ਅੰਤਿਮ ਡਾਟਾ ਗੁਣਵੱਤਾ ਜਾਂਚ ਪਹਿਲਾਂ ਹੀ S3 ਪੱਧਰ 'ਤੇ ਕੀਤੀ ਗਈ ਸੀ, ਜਿੱਥੇ ਉਹ ਸਟੋਰ ਕੀਤੇ ਗਏ ਸਨ ਅਤੇ ਸਿਖਲਾਈ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਮਾਡਲਾਂ ਲਈ ਵਰਤੋਂ ਲਈ ਤਿਆਰ ਸਨ। S3 ਬਾਲਟੀ 'ਤੇ ਸਥਿਤ ਅੰਤਿਮ CSV ਫਾਈਲ ਤੋਂ ਡੇਟਾ ਪ੍ਰਾਪਤ ਕਰਨ ਅਤੇ ਇਸਨੂੰ ਪ੍ਰਮਾਣਿਤ ਕਰਨ ਲਈ, ਕੋਡ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਲਿਖਿਆ ਗਿਆ ਸੀ boto3 ਗਾਹਕ.

ਇੱਕ S3 ਬਾਲਟੀ ਵਿੱਚ ਡੇਟਾ ਦਾ ਕੁਝ ਹਿੱਸਾ ਅਤੇ ਦੂਜੇ ਵਿੱਚ ਕੁਝ ਹਿੱਸਾ ਸਟੋਰ ਕਰਨ ਲਈ ਗਾਹਕ ਦੁਆਰਾ ਇੱਕ ਲੋੜ ਵੀ ਸੀ। ਇਸ ਲਈ ਅਜਿਹੀ ਛਾਂਟੀ ਦੀ ਭਰੋਸੇਯੋਗਤਾ ਦੀ ਜਾਂਚ ਕਰਨ ਲਈ ਵਾਧੂ ਜਾਂਚਾਂ ਨੂੰ ਲਿਖਣ ਦੀ ਵੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।

ਹੋਰ ਪ੍ਰੋਜੈਕਟਾਂ ਤੋਂ ਆਮ ਅਨੁਭਵ

ਇੱਕ ਡੇਟਾ ਕੁਆਲਿਟੀ ਇੰਜੀਨੀਅਰ ਦੀਆਂ ਗਤੀਵਿਧੀਆਂ ਦੀ ਸਭ ਤੋਂ ਆਮ ਸੂਚੀ ਦੀ ਇੱਕ ਉਦਾਹਰਨ:

• ਇੱਕ ਆਟੋਮੇਟਿਡ ਟੂਲ ਦੁਆਰਾ ਟੈਸਟ ਡੇਟਾ (ਵੈਧ ਅਵੈਧ ਵੱਡਾ ਛੋਟਾ) ਤਿਆਰ ਕਰੋ।
• ਤਿਆਰ ਡਾਟਾ ਸੈੱਟ ਨੂੰ ਮੂਲ ਸਰੋਤ 'ਤੇ ਅੱਪਲੋਡ ਕਰੋ ਅਤੇ ਜਾਂਚ ਕਰੋ ਕਿ ਇਹ ਵਰਤੋਂ ਲਈ ਤਿਆਰ ਹੈ।
• ਸਰੋਤ ਸਟੋਰੇਜ ਤੋਂ ਅੰਤਮ ਜਾਂ ਵਿਚਕਾਰਲੇ ਸਟੋਰੇਜ ਤੱਕ ਡੇਟਾ ਦੇ ਇੱਕ ਸੈੱਟ ਨੂੰ ਸੈਟਿੰਗਾਂ ਦੇ ਇੱਕ ਸੈੱਟ ਦੀ ਵਰਤੋਂ ਕਰਨ ਲਈ ETL ਪ੍ਰਕਿਰਿਆਵਾਂ ਲਾਂਚ ਕਰੋ (ਜੇ ਸੰਭਵ ਹੋਵੇ, ETL ਕਾਰਜ ਲਈ ਸੰਰਚਨਾਯੋਗ ਮਾਪਦੰਡ ਸੈਟ ਕਰੋ)।
• ETL ਪ੍ਰਕਿਰਿਆ ਦੁਆਰਾ ਸੰਸਾਧਿਤ ਕੀਤੇ ਗਏ ਡੇਟਾ ਦੀ ਗੁਣਵੱਤਾ ਅਤੇ ਵਪਾਰਕ ਲੋੜਾਂ ਦੀ ਪਾਲਣਾ ਲਈ ਪੁਸ਼ਟੀ ਕਰੋ।

ਇਸ ਦੇ ਨਾਲ ਹੀ, ਜਾਂਚਾਂ ਦਾ ਮੁੱਖ ਫੋਕਸ ਨਾ ਸਿਰਫ਼ ਇਸ ਤੱਥ 'ਤੇ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਸਿਸਟਮ ਵਿੱਚ ਡਾਟਾ ਪ੍ਰਵਾਹ, ਸਿਧਾਂਤਕ ਤੌਰ 'ਤੇ, ਕੰਮ ਕੀਤਾ ਹੈ ਅਤੇ ਪੂਰਾ ਹੋ ਗਿਆ ਹੈ (ਜੋ ਕਿ ਕਾਰਜਸ਼ੀਲ ਟੈਸਟਿੰਗ ਦਾ ਹਿੱਸਾ ਹੈ), ਪਰ ਜ਼ਿਆਦਾਤਰ ਡੇਟਾ ਦੀ ਜਾਂਚ ਅਤੇ ਪ੍ਰਮਾਣਿਤ ਕਰਨ 'ਤੇ. ਸੰਭਾਵਿਤ ਲੋੜਾਂ ਦੀ ਪਾਲਣਾ, ਵਿਗਾੜਾਂ ਦੀ ਪਛਾਣ ਕਰਨਾ ਅਤੇ ਹੋਰ ਚੀਜ਼ਾਂ।

ਸੰਦ

ਅਜਿਹੇ ਡੇਟਾ ਨਿਯੰਤਰਣ ਲਈ ਤਕਨੀਕਾਂ ਵਿੱਚੋਂ ਇੱਕ ਡੇਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਦੇ ਹਰੇਕ ਪੜਾਅ 'ਤੇ ਚੇਨ ਚੈਕਾਂ ਦਾ ਸੰਗਠਨ ਹੋ ਸਕਦਾ ਹੈ, ਸਾਹਿਤ ਵਿੱਚ ਅਖੌਤੀ "ਡੇਟਾ ਚੇਨ" - ਸਰੋਤ ਤੋਂ ਅੰਤਮ ਵਰਤੋਂ ਦੇ ਬਿੰਦੂ ਤੱਕ ਡੇਟਾ ਦਾ ਨਿਯੰਤਰਣ। ਇਸ ਕਿਸਮ ਦੀਆਂ ਜਾਂਚਾਂ ਨੂੰ ਅਕਸਰ SQL ਪੁੱਛਗਿੱਛਾਂ ਦੀ ਜਾਂਚ ਲਿਖ ਕੇ ਲਾਗੂ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਇਹ ਸਪੱਸ਼ਟ ਹੈ ਕਿ ਅਜਿਹੀਆਂ ਪੁੱਛਗਿੱਛਾਂ ਸੰਭਵ ਤੌਰ 'ਤੇ ਹਲਕੇ ਹੋਣੀਆਂ ਚਾਹੀਦੀਆਂ ਹਨ ਅਤੇ ਡਾਟਾ ਗੁਣਵੱਤਾ ਦੇ ਵਿਅਕਤੀਗਤ ਟੁਕੜਿਆਂ (ਟੇਬਲ ਮੈਟਾਡੇਟਾ, ਖਾਲੀ ਲਾਈਨਾਂ, NULLs, ਸੰਟੈਕਸ ਵਿੱਚ ਗਲਤੀਆਂ - ਜਾਂਚ ਲਈ ਲੋੜੀਂਦੇ ਹੋਰ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ) ਦੀ ਜਾਂਚ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ।

ਰਿਗਰੈਸ਼ਨ ਟੈਸਟਿੰਗ ਦੇ ਮਾਮਲੇ ਵਿੱਚ, ਜੋ ਕਿ ਤਿਆਰ ਕੀਤੇ (ਅਪਰਿਵਰਤਨਯੋਗ, ਥੋੜ੍ਹਾ ਬਦਲਣਯੋਗ) ਡੇਟਾ ਸੈੱਟਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ, ਆਟੋਟੈਸਟ ਕੋਡ ਗੁਣਵੱਤਾ ਦੀ ਪਾਲਣਾ ਲਈ ਡੇਟਾ ਦੀ ਜਾਂਚ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤੇ ਟੈਂਪਲੇਟਾਂ ਨੂੰ ਸਟੋਰ ਕਰ ਸਕਦਾ ਹੈ (ਉਮੀਦ ਸਾਰਣੀ ਦੇ ਮੈਟਾਡੇਟਾ ਦਾ ਵੇਰਵਾ; ਕਤਾਰ ਦੇ ਨਮੂਨੇ ਆਬਜੈਕਟ ਜੋ ਹੋ ਸਕਦੇ ਹਨ ਟੈਸਟ ਦੌਰਾਨ ਬੇਤਰਤੀਬ ਢੰਗ ਨਾਲ ਚੁਣਿਆ ਗਿਆ, ਆਦਿ)।

ਨਾਲ ਹੀ, ਟੈਸਟਿੰਗ ਦੇ ਦੌਰਾਨ, ਤੁਹਾਨੂੰ ਅਪਾਚੇ ਏਅਰਫਲੋ ਵਰਗੇ ਫਰੇਮਵਰਕ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ETL ਟੈਸਟ ਪ੍ਰਕਿਰਿਆਵਾਂ ਨੂੰ ਲਿਖਣਾ ਪਵੇਗਾ, ਅਪਾਚੇ ਸਪਾਰਕ ਜਾਂ ਇੱਥੋਂ ਤੱਕ ਕਿ ਇੱਕ ਬਲੈਕ-ਬਾਕਸ ਕਲਾਉਡ ਟਾਈਪ ਟੂਲ GCP ਡਾਟਾਪ੍ਰੈਪ, GCP ਡਾਟਾਫਲੋ ਇਤਆਦਿ. ਇਹ ਸਥਿਤੀ ਟੈਸਟ ਇੰਜੀਨੀਅਰ ਨੂੰ ਉਪਰੋਕਤ ਸਾਧਨਾਂ ਦੇ ਸੰਚਾਲਨ ਦੇ ਸਿਧਾਂਤਾਂ ਵਿੱਚ ਲੀਨ ਹੋਣ ਲਈ ਮਜ਼ਬੂਰ ਕਰਦੀ ਹੈ ਅਤੇ ਹੋਰ ਵੀ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਦੋਵੇਂ ਫੰਕਸ਼ਨਲ ਟੈਸਟਿੰਗ (ਉਦਾਹਰਨ ਲਈ, ਇੱਕ ਪ੍ਰੋਜੈਕਟ 'ਤੇ ਮੌਜੂਦਾ ETL ਪ੍ਰਕਿਰਿਆਵਾਂ) ਦਾ ਸੰਚਾਲਨ ਕਰਦੇ ਹਨ ਅਤੇ ਡੇਟਾ ਦੀ ਜਾਂਚ ਕਰਨ ਲਈ ਉਹਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ। ਖਾਸ ਤੌਰ 'ਤੇ, ਅਪਾਚੇ ਏਅਰਫਲੋ ਪ੍ਰਸਿੱਧ ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਡੇਟਾਬੇਸ ਨਾਲ ਕੰਮ ਕਰਨ ਲਈ ਤਿਆਰ-ਬਣਾਇਆ ਓਪਰੇਟਰ ਹਨ, ਉਦਾਹਰਨ ਲਈ GCP BigQuery. ਇਸਦੀ ਵਰਤੋਂ ਦੀ ਸਭ ਤੋਂ ਬੁਨਿਆਦੀ ਉਦਾਹਰਣ ਪਹਿਲਾਂ ਹੀ ਦੱਸੀ ਜਾ ਚੁੱਕੀ ਹੈ ਇੱਥੇ, ਇਸ ਲਈ ਮੈਂ ਆਪਣੇ ਆਪ ਨੂੰ ਨਹੀਂ ਦੁਹਰਾਵਾਂਗਾ।

ਤਿਆਰ ਕੀਤੇ ਹੱਲਾਂ ਤੋਂ ਇਲਾਵਾ, ਕੋਈ ਵੀ ਤੁਹਾਨੂੰ ਤੁਹਾਡੀਆਂ ਆਪਣੀਆਂ ਤਕਨੀਕਾਂ ਅਤੇ ਸਾਧਨਾਂ ਨੂੰ ਲਾਗੂ ਕਰਨ ਲਈ ਮਨ੍ਹਾ ਨਹੀਂ ਕਰਦਾ. ਇਹ ਨਾ ਸਿਰਫ਼ ਪ੍ਰੋਜੈਕਟ ਲਈ ਲਾਭਦਾਇਕ ਹੋਵੇਗਾ, ਸਗੋਂ ਖੁਦ ਡਾਟਾ ਕੁਆਲਿਟੀ ਇੰਜੀਨੀਅਰ ਲਈ ਵੀ ਲਾਭਦਾਇਕ ਹੋਵੇਗਾ, ਜੋ ਇਸ ਤਰ੍ਹਾਂ ਆਪਣੇ ਤਕਨੀਕੀ ਦੂਰੀ ਅਤੇ ਕੋਡਿੰਗ ਹੁਨਰ ਨੂੰ ਸੁਧਾਰੇਗਾ।

ਇਹ ਇੱਕ ਅਸਲੀ ਪ੍ਰੋਜੈਕਟ 'ਤੇ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ

"ਡੇਟਾ ਚੇਨ", ਈਟੀਐਲ ਅਤੇ ਸਰਵ ਵਿਆਪਕ ਜਾਂਚਾਂ ਬਾਰੇ ਆਖਰੀ ਪੈਰਿਆਂ ਦੀ ਇੱਕ ਚੰਗੀ ਉਦਾਹਰਣ ਅਸਲ ਪ੍ਰੋਜੈਕਟਾਂ ਵਿੱਚੋਂ ਇੱਕ ਤੋਂ ਹੇਠ ਲਿਖੀ ਪ੍ਰਕਿਰਿਆ ਹੈ:

ਇੱਥੇ, ਵੱਖੋ-ਵੱਖਰੇ ਡੇਟਾ (ਕੁਦਰਤੀ ਤੌਰ 'ਤੇ, ਸਾਡੇ ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੇ ਗਏ) ਸਾਡੇ ਸਿਸਟਮ ਦੇ ਇਨਪੁਟ "ਫਨਲ" ਵਿੱਚ ਦਾਖਲ ਹੁੰਦੇ ਹਨ: ਵੈਧ, ਅਵੈਧ, ਮਿਸ਼ਰਤ, ਆਦਿ, ਫਿਰ ਉਹਨਾਂ ਨੂੰ ਫਿਲਟਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਅਤੇ ਇੱਕ ਵਿਚਕਾਰਲੇ ਸਟੋਰੇਜ ਵਿੱਚ ਖਤਮ ਹੁੰਦਾ ਹੈ, ਫਿਰ ਉਹ ਦੁਬਾਰਾ ਤਬਦੀਲੀਆਂ ਦੀ ਇੱਕ ਲੜੀ ਵਿੱਚੋਂ ਗੁਜ਼ਰਦੇ ਹਨ। ਅਤੇ ਅੰਤਮ ਸਟੋਰੇਜ਼ ਵਿੱਚ ਰੱਖੇ ਗਏ ਹਨ, ਜਿੱਥੋਂ, ਬਦਲੇ ਵਿੱਚ, ਵਿਸ਼ਲੇਸ਼ਣ, ਬਿਲਡਿੰਗ ਡੇਟਾ ਮਾਰਟਸ ਅਤੇ ਵਪਾਰਕ ਸੂਝ ਦੀ ਖੋਜ ਕੀਤੀ ਜਾਵੇਗੀ। ਅਜਿਹੀ ਪ੍ਰਣਾਲੀ ਵਿੱਚ, ETL ਪ੍ਰਕਿਰਿਆਵਾਂ ਦੇ ਸੰਚਾਲਨ ਦੀ ਕਾਰਜਸ਼ੀਲਤਾ ਦੀ ਜਾਂਚ ਕੀਤੇ ਬਿਨਾਂ, ਅਸੀਂ ਪਰਿਵਰਤਨ ਤੋਂ ਪਹਿਲਾਂ ਅਤੇ ਬਾਅਦ ਵਿੱਚ ਡੇਟਾ ਦੀ ਗੁਣਵੱਤਾ ਦੇ ਨਾਲ-ਨਾਲ ਵਿਸ਼ਲੇਸ਼ਣ ਵਿੱਚ ਆਉਟਪੁੱਟ 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰਦੇ ਹਾਂ।

ਉਪਰੋਕਤ ਦਾ ਸਾਰ ਦੇਣ ਲਈ, ਮੈਂ ਜਿੱਥੇ ਵੀ ਕੰਮ ਕੀਤਾ ਹੈ, ਉਹਨਾਂ ਸਥਾਨਾਂ ਦੀ ਪਰਵਾਹ ਕੀਤੇ ਬਿਨਾਂ, ਹਰ ਜਗ੍ਹਾ ਮੈਂ ਡੇਟਾ ਪ੍ਰੋਜੈਕਟਾਂ ਵਿੱਚ ਸ਼ਾਮਲ ਸੀ ਜੋ ਹੇਠਾਂ ਦਿੱਤੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਸਾਂਝਾ ਕਰਦੇ ਹਨ:

• ਸਿਰਫ਼ ਆਟੋਮੇਸ਼ਨ ਰਾਹੀਂ ਤੁਸੀਂ ਕੁਝ ਮਾਮਲਿਆਂ ਦੀ ਜਾਂਚ ਕਰ ਸਕਦੇ ਹੋ ਅਤੇ ਕਾਰੋਬਾਰ ਲਈ ਸਵੀਕਾਰਯੋਗ ਰੀਲੀਜ਼ ਚੱਕਰ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹੋ।
• ਅਜਿਹੇ ਪ੍ਰੋਜੈਕਟ 'ਤੇ ਇੱਕ ਟੈਸਟਰ ਟੀਮ ਦੇ ਸਭ ਤੋਂ ਸਤਿਕਾਰਤ ਮੈਂਬਰਾਂ ਵਿੱਚੋਂ ਇੱਕ ਹੈ, ਕਿਉਂਕਿ ਇਹ ਹਰੇਕ ਭਾਗੀਦਾਰ ਲਈ ਬਹੁਤ ਲਾਭ ਲਿਆਉਂਦਾ ਹੈ (ਟੈਸਟਿੰਗ ਦੀ ਗਤੀ, ਡੇਟਾ ਸਾਇੰਟਿਸਟ ਤੋਂ ਵਧੀਆ ਡੇਟਾ, ਸ਼ੁਰੂਆਤੀ ਪੜਾਵਾਂ ਵਿੱਚ ਨੁਕਸ ਦੀ ਪਛਾਣ)।
• ਇਸ ਨਾਲ ਕੋਈ ਫ਼ਰਕ ਨਹੀਂ ਪੈਂਦਾ ਕਿ ਤੁਸੀਂ ਆਪਣੇ ਖੁਦ ਦੇ ਹਾਰਡਵੇਅਰ 'ਤੇ ਕੰਮ ਕਰਦੇ ਹੋ ਜਾਂ ਕਲਾਉਡਸ ਵਿੱਚ - ਸਾਰੇ ਸਰੋਤਾਂ ਨੂੰ ਇੱਕ ਕਲੱਸਟਰ ਵਿੱਚ ਐਬਸਟਰੈਕਟ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਜਿਵੇਂ ਕਿ Hortonworks, Cloudera, Mesos, Kubernetes, ਆਦਿ।
• ਪ੍ਰੋਜੈਕਟ ਮਾਈਕ੍ਰੋਸਰਵਿਸ ਪਹੁੰਚ 'ਤੇ ਬਣਾਏ ਗਏ ਹਨ, ਵੰਡੇ ਗਏ ਅਤੇ ਸਮਾਨਾਂਤਰ ਕੰਪਿਊਟਿੰਗ ਪ੍ਰਮੁੱਖ ਹਨ।

ਮੈਂ ਇਹ ਨੋਟ ਕਰਨਾ ਚਾਹਾਂਗਾ ਕਿ ਡੇਟਾ ਕੁਆਲਿਟੀ ਦੇ ਖੇਤਰ ਵਿੱਚ ਟੈਸਟਿੰਗ ਕਰਦੇ ਸਮੇਂ, ਇੱਕ ਟੈਸਟਿੰਗ ਮਾਹਰ ਆਪਣਾ ਪੇਸ਼ੇਵਰ ਫੋਕਸ ਉਤਪਾਦ ਦੇ ਕੋਡ ਅਤੇ ਵਰਤੇ ਗਏ ਸਾਧਨਾਂ ਵੱਲ ਬਦਲਦਾ ਹੈ।

ਡਾਟਾ ਗੁਣਵੱਤਾ ਜਾਂਚ ਦੀਆਂ ਵਿਸ਼ੇਸ਼ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ

ਇਸ ਤੋਂ ਇਲਾਵਾ, ਆਪਣੇ ਲਈ, ਮੈਂ ਹੇਠ ਲਿਖਿਆਂ ਦੀ ਪਛਾਣ ਕੀਤੀ ਹੈ (ਮੈਂ ਤੁਰੰਤ ਇੱਕ ਰਿਜ਼ਰਵੇਸ਼ਨ ਕਰਾਂਗਾ ਕਿ ਉਹ ਬਹੁਤ ਆਮ ਅਤੇ ਵਿਸ਼ੇਸ਼ ਤੌਰ 'ਤੇ ਵਿਅਕਤੀਗਤ ਹਨ) ਡੇਟਾ (ਬਿਗ ਡੇਟਾ) ਪ੍ਰੋਜੈਕਟਾਂ (ਸਿਸਟਮ) ਅਤੇ ਹੋਰ ਖੇਤਰਾਂ ਵਿੱਚ ਟੈਸਟਿੰਗ ਦੀਆਂ ਵਿਲੱਖਣ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ:

ਉਪਯੋਗੀ ਲਿੰਕ

1. ਸਿਧਾਂਤ: DAMA-DMBOK: ਡਾਟਾ ਮੈਨੇਜਮੈਂਟ ਬਾਡੀ ਆਫ਼ ਨਾਲੇਜ: ਦੂਜਾ ਐਡੀਸ਼ਨ.
2. ਸਿਖਲਾਈ ਕੇਂਦਰ EPAM 
3. ਸ਼ੁਰੂਆਤੀ ਡਾਟਾ ਕੁਆਲਿਟੀ ਇੰਜੀਨੀਅਰ ਲਈ ਸਿਫ਼ਾਰਿਸ਼ ਕੀਤੀ ਸਮੱਗਰੀ:
   1. ਸਟੈਪਿਕ 'ਤੇ ਮੁਫਤ ਕੋਰਸ: ਡਾਟਾਬੇਸ ਨਾਲ ਜਾਣ-ਪਛਾਣ. 
   2. ਲਿੰਕਡਇਨ ਲਰਨਿੰਗ 'ਤੇ ਕੋਰਸ: ਡਾਟਾ ਸਾਇੰਸ ਫਾਊਂਡੇਸ਼ਨ: ਡਾਟਾ ਇੰਜੀਨੀਅਰਿੰਗ.
   3. ਲੇਖ:
      • ਬਿਜ਼ਨਸ ਇੰਟੈਲੀਜੈਂਸ ਅਤੇ ਡਾਟਾ ਕੁਆਲਿਟੀ; 
      • ਈਟੀਐਲ ਟੈਸਟਿੰਗ; 
      • ਡਾਟਾ ਪ੍ਰੋਫਾਈਲਿੰਗ ਕੀ ਹੈ? ਪ੍ਰਕਿਰਿਆ, ਵਧੀਆ ਅਭਿਆਸ ਅਤੇ ਸਾਧਨ; 
      • ਟੈਸਟ ਡਾਟਾ ਜਨਰੇਸ਼ਨ: ਕੀ ਹੈ, ਕਿਵੇਂ ਕਰਨਾ ਹੈ, ਉਦਾਹਰਨ, ਟੂਲਸ; 
      • 5 ਟੈਸਟ ਡਾਟਾ ਜਨਰੇਸ਼ਨ ਤਕਨੀਕਾਂ ਜੋ ਤੁਹਾਨੂੰ ਜਾਣਨ ਦੀ ਲੋੜ ਹੈ। 
   4. ਵੀਡੀਓ:
      • ਡਾਟਾ ਗੁਣਵੱਤਾ ਸੰਕਲਪ | ਡਾਟਾ ਗੁਣਵੱਤਾ ਟਿਊਟੋਰਿਅਲ | ਡਾਟਾ ਵੇਅਰਹਾਊਸਿੰਗ ਟਿਊਟੋਰਿਅਲ;
      • SSIS ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਡਾਟਾ ਪ੍ਰੋਫਾਈਲਿੰਗ;
      • ਸਪਾਰਕ ਨਾਲ ਡਾਟਾ ਪ੍ਰੋਫਾਈਲਿੰਗ ਅਤੇ ਪਾਈਪਲਾਈਨ ਪ੍ਰੋਸੈਸਿੰਗ।

ਸਿੱਟਾ

ਡਾਟਾ ਗੁਣ ਇੱਕ ਬਹੁਤ ਹੀ ਨੌਜਵਾਨ ਹੋਨਹਾਰ ਦਿਸ਼ਾ ਹੈ, ਜਿਸਦਾ ਹਿੱਸਾ ਬਣਨ ਦਾ ਮਤਲਬ ਹੈ ਇੱਕ ਸਟਾਰਟਅੱਪ ਦਾ ਹਿੱਸਾ ਬਣਨਾ। ਇੱਕ ਵਾਰ ਡੇਟਾ ਕੁਆਲਿਟੀ ਵਿੱਚ, ਤੁਸੀਂ ਵੱਡੀ ਗਿਣਤੀ ਵਿੱਚ ਆਧੁਨਿਕ, ਇਨ-ਡਿਮਾਂਡ ਤਕਨਾਲੋਜੀਆਂ ਵਿੱਚ ਲੀਨ ਹੋ ਜਾਵੋਗੇ, ਪਰ ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ, ਤੁਹਾਡੇ ਵਿਚਾਰਾਂ ਨੂੰ ਬਣਾਉਣ ਅਤੇ ਲਾਗੂ ਕਰਨ ਲਈ ਤੁਹਾਡੇ ਲਈ ਬਹੁਤ ਸਾਰੇ ਮੌਕੇ ਖੁੱਲ੍ਹਣਗੇ। ਤੁਸੀਂ ਨਾ ਸਿਰਫ਼ ਪ੍ਰੋਜੈਕਟ 'ਤੇ, ਸਗੋਂ ਆਪਣੇ ਲਈ ਵੀ, ਇੱਕ ਮਾਹਰ ਦੇ ਤੌਰ 'ਤੇ ਲਗਾਤਾਰ ਵਿਕਾਸ ਕਰਦੇ ਹੋਏ ਨਿਰੰਤਰ ਸੁਧਾਰ ਪਹੁੰਚ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੇ ਯੋਗ ਹੋਵੋਗੇ।

ਸਰੋਤ: www.habr.com