ਵੇਅਰਹਾਊਸ ਵਿੱਚ ਡਾਟਾ ਗੁਣਵੱਤਾ

ਕੀਮਤੀ ਜਾਣਕਾਰੀ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਗੋਦਾਮ ਵਿੱਚ ਡੇਟਾ ਦੀ ਗੁਣਵੱਤਾ ਇੱਕ ਮਹੱਤਵਪੂਰਣ ਸ਼ਰਤ ਹੈ. ਮਾੜੀ ਗੁਣਵੱਤਾ ਲੰਬੇ ਸਮੇਂ ਵਿੱਚ ਇੱਕ ਨਕਾਰਾਤਮਕ ਚੇਨ ਪ੍ਰਤੀਕ੍ਰਿਆ ਵੱਲ ਖੜਦੀ ਹੈ।
ਪਹਿਲਾਂ, ਪ੍ਰਦਾਨ ਕੀਤੀ ਗਈ ਜਾਣਕਾਰੀ 'ਤੇ ਭਰੋਸਾ ਖਤਮ ਹੋ ਜਾਂਦਾ ਹੈ। ਲੋਕ ਬਿਜ਼ਨਸ ਇੰਟੈਲੀਜੈਂਸ ਐਪਲੀਕੇਸ਼ਨਾਂ ਦੀ ਘੱਟ ਵਰਤੋਂ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰ ਰਹੇ ਹਨ; ਐਪਲੀਕੇਸ਼ਨਾਂ ਦੀ ਸੰਭਾਵਨਾ ਦਾ ਦਾਅਵਾ ਨਹੀਂ ਕੀਤਾ ਗਿਆ ਹੈ।
ਨਤੀਜੇ ਵਜੋਂ, ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਪ੍ਰੋਜੈਕਟ ਵਿੱਚ ਹੋਰ ਨਿਵੇਸ਼ ਨੂੰ ਸਵਾਲ ਵਿੱਚ ਬੁਲਾਇਆ ਜਾਂਦਾ ਹੈ।

ਡਾਟਾ ਗੁਣਵੱਤਾ ਲਈ ਜ਼ਿੰਮੇਵਾਰੀ

BI ਪ੍ਰੋਜੈਕਟਾਂ ਵਿੱਚ ਡੇਟਾ ਗੁਣਵੱਤਾ ਵਿੱਚ ਸੁਧਾਰ ਕਰਨ ਨਾਲ ਸਬੰਧਤ ਪਹਿਲੂ ਬਹੁਤ ਮਹੱਤਵਪੂਰਨ ਹੈ। ਹਾਲਾਂਕਿ, ਇਹ ਸਿਰਫ ਤਕਨੀਕੀ ਮਾਹਰਾਂ ਦਾ ਵਿਸ਼ੇਸ਼ ਅਧਿਕਾਰ ਨਹੀਂ ਹੈ.
ਡੇਟਾ ਦੀ ਗੁਣਵੱਤਾ ਵੀ ਅਜਿਹੇ ਪਹਿਲੂਆਂ ਦੁਆਰਾ ਪ੍ਰਭਾਵਿਤ ਹੁੰਦੀ ਹੈ ਜਿਵੇਂ ਕਿ

ਕਾਰਪੋਰੇਟ ਸਭਿਆਚਾਰ

• ਕੀ ਮਜ਼ਦੂਰ ਖੁਦ ਚੰਗੀ ਗੁਣਵੱਤਾ ਪੈਦਾ ਕਰਨ ਵਿੱਚ ਦਿਲਚਸਪੀ ਰੱਖਦੇ ਹਨ?
• ਜੇ ਨਹੀਂ ਤਾਂ ਕਿਉਂ ਨਹੀਂ? ਹਿੱਤਾਂ ਦਾ ਟਕਰਾਅ ਹੋ ਸਕਦਾ ਹੈ।
• ਹੋ ਸਕਦਾ ਹੈ ਕਿ ਇੱਥੇ ਕਾਰਪੋਰੇਟ ਨਿਯਮ ਹਨ ਜੋ ਇਹ ਨਿਰਧਾਰਤ ਕਰਦੇ ਹਨ ਕਿ ਗੁਣਵੱਤਾ ਲਈ ਕੌਣ ਜ਼ਿੰਮੇਵਾਰ ਹੈ?

ਪ੍ਰਕਿਰਿਆਵਾਂ

• ਇਹਨਾਂ ਚੇਨਾਂ ਦੇ ਅੰਤ ਵਿੱਚ ਕਿਹੜਾ ਡੇਟਾ ਬਣਾਇਆ ਜਾਂਦਾ ਹੈ?
• ਸ਼ਾਇਦ ਓਪਰੇਟਿੰਗ ਸਿਸਟਮਾਂ ਨੂੰ ਇਸ ਤਰੀਕੇ ਨਾਲ ਕੌਂਫਿਗਰ ਕੀਤਾ ਗਿਆ ਹੈ ਕਿ ਤੁਹਾਨੂੰ ਇਸ ਜਾਂ ਉਸ ਸਥਿਤੀ ਨੂੰ ਅਸਲੀਅਤ ਵਿੱਚ ਦਰਸਾਉਣ ਲਈ "ਮੋੜਨ" ਦੀ ਲੋੜ ਹੈ।
• ਕੀ ਓਪਰੇਟਿੰਗ ਸਿਸਟਮ ਡੇਟਾ ਤਸਦੀਕ ਅਤੇ ਮੇਲ-ਮਿਲਾਪ ਖੁਦ ਕਰਦੇ ਹਨ?

ਸੰਸਥਾ ਵਿੱਚ ਹਰ ਕੋਈ ਰਿਪੋਰਟਿੰਗ ਪ੍ਰਣਾਲੀਆਂ ਵਿੱਚ ਡੇਟਾ ਦੀ ਗੁਣਵੱਤਾ ਲਈ ਜ਼ਿੰਮੇਵਾਰ ਹੈ।

ਪਰਿਭਾਸ਼ਾ ਅਤੇ ਅਰਥ

ਗੁਣਵੱਤਾ ਗਾਹਕ ਦੀਆਂ ਉਮੀਦਾਂ ਦੀ ਸਾਬਤ ਹੋਈ ਸੰਤੁਸ਼ਟੀ ਹੈ।

ਪਰ ਡਾਟਾ ਗੁਣਵੱਤਾ ਵਿੱਚ ਇੱਕ ਪਰਿਭਾਸ਼ਾ ਸ਼ਾਮਲ ਨਹੀਂ ਹੈ. ਇਹ ਹਮੇਸ਼ਾ ਵਰਤੋਂ ਦੇ ਸੰਦਰਭ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ। ਡਾਟਾ ਵੇਅਰਹਾਊਸ ਅਤੇ BI ਸਿਸਟਮ ਓਪਰੇਟਿੰਗ ਸਿਸਟਮ ਤੋਂ ਵੱਖ-ਵੱਖ ਉਦੇਸ਼ਾਂ ਦੀ ਪੂਰਤੀ ਕਰਦੇ ਹਨ ਜਿਸ ਤੋਂ ਡਾਟਾ ਆਉਂਦਾ ਹੈ।

ਉਦਾਹਰਨ ਲਈ, ਇੱਕ ਓਪਰੇਟਿੰਗ ਸਿਸਟਮ ਤੇ, ਗਾਹਕ ਗੁਣ ਇੱਕ ਵਿਕਲਪਿਕ ਖੇਤਰ ਹੋ ਸਕਦਾ ਹੈ। ਰਿਪੋਜ਼ਟਰੀ ਵਿੱਚ, ਇਸ ਵਿਸ਼ੇਸ਼ਤਾ ਨੂੰ ਇੱਕ ਮਾਪ ਵਜੋਂ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ ਅਤੇ ਇਸਦੀ ਭਰਾਈ ਦੀ ਲੋੜ ਹੈ। ਜੋ, ਬਦਲੇ ਵਿੱਚ, ਡਿਫੌਲਟ ਮੁੱਲਾਂ ਨੂੰ ਭਰਨ ਦੀ ਜ਼ਰੂਰਤ ਨੂੰ ਪੇਸ਼ ਕਰਦਾ ਹੈ।

ਡਾਟਾ ਸਟੋਰੇਜ ਦੀਆਂ ਲੋੜਾਂ ਲਗਾਤਾਰ ਬਦਲ ਰਹੀਆਂ ਹਨ ਅਤੇ ਇਹ ਆਮ ਤੌਰ 'ਤੇ ਓਪਰੇਟਿੰਗ ਸਿਸਟਮਾਂ ਨਾਲੋਂ ਵੱਧ ਹੁੰਦੀਆਂ ਹਨ। ਪਰ ਇਹ ਇਸਦੇ ਉਲਟ ਵੀ ਹੋ ਸਕਦਾ ਹੈ, ਜਦੋਂ ਸਟੋਰੇਜ ਵਿੱਚ ਓਪਰੇਟਿੰਗ ਸਿਸਟਮ ਤੋਂ ਵਿਸਤ੍ਰਿਤ ਜਾਣਕਾਰੀ ਸਟੋਰ ਕਰਨ ਦੀ ਕੋਈ ਲੋੜ ਨਹੀਂ ਹੁੰਦੀ ਹੈ।

ਡਾਟਾ ਗੁਣਵੱਤਾ ਨੂੰ ਮਾਪਣਯੋਗ ਬਣਾਉਣ ਲਈ, ਇਸਦੇ ਮਾਪਦੰਡਾਂ ਦਾ ਵਰਣਨ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਜੋ ਲੋਕ ਆਪਣੇ ਕੰਮ ਲਈ ਜਾਣਕਾਰੀ ਅਤੇ ਅੰਕੜਿਆਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ ਉਹਨਾਂ ਨੂੰ ਵਰਣਨ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਸ਼ਾਮਲ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ। ਇਸ ਸ਼ਮੂਲੀਅਤ ਦਾ ਨਤੀਜਾ ਇੱਕ ਨਿਯਮ ਹੋ ਸਕਦਾ ਹੈ, ਜਿਸ ਦੀ ਪਾਲਣਾ ਕਰਦੇ ਹੋਏ ਕੋਈ ਵੀ ਮੇਜ਼ 'ਤੇ ਇੱਕ ਨਜ਼ਰ ਨਾਲ ਦੱਸ ਸਕਦਾ ਹੈ ਕਿ ਕੀ ਕੋਈ ਗਲਤੀ ਹੈ ਜਾਂ ਨਹੀਂ. ਇਸ ਨਿਯਮ ਨੂੰ ਅਗਲੀ ਤਸਦੀਕ ਲਈ ਸਕ੍ਰਿਪਟ/ਕੋਡ ਵਜੋਂ ਫਾਰਮੈਟ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ।

ਡਾਟਾ ਗੁਣਵੱਤਾ ਵਿੱਚ ਸੁਧਾਰ

ਵੇਅਰਹਾਊਸ ਵਿੱਚ ਡੇਟਾ ਲੋਡ ਕਰਨ ਦੀ ਪ੍ਰਕਿਰਿਆ ਦੌਰਾਨ ਸਾਰੀਆਂ ਕਲਪਨਾਤਮਕ ਗਲਤੀਆਂ ਨੂੰ ਸਾਫ਼ ਕਰਨਾ ਅਤੇ ਠੀਕ ਕਰਨਾ ਅਸੰਭਵ ਹੈ। ਚੰਗੀ ਡਾਟਾ ਗੁਣਵੱਤਾ ਸਿਰਫ ਸਾਰੇ ਭਾਗੀਦਾਰਾਂ ਵਿਚਕਾਰ ਨਜ਼ਦੀਕੀ ਸਹਿਯੋਗ ਦੁਆਰਾ ਹੀ ਪ੍ਰਾਪਤ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ। ਜਿਹੜੇ ਲੋਕ ਓਪਰੇਟਿੰਗ ਸਿਸਟਮਾਂ ਵਿੱਚ ਡੇਟਾ ਦਾਖਲ ਕਰਦੇ ਹਨ ਉਹਨਾਂ ਨੂੰ ਇਹ ਜਾਣਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ ਕਿ ਕਿਹੜੀਆਂ ਕਾਰਵਾਈਆਂ ਗਲਤੀਆਂ ਵੱਲ ਲੈ ਜਾਂਦੀਆਂ ਹਨ।

ਡਾਟਾ ਗੁਣਵੱਤਾ ਇੱਕ ਪ੍ਰਕਿਰਿਆ ਹੈ. ਬਦਕਿਸਮਤੀ ਨਾਲ, ਬਹੁਤ ਸਾਰੀਆਂ ਸੰਸਥਾਵਾਂ ਕੋਲ ਨਿਰੰਤਰ ਸੁਧਾਰ ਲਈ ਰਣਨੀਤੀ ਨਹੀਂ ਹੈ। ਬਹੁਤ ਸਾਰੇ ਆਪਣੇ ਆਪ ਨੂੰ ਸਿਰਫ ਡੇਟਾ ਸਟੋਰ ਕਰਨ ਤੱਕ ਸੀਮਤ ਕਰਦੇ ਹਨ ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਪ੍ਰਣਾਲੀਆਂ ਦੀ ਪੂਰੀ ਸੰਭਾਵਨਾ ਦੀ ਵਰਤੋਂ ਨਹੀਂ ਕਰਦੇ ਹਨ। ਆਮ ਤੌਰ 'ਤੇ, ਡਾਟਾ ਵੇਅਰਹਾਊਸ ਵਿਕਸਿਤ ਕਰਨ ਵੇਲੇ, ਬਜਟ ਦਾ 70-80% ਡਾਟਾ ਏਕੀਕਰਣ ਨੂੰ ਲਾਗੂ ਕਰਨ 'ਤੇ ਖਰਚ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਨਿਗਰਾਨੀ ਅਤੇ ਸੁਧਾਰ ਦੀ ਪ੍ਰਕਿਰਿਆ ਅਧੂਰੀ ਰਹਿੰਦੀ ਹੈ, ਜੇਕਰ ਬਿਲਕੁਲ ਵੀ ਹੋਵੇ।

ਸੰਦ

ਸਾਫਟਵੇਅਰ ਟੂਲਸ ਦੀ ਵਰਤੋਂ ਡਾਟਾ ਗੁਣਵੱਤਾ ਸੁਧਾਰ ਅਤੇ ਨਿਗਰਾਨੀ ਨੂੰ ਸਵੈਚਾਲਤ ਕਰਨ ਦੀ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਮਦਦ ਕਰ ਸਕਦੀ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਉਹ ਸਟੋਰੇਜ਼ ਢਾਂਚੇ ਦੀ ਤਕਨੀਕੀ ਤਸਦੀਕ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਸਵੈਚਲਿਤ ਕਰ ਸਕਦੇ ਹਨ: ਫੀਲਡ ਫਾਰਮੈਟ, ਡਿਫੌਲਟ ਮੁੱਲਾਂ ਦੀ ਮੌਜੂਦਗੀ, ਟੇਬਲ ਫੀਲਡ ਨਾਮਾਂ ਦੀ ਪਾਲਣਾ।

ਸਮੱਗਰੀ ਦੀ ਜਾਂਚ ਕਰਨਾ ਵਧੇਰੇ ਮੁਸ਼ਕਲ ਹੋ ਸਕਦਾ ਹੈ। ਜਿਵੇਂ ਕਿ ਸਟੋਰੇਜ ਦੀਆਂ ਲੋੜਾਂ ਬਦਲਦੀਆਂ ਹਨ, ਡੇਟਾ ਦੀ ਵਿਆਖਿਆ ਵੀ ਬਦਲ ਸਕਦੀ ਹੈ। ਟੂਲ ਆਪਣੇ ਆਪ ਵਿੱਚ ਇੱਕ ਵਿਸ਼ਾਲ ਪ੍ਰੋਜੈਕਟ ਬਣ ਸਕਦਾ ਹੈ ਜਿਸ ਲਈ ਸਹਾਇਤਾ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ.

ਟਿਪ

ਰਿਲੇਸ਼ਨਲ ਡੇਟਾਬੇਸ, ਜਿਸ ਵਿੱਚ ਸਟੋਰ ਆਮ ਤੌਰ 'ਤੇ ਡਿਜ਼ਾਈਨ ਕੀਤੇ ਜਾਂਦੇ ਹਨ, ਵਿੱਚ ਦ੍ਰਿਸ਼ ਬਣਾਉਣ ਦੀ ਕਮਾਲ ਦੀ ਯੋਗਤਾ ਹੁੰਦੀ ਹੈ। ਜੇ ਤੁਸੀਂ ਸਮੱਗਰੀ ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਜਾਣਦੇ ਹੋ ਤਾਂ ਉਹਨਾਂ ਦੀ ਵਰਤੋਂ ਤੇਜ਼ੀ ਨਾਲ ਡੇਟਾ ਦੀ ਜਾਂਚ ਕਰਨ ਲਈ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ। ਡੇਟਾ ਵਿੱਚ ਇੱਕ ਗਲਤੀ ਜਾਂ ਸਮੱਸਿਆ ਲੱਭਣ ਦੇ ਹਰੇਕ ਮਾਮਲੇ ਨੂੰ ਇੱਕ ਡੇਟਾਬੇਸ ਪੁੱਛਗਿੱਛ ਦੇ ਰੂਪ ਵਿੱਚ ਰਿਕਾਰਡ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ.

ਇਸ ਤਰ੍ਹਾਂ, ਸਮੱਗਰੀ ਬਾਰੇ ਇੱਕ ਗਿਆਨ ਅਧਾਰ ਬਣਾਇਆ ਜਾਵੇਗਾ. ਬੇਸ਼ੱਕ, ਅਜਿਹੀਆਂ ਬੇਨਤੀਆਂ ਤੇਜ਼ ਹੋਣੀਆਂ ਚਾਹੀਦੀਆਂ ਹਨ. ਵਿਯੂਜ਼ ਨੂੰ ਆਮ ਤੌਰ 'ਤੇ ਟੇਬਲ-ਆਧਾਰਿਤ ਟੂਲਸ ਨਾਲੋਂ ਘੱਟ ਮਨੁੱਖੀ ਸਮੇਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਦ੍ਰਿਸ਼ ਹਮੇਸ਼ਾ ਟੈਸਟ ਦੇ ਨਤੀਜੇ ਨੂੰ ਪ੍ਰਦਰਸ਼ਿਤ ਕਰਨ ਲਈ ਤਿਆਰ ਹੁੰਦਾ ਹੈ.
ਮਹੱਤਵਪੂਰਨ ਰਿਪੋਰਟਾਂ ਦੇ ਮਾਮਲੇ ਵਿੱਚ, ਦ੍ਰਿਸ਼ ਵਿੱਚ ਪ੍ਰਾਪਤਕਰਤਾ ਦੇ ਨਾਲ ਇੱਕ ਕਾਲਮ ਹੋ ਸਕਦਾ ਹੈ। ਵੇਅਰਹਾਊਸ ਵਿੱਚ ਡੇਟਾ ਗੁਣਵੱਤਾ ਦੀ ਸਥਿਤੀ ਬਾਰੇ ਰਿਪੋਰਟ ਕਰਨ ਲਈ ਉਹੀ BI ਟੂਲਸ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਸਮਝਦਾਰ ਹੈ।

ਉਦਾਹਰਨ:

ਪੁੱਛਗਿੱਛ Oracle ਡਾਟਾਬੇਸ ਲਈ ਲਿਖੀ ਗਈ ਸੀ। ਇਸ ਉਦਾਹਰਨ ਵਿੱਚ, ਟੈਸਟ ਇੱਕ ਸੰਖਿਆਤਮਕ ਮੁੱਲ ਵਾਪਸ ਕਰਦੇ ਹਨ ਜਿਸਦੀ ਲੋੜ ਅਨੁਸਾਰ ਵਿਆਖਿਆ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ। T_MIN ਅਤੇ T_MAX ਮੁੱਲ ਅਲਾਰਮ ਪੱਧਰ ਨੂੰ ਅਨੁਕੂਲ ਕਰਨ ਲਈ ਵਰਤੇ ਜਾ ਸਕਦੇ ਹਨ। ਰਿਪੋਰਟ ਫੀਲਡ ਨੂੰ ਇੱਕ ਵਾਰ ਇੱਕ ਵਪਾਰਕ ETL ਉਤਪਾਦ ਵਿੱਚ ਇੱਕ ਸੰਦੇਸ਼ ਵਜੋਂ ਵਰਤਿਆ ਗਿਆ ਸੀ ਜੋ ਨਹੀਂ ਜਾਣਦਾ ਸੀ ਕਿ ਈਮੇਲਾਂ ਨੂੰ ਸਹੀ ਢੰਗ ਨਾਲ ਕਿਵੇਂ ਭੇਜਣਾ ਹੈ, ਇਸਲਈ rpad ਇੱਕ "ਬਸਾਖਾ" ਹੈ।

ਇੱਕ ਵੱਡੀ ਸਾਰਣੀ ਦੇ ਮਾਮਲੇ ਵਿੱਚ, ਤੁਸੀਂ ਜੋੜ ਸਕਦੇ ਹੋ, ਉਦਾਹਰਨ ਲਈ, AND ROWNUM <= 10, i.e. ਜੇਕਰ 10 ਗਲਤੀਆਂ ਹਨ, ਤਾਂ ਇਹ ਅਲਾਰਮ ਦਾ ਕਾਰਨ ਬਣਨ ਲਈ ਕਾਫੀ ਹੈ।

CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
  CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
  THEN 'OK' ELSE 'ERROR' END AS RESULT,
  DESCRIPTION,
  TABLE_NAME, 
  OUTPUT, 
  T_MIN,
  T_MAX,
  rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Test itself
  SELECT
    'DIM_PRODUCT' AS TABLE_NAME,
    'Count of blanks' AS DESCRIPTION,
    COUNT(*) AS OUTPUT,
    0 AS T_MIN,
    10 AS T_MAX
  FROM DIM_PRODUCT
  WHERE DIM_PRODUCT_ID != -1 -- not default value
  AND ATTRIBUTE IS NULL ); -- count blanks

ਪ੍ਰਕਾਸ਼ਨ ਪੁਸਤਕ ਵਿੱਚੋਂ ਸਮੱਗਰੀ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ
ਰੋਨਾਲਡ ਬੈਚਮੈਨ, ਡਾ. ਗਾਈਡੋ ਕੇਂਪਰ
Raus aus der BI-Falle
ਬਿਜ਼ਨਸ ਇੰਟੈਲੀਜੈਂਸ ਜ਼ੂਮ ਏਰਫੋਲਗ ਵਾਈਰਡ

ਸਰੋਤ: www.habr.com