ਕੀ ਸਾਨੂੰ ਡਾਟਾ ਝੀਲ ਦੀ ਲੋੜ ਹੈ? ਡਾਟਾ ਵੇਅਰਹਾਊਸ ਨਾਲ ਕੀ ਕਰਨਾ ਹੈ?

ਇਹ ਲੇਖ ਮਾਧਿਅਮ 'ਤੇ ਮੇਰੇ ਲੇਖ ਦਾ ਅਨੁਵਾਦ ਹੈ - ਡਾਟਾ ਲੇਕ ਨਾਲ ਸ਼ੁਰੂਆਤ ਕਰਨਾ, ਜੋ ਕਿ ਇਸਦੀ ਸਾਦਗੀ ਦੇ ਕਾਰਨ, ਕਾਫ਼ੀ ਮਸ਼ਹੂਰ ਹੋਇਆ ਹੈ। ਇਸ ਲਈ, ਮੈਂ ਇਸਨੂੰ ਰੂਸੀ ਵਿੱਚ ਲਿਖਣ ਦਾ ਫੈਸਲਾ ਕੀਤਾ ਹੈ ਅਤੇ ਇੱਕ ਆਮ ਵਿਅਕਤੀ ਨੂੰ ਇਹ ਸਪੱਸ਼ਟ ਕਰਨ ਲਈ ਥੋੜਾ ਜਿਹਾ ਜੋੜਨ ਦਾ ਫੈਸਲਾ ਕੀਤਾ ਹੈ ਜੋ ਇੱਕ ਡੇਟਾ ਸਪੈਸ਼ਲਿਸਟ ਨਹੀਂ ਹੈ ਇੱਕ ਡੇਟਾ ਵੇਅਰਹਾਊਸ (DW) ਕੀ ਹੈ, ਅਤੇ ਇੱਕ ਡੇਟਾ ਲੇਕ ਕੀ ਹੈ (ਡੇਟਾ ਲੇਕ), ਅਤੇ ਉਹ ਕਿਵੇਂ ਇਕੱਠੇ ਹੋਵੋ.

ਮੈਂ ਡੇਟਾ ਝੀਲ ਬਾਰੇ ਕਿਉਂ ਲਿਖਣਾ ਚਾਹੁੰਦਾ ਸੀ? ਮੈਂ 10 ਸਾਲਾਂ ਤੋਂ ਡੇਟਾ ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣ ਦੇ ਨਾਲ ਕੰਮ ਕਰ ਰਿਹਾ ਹਾਂ, ਅਤੇ ਹੁਣ ਮੈਂ ਨਿਸ਼ਚਤ ਤੌਰ 'ਤੇ ਕੈਂਬਰਿਜ ਵਿੱਚ ਐਮਾਜ਼ਾਨ ਅਲੈਕਸਾ ਏਆਈ ਵਿੱਚ ਵੱਡੇ ਡੇਟਾ ਦੇ ਨਾਲ ਕੰਮ ਕਰ ਰਿਹਾ ਹਾਂ, ਜੋ ਕਿ ਬੋਸਟਨ ਵਿੱਚ ਹੈ, ਹਾਲਾਂਕਿ ਮੈਂ ਵੈਨਕੂਵਰ ਆਈਲੈਂਡ ਦੇ ਵਿਕਟੋਰੀਆ ਵਿੱਚ ਰਹਿੰਦਾ ਹਾਂ ਅਤੇ ਅਕਸਰ ਬੋਸਟਨ, ਸੀਏਟਲ ਦਾ ਦੌਰਾ ਕਰਦਾ ਹਾਂ. , ਅਤੇ ਵੈਨਕੂਵਰ ਵਿੱਚ, ਅਤੇ ਕਦੇ-ਕਦੇ ਮਾਸਕੋ ਵਿੱਚ ਵੀ, ਮੈਂ ਕਾਨਫਰੰਸਾਂ ਵਿੱਚ ਬੋਲਦਾ ਹਾਂ। ਮੈਂ ਵੀ ਸਮੇਂ-ਸਮੇਂ 'ਤੇ ਲਿਖਦਾ ਹਾਂ, ਪਰ ਮੈਂ ਮੁੱਖ ਤੌਰ 'ਤੇ ਅੰਗਰੇਜ਼ੀ ਵਿੱਚ ਲਿਖਦਾ ਹਾਂ, ਅਤੇ ਮੈਂ ਪਹਿਲਾਂ ਵੀ ਲਿਖ ਚੁੱਕਾ ਹਾਂ ਕੁਝ ਕਿਤਾਬਾਂ, ਮੈਨੂੰ ਉੱਤਰੀ ਅਮਰੀਕਾ ਤੋਂ ਵਿਸ਼ਲੇਸ਼ਣ ਰੁਝਾਨਾਂ ਨੂੰ ਸਾਂਝਾ ਕਰਨ ਦੀ ਵੀ ਜ਼ਰੂਰਤ ਹੈ, ਅਤੇ ਮੈਂ ਕਈ ਵਾਰ ਇਸ ਵਿੱਚ ਲਿਖਦਾ ਹਾਂ ਤਾਰ.

ਮੈਂ ਹਮੇਸ਼ਾ ਡਾਟਾ ਵੇਅਰਹਾਊਸਾਂ ਨਾਲ ਕੰਮ ਕੀਤਾ ਹੈ, ਅਤੇ 2015 ਤੋਂ ਮੈਂ ਐਮਾਜ਼ਾਨ ਵੈੱਬ ਸੇਵਾਵਾਂ ਦੇ ਨਾਲ ਮਿਲ ਕੇ ਕੰਮ ਕਰਨਾ ਸ਼ੁਰੂ ਕੀਤਾ ਹੈ, ਅਤੇ ਆਮ ਤੌਰ 'ਤੇ ਕਲਾਉਡ ਵਿਸ਼ਲੇਸ਼ਣ (AWS, Azure, GCP) ਵਿੱਚ ਬਦਲਿਆ ਹੈ। ਮੈਂ 2007 ਤੋਂ ਵਿਸ਼ਲੇਸ਼ਣ ਹੱਲਾਂ ਦੇ ਵਿਕਾਸ ਨੂੰ ਦੇਖਿਆ ਹੈ ਅਤੇ ਇੱਥੋਂ ਤੱਕ ਕਿ ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਵਿਕਰੇਤਾ ਟੈਰਾਡਾਟਾ ਲਈ ਵੀ ਕੰਮ ਕੀਤਾ ਹੈ ਅਤੇ ਇਸਨੂੰ Sberbank ਵਿੱਚ ਲਾਗੂ ਕੀਤਾ ਹੈ, ਜਦੋਂ ਹੈਡੂਪ ਦੇ ਨਾਲ ਵੱਡਾ ਡੇਟਾ ਪ੍ਰਗਟ ਹੋਇਆ ਸੀ। ਹਰ ਕੋਈ ਕਹਿਣ ਲੱਗਾ ਕਿ ਸਟੋਰੇਜ਼ ਦਾ ਯੁੱਗ ਬੀਤ ਗਿਆ ਹੈ ਅਤੇ ਹੁਣ ਹਰ ਕੋਈ ਹੈਡੂਪ ਦੀ ਵਰਤੋਂ ਕਰ ਰਿਹਾ ਹੈ, ਅਤੇ ਫਿਰ ਉਹ ਦੁਬਾਰਾ ਡੇਟਾ ਲੇਕ ਦੀ ਗੱਲ ਕਰਨ ਲੱਗ ਪਏ, ਕਿ ਹੁਣ ਡੇਟਾ ਗੋਦਾਮ ਦਾ ਅੰਤ ਜ਼ਰੂਰ ਆ ਗਿਆ ਸੀ। ਪਰ ਖੁਸ਼ਕਿਸਮਤੀ ਨਾਲ (ਸ਼ਾਇਦ ਬਦਕਿਸਮਤੀ ਨਾਲ ਕੁਝ ਲੋਕਾਂ ਲਈ ਜਿਨ੍ਹਾਂ ਨੇ ਹੈਡੂਪ ਸਥਾਪਤ ਕਰਨ ਲਈ ਬਹੁਤ ਸਾਰਾ ਪੈਸਾ ਕਮਾਇਆ), ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਦੂਰ ਨਹੀਂ ਗਿਆ.

ਇਸ ਲੇਖ ਵਿਚ ਅਸੀਂ ਦੇਖਾਂਗੇ ਕਿ ਡੇਟਾ ਲੇਕ ਕੀ ਹੈ। ਇਹ ਲੇਖ ਉਹਨਾਂ ਲੋਕਾਂ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ ਜਿਨ੍ਹਾਂ ਕੋਲ ਡੇਟਾ ਵੇਅਰਹਾਊਸਾਂ ਦਾ ਬਹੁਤ ਘੱਟ ਜਾਂ ਕੋਈ ਅਨੁਭਵ ਨਹੀਂ ਹੈ।

ਤਸਵੀਰ ਵਿੱਚ ਬਲੇਡ ਝੀਲ ਹੈ, ਇਹ ਮੇਰੀ ਪਸੰਦੀਦਾ ਝੀਲਾਂ ਵਿੱਚੋਂ ਇੱਕ ਹੈ, ਹਾਲਾਂਕਿ ਮੈਂ ਉੱਥੇ ਸਿਰਫ ਇੱਕ ਵਾਰ ਸੀ, ਮੈਂ ਇਸਨੂੰ ਆਪਣੀ ਬਾਕੀ ਦੀ ਜ਼ਿੰਦਗੀ ਲਈ ਯਾਦ ਰੱਖਿਆ। ਪਰ ਅਸੀਂ ਇੱਕ ਹੋਰ ਕਿਸਮ ਦੀ ਝੀਲ ਬਾਰੇ ਗੱਲ ਕਰਾਂਗੇ - ਇੱਕ ਡੇਟਾ ਝੀਲ. ਸ਼ਾਇਦ ਤੁਹਾਡੇ ਵਿੱਚੋਂ ਬਹੁਤ ਸਾਰੇ ਪਹਿਲਾਂ ਹੀ ਇਸ ਸ਼ਬਦ ਬਾਰੇ ਇੱਕ ਤੋਂ ਵੱਧ ਵਾਰ ਸੁਣ ਚੁੱਕੇ ਹਨ, ਪਰ ਇੱਕ ਹੋਰ ਪਰਿਭਾਸ਼ਾ ਕਿਸੇ ਨੂੰ ਨੁਕਸਾਨ ਨਹੀਂ ਪਹੁੰਚਾਏਗੀ।

ਸਭ ਤੋਂ ਪਹਿਲਾਂ, ਇੱਥੇ ਡੇਟਾ ਲੇਕ ਦੀਆਂ ਸਭ ਤੋਂ ਪ੍ਰਸਿੱਧ ਪਰਿਭਾਸ਼ਾਵਾਂ ਹਨ:

"ਸਭ ਕਿਸਮ ਦੇ ਕੱਚੇ ਡੇਟਾ ਦੀ ਇੱਕ ਫਾਈਲ ਸਟੋਰੇਜ ਜੋ ਸੰਸਥਾ ਵਿੱਚ ਕਿਸੇ ਵੀ ਵਿਅਕਤੀ ਦੁਆਰਾ ਵਿਸ਼ਲੇਸ਼ਣ ਲਈ ਉਪਲਬਧ ਹੈ" - ਮਾਰਟਿਨ ਫੋਲਰ।

“ਜੇ ਤੁਸੀਂ ਸੋਚਦੇ ਹੋ ਕਿ ਡੇਟਾ ਮਾਰਟ ਪਾਣੀ ਦੀ ਇੱਕ ਬੋਤਲ ਹੈ - ਸੁਵਿਧਾਜਨਕ ਖਪਤ ਲਈ ਸ਼ੁੱਧ, ਪੈਕ ਕੀਤਾ ਅਤੇ ਪੈਕ ਕੀਤਾ ਗਿਆ ਹੈ, ਤਾਂ ਇੱਕ ਡੇਟਾ ਝੀਲ ਆਪਣੇ ਕੁਦਰਤੀ ਰੂਪ ਵਿੱਚ ਪਾਣੀ ਦਾ ਇੱਕ ਵਿਸ਼ਾਲ ਭੰਡਾਰ ਹੈ। ਉਪਭੋਗਤਾ, ਮੈਂ ਆਪਣੇ ਲਈ ਪਾਣੀ ਇਕੱਠਾ ਕਰ ਸਕਦਾ ਹਾਂ, ਡੂੰਘੀ ਡੁਬਕੀ ਲਗਾ ਸਕਦਾ ਹਾਂ, ਖੋਜ ਕਰ ਸਕਦਾ ਹਾਂ" - ਜੇਮਸ ਡਿਕਸਨ।

ਹੁਣ ਅਸੀਂ ਯਕੀਨੀ ਤੌਰ 'ਤੇ ਜਾਣਦੇ ਹਾਂ ਕਿ ਇੱਕ ਡੇਟਾ ਲੇਕ ਵਿਸ਼ਲੇਸ਼ਣ ਬਾਰੇ ਹੈ, ਇਹ ਸਾਨੂੰ ਵੱਡੀ ਮਾਤਰਾ ਵਿੱਚ ਡੇਟਾ ਨੂੰ ਇਸਦੇ ਅਸਲ ਰੂਪ ਵਿੱਚ ਸਟੋਰ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ ਅਤੇ ਸਾਡੇ ਕੋਲ ਡੇਟਾ ਤੱਕ ਲੋੜੀਂਦੀ ਅਤੇ ਸੁਵਿਧਾਜਨਕ ਪਹੁੰਚ ਹੈ।

ਮੈਂ ਅਕਸਰ ਚੀਜ਼ਾਂ ਨੂੰ ਸਰਲ ਬਣਾਉਣਾ ਪਸੰਦ ਕਰਦਾ ਹਾਂ, ਜੇਕਰ ਮੈਂ ਸਧਾਰਨ ਸ਼ਬਦਾਂ ਵਿੱਚ ਇੱਕ ਗੁੰਝਲਦਾਰ ਸ਼ਬਦ ਦੀ ਵਿਆਖਿਆ ਕਰ ਸਕਦਾ ਹਾਂ, ਤਾਂ ਮੈਂ ਆਪਣੇ ਲਈ ਸਮਝਦਾ ਹਾਂ ਕਿ ਇਹ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ ਅਤੇ ਇਸਦੀ ਕੀ ਲੋੜ ਹੈ। ਇੱਕ ਦਿਨ, ਮੈਂ ਆਈਫੋਨ ਫੋਟੋ ਗੈਲਰੀ ਵਿੱਚ ਘੁੰਮ ਰਿਹਾ ਸੀ, ਅਤੇ ਇਹ ਮੇਰੇ 'ਤੇ ਆ ਗਿਆ, ਇਹ ਇੱਕ ਅਸਲ ਡੇਟਾ ਝੀਲ ਹੈ, ਮੈਂ ਕਾਨਫਰੰਸਾਂ ਲਈ ਇੱਕ ਸਲਾਈਡ ਵੀ ਬਣਾਈ ਹੈ:

ਹਰ ਚੀਜ਼ ਬਹੁਤ ਹੀ ਸਧਾਰਨ ਹੈ. ਅਸੀਂ ਫ਼ੋਨ 'ਤੇ ਫ਼ੋਟੋ ਲੈਂਦੇ ਹਾਂ, ਫ਼ੋਟੋ ਫ਼ੋਨ 'ਤੇ ਸੇਵ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਅਤੇ iCloud (ਕਲਾਊਡ ਫ਼ਾਈਲ ਸਟੋਰੇਜ) 'ਤੇ ਸੇਵ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ। ਫ਼ੋਨ ਫੋਟੋ ਮੈਟਾਡੇਟਾ ਵੀ ਇਕੱਤਰ ਕਰਦਾ ਹੈ: ਕੀ ਦਿਖਾਇਆ ਗਿਆ ਹੈ, ਜੀਓ ਟੈਗ, ਸਮਾਂ। ਨਤੀਜੇ ਵਜੋਂ, ਅਸੀਂ ਆਪਣੀ ਫੋਟੋ ਲੱਭਣ ਲਈ ਆਈਫੋਨ ਦੇ ਉਪਭੋਗਤਾ-ਅਨੁਕੂਲ ਇੰਟਰਫੇਸ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹਾਂ ਅਤੇ ਅਸੀਂ ਸੰਕੇਤਕ ਵੀ ਵੇਖ ਸਕਦੇ ਹਾਂ, ਉਦਾਹਰਨ ਲਈ, ਜਦੋਂ ਮੈਂ ਫਾਇਰ ਸ਼ਬਦ ਨਾਲ ਫੋਟੋਆਂ ਦੀ ਖੋਜ ਕਰਦਾ ਹਾਂ, ਤਾਂ ਮੈਨੂੰ ਅੱਗ ਦੇ ਚਿੱਤਰ ਨਾਲ 3 ਫੋਟੋਆਂ ਮਿਲਦੀਆਂ ਹਨ. ਮੇਰੇ ਲਈ, ਇਹ ਇੱਕ ਬਿਜ਼ਨਸ ਇੰਟੈਲੀਜੈਂਸ ਟੂਲ ਵਰਗਾ ਹੈ ਜੋ ਬਹੁਤ ਤੇਜ਼ੀ ਨਾਲ ਅਤੇ ਸਪਸ਼ਟ ਤੌਰ 'ਤੇ ਕੰਮ ਕਰਦਾ ਹੈ।

ਅਤੇ ਬੇਸ਼ੱਕ, ਸਾਨੂੰ ਸੁਰੱਖਿਆ (ਪ੍ਰਮਾਣਿਕਤਾ ਅਤੇ ਪ੍ਰਮਾਣਿਕਤਾ) ਬਾਰੇ ਨਹੀਂ ਭੁੱਲਣਾ ਚਾਹੀਦਾ, ਨਹੀਂ ਤਾਂ ਸਾਡਾ ਡੇਟਾ ਆਸਾਨੀ ਨਾਲ ਜਨਤਕ ਡੋਮੇਨ ਵਿੱਚ ਖਤਮ ਹੋ ਸਕਦਾ ਹੈ। ਵੱਡੀਆਂ ਕਾਰਪੋਰੇਸ਼ਨਾਂ ਅਤੇ ਸਟਾਰਟਅੱਪਸ ਬਾਰੇ ਬਹੁਤ ਸਾਰੀਆਂ ਖ਼ਬਰਾਂ ਹਨ ਜਿਨ੍ਹਾਂ ਦਾ ਡੇਟਾ ਡਿਵੈਲਪਰਾਂ ਦੀ ਲਾਪਰਵਾਹੀ ਅਤੇ ਸਧਾਰਨ ਨਿਯਮਾਂ ਦੀ ਪਾਲਣਾ ਕਰਨ ਵਿੱਚ ਅਸਫਲਤਾ ਕਾਰਨ ਜਨਤਕ ਤੌਰ 'ਤੇ ਉਪਲਬਧ ਹੋ ਗਿਆ ਹੈ।

ਇੱਥੋਂ ਤੱਕ ਕਿ ਅਜਿਹੀ ਸਧਾਰਨ ਤਸਵੀਰ ਸਾਨੂੰ ਕਲਪਨਾ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦੀ ਹੈ ਕਿ ਇੱਕ ਡੇਟਾ ਝੀਲ ਕੀ ਹੈ, ਇੱਕ ਰਵਾਇਤੀ ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਅਤੇ ਇਸਦੇ ਮੁੱਖ ਤੱਤਾਂ ਤੋਂ ਇਸਦੇ ਅੰਤਰ:

1. ਡਾਟਾ ਲੋਡ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ (ਇੰਜੈਸ਼ਨ) ਡੇਟਾ ਲੇਕ ਦਾ ਇੱਕ ਮੁੱਖ ਹਿੱਸਾ ਹੈ। ਡੇਟਾ ਦੋ ਤਰੀਕਿਆਂ ਨਾਲ ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਵਿੱਚ ਦਾਖਲ ਹੋ ਸਕਦਾ ਹੈ - ਬੈਚ (ਅੰਤਰਾਲਾਂ 'ਤੇ ਲੋਡ ਕਰਨਾ) ਅਤੇ ਸਟ੍ਰੀਮਿੰਗ (ਡਾਟਾ ਪ੍ਰਵਾਹ)।
2. ਫਾਈਲ ਸਟੋਰੇਜ (ਸਟੋਰੇਜ) ਡੇਟਾ ਲੇਕ ਦਾ ਮੁੱਖ ਹਿੱਸਾ ਹੈ। ਸਾਨੂੰ ਆਸਾਨੀ ਨਾਲ ਮਾਪਯੋਗ, ਬਹੁਤ ਭਰੋਸੇਯੋਗ, ਅਤੇ ਘੱਟ ਲਾਗਤ ਲਈ ਸਟੋਰੇਜ ਦੀ ਲੋੜ ਸੀ। ਉਦਾਹਰਨ ਲਈ, AWS ਵਿੱਚ ਇਹ S3 ਹੈ।
3. ਕੈਟਾਲਾਗ ਅਤੇ ਖੋਜ (ਕੈਟਲਾਗ ਅਤੇ ਖੋਜ) - ਸਾਡੇ ਲਈ ਡੇਟਾ ਦਲਦਲ ਤੋਂ ਬਚਣ ਲਈ (ਇਹ ਉਦੋਂ ਹੁੰਦਾ ਹੈ ਜਦੋਂ ਅਸੀਂ ਸਾਰੇ ਡੇਟਾ ਨੂੰ ਇੱਕ ਢੇਰ ਵਿੱਚ ਡੰਪ ਕਰਦੇ ਹਾਂ, ਅਤੇ ਫਿਰ ਇਸਦੇ ਨਾਲ ਕੰਮ ਕਰਨਾ ਅਸੰਭਵ ਹੁੰਦਾ ਹੈ), ਸਾਨੂੰ ਡੇਟਾ ਨੂੰ ਵਰਗੀਕ੍ਰਿਤ ਕਰਨ ਲਈ ਇੱਕ ਮੈਟਾਡੇਟਾ ਪਰਤ ਬਣਾਉਣ ਦੀ ਜ਼ਰੂਰਤ ਹੁੰਦੀ ਹੈ. ਤਾਂ ਜੋ ਉਪਭੋਗਤਾ ਆਸਾਨੀ ਨਾਲ ਡਾਟਾ ਲੱਭ ਸਕਣ, ਜਿਸਦੀ ਉਹਨਾਂ ਨੂੰ ਵਿਸ਼ਲੇਸ਼ਣ ਲਈ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਤੁਸੀਂ ਵਾਧੂ ਖੋਜ ਹੱਲਾਂ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ ਜਿਵੇਂ ਕਿ ElasticSearch. ਖੋਜ ਉਪਭੋਗਤਾ ਨੂੰ ਉਪਭੋਗਤਾ-ਅਨੁਕੂਲ ਇੰਟਰਫੇਸ ਦੁਆਰਾ ਲੋੜੀਂਦਾ ਡੇਟਾ ਲੱਭਣ ਵਿੱਚ ਮਦਦ ਕਰਦੀ ਹੈ।
4. ਪ੍ਰੋਸੈਸਿੰਗ (ਪ੍ਰਕਿਰਿਆ) - ਇਹ ਕਦਮ ਡੇਟਾ ਨੂੰ ਪ੍ਰੋਸੈਸ ਕਰਨ ਅਤੇ ਬਦਲਣ ਲਈ ਜ਼ਿੰਮੇਵਾਰ ਹੈ। ਅਸੀਂ ਡੇਟਾ ਨੂੰ ਬਦਲ ਸਕਦੇ ਹਾਂ, ਇਸਦਾ ਢਾਂਚਾ ਬਦਲ ਸਕਦੇ ਹਾਂ, ਇਸਨੂੰ ਸਾਫ਼ ਕਰ ਸਕਦੇ ਹਾਂ ਅਤੇ ਹੋਰ ਬਹੁਤ ਕੁਝ ਕਰ ਸਕਦੇ ਹਾਂ।
5. ਸੁਰੱਖਿਆ ਨੂੰ (ਸੁਰੱਖਿਆ) - ਹੱਲ ਦੇ ਸੁਰੱਖਿਆ ਡਿਜ਼ਾਈਨ 'ਤੇ ਸਮਾਂ ਬਿਤਾਉਣਾ ਮਹੱਤਵਪੂਰਨ ਹੈ. ਉਦਾਹਰਨ ਲਈ, ਸਟੋਰੇਜ਼, ਪ੍ਰੋਸੈਸਿੰਗ ਅਤੇ ਲੋਡਿੰਗ ਦੌਰਾਨ ਡਾਟਾ ਇਨਕ੍ਰਿਪਸ਼ਨ। ਪ੍ਰਮਾਣਿਕਤਾ ਅਤੇ ਪ੍ਰਮਾਣੀਕਰਨ ਵਿਧੀਆਂ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਮਹੱਤਵਪੂਰਨ ਹੈ। ਅੰਤ ਵਿੱਚ, ਇੱਕ ਆਡਿਟ ਟੂਲ ਦੀ ਲੋੜ ਹੈ।

ਵਿਹਾਰਕ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ, ਅਸੀਂ ਇੱਕ ਡੇਟਾ ਝੀਲ ਨੂੰ ਤਿੰਨ ਗੁਣਾਂ ਦੁਆਰਾ ਦਰਸਾ ਸਕਦੇ ਹਾਂ:

1. ਕੁਝ ਵੀ ਇਕੱਠਾ ਕਰੋ ਅਤੇ ਸਟੋਰ ਕਰੋ — ਡੇਟਾ ਲੇਕ ਵਿੱਚ ਸਾਰਾ ਡੇਟਾ ਹੁੰਦਾ ਹੈ, ਕਿਸੇ ਵੀ ਸਮੇਂ ਲਈ ਕੱਚਾ ਅਣਪ੍ਰੋਸੈਸਡ ਡੇਟਾ ਅਤੇ ਪ੍ਰੋਸੈਸਡ/ਕਲੀਨ ਡੇਟਾ ਦੋਵੇਂ।
2. ਡੂੰਘੀ ਸਕੈਨ - ਇੱਕ ਡੇਟਾ ਝੀਲ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਡੇਟਾ ਦੀ ਪੜਚੋਲ ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦੀ ਹੈ।
3. ਲਚਕਦਾਰ ਪਹੁੰਚ — ਡਾਟਾ ਲੇਕ ਵੱਖ-ਵੱਖ ਡੇਟਾ ਅਤੇ ਵੱਖ-ਵੱਖ ਦ੍ਰਿਸ਼ਾਂ ਲਈ ਲਚਕਦਾਰ ਪਹੁੰਚ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।

ਹੁਣ ਅਸੀਂ ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਅਤੇ ਡੇਟਾ ਲੇਕ ਵਿੱਚ ਅੰਤਰ ਬਾਰੇ ਗੱਲ ਕਰ ਸਕਦੇ ਹਾਂ। ਆਮ ਤੌਰ 'ਤੇ ਲੋਕ ਪੁੱਛਦੇ ਹਨ:

• ਡਾਟਾ ਵੇਅਰਹਾਊਸ ਬਾਰੇ ਕੀ?
• ਕੀ ਅਸੀਂ ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਨੂੰ ਡੇਟਾ ਝੀਲ ਨਾਲ ਬਦਲ ਰਹੇ ਹਾਂ ਜਾਂ ਕੀ ਅਸੀਂ ਇਸਦਾ ਵਿਸਥਾਰ ਕਰ ਰਹੇ ਹਾਂ?
• ਕੀ ਡੇਟਾ ਝੀਲ ਤੋਂ ਬਿਨਾਂ ਕਰਨਾ ਅਜੇ ਵੀ ਸੰਭਵ ਹੈ?

ਸੰਖੇਪ ਵਿੱਚ, ਕੋਈ ਸਪੱਸ਼ਟ ਜਵਾਬ ਨਹੀਂ ਹੈ. ਇਹ ਸਭ ਖਾਸ ਸਥਿਤੀ, ਟੀਮ ਦੇ ਹੁਨਰ ਅਤੇ ਬਜਟ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ. ਉਦਾਹਰਨ ਲਈ, ਇੱਕ ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਨੂੰ ਓਰੇਕਲ ਤੋਂ AWS ਵਿੱਚ ਮਾਈਗਰੇਟ ਕਰਨਾ ਅਤੇ ਇੱਕ ਐਮਾਜ਼ਾਨ ਸਹਾਇਕ ਕੰਪਨੀ - ਵੂਟ - ਦੁਆਰਾ ਇੱਕ ਡੇਟਾ ਝੀਲ ਬਣਾਉਣਾ. ਸਾਡੀ ਡਾਟਾ ਝੀਲ ਦੀ ਕਹਾਣੀ: Woot.com ਨੇ AWS 'ਤੇ ਇੱਕ ਸਰਵਰ ਰਹਿਤ ਡਾਟਾ ਝੀਲ ਕਿਵੇਂ ਬਣਾਈ.

ਦੂਜੇ ਪਾਸੇ, ਵਿਕਰੇਤਾ ਸਨੋਫਲੇਕ ਦਾ ਕਹਿਣਾ ਹੈ ਕਿ ਤੁਹਾਨੂੰ ਹੁਣ ਡੇਟਾ ਲੇਕ ਬਾਰੇ ਸੋਚਣ ਦੀ ਜ਼ਰੂਰਤ ਨਹੀਂ ਹੈ, ਕਿਉਂਕਿ ਉਹਨਾਂ ਦਾ ਡੇਟਾ ਪਲੇਟਫਾਰਮ (2020 ਤੱਕ ਇਹ ਇੱਕ ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਸੀ) ਤੁਹਾਨੂੰ ਡੇਟਾ ਲੇਕ ਅਤੇ ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਦੋਵਾਂ ਨੂੰ ਜੋੜਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ। ਮੈਂ ਸਨੋਫਲੇਕ ਨਾਲ ਜ਼ਿਆਦਾ ਕੰਮ ਨਹੀਂ ਕੀਤਾ ਹੈ, ਅਤੇ ਇਹ ਸੱਚਮੁੱਚ ਇੱਕ ਵਿਲੱਖਣ ਉਤਪਾਦ ਹੈ ਜੋ ਅਜਿਹਾ ਕਰ ਸਕਦਾ ਹੈ। ਮੁੱਦੇ ਦੀ ਕੀਮਤ ਇਕ ਹੋਰ ਮਾਮਲਾ ਹੈ.

В заключении, мое личное мнение, что нам все еще нужно хранилище данных как основной источник данных для нашей отчетности, и все, что не помещается, мы храним в озере данных. Вся роль аналитики — это предоставить удобный доступ бизнесу для принятия решений. Как ни крути, но бизнес пользователи работаю эффективней с хранилищем данных, чем озером данных, например в Amazon — есть Redshift (аналитическое хранилище данных) и есть Redshift Spectrum/Athena (SQL интерфейс для озера данных в S3 на базе Hive/Presto). Тоже самое относится к другим современным аналитическим хранилищам данных.

ਆਉ ਇੱਕ ਆਮ ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਆਰਕੀਟੈਕਚਰ ਨੂੰ ਵੇਖੀਏ:

ਇਹ ਇੱਕ ਕਲਾਸਿਕ ਹੱਲ ਹੈ. ਸਾਡੇ ਕੋਲ ਸਰੋਤ ਪ੍ਰਣਾਲੀਆਂ ਹਨ, ETL/ELT ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਅਸੀਂ ਡੇਟਾ ਨੂੰ ਇੱਕ ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਵਿੱਚ ਕਾਪੀ ਕਰਦੇ ਹਾਂ ਅਤੇ ਇਸਨੂੰ ਇੱਕ ਬਿਜ਼ਨਸ ਇੰਟੈਲੀਜੈਂਸ ਹੱਲ ਨਾਲ ਜੋੜਦੇ ਹਾਂ (ਮੇਰੀ ਪਸੰਦੀਦਾ ਝਾਂਕੀ ਹੈ, ਤੁਹਾਡੇ ਬਾਰੇ ਕੀ?)।

ਇਸ ਹੱਲ ਦੇ ਹੇਠਾਂ ਦਿੱਤੇ ਨੁਕਸਾਨ ਹਨ:

• ETL/ELT ਓਪਰੇਸ਼ਨਾਂ ਲਈ ਸਮਾਂ ਅਤੇ ਸਰੋਤਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
• ਇੱਕ ਨਿਯਮ ਦੇ ਤੌਰ 'ਤੇ, ਇੱਕ ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਵਿੱਚ ਡੇਟਾ ਸਟੋਰ ਕਰਨ ਲਈ ਮੈਮੋਰੀ ਸਸਤੀ ਨਹੀਂ ਹੈ (ਉਦਾਹਰਨ ਲਈ, Redshift, BigQuery, Teradata), ਕਿਉਂਕਿ ਸਾਨੂੰ ਇੱਕ ਪੂਰਾ ਕਲੱਸਟਰ ਖਰੀਦਣ ਦੀ ਲੋੜ ਹੈ।
• ਕਾਰੋਬਾਰੀ ਉਪਭੋਗਤਾਵਾਂ ਕੋਲ ਸਾਫ਼ ਕੀਤੇ ਅਤੇ ਅਕਸਰ ਇਕੱਠੇ ਕੀਤੇ ਡੇਟਾ ਤੱਕ ਪਹੁੰਚ ਹੁੰਦੀ ਹੈ ਅਤੇ ਉਹਨਾਂ ਕੋਲ ਕੱਚੇ ਡੇਟਾ ਤੱਕ ਪਹੁੰਚ ਨਹੀਂ ਹੁੰਦੀ ਹੈ।

ਬੇਸ਼ੱਕ, ਇਹ ਸਭ ਤੁਹਾਡੇ ਕੇਸ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ. ਜੇਕਰ ਤੁਹਾਨੂੰ ਆਪਣੇ ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਵਿੱਚ ਕੋਈ ਸਮੱਸਿਆ ਨਹੀਂ ਹੈ, ਤਾਂ ਤੁਹਾਨੂੰ ਡੇਟਾ ਲੇਕ ਦੀ ਬਿਲਕੁਲ ਵੀ ਲੋੜ ਨਹੀਂ ਹੈ। ਪਰ ਜਦੋਂ ਸਪੇਸ, ਪਾਵਰ, ਜਾਂ ਕੀਮਤ ਦੀ ਘਾਟ ਨਾਲ ਸਮੱਸਿਆਵਾਂ ਪੈਦਾ ਹੁੰਦੀਆਂ ਹਨ, ਤਾਂ ਤੁਸੀਂ ਇੱਕ ਡੇਟਾ ਝੀਲ ਦੇ ਵਿਕਲਪ 'ਤੇ ਵਿਚਾਰ ਕਰ ਸਕਦੇ ਹੋ। ਇਹੀ ਕਾਰਨ ਹੈ ਕਿ ਡੇਟਾ ਝੀਲ ਬਹੁਤ ਮਸ਼ਹੂਰ ਹੈ. ਇੱਥੇ ਇੱਕ ਡਾਟਾ ਝੀਲ ਆਰਕੀਟੈਕਚਰ ਦੀ ਇੱਕ ਉਦਾਹਰਨ ਹੈ:

ਡੇਟਾ ਲੇਕ ਪਹੁੰਚ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, ਅਸੀਂ ਕੱਚੇ ਡੇਟਾ ਨੂੰ ਸਾਡੀ ਡੇਟਾ ਲੇਕ (ਬੈਚ ਜਾਂ ਸਟ੍ਰੀਮਿੰਗ) ਵਿੱਚ ਲੋਡ ਕਰਦੇ ਹਾਂ, ਫਿਰ ਅਸੀਂ ਲੋੜ ਅਨੁਸਾਰ ਡੇਟਾ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਦੇ ਹਾਂ। ਡੇਟਾ ਲੇਕ ਕਾਰੋਬਾਰੀ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਆਪਣੇ ਖੁਦ ਦੇ ਡੇਟਾ ਪਰਿਵਰਤਨ (ETL/ELT) ਬਣਾਉਣ ਜਾਂ ਬਿਜ਼ਨਸ ਇੰਟੈਲੀਜੈਂਸ ਹੱਲਾਂ ਵਿੱਚ ਡੇਟਾ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦੀ ਹੈ (ਜੇਕਰ ਜ਼ਰੂਰੀ ਡਰਾਈਵਰ ਉਪਲਬਧ ਹੈ)।

ਕਿਸੇ ਵੀ ਵਿਸ਼ਲੇਸ਼ਣ ਹੱਲ ਦਾ ਟੀਚਾ ਵਪਾਰਕ ਉਪਭੋਗਤਾਵਾਂ ਦੀ ਸੇਵਾ ਕਰਨਾ ਹੈ. ਇਸ ਲਈ, ਸਾਨੂੰ ਹਮੇਸ਼ਾ ਕਾਰੋਬਾਰੀ ਲੋੜਾਂ ਅਨੁਸਾਰ ਕੰਮ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ। (ਐਮਾਜ਼ਾਨ 'ਤੇ ਇਹ ਸਿਧਾਂਤਾਂ ਵਿੱਚੋਂ ਇੱਕ ਹੈ - ਪਿੱਛੇ ਵੱਲ ਕੰਮ ਕਰਨਾ).

ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਅਤੇ ਡੇਟਾ ਲੇਕ ਦੋਵਾਂ ਨਾਲ ਕੰਮ ਕਰਦੇ ਹੋਏ, ਅਸੀਂ ਦੋਵਾਂ ਹੱਲਾਂ ਦੀ ਤੁਲਨਾ ਕਰ ਸਕਦੇ ਹਾਂ:

ਮੁੱਖ ਸਿੱਟਾ ਜੋ ਕੱਢਿਆ ਜਾ ਸਕਦਾ ਹੈ ਉਹ ਇਹ ਹੈ ਕਿ ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਡੇਟਾ ਝੀਲ ਨਾਲ ਮੁਕਾਬਲਾ ਨਹੀਂ ਕਰਦਾ, ਸਗੋਂ ਇਸਦਾ ਪੂਰਕ ਕਰਦਾ ਹੈ. ਪਰ ਇਹ ਤੁਹਾਡੇ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ ਕਿ ਤੁਹਾਡੇ ਕੇਸ ਲਈ ਕੀ ਸਹੀ ਹੈ। ਇਸ ਨੂੰ ਖੁਦ ਅਜ਼ਮਾਉਣਾ ਅਤੇ ਸਹੀ ਸਿੱਟੇ ਕੱਢਣਾ ਹਮੇਸ਼ਾਂ ਦਿਲਚਸਪ ਹੁੰਦਾ ਹੈ।

ਮੈਂ ਤੁਹਾਨੂੰ ਇੱਕ ਕੇਸ ਵੀ ਦੱਸਣਾ ਚਾਹਾਂਗਾ ਜਦੋਂ ਮੈਂ ਡੇਟਾ ਲੇਕ ਪਹੁੰਚ ਦੀ ਵਰਤੋਂ ਸ਼ੁਰੂ ਕੀਤੀ ਸੀ। ਹਰ ਚੀਜ਼ ਬਹੁਤ ਮਾਮੂਲੀ ਹੈ, ਮੈਂ ਇੱਕ ELT ਟੂਲ (ਸਾਡੇ ਕੋਲ ਮੈਟਿਲੀਅਨ ਈਟੀਐਲ ਸੀ) ਅਤੇ ਐਮਾਜ਼ਾਨ ਰੈੱਡਸ਼ਿਫਟ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ, ਮੇਰਾ ਹੱਲ ਕੰਮ ਕਰਦਾ ਹੈ, ਪਰ ਲੋੜਾਂ ਨੂੰ ਪੂਰਾ ਨਹੀਂ ਕਰਦਾ.

ਮੈਨੂੰ 2 ਕੇਸਾਂ ਲਈ ਡੇਟਾ ਪ੍ਰਦਾਨ ਕਰਨ ਲਈ ਵੈਬ ਲੌਗਸ ਲੈਣ, ਉਹਨਾਂ ਨੂੰ ਬਦਲਣ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਇਕੱਠੇ ਕਰਨ ਦੀ ਲੋੜ ਸੀ:

1. ਮਾਰਕੀਟਿੰਗ ਟੀਮ ਐਸਈਓ ਲਈ ਬੋਟ ਗਤੀਵਿਧੀ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨਾ ਚਾਹੁੰਦੀ ਸੀ
2. ਆਈਟੀ ਵੈਬਸਾਈਟ ਪ੍ਰਦਰਸ਼ਨ ਮੈਟ੍ਰਿਕਸ ਨੂੰ ਵੇਖਣਾ ਚਾਹੁੰਦਾ ਸੀ

ਬਹੁਤ ਹੀ ਸਧਾਰਨ, ਬਹੁਤ ਹੀ ਸਧਾਰਨ ਲਾਗ. ਇੱਥੇ ਇੱਕ ਉਦਾਹਰਨ ਹੈ:

https 2018-07-02T22:23:00.186641Z app/my-loadbalancer/50dc6c495c0c9188 
192.168.131.39:2817 10.0.0.1:80 0.086 0.048 0.037 200 200 0 57 
"GET https://www.example.com:443/ HTTP/1.1" "curl/7.46.0" ECDHE-RSA-AES128-GCM-SHA256 TLSv1.2 
arn:aws:elasticloadbalancing:us-east-2:123456789012:targetgroup/my-targets/73e2d6bc24d8a067
"Root=1-58337281-1d84f3d73c47ec4e58577259" "www.example.com" "arn:aws:acm:us-east-2:123456789012:certificate/12345678-1234-1234-1234-123456789012"
1 2018-07-02T22:22:48.364000Z "authenticate,forward" "-" "-"

ਇੱਕ ਫਾਈਲ ਦਾ ਵਜ਼ਨ 1-4 ਮੈਗਾਬਾਈਟ ਸੀ।

ਪਰ ਇੱਕ ਮੁਸ਼ਕਲ ਸੀ. ਸਾਡੇ ਕੋਲ ਦੁਨੀਆ ਭਰ ਵਿੱਚ 7 ​​ਡੋਮੇਨ ਸਨ, ਅਤੇ ਇੱਕ ਦਿਨ ਵਿੱਚ 7000 ਹਜ਼ਾਰ ਫਾਈਲਾਂ ਬਣਾਈਆਂ ਗਈਆਂ ਸਨ। ਇਹ ਜ਼ਿਆਦਾ ਵਾਲੀਅਮ ਨਹੀਂ ਹੈ, ਸਿਰਫ 50 ਗੀਗਾਬਾਈਟ ਹੈ। ਪਰ ਸਾਡੇ ਰੈੱਡਸ਼ਿਫਟ ਕਲੱਸਟਰ ਦਾ ਆਕਾਰ ਵੀ ਛੋਟਾ (4 ਨੋਡ) ਸੀ। ਰਵਾਇਤੀ ਤਰੀਕੇ ਨਾਲ ਇੱਕ ਫਾਈਲ ਨੂੰ ਲੋਡ ਕਰਨ ਵਿੱਚ ਲਗਭਗ ਇੱਕ ਮਿੰਟ ਲੱਗ ਗਿਆ। ਯਾਨੀ ਸਮੱਸਿਆ ਦਾ ਹੱਲ ਸਿਰੇ ਨਹੀਂ ਚੜ੍ਹਿਆ। ਅਤੇ ਇਹ ਉਹ ਮਾਮਲਾ ਸੀ ਜਦੋਂ ਮੈਂ ਡੇਟਾ ਲੇਕ ਪਹੁੰਚ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦਾ ਫੈਸਲਾ ਕੀਤਾ. ਹੱਲ ਕੁਝ ਇਸ ਤਰ੍ਹਾਂ ਦਿਖਾਈ ਦਿੱਤਾ:

ਇਹ ਕਾਫ਼ੀ ਸਧਾਰਨ ਹੈ (ਮੈਂ ਨੋਟ ਕਰਨਾ ਚਾਹੁੰਦਾ ਹਾਂ ਕਿ ਕਲਾਉਡ ਵਿੱਚ ਕੰਮ ਕਰਨ ਦਾ ਫਾਇਦਾ ਸਾਦਗੀ ਹੈ). ਮੈਂ ਵਰਤਿਆ:

• ਕੰਪਿਊਟ ਪਾਵਰ ਲਈ AWS ਇਲਾਸਟਿਕ ਮੈਪ ਰੀਡਿਊਸ (ਹਡੂਪ)
• AWS S3 ਨੂੰ ਡਾਟਾ ਏਨਕ੍ਰਿਪਟ ਕਰਨ ਅਤੇ ਪਹੁੰਚ ਨੂੰ ਸੀਮਤ ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਦੇ ਨਾਲ ਫਾਈਲ ਸਟੋਰੇਜ ਵਜੋਂ
• ਤਰਕ ਅਤੇ ਡਾਟਾ ਪਰਿਵਰਤਨ ਲਈ InMemory ਕੰਪਿਊਟਿੰਗ ਪਾਵਰ ਅਤੇ PySpark ਦੇ ਤੌਰ 'ਤੇ ਸਪਾਰਕ
• ਸਪਾਰਕ ਦੇ ਨਤੀਜੇ ਵਜੋਂ ਪਾਰਕਵੇਟ
• ਨਵੇਂ ਡੇਟਾ ਅਤੇ ਭਾਗਾਂ ਬਾਰੇ ਮੈਟਾਡੇਟਾ ਕੁਲੈਕਟਰ ਵਜੋਂ AWS ਗਲੂ ਕ੍ਰਾਲਰ
• ਮੌਜੂਦਾ Redshift ਉਪਭੋਗਤਾਵਾਂ ਲਈ ਡਾਟਾ ਲੇਕ ਲਈ ਇੱਕ SQL ਇੰਟਰਫੇਸ ਵਜੋਂ Redshift ਸਪੈਕਟ੍ਰਮ

ਸਭ ਤੋਂ ਛੋਟੇ EMR + ਸਪਾਰਕ ਕਲੱਸਟਰ ਨੇ 30 ਮਿੰਟਾਂ ਵਿੱਚ ਫਾਈਲਾਂ ਦੇ ਪੂਰੇ ਸਟੈਕ ਨੂੰ ਪ੍ਰੋਸੈਸ ਕੀਤਾ। AWS ਲਈ ਹੋਰ ਕੇਸ ਹਨ, ਖਾਸ ਤੌਰ 'ਤੇ ਅਲੈਕਸਾ ਨਾਲ ਸਬੰਧਤ ਬਹੁਤ ਸਾਰੇ, ਜਿੱਥੇ ਬਹੁਤ ਸਾਰਾ ਡਾਟਾ ਹੈ.

ਹੁਣੇ ਹੁਣੇ ਮੈਂ ਇੱਕ ਡੇਟਾ ਝੀਲ ਦੇ ਨੁਕਸਾਨਾਂ ਵਿੱਚੋਂ ਇੱਕ ਜੀਡੀਪੀਆਰ ਬਾਰੇ ਸਿੱਖਿਆ ਹੈ। ਸਮੱਸਿਆ ਉਦੋਂ ਹੁੰਦੀ ਹੈ ਜਦੋਂ ਕਲਾਇੰਟ ਇਸਨੂੰ ਮਿਟਾਉਣ ਲਈ ਕਹਿੰਦਾ ਹੈ ਅਤੇ ਡੇਟਾ ਕਿਸੇ ਇੱਕ ਫਾਈਲ ਵਿੱਚ ਹੁੰਦਾ ਹੈ, ਅਸੀਂ ਡੇਟਾ ਹੇਰਾਫੇਰੀ ਭਾਸ਼ਾ ਅਤੇ ਡੇਟਾਬੇਸ ਦੀ ਤਰ੍ਹਾਂ ਮਿਟਾਉਣ ਦੀ ਕਾਰਵਾਈ ਨਹੀਂ ਵਰਤ ਸਕਦੇ।

ਮੈਨੂੰ ਉਮੀਦ ਹੈ ਕਿ ਇਸ ਲੇਖ ਨੇ ਇੱਕ ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਅਤੇ ਇੱਕ ਡੇਟਾ ਝੀਲ ਵਿੱਚ ਅੰਤਰ ਨੂੰ ਸਪੱਸ਼ਟ ਕੀਤਾ ਹੈ. ਜੇ ਤੁਸੀਂ ਦਿਲਚਸਪੀ ਰੱਖਦੇ ਹੋ, ਤਾਂ ਮੈਂ ਆਪਣੇ ਹੋਰ ਲੇਖਾਂ ਜਾਂ ਪੇਸ਼ੇਵਰਾਂ ਦੇ ਲੇਖਾਂ ਦਾ ਅਨੁਵਾਦ ਕਰ ਸਕਦਾ ਹਾਂ ਜੋ ਮੈਂ ਪੜ੍ਹਦਾ ਹਾਂ। ਅਤੇ ਉਹਨਾਂ ਹੱਲਾਂ ਬਾਰੇ ਵੀ ਦੱਸੋ ਜਿਨ੍ਹਾਂ ਨਾਲ ਮੈਂ ਕੰਮ ਕਰਦਾ ਹਾਂ ਅਤੇ ਉਹਨਾਂ ਦੇ ਆਰਕੀਟੈਕਚਰ ਬਾਰੇ।

ਸਰੋਤ: www.habr.com