Google ਦੀ BigQuery ਨੇ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਨੂੰ ਕਿਵੇਂ ਲੋਕਤੰਤਰੀਕਰਨ ਕੀਤਾ। ਭਾਗ 2

ਹੈਲੋ, ਹੈਬਰ! ਇੱਕ ਨਵੇਂ ਕੋਰਸ ਸਟ੍ਰੀਮ ਲਈ ਦਾਖਲਾ ਇਸ ਸਮੇਂ OTUS 'ਤੇ ਖੁੱਲ੍ਹਾ ਹੈ ਡਾਟਾ ਇੰਜੀਨੀਅਰ. ਕੋਰਸ ਦੀ ਸ਼ੁਰੂਆਤ ਦੀ ਉਮੀਦ ਵਿੱਚ, ਅਸੀਂ ਤੁਹਾਡੇ ਨਾਲ ਉਪਯੋਗੀ ਸਮੱਗਰੀ ਸਾਂਝੀ ਕਰਨਾ ਜਾਰੀ ਰੱਖਦੇ ਹਾਂ।

ਭਾਗ ਪਹਿਲਾ ਪੜ੍ਹੋ

ਡਾਟਾ ਪ੍ਰਬੰਧਨ

ਮਜ਼ਬੂਤ ​​ਡੇਟਾ ਗਵਰਨੈਂਸ ਟਵਿੱਟਰ ਇੰਜੀਨੀਅਰਿੰਗ ਦਾ ਮੁੱਖ ਸਿਧਾਂਤ ਹੈ। ਜਿਵੇਂ ਕਿ ਅਸੀਂ ਆਪਣੇ ਪਲੇਟਫਾਰਮ ਵਿੱਚ BigQuery ਨੂੰ ਲਾਗੂ ਕਰਦੇ ਹਾਂ, ਅਸੀਂ ਡਾਟਾ ਖੋਜ, ਪਹੁੰਚ ਨਿਯੰਤਰਣ, ਸੁਰੱਖਿਆ ਅਤੇ ਗੋਪਨੀਯਤਾ 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰਦੇ ਹਾਂ।

ਡੇਟਾ ਨੂੰ ਖੋਜਣ ਅਤੇ ਪ੍ਰਬੰਧਿਤ ਕਰਨ ਲਈ, ਅਸੀਂ ਆਪਣੀ ਡੇਟਾ ਐਕਸੈਸ ਲੇਅਰ ਦਾ ਵਿਸਤਾਰ ਕੀਤਾ ਹੈ DAL) ਸਾਡੇ ਉਪਭੋਗਤਾਵਾਂ ਲਈ ਇੱਕ ਸਿੰਗਲ ਇੰਟਰਫੇਸ ਅਤੇ API ਪ੍ਰਦਾਨ ਕਰਦੇ ਹੋਏ, ਆਨ-ਪ੍ਰੀਮਿਸ ਅਤੇ Google ਕਲਾਉਡ ਡੇਟਾ ਦੋਵਾਂ ਲਈ ਟੂਲ ਪ੍ਰਦਾਨ ਕਰਨ ਲਈ। ਗੂਗਲ ਦੇ ਰੂਪ ਵਿੱਚ ਡਾਟਾ ਕੈਟਾਲਾਗ ਆਮ ਉਪਲਬਧਤਾ ਵੱਲ ਵਧ ਰਿਹਾ ਹੈ, ਅਸੀਂ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਕਾਲਮ ਖੋਜ ਵਰਗੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਪ੍ਰਦਾਨ ਕਰਨ ਲਈ ਇਸਨੂੰ ਸਾਡੇ ਪ੍ਰੋਜੈਕਟਾਂ ਵਿੱਚ ਸ਼ਾਮਲ ਕਰਾਂਗੇ।

BigQuery ਡੇਟਾ ਨੂੰ ਸਾਂਝਾ ਕਰਨਾ ਅਤੇ ਇਸ ਤੱਕ ਪਹੁੰਚ ਕਰਨਾ ਆਸਾਨ ਬਣਾਉਂਦਾ ਹੈ, ਪਰ ਸਾਨੂੰ ਡਾਟਾ ਐਕਸਫਿਲਟਰੇਸ਼ਨ ਨੂੰ ਰੋਕਣ ਲਈ ਇਸ 'ਤੇ ਕੁਝ ਨਿਯੰਤਰਣ ਕਰਨ ਦੀ ਲੋੜ ਸੀ। ਹੋਰ ਸਾਧਨਾਂ ਵਿੱਚ, ਅਸੀਂ ਦੋ ਫੰਕਸ਼ਨਾਂ ਦੀ ਚੋਣ ਕੀਤੀ:

• ਡੋਮੇਨ ਪ੍ਰਤੀਬੰਧਿਤ ਸ਼ੇਅਰਿੰਗ: ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਟਵਿੱਟਰ ਤੋਂ ਬਾਹਰਲੇ ਉਪਭੋਗਤਾਵਾਂ ਨਾਲ BigQuery ਡੇਟਾਸੇਟਾਂ ਨੂੰ ਸਾਂਝਾ ਕਰਨ ਤੋਂ ਰੋਕਣ ਲਈ ਬੀਟਾ ਵਿਸ਼ੇਸ਼ਤਾ।
• VPC ਸੇਵਾ ਨਿਯੰਤਰਣ: ਇੱਕ ਨਿਯੰਤਰਣ ਜੋ ਡੇਟਾ ਐਕਸਫਿਲਟਰੇਸ਼ਨ ਨੂੰ ਰੋਕਦਾ ਹੈ ਅਤੇ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਜਾਣੀਆਂ-ਪਛਾਣੀਆਂ IP ਐਡਰੈੱਸ ਰੇਂਜਾਂ ਤੋਂ BigQuery ਤੱਕ ਪਹੁੰਚ ਕਰਨ ਦੀ ਲੋੜ ਹੈ।

ਅਸੀਂ ਸੁਰੱਖਿਆ ਲਈ ਪ੍ਰਮਾਣੀਕਰਨ, ਪ੍ਰਮਾਣੀਕਰਨ, ਅਤੇ ਆਡਿਟਿੰਗ (AAA) ਲੋੜਾਂ ਨੂੰ ਹੇਠ ਲਿਖੇ ਅਨੁਸਾਰ ਲਾਗੂ ਕੀਤਾ ਹੈ:

• ਪ੍ਰਮਾਣਿਕਤਾ: ਅਸੀਂ ਐਡਹਾਕ ਬੇਨਤੀਆਂ ਲਈ GCP ਉਪਭੋਗਤਾ ਖਾਤਿਆਂ ਅਤੇ ਉਤਪਾਦਨ ਬੇਨਤੀਆਂ ਲਈ ਸੇਵਾ ਖਾਤਿਆਂ ਦੀ ਵਰਤੋਂ ਕੀਤੀ।
• ਅਧਿਕਾਰ: ਸਾਨੂੰ ਹਰੇਕ ਡੇਟਾਸੇਟ ਦਾ ਮਾਲਕ ਸੇਵਾ ਖਾਤਾ ਅਤੇ ਪਾਠਕ ਸਮੂਹ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
• ਆਡਿਟਿੰਗ: ਅਸੀਂ ਆਸਾਨ ਵਿਸ਼ਲੇਸ਼ਣ ਲਈ BigQuery ਡਾਟਾਸੈੱਟ ਵਿੱਚ BigQuery ਸਟੈਕਡ੍ਰਾਈਵਰ ਲੌਗਾਂ ਨੂੰ ਨਿਰਯਾਤ ਕੀਤਾ, ਜਿਸ ਵਿੱਚ ਵਿਸਤ੍ਰਿਤ ਪੁੱਛਗਿੱਛ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਜਾਣਕਾਰੀ ਸ਼ਾਮਲ ਹੈ।

ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਕਿ ਟਵਿੱਟਰ ਉਪਭੋਗਤਾਵਾਂ ਦੇ ਨਿੱਜੀ ਡੇਟਾ ਨੂੰ ਸਹੀ ਢੰਗ ਨਾਲ ਸੰਭਾਲਿਆ ਗਿਆ ਹੈ, ਸਾਨੂੰ ਸਾਰੇ BigQuery ਡੇਟਾਸੈਟਾਂ ਨੂੰ ਰਜਿਸਟਰ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ, ਨਿੱਜੀ ਡੇਟਾ ਦੀ ਵਿਆਖਿਆ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ, ਸਹੀ ਸਟੋਰੇਜ ਬਣਾਈ ਰੱਖਣੀ ਚਾਹੀਦੀ ਹੈ, ਅਤੇ ਉਪਭੋਗਤਾਵਾਂ ਦੁਆਰਾ ਮਿਟਾਏ ਗਏ ਡੇਟਾ ਨੂੰ ਮਿਟਾਉਣਾ (ਸਕ੍ਰੈਪ) ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ।

ਅਸੀਂ ਗੂਗਲ 'ਤੇ ਦੇਖਿਆ ਕਲਾਉਡ ਡਾਟਾ ਨੁਕਸਾਨ ਰੋਕਥਾਮ API, ਜੋ ਕਿ ਸੰਵੇਦਨਸ਼ੀਲ ਡੇਟਾ ਨੂੰ ਵਰਗੀਕ੍ਰਿਤ ਕਰਨ ਅਤੇ ਸੰਪਾਦਿਤ ਕਰਨ ਲਈ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ, ਪਰ ਸਟੀਕਤਾ ਦੇ ਕਾਰਨ ਡੈਟਾਸੈਟ ਨੂੰ ਹੱਥੀਂ ਐਨੋਟ ਕਰਨ ਦੇ ਹੱਕ ਵਿੱਚ ਫੈਸਲਾ ਕੀਤਾ ਗਿਆ ਹੈ। ਅਸੀਂ ਕਸਟਮ ਐਨੋਟੇਸ਼ਨ ਨੂੰ ਵਧਾਉਣ ਲਈ ਡੇਟਾ ਲੌਸ ਪ੍ਰੀਵੈਂਸ਼ਨ API ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਯੋਜਨਾ ਬਣਾ ਰਹੇ ਹਾਂ।

Twitter 'ਤੇ, ਅਸੀਂ BigQuery ਵਿੱਚ ਡਾਟਾਸੈਟਾਂ ਲਈ ਚਾਰ ਗੋਪਨੀਯਤਾ ਸ਼੍ਰੇਣੀਆਂ ਬਣਾਈਆਂ ਹਨ, ਜੋ ਕਿ ਸੰਵੇਦਨਸ਼ੀਲਤਾ ਦੇ ਘਟਦੇ ਕ੍ਰਮ ਵਿੱਚ ਸੂਚੀਬੱਧ ਹਨ:

• ਬਹੁਤ ਹੀ ਸੰਵੇਦਨਸ਼ੀਲ ਡਾਟਾ ਸੈੱਟ ਘੱਟੋ-ਘੱਟ ਵਿਸ਼ੇਸ਼ ਅਧਿਕਾਰ ਦੇ ਸਿਧਾਂਤ ਦੇ ਆਧਾਰ 'ਤੇ ਲੋੜੀਂਦੇ ਆਧਾਰ 'ਤੇ ਉਪਲਬਧ ਕਰਵਾਏ ਜਾਂਦੇ ਹਨ। ਹਰੇਕ ਡੇਟਾ ਸੈੱਟ ਵਿੱਚ ਪਾਠਕਾਂ ਦਾ ਇੱਕ ਵੱਖਰਾ ਸਮੂਹ ਹੁੰਦਾ ਹੈ, ਅਤੇ ਅਸੀਂ ਵਿਅਕਤੀਗਤ ਖਾਤਿਆਂ ਦੁਆਰਾ ਵਰਤੋਂ ਨੂੰ ਟਰੈਕ ਕਰਾਂਗੇ।
• ਮੱਧਮ ਸੰਵੇਦਨਸ਼ੀਲਤਾ ਡੇਟਾਸੈਟਾਂ (ਸਲੂਟਿਡ ਹੈਸ਼ਿੰਗ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਇੱਕ-ਤਰਫਾ ਛਦਨਾਮੇ) ਵਿੱਚ ਨਿੱਜੀ ਤੌਰ 'ਤੇ ਪਛਾਣਨ ਯੋਗ ਜਾਣਕਾਰੀ (PII) ਨਹੀਂ ਹੁੰਦੀ ਹੈ ਅਤੇ ਕਰਮਚਾਰੀਆਂ ਦੇ ਇੱਕ ਵੱਡੇ ਸਮੂਹ ਲਈ ਪਹੁੰਚਯੋਗ ਹੁੰਦੀ ਹੈ। ਇਹ ਗੋਪਨੀਯਤਾ ਚਿੰਤਾਵਾਂ ਅਤੇ ਡੇਟਾ ਉਪਯੋਗਤਾ ਦੇ ਵਿਚਕਾਰ ਇੱਕ ਚੰਗਾ ਸੰਤੁਲਨ ਹੈ। ਇਹ ਕਰਮਚਾਰੀਆਂ ਨੂੰ ਵਿਸ਼ਲੇਸ਼ਣ ਕਾਰਜ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ ਅਸਲ ਉਪਭੋਗਤਾ ਕੌਣ ਹਨ, ਇਹ ਜਾਣੇ ਬਿਨਾਂ, ਵਿਸ਼ੇਸ਼ਤਾ ਦੀ ਵਰਤੋਂ ਕਰਨ ਵਾਲੇ ਉਪਭੋਗਤਾਵਾਂ ਦੀ ਗਿਣਤੀ ਦੀ ਗਣਨਾ ਕਰਨਾ।
• ਉਪਭੋਗਤਾ ਦੀ ਪਛਾਣ ਕਰਨ ਵਾਲੀ ਸਾਰੀ ਜਾਣਕਾਰੀ ਦੇ ਨਾਲ ਘੱਟ ਸੰਵੇਦਨਸ਼ੀਲਤਾ ਡੇਟਾਸੈਟ। ਇਹ ਗੋਪਨੀਯਤਾ ਦੇ ਨਜ਼ਰੀਏ ਤੋਂ ਇੱਕ ਚੰਗੀ ਪਹੁੰਚ ਹੈ, ਪਰ ਉਪਭੋਗਤਾ-ਪੱਧਰ ਦੇ ਵਿਸ਼ਲੇਸ਼ਣ ਲਈ ਇਸਦੀ ਵਰਤੋਂ ਨਹੀਂ ਕੀਤੀ ਜਾ ਸਕਦੀ।
• ਜਨਤਕ ਡੇਟਾਸੇਟ (ਟਵਿੱਟਰ ਤੋਂ ਬਾਹਰ ਜਾਰੀ) ਸਾਰੇ ਟਵਿੱਟਰ ਕਰਮਚਾਰੀਆਂ ਲਈ ਉਪਲਬਧ ਹਨ।

ਲੌਗਿੰਗ ਲਈ, ਅਸੀਂ BigQuery ਡੇਟਾਸੇਟਾਂ ਦੀ ਗਿਣਤੀ ਕਰਨ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਡੇਟਾ ਐਕਸੈਸ ਲੇਅਰ (DAL), Twitter ਮੈਟਾਡੇਟਾ ਰਿਪੋਜ਼ਟਰੀ। ਉਪਭੋਗਤਾ ਗੋਪਨੀਯਤਾ ਜਾਣਕਾਰੀ ਦੇ ਨਾਲ ਡੇਟਾਸੈਟਾਂ ਦੀ ਵਿਆਖਿਆ ਕਰਨਗੇ ਅਤੇ ਇੱਕ ਧਾਰਨ ਦੀ ਮਿਆਦ ਵੀ ਨਿਰਧਾਰਤ ਕਰਨਗੇ। ਸਫਾਈ ਲਈ, ਅਸੀਂ ਦੋ ਵਿਕਲਪਾਂ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਅਤੇ ਲਾਗਤ ਦਾ ਮੁਲਾਂਕਣ ਕਰਦੇ ਹਾਂ: 1. Scalding ਅਤੇ BigQuery ਵਿੱਚ ਉਹਨਾਂ ਨੂੰ ਲੋਡ ਕਰਨ ਵਰਗੇ ਟੂਲਸ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ GCS ਵਿੱਚ ਡਾਟਾਸੈਟਾਂ ਨੂੰ ਸਾਫ਼ ਕਰਨਾ; 2. BigQuery DML ਸਟੇਟਮੈਂਟਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨਾ। ਅਸੀਂ ਸੰਭਾਵਤ ਤੌਰ 'ਤੇ ਵੱਖ-ਵੱਖ ਸਮੂਹਾਂ ਅਤੇ ਡੇਟਾ ਦੀਆਂ ਲੋੜਾਂ ਨੂੰ ਪੂਰਾ ਕਰਨ ਲਈ ਦੋਵਾਂ ਤਰੀਕਿਆਂ ਦੇ ਸੁਮੇਲ ਦੀ ਵਰਤੋਂ ਕਰਾਂਗੇ।

ਸਿਸਟਮ ਕਾਰਜਕੁਸ਼ਲਤਾ

ਕਿਉਂਕਿ BigQuery ਇੱਕ ਪ੍ਰਬੰਧਿਤ ਸੇਵਾ ਹੈ, ਸਿਸਟਮ ਪ੍ਰਬੰਧਨ ਜਾਂ ਡੈਸਕ ਡਿਊਟੀਆਂ ਵਿੱਚ Twitter ਦੀ SRE ਟੀਮ ਨੂੰ ਸ਼ਾਮਲ ਕਰਨ ਦੀ ਕੋਈ ਲੋੜ ਨਹੀਂ ਸੀ। ਸਟੋਰੇਜ ਅਤੇ ਕੰਪਿਊਟਿੰਗ ਦੋਵਾਂ ਲਈ ਵਧੇਰੇ ਸਮਰੱਥਾ ਪ੍ਰਦਾਨ ਕਰਨਾ ਆਸਾਨ ਸੀ। ਅਸੀਂ Google ਸਹਾਇਤਾ ਨਾਲ ਟਿਕਟ ਬਣਾ ਕੇ ਸਲਾਟ ਰਿਜ਼ਰਵੇਸ਼ਨ ਨੂੰ ਬਦਲ ਸਕਦੇ ਹਾਂ। ਅਸੀਂ ਉਹਨਾਂ ਖੇਤਰਾਂ ਦੀ ਪਛਾਣ ਕੀਤੀ ਹੈ ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਸੁਧਾਰ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ ਸਵੈ-ਸੇਵਾ ਸਲਾਟ ਵੰਡ ਅਤੇ ਨਿਗਰਾਨੀ ਲਈ ਡੈਸ਼ਬੋਰਡ ਸੁਧਾਰ, ਅਤੇ ਉਹਨਾਂ ਬੇਨਤੀਆਂ ਨੂੰ Google ਨੂੰ ਸੌਂਪਿਆ ਗਿਆ ਹੈ।

ਦੀ ਲਾਗਤ

ਸਾਡੇ ਸ਼ੁਰੂਆਤੀ ਵਿਸ਼ਲੇਸ਼ਣ ਨੇ ਦਿਖਾਇਆ ਹੈ ਕਿ BigQuery ਅਤੇ Presto ਲਈ ਪੁੱਛਗਿੱਛ ਦੀਆਂ ਲਾਗਤਾਂ ਇੱਕੋ ਪੱਧਰ 'ਤੇ ਸਨ। ਅਸੀਂ ਲਈ ਸਲਾਟ ਖਰੀਦੇ ਹਨ ਸਥਿਰ ਭੁਗਤਾਨ ਦੀ ਬਜਾਏ ਇੱਕ ਸਥਿਰ ਮਹੀਨਾਵਾਰ ਲਾਗਤ ਰੱਖਣ ਲਈ ਕੀਮਤ ਮੰਗ ਉੱਤੇ ਪ੍ਰੋਸੈਸਡ ਡੇਟਾ ਦੇ ਪ੍ਰਤੀ ਟੀ.ਬੀ. ਇਹ ਫੈਸਲਾ ਉਹਨਾਂ ਉਪਭੋਗਤਾਵਾਂ ਦੇ ਫੀਡਬੈਕ 'ਤੇ ਵੀ ਅਧਾਰਤ ਸੀ ਜੋ ਹਰੇਕ ਬੇਨਤੀ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਲਾਗਤਾਂ ਬਾਰੇ ਨਹੀਂ ਸੋਚਣਾ ਚਾਹੁੰਦੇ ਸਨ।

BigQuery ਵਿੱਚ ਡਾਟਾ ਸਟੋਰ ਕਰਨ ਨਾਲ GCS ਲਾਗਤਾਂ ਤੋਂ ਇਲਾਵਾ ਲਾਗਤਾਂ ਆਉਂਦੀਆਂ ਹਨ। Scalding ਵਰਗੇ ਟੂਲਾਂ ਲਈ GCS ਵਿੱਚ ਡਾਟਾਸੈਟਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਅਤੇ BigQuery ਤੱਕ ਪਹੁੰਚ ਕਰਨ ਲਈ ਸਾਨੂੰ ਉਹੀ ਡਾਟਾਸੈਟਾਂ ਨੂੰ BigQuery ਫਾਰਮੈਟ ਵਿੱਚ ਲੋਡ ਕਰਨਾ ਪੈਂਦਾ ਸੀ। ਕੈਪੀਸੀਟਰ. ਅਸੀਂ BigQuery ਡਾਟਾਸੈਟਾਂ ਲਈ ਇੱਕ ਸਕੈਲਡਿੰਗ ਕਨੈਕਸ਼ਨ 'ਤੇ ਕੰਮ ਕਰ ਰਹੇ ਹਾਂ ਜੋ GCS ਅਤੇ BigQuery ਦੋਵਾਂ ਵਿੱਚ ਡਾਟਾਸੈਟਾਂ ਨੂੰ ਸਟੋਰ ਕਰਨ ਦੀ ਲੋੜ ਨੂੰ ਖਤਮ ਕਰ ਦੇਵੇਗਾ।

ਉਹਨਾਂ ਦੁਰਲੱਭ ਮਾਮਲਿਆਂ ਲਈ ਜਿਨ੍ਹਾਂ ਨੂੰ ਪੈਟਾਬਾਈਟ ਦੇ ਦਸਾਂ ਦੀ ਕਦੇ-ਕਦਾਈਂ ਪੁੱਛਗਿੱਛਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਅਸੀਂ ਫੈਸਲਾ ਕੀਤਾ ਹੈ ਕਿ BigQuery ਵਿੱਚ ਡਾਟਾਸੈਟਾਂ ਨੂੰ ਸਟੋਰ ਕਰਨਾ ਲਾਗਤ-ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਨਹੀਂ ਸੀ ਅਤੇ GCS ਵਿੱਚ ਡਾਟਾਸੈਟਾਂ ਤੱਕ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਪਹੁੰਚ ਕਰਨ ਲਈ Presto ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਗਈ ਸੀ। ਅਜਿਹਾ ਕਰਨ ਲਈ, ਅਸੀਂ BigQuery ਬਾਹਰੀ ਡਾਟਾ ਸਰੋਤਾਂ ਨੂੰ ਦੇਖ ਰਹੇ ਹਾਂ।

ਅਗਲੇ ਕਦਮ

ਅਸੀਂ ਅਲਫ਼ਾ ਰੀਲੀਜ਼ ਤੋਂ ਬਾਅਦ BigQuery ਵਿੱਚ ਬਹੁਤ ਦਿਲਚਸਪੀ ਦੇਖੀ ਹੈ। ਅਸੀਂ BigQuery ਵਿੱਚ ਹੋਰ ਡਾਟਾਸੈੱਟ ਅਤੇ ਹੋਰ ਕਮਾਂਡਾਂ ਸ਼ਾਮਲ ਕਰ ਰਹੇ ਹਾਂ। ਅਸੀਂ BigQuery ਸਟੋਰੇਜ ਨੂੰ ਪੜ੍ਹਨ ਅਤੇ ਲਿਖਣ ਲਈ ਸਕਾਲਡਿੰਗ ਵਰਗੇ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਟੂਲਾਂ ਲਈ ਕਨੈਕਟਰ ਵਿਕਸਿਤ ਕਰਦੇ ਹਾਂ। ਅਸੀਂ BigQuery ਡਾਟਾਸੈਟਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਗੁਣਵੱਤਾ ਰਿਪੋਰਟਾਂ ਅਤੇ ਨੋਟਸ ਬਣਾਉਣ ਲਈ Looker ਅਤੇ Apache Zeppelin ਵਰਗੇ ਟੂਲਸ ਨੂੰ ਦੇਖ ਰਹੇ ਹਾਂ।

ਗੂਗਲ ਦੇ ਨਾਲ ਸਾਡਾ ਸਹਿਯੋਗ ਬਹੁਤ ਲਾਭਕਾਰੀ ਰਿਹਾ ਹੈ ਅਤੇ ਅਸੀਂ ਇਸ ਸਾਂਝੇਦਾਰੀ ਨੂੰ ਜਾਰੀ ਰੱਖਣ ਅਤੇ ਵਿਕਸਿਤ ਕਰਨ ਲਈ ਖੁਸ਼ ਹਾਂ। ਅਸੀਂ ਆਪਣੇ ਆਪ ਨੂੰ ਲਾਗੂ ਕਰਨ ਲਈ Google ਨਾਲ ਕੰਮ ਕੀਤਾ ਹੈ ਪਾਰਟਨਰ ਇਸ਼ੂ ਟਰੈਕਰਸਵਾਲਾਂ ਨੂੰ ਸਿੱਧੇ Google ਨੂੰ ਭੇਜਣ ਲਈ। ਉਹਨਾਂ ਵਿੱਚੋਂ ਕੁਝ, ਜਿਵੇਂ ਕਿ BigQuery Parquet ਲੋਡਰ, Google ਦੁਆਰਾ ਪਹਿਲਾਂ ਹੀ ਲਾਗੂ ਕੀਤਾ ਜਾ ਚੁੱਕਾ ਹੈ।

ਇੱਥੇ Google ਲਈ ਸਾਡੀਆਂ ਕੁਝ ਉੱਚ ਤਰਜੀਹੀ ਵਿਸ਼ੇਸ਼ਤਾ ਬੇਨਤੀਆਂ ਹਨ:

• LZO-Thrift ਫਾਰਮੈਟ ਲਈ ਸੁਵਿਧਾਜਨਕ ਡਾਟਾ ਰਿਸੈਪਸ਼ਨ ਅਤੇ ਸਮਰਥਨ ਲਈ ਟੂਲ।
• ਘੰਟਾਵਾਰ ਵਿਭਾਜਨ
• ਪਹੁੰਚ ਨਿਯੰਤਰਣ ਸੁਧਾਰ ਜਿਵੇਂ ਕਿ ਸਾਰਣੀ-, ਕਤਾਰ-, ਅਤੇ ਕਾਲਮ-ਪੱਧਰ ਅਨੁਮਤੀਆਂ।
• ਬਿਗਕੋਰੀ ਬਾਹਰੀ ਡਾਟਾ ਸਰੋਤ Hive Metastore ਏਕੀਕਰਣ ਅਤੇ LZO-Thrift ਫਾਰਮੈਟ ਲਈ ਸਮਰਥਨ ਦੇ ਨਾਲ।
• BigQuery ਉਪਭੋਗਤਾ ਇੰਟਰਫੇਸ ਵਿੱਚ ਬਿਹਤਰ ਡਾਟਾ ਕੈਟਾਲਾਗ ਏਕੀਕਰਣ
• ਸਲਾਟ ਵੰਡ ਅਤੇ ਨਿਗਰਾਨੀ ਲਈ ਸਵੈ-ਸੇਵਾ।

ਸਿੱਟਾ

ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ, ਵਿਜ਼ੂਅਲਾਈਜ਼ੇਸ਼ਨ, ਅਤੇ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਨੂੰ ਸੁਰੱਖਿਅਤ ਤਰੀਕੇ ਨਾਲ ਜਮਹੂਰੀਅਤ ਕਰਨਾ ਡੇਟਾ ਪਲੇਟਫਾਰਮ ਟੀਮ ਲਈ ਇੱਕ ਪ੍ਰਮੁੱਖ ਤਰਜੀਹ ਹੈ। ਅਸੀਂ Google BigQuery ਅਤੇ ਡਾਟਾ ਸਟੂਡੀਓ ਨੂੰ ਅਜਿਹੇ ਟੂਲਸ ਵਜੋਂ ਪਛਾਣਿਆ ਹੈ ਜੋ ਇਸ ਟੀਚੇ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰ ਸਕਦੇ ਹਨ, ਅਤੇ ਪਿਛਲੇ ਸਾਲ ਕੰਪਨੀ ਭਰ ਵਿੱਚ BigQuery ਅਲਫ਼ਾ ਜਾਰੀ ਕੀਤਾ ਗਿਆ ਸੀ।

ਸਾਨੂੰ BigQuery ਵਿੱਚ ਸਵਾਲਾਂ ਨੂੰ ਸਰਲ ਅਤੇ ਕੁਸ਼ਲ ਪਾਇਆ ਗਿਆ। ਅਸੀਂ ਸਧਾਰਨ ਪਾਈਪਲਾਈਨਾਂ ਲਈ ਡੇਟਾ ਨੂੰ ਗ੍ਰਹਿਣ ਕਰਨ ਅਤੇ ਬਦਲਣ ਲਈ Google ਟੂਲਸ ਦੀ ਵਰਤੋਂ ਕੀਤੀ, ਪਰ ਗੁੰਝਲਦਾਰ ਪਾਈਪਲਾਈਨਾਂ ਲਈ ਸਾਨੂੰ ਆਪਣਾ ਏਅਰਫਲੋ ਫਰੇਮਵਰਕ ਬਣਾਉਣਾ ਪਿਆ। ਡਾਟਾ ਪ੍ਰਬੰਧਨ ਸਪੇਸ ਵਿੱਚ, ਪ੍ਰਮਾਣੀਕਰਨ, ਪ੍ਰਮਾਣੀਕਰਨ, ਅਤੇ ਆਡਿਟਿੰਗ ਲਈ BigQuery ਦੀਆਂ ਸੇਵਾਵਾਂ ਸਾਡੀਆਂ ਲੋੜਾਂ ਨੂੰ ਪੂਰਾ ਕਰਦੀਆਂ ਹਨ। ਮੈਟਾਡੇਟਾ ਦਾ ਪ੍ਰਬੰਧਨ ਕਰਨ ਅਤੇ ਗੋਪਨੀਯਤਾ ਨੂੰ ਬਣਾਈ ਰੱਖਣ ਲਈ, ਸਾਨੂੰ ਵਧੇਰੇ ਲਚਕਤਾ ਦੀ ਲੋੜ ਸੀ ਅਤੇ ਸਾਨੂੰ ਆਪਣੇ ਸਿਸਟਮ ਬਣਾਉਣੇ ਪਏ। BigQuery, ਇੱਕ ਪ੍ਰਬੰਧਿਤ ਸੇਵਾ ਹੋਣ ਕਰਕੇ, ਵਰਤਣ ਵਿੱਚ ਆਸਾਨ ਸੀ। ਪੁੱਛਗਿੱਛ ਦੀ ਲਾਗਤ ਮੌਜੂਦਾ ਸਾਧਨਾਂ ਦੇ ਸਮਾਨ ਸੀ। BigQuery ਵਿੱਚ ਡਾਟਾ ਸਟੋਰ ਕਰਨ ਲਈ GCS ਲਾਗਤਾਂ ਤੋਂ ਇਲਾਵਾ ਖਰਚੇ ਆਉਂਦੇ ਹਨ।

ਕੁੱਲ ਮਿਲਾ ਕੇ, BigQuery ਆਮ SQL ਵਿਸ਼ਲੇਸ਼ਣ ਲਈ ਵਧੀਆ ਕੰਮ ਕਰਦਾ ਹੈ। ਅਸੀਂ BigQuery ਵਿੱਚ ਬਹੁਤ ਦਿਲਚਸਪੀ ਦੇਖ ਰਹੇ ਹਾਂ, ਅਤੇ ਅਸੀਂ ਹੋਰ ਡਾਟਾ ਸੈੱਟਾਂ ਨੂੰ ਮਾਈਗ੍ਰੇਟ ਕਰਨ, ਹੋਰ ਟੀਮਾਂ ਲਿਆਉਣ, ਅਤੇ BigQuery ਨਾਲ ਹੋਰ ਪਾਈਪਲਾਈਨਾਂ ਬਣਾਉਣ ਲਈ ਕੰਮ ਕਰ ਰਹੇ ਹਾਂ। ਟਵਿੱਟਰ ਕਈ ਤਰ੍ਹਾਂ ਦੇ ਡੇਟਾ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ ਜਿਸ ਲਈ ਸਕਾਲਡਿੰਗ, ਸਪਾਰਕ, ​​ਪ੍ਰੈਸਟੋ, ਅਤੇ ਡਰੂਡ ਵਰਗੇ ਸਾਧਨਾਂ ਦੇ ਸੁਮੇਲ ਦੀ ਲੋੜ ਹੋਵੇਗੀ। ਅਸੀਂ ਆਪਣੇ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਸਾਧਨਾਂ ਨੂੰ ਮਜ਼ਬੂਤ ​​ਕਰਨਾ ਜਾਰੀ ਰੱਖਣਾ ਚਾਹੁੰਦੇ ਹਾਂ ਅਤੇ ਸਾਡੇ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਸਾਡੀਆਂ ਪੇਸ਼ਕਸ਼ਾਂ ਦੀ ਸਭ ਤੋਂ ਵਧੀਆ ਵਰਤੋਂ ਕਰਨ ਬਾਰੇ ਸਪਸ਼ਟ ਮਾਰਗਦਰਸ਼ਨ ਪ੍ਰਦਾਨ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹਾਂ।

ਧੰਨਵਾਦ ਦੇ ਸ਼ਬਦ

ਮੈਂ ਆਪਣੇ ਸਹਿ-ਲੇਖਕਾਂ ਅਤੇ ਟੀਮ ਦੇ ਸਾਥੀਆਂ, ਅੰਜੂ ਝਾਅ ਅਤੇ ਵਿਲ ਪਾਸਕੁਚੀ ਦਾ ਧੰਨਵਾਦ ਕਰਨਾ ਚਾਹਾਂਗਾ, ਉਨ੍ਹਾਂ ਦੇ ਇਸ ਪ੍ਰੋਜੈਕਟ 'ਤੇ ਮਹਾਨ ਸਹਿਯੋਗ ਅਤੇ ਸਖ਼ਤ ਮਿਹਨਤ ਲਈ। ਮੈਂ Twitter ਅਤੇ Google 'ਤੇ ਕਈ ਟੀਮਾਂ ਦੇ ਇੰਜੀਨੀਅਰਾਂ ਅਤੇ ਪ੍ਰਬੰਧਕਾਂ ਦਾ ਵੀ ਧੰਨਵਾਦ ਕਰਨਾ ਚਾਹਾਂਗਾ ਜਿਨ੍ਹਾਂ ਨੇ ਸਾਡੀ ਮਦਦ ਕੀਤੀ ਅਤੇ Twitter 'ਤੇ BigQuery ਉਪਭੋਗਤਾਵਾਂ ਨੇ ਕੀਮਤੀ ਫੀਡਬੈਕ ਪ੍ਰਦਾਨ ਕੀਤਾ।

ਜੇਕਰ ਤੁਸੀਂ ਇਹਨਾਂ ਸਮੱਸਿਆਵਾਂ 'ਤੇ ਕੰਮ ਕਰਨ ਵਿੱਚ ਦਿਲਚਸਪੀ ਰੱਖਦੇ ਹੋ, ਤਾਂ ਸਾਡੀ ਜਾਂਚ ਕਰੋ ਖਾਲੀ ਅਸਾਮੀਆਂ ਡਾਟਾ ਪਲੇਟਫਾਰਮ ਟੀਮ ਵਿੱਚ।

DWH ਵਿੱਚ ਡੇਟਾ ਗੁਣਵੱਤਾ - ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਇਕਸਾਰਤਾ

ਸਰੋਤ: www.habr.com