Google ਦੀ BigQuery ਨੇ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਨੂੰ ਕਿਵੇਂ ਲੋਕਤੰਤਰੀਕਰਨ ਕੀਤਾ। ਭਾਗ 1

ਹੈਲੋ, ਹੈਬਰ! ਇੱਕ ਨਵੇਂ ਕੋਰਸ ਸਟ੍ਰੀਮ ਲਈ ਦਾਖਲਾ ਇਸ ਸਮੇਂ OTUS 'ਤੇ ਖੁੱਲ੍ਹਾ ਹੈ ਡਾਟਾ ਇੰਜੀਨੀਅਰ. ਕੋਰਸ ਦੀ ਸ਼ੁਰੂਆਤ ਦੀ ਉਮੀਦ ਵਿੱਚ, ਅਸੀਂ ਰਵਾਇਤੀ ਤੌਰ 'ਤੇ ਤੁਹਾਡੇ ਲਈ ਦਿਲਚਸਪ ਸਮੱਗਰੀ ਦਾ ਅਨੁਵਾਦ ਤਿਆਰ ਕੀਤਾ ਹੈ।

ਹਰ ਰੋਜ਼, ਇੱਕ ਸੌ ਮਿਲੀਅਨ ਤੋਂ ਵੱਧ ਲੋਕ ਇਹ ਜਾਣਨ ਲਈ ਟਵਿੱਟਰ 'ਤੇ ਜਾਂਦੇ ਹਨ ਕਿ ਦੁਨੀਆ ਵਿੱਚ ਕੀ ਹੋ ਰਿਹਾ ਹੈ ਅਤੇ ਇਸ 'ਤੇ ਚਰਚਾ ਕਰਦੇ ਹਨ। ਹਰ ਟਵੀਟ ਅਤੇ ਹਰ ਦੂਜੇ ਉਪਭੋਗਤਾ ਦੀ ਕਾਰਵਾਈ ਇੱਕ ਇਵੈਂਟ ਤਿਆਰ ਕਰਦੀ ਹੈ ਜੋ ਟਵਿੱਟਰ ਦੇ ਅੰਦਰੂਨੀ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਲਈ ਉਪਲਬਧ ਹੈ। ਸੈਂਕੜੇ ਕਰਮਚਾਰੀ ਇਸ ਡੇਟਾ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਅਤੇ ਕਲਪਨਾ ਕਰਦੇ ਹਨ, ਅਤੇ ਉਹਨਾਂ ਦੇ ਅਨੁਭਵ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣਾ ਟਵਿੱਟਰ ਡੇਟਾ ਪਲੇਟਫਾਰਮ ਟੀਮ ਲਈ ਇੱਕ ਪ੍ਰਮੁੱਖ ਤਰਜੀਹ ਹੈ।

ਸਾਡਾ ਮੰਨਣਾ ਹੈ ਕਿ ਤਕਨੀਕੀ ਹੁਨਰ ਦੀ ਇੱਕ ਵਿਸ਼ਾਲ ਸ਼੍ਰੇਣੀ ਵਾਲੇ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਡੇਟਾ ਖੋਜਣ ਦੇ ਯੋਗ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ ਅਤੇ ਉਹਨਾਂ ਕੋਲ ਵਧੀਆ ਪ੍ਰਦਰਸ਼ਨ ਕਰਨ ਵਾਲੇ SQL-ਅਧਾਰਿਤ ਵਿਸ਼ਲੇਸ਼ਣ ਅਤੇ ਵਿਜ਼ੂਅਲਾਈਜ਼ੇਸ਼ਨ ਟੂਲਸ ਤੱਕ ਪਹੁੰਚ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ। ਇਹ ਘੱਟ ਤਕਨੀਕੀ ਉਪਭੋਗਤਾਵਾਂ ਦੇ ਇੱਕ ਪੂਰੇ ਨਵੇਂ ਸਮੂਹ ਨੂੰ, ਡਾਟਾ ਵਿਸ਼ਲੇਸ਼ਕ ਅਤੇ ਉਤਪਾਦ ਪ੍ਰਬੰਧਕਾਂ ਸਮੇਤ, ਡੇਟਾ ਤੋਂ ਸੂਝ ਕੱਢਣ ਦੀ ਆਗਿਆ ਦੇਵੇਗਾ, ਉਹਨਾਂ ਨੂੰ ਟਵਿੱਟਰ ਦੀਆਂ ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਬਿਹਤਰ ਤਰੀਕੇ ਨਾਲ ਸਮਝਣ ਅਤੇ ਵਰਤਣ ਦੀ ਆਗਿਆ ਦੇਵੇਗਾ। ਇਸ ਤਰ੍ਹਾਂ ਅਸੀਂ ਟਵਿੱਟਰ 'ਤੇ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਦਾ ਲੋਕਤੰਤਰੀਕਰਨ ਕਰਦੇ ਹਾਂ।

ਜਿਵੇਂ ਕਿ ਸਾਡੇ ਟੂਲਸ ਅਤੇ ਅੰਦਰੂਨੀ ਡਾਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਸਮਰੱਥਾਵਾਂ ਵਿੱਚ ਸੁਧਾਰ ਹੋਇਆ ਹੈ, ਅਸੀਂ ਟਵਿੱਟਰ ਵਿੱਚ ਸੁਧਾਰ ਦੇਖਿਆ ਹੈ। ਹਾਲਾਂਕਿ, ਅਜੇ ਵੀ ਸੁਧਾਰ ਦੀ ਗੁੰਜਾਇਸ਼ ਹੈ। ਸਕਾਲਡਿੰਗ ਵਰਗੇ ਮੌਜੂਦਾ ਟੂਲਸ ਲਈ ਪ੍ਰੋਗਰਾਮਿੰਗ ਅਨੁਭਵ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। SQL-ਅਧਾਰਿਤ ਵਿਸ਼ਲੇਸ਼ਣ ਟੂਲ ਜਿਵੇਂ ਕਿ ਪ੍ਰੀਸਟੋ ਅਤੇ ਵਰਟਿਕਾ ਦੇ ਪੱਧਰ 'ਤੇ ਪ੍ਰਦਰਸ਼ਨ ਦੇ ਮੁੱਦੇ ਹਨ। ਸਾਡੇ ਕੋਲ ਇਸਦੀ ਨਿਰੰਤਰ ਪਹੁੰਚ ਤੋਂ ਬਿਨਾਂ ਕਈ ਪ੍ਰਣਾਲੀਆਂ ਵਿੱਚ ਡੇਟਾ ਨੂੰ ਵੰਡਣ ਦੀ ਸਮੱਸਿਆ ਹੈ।

ਪਿਛਲੇ ਸਾਲ ਅਸੀਂ ਐਲਾਨ ਕੀਤਾ ਸੀ ਗੂਗਲ ਦੇ ਨਾਲ ਨਵਾਂ ਸਹਿਯੋਗ, ਜਿਸ ਦੇ ਅੰਦਰ ਅਸੀਂ ਆਪਣੇ ਹਿੱਸੇ ਦਾ ਤਬਾਦਲਾ ਕਰਦੇ ਹਾਂ ਡਾਟਾ ਬੁਨਿਆਦੀ ਢਾਂਚਾ Google ਕਲਾਊਡ ਪਲੇਟਫਾਰਮ (GCP) 'ਤੇ। ਅਸੀਂ ਇਹ ਸਿੱਟਾ ਕੱਢਿਆ ਹੈ ਕਿ ਗੂਗਲ ਕਲਾਉਡ ਟੂਲ ਵੱਡੇ ਡੇਟਾ ਟਵਿੱਟਰ 'ਤੇ ਵਿਸ਼ਲੇਸ਼ਣ, ਵਿਜ਼ੂਅਲਾਈਜ਼ੇਸ਼ਨ, ਅਤੇ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਨੂੰ ਲੋਕਤੰਤਰ ਬਣਾਉਣ ਲਈ ਸਾਡੀਆਂ ਪਹਿਲਕਦਮੀਆਂ ਵਿੱਚ ਸਾਡੀ ਮਦਦ ਕਰ ਸਕਦਾ ਹੈ:

• ਬਿਗਕੋਰੀ: SQL ਇੰਜਣ ਅਧਾਰਿਤ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਡਰੇਮਲ, ਜੋ ਕਿ ਇਸਦੀ ਗਤੀ, ਸਾਦਗੀ ਅਤੇ ਨਾਲ ਨਜਿੱਠਣ ਲਈ ਮਸ਼ਹੂਰ ਹੈ ਮਸ਼ੀਨ ਸਿਖਲਾਈ.
• ਡਾਟਾ ਸਟੂਡੀਓ: ਗੂਗਲ ਡੌਕਸ ਵਰਗੀਆਂ ਸਹਿਯੋਗ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਵਾਲਾ ਵੱਡਾ ਡੇਟਾ ਵਿਜ਼ੂਅਲਾਈਜ਼ੇਸ਼ਨ ਟੂਲ।

ਇਸ ਲੇਖ ਵਿੱਚ, ਤੁਸੀਂ ਇਹਨਾਂ ਸਾਧਨਾਂ ਦੇ ਨਾਲ ਸਾਡੇ ਅਨੁਭਵ ਬਾਰੇ ਸਿੱਖੋਗੇ: ਅਸੀਂ ਕੀ ਕੀਤਾ, ਅਸੀਂ ਕੀ ਸਿੱਖਿਆ, ਅਤੇ ਅਸੀਂ ਅੱਗੇ ਕੀ ਕਰਾਂਗੇ। ਅਸੀਂ ਹੁਣ ਬੈਚ ਅਤੇ ਇੰਟਰਐਕਟਿਵ ਵਿਸ਼ਲੇਸ਼ਣ 'ਤੇ ਧਿਆਨ ਦੇਵਾਂਗੇ। ਅਸੀਂ ਅਗਲੇ ਲੇਖ ਵਿੱਚ ਅਸਲ-ਸਮੇਂ ਦੇ ਵਿਸ਼ਲੇਸ਼ਣ ਬਾਰੇ ਚਰਚਾ ਕਰਾਂਗੇ।

ਟਵਿੱਟਰ ਡੇਟਾ ਸਟੋਰਾਂ ਦਾ ਇਤਿਹਾਸ

BigQuery ਵਿੱਚ ਗੋਤਾਖੋਰੀ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ, ਟਵਿੱਟਰ ਡੇਟਾ ਵੇਅਰਹਾਊਸਿੰਗ ਦੇ ਇਤਿਹਾਸ ਨੂੰ ਸੰਖੇਪ ਵਿੱਚ ਦੱਸਣ ਯੋਗ ਹੈ। 2011 ਵਿੱਚ, ਟਵਿੱਟਰ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਵਰਟਿਕਾ ਅਤੇ ਹੈਡੂਪ ਵਿੱਚ ਕੀਤਾ ਗਿਆ ਸੀ। ਅਸੀਂ MapReduce Hadoop ਨੌਕਰੀਆਂ ਬਣਾਉਣ ਲਈ Pig ਦੀ ਵਰਤੋਂ ਕੀਤੀ। 2012 ਵਿੱਚ, ਅਸੀਂ Pig ਨੂੰ Scalding ਨਾਲ ਬਦਲ ਦਿੱਤਾ, ਜਿਸ ਵਿੱਚ ਗੁੰਝਲਦਾਰ ਪਾਈਪਲਾਈਨਾਂ ਬਣਾਉਣ ਦੀ ਸਮਰੱਥਾ ਅਤੇ ਟੈਸਟਿੰਗ ਵਿੱਚ ਆਸਾਨੀ ਵਰਗੇ ਲਾਭਾਂ ਨਾਲ ਇੱਕ Scala API ਸੀ। ਹਾਲਾਂਕਿ, ਬਹੁਤ ਸਾਰੇ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਕਾਂ ਅਤੇ ਉਤਪਾਦ ਪ੍ਰਬੰਧਕਾਂ ਲਈ ਜੋ SQL ਦੇ ਨਾਲ ਕੰਮ ਕਰਨ ਵਿੱਚ ਵਧੇਰੇ ਅਰਾਮਦੇਹ ਸਨ, ਇਹ ਇੱਕ ਕਾਫ਼ੀ ਤੇਜ਼ ਸਿਖਲਾਈ ਵਕਰ ਸੀ। 2016 ਦੇ ਆਸ-ਪਾਸ, ਅਸੀਂ ਹੈਡੂਪ ਡੇਟਾ ਲਈ ਇੱਕ SQL ਇੰਟਰਫੇਸ ਵਜੋਂ Presto ਦੀ ਵਰਤੋਂ ਸ਼ੁਰੂ ਕੀਤੀ। ਸਪਾਰਕ ਨੇ ਪਾਈਥਨ ਇੰਟਰਫੇਸ ਦੀ ਪੇਸ਼ਕਸ਼ ਕੀਤੀ, ਜੋ ਇਸਨੂੰ ਐਡਹਾਕ ਡੇਟਾ ਸਾਇੰਸ ਅਤੇ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਲਈ ਇੱਕ ਵਧੀਆ ਵਿਕਲਪ ਬਣਾਉਂਦਾ ਹੈ।

2018 ਤੋਂ, ਅਸੀਂ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਅਤੇ ਵਿਜ਼ੂਅਲਾਈਜ਼ੇਸ਼ਨ ਲਈ ਹੇਠਾਂ ਦਿੱਤੇ ਟੂਲਾਂ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਹੈ:

• ਉਤਪਾਦਨ ਕਨਵੇਅਰ ਲਈ ਸਕੈਲਡਿੰਗ
• ਐਡਹਾਕ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ ਅਤੇ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਲਈ ਸਕੈਲਡਿੰਗ ਅਤੇ ਸਪਾਰਕ
• ਐਡਹਾਕ ਅਤੇ ਇੰਟਰਐਕਟਿਵ SQL ਵਿਸ਼ਲੇਸ਼ਣ ਲਈ Vertica ਅਤੇ Presto
• ਟਾਈਮ ਸੀਰੀਜ਼ ਮੈਟ੍ਰਿਕਸ ਤੱਕ ਘੱਟ ਇੰਟਰਐਕਟਿਵ, ਖੋਜੀ ਅਤੇ ਘੱਟ ਲੇਟੈਂਸੀ ਪਹੁੰਚ ਲਈ ਡਰੂਇਡ
• ਡੇਟਾ ਵਿਜ਼ੂਅਲਾਈਜ਼ੇਸ਼ਨ ਲਈ ਝਾਂਕੀ, ਜ਼ੇਪੇਲਿਨ ਅਤੇ ਪੀਵੋਟ

ਅਸੀਂ ਪਾਇਆ ਕਿ ਜਦੋਂ ਕਿ ਇਹ ਸਾਧਨ ਬਹੁਤ ਸ਼ਕਤੀਸ਼ਾਲੀ ਸਮਰੱਥਾਵਾਂ ਦੀ ਪੇਸ਼ਕਸ਼ ਕਰਦੇ ਹਨ, ਸਾਨੂੰ ਟਵਿੱਟਰ 'ਤੇ ਇੱਕ ਵਿਸ਼ਾਲ ਦਰਸ਼ਕਾਂ ਲਈ ਇਹਨਾਂ ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਉਪਲਬਧ ਕਰਵਾਉਣ ਵਿੱਚ ਮੁਸ਼ਕਲ ਆਈ ਸੀ। ਗੂਗਲ ਕਲਾਉਡ ਦੇ ਨਾਲ ਸਾਡੇ ਪਲੇਟਫਾਰਮ ਦਾ ਵਿਸਤਾਰ ਕਰਕੇ, ਅਸੀਂ ਸਾਰੇ ਟਵਿੱਟਰ ਲਈ ਸਾਡੇ ਵਿਸ਼ਲੇਸ਼ਣ ਟੂਲਸ ਨੂੰ ਸਰਲ ਬਣਾਉਣ 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰ ਰਹੇ ਹਾਂ।

Google ਦਾ BigQuery ਡਾਟਾ ਵੇਅਰਹਾਊਸ

ਟਵਿੱਟਰ 'ਤੇ ਕਈ ਟੀਮਾਂ ਨੇ ਪਹਿਲਾਂ ਹੀ ਉਨ੍ਹਾਂ ਦੀਆਂ ਕੁਝ ਉਤਪਾਦਨ ਪਾਈਪਲਾਈਨਾਂ ਵਿੱਚ BigQuery ਨੂੰ ਸ਼ਾਮਲ ਕੀਤਾ ਹੈ। ਉਹਨਾਂ ਦੀ ਮੁਹਾਰਤ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, ਅਸੀਂ ਸਾਰੇ Twitter ਵਰਤੋਂ ਦੇ ਮਾਮਲਿਆਂ ਲਈ BigQuery ਦੀਆਂ ਸਮਰੱਥਾਵਾਂ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨਾ ਸ਼ੁਰੂ ਕੀਤਾ। ਸਾਡਾ ਟੀਚਾ ਸਾਰੀ ਕੰਪਨੀ ਨੂੰ BigQuery ਦੀ ਪੇਸ਼ਕਸ਼ ਕਰਨਾ ਅਤੇ ਡੇਟਾ ਪਲੇਟਫਾਰਮ ਟੂਲਸੈੱਟ ਦੇ ਅੰਦਰ ਇਸਦਾ ਮਿਆਰੀਕਰਨ ਅਤੇ ਸਮਰਥਨ ਕਰਨਾ ਸੀ। ਇਹ ਕਈ ਕਾਰਨਾਂ ਕਰਕੇ ਔਖਾ ਸੀ। ਸਾਨੂੰ ਵੱਡੀ ਮਾਤਰਾ ਵਿੱਚ ਡੇਟਾ ਨੂੰ ਭਰੋਸੇਮੰਦ ਢੰਗ ਨਾਲ ਗ੍ਰਹਿਣ ਕਰਨ, ਕੰਪਨੀ-ਵਿਆਪੀ ਡੇਟਾ ਪ੍ਰਬੰਧਨ ਦਾ ਸਮਰਥਨ ਕਰਨ, ਸਹੀ ਪਹੁੰਚ ਨਿਯੰਤਰਣ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਣ, ਅਤੇ ਗਾਹਕ ਦੀ ਗੋਪਨੀਯਤਾ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਇੱਕ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਵਿਕਸਤ ਕਰਨ ਦੀ ਲੋੜ ਸੀ। ਸਾਨੂੰ ਸਰੋਤਾਂ ਦੀ ਵੰਡ, ਨਿਗਰਾਨੀ, ਅਤੇ ਚਾਰਜਬੈਕ ਲਈ ਸਿਸਟਮ ਵੀ ਬਣਾਉਣੇ ਪਏ ਤਾਂ ਜੋ ਟੀਮਾਂ BigQuery ਨੂੰ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਵਰਤ ਸਕਣ।

ਨਵੰਬਰ 2018 ਵਿੱਚ, ਅਸੀਂ BigQuery ਅਤੇ Data Studio ਦੀ ਇੱਕ ਕੰਪਨੀ-ਵਿਆਪਕ ਅਲਫ਼ਾ ਰੀਲੀਜ਼ ਜਾਰੀ ਕੀਤੀ। ਅਸੀਂ ਟਵਿੱਟਰ ਕਰਮਚਾਰੀਆਂ ਨੂੰ ਸਾਫ਼ ਕੀਤੇ ਨਿੱਜੀ ਡੇਟਾ ਦੇ ਨਾਲ ਸਾਡੀਆਂ ਸਭ ਤੋਂ ਵੱਧ ਵਰਤੀਆਂ ਜਾਣ ਵਾਲੀਆਂ ਸਪ੍ਰੈਡਸ਼ੀਟਾਂ ਦੀ ਪੇਸ਼ਕਸ਼ ਕੀਤੀ ਹੈ। BigQuery ਦੀ ਵਰਤੋਂ ਇੰਜੀਨੀਅਰਿੰਗ, ਵਿੱਤ ਅਤੇ ਮਾਰਕੀਟਿੰਗ ਸਮੇਤ ਵੱਖ-ਵੱਖ ਟੀਮਾਂ ਦੇ 250 ਤੋਂ ਵੱਧ ਉਪਭੋਗਤਾਵਾਂ ਦੁਆਰਾ ਕੀਤੀ ਗਈ ਹੈ। ਸਭ ਤੋਂ ਹਾਲ ਹੀ ਵਿੱਚ, ਉਹ ਲਗਭਗ 8k ਬੇਨਤੀਆਂ ਚਲਾ ਰਹੇ ਸਨ, ਲਗਭਗ 100 PB ਪ੍ਰਤੀ ਮਹੀਨਾ ਪ੍ਰੋਸੈਸ ਕਰ ਰਹੇ ਸਨ, ਅਨੁਸੂਚਿਤ ਬੇਨਤੀਆਂ ਦੀ ਗਿਣਤੀ ਨਹੀਂ ਕਰਦੇ। ਬਹੁਤ ਸਕਾਰਾਤਮਕ ਫੀਡਬੈਕ ਪ੍ਰਾਪਤ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਅਸੀਂ ਅੱਗੇ ਵਧਣ ਅਤੇ ਟਵਿੱਟਰ 'ਤੇ ਡੇਟਾ ਨਾਲ ਇੰਟਰੈਕਟ ਕਰਨ ਲਈ ਮੁੱਖ ਸਰੋਤ ਵਜੋਂ BigQuery ਦੀ ਪੇਸ਼ਕਸ਼ ਕਰਨ ਦਾ ਫੈਸਲਾ ਕੀਤਾ ਹੈ।

ਇੱਥੇ ਸਾਡੇ Google BigQuery ਡਾਟਾ ਵੇਅਰਹਾਊਸ ਆਰਕੀਟੈਕਚਰ ਦਾ ਇੱਕ ਉੱਚ-ਪੱਧਰੀ ਚਿੱਤਰ ਹੈ।

ਅਸੀਂ ਅੰਦਰੂਨੀ ਕਲਾਉਡ ਰਿਪਲੀਕੇਟਰ ਟੂਲ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਆਨ-ਪ੍ਰੀਮਿਸਸ ਹੈਡੂਪ ਕਲੱਸਟਰਾਂ ਤੋਂ Google ਕਲਾਉਡ ਸਟੋਰੇਜ (GCS) ਵਿੱਚ ਡੇਟਾ ਦੀ ਨਕਲ ਕਰਦੇ ਹਾਂ। ਅਸੀਂ ਫਿਰ ਪਾਈਪਲਾਈਨਾਂ ਬਣਾਉਣ ਲਈ ਅਪਾਚੇ ਏਅਰਫਲੋ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਾਂ ਜੋ "bq_load» GCS ਤੋਂ BigQuery ਵਿੱਚ ਡਾਟਾ ਲੋਡ ਕਰਨ ਲਈ। ਅਸੀਂ GCS ਵਿੱਚ Parquet ਜਾਂ Thrift-LZO ਡਾਟਾਸੈਟਾਂ ਦੀ ਪੁੱਛਗਿੱਛ ਕਰਨ ਲਈ Presto ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਾਂ। BQ Blaster HDFS Vertica ਅਤੇ Thrift-LZO ਡਾਟਾਸੈਟਾਂ ਨੂੰ BigQuery ਵਿੱਚ ਲੋਡ ਕਰਨ ਲਈ ਇੱਕ ਅੰਦਰੂਨੀ ਸਕੈਲਡਿੰਗ ਟੂਲ ਹੈ।

ਹੇਠਾਂ ਦਿੱਤੇ ਭਾਗਾਂ ਵਿੱਚ, ਅਸੀਂ ਵਰਤੋਂ ਵਿੱਚ ਸੌਖ, ਪ੍ਰਦਰਸ਼ਨ, ਡੇਟਾ ਪ੍ਰਬੰਧਨ, ਸਿਸਟਮ ਦੀ ਸਿਹਤ ਅਤੇ ਲਾਗਤ ਦੇ ਖੇਤਰਾਂ ਵਿੱਚ ਸਾਡੀ ਪਹੁੰਚ ਅਤੇ ਮੁਹਾਰਤ ਬਾਰੇ ਚਰਚਾ ਕਰਦੇ ਹਾਂ।

ਵਰਤੋਂ ਵਿਚ ਸੌਖ

ਅਸੀਂ ਪਾਇਆ ਕਿ ਉਪਭੋਗਤਾਵਾਂ ਲਈ BigQuery ਨਾਲ ਸ਼ੁਰੂਆਤ ਕਰਨਾ ਆਸਾਨ ਸੀ ਕਿਉਂਕਿ ਇਸਨੂੰ ਸੌਫਟਵੇਅਰ ਸਥਾਪਨਾ ਦੀ ਲੋੜ ਨਹੀਂ ਸੀ ਅਤੇ ਉਪਭੋਗਤਾ ਇੱਕ ਅਨੁਭਵੀ ਵੈੱਬ ਇੰਟਰਫੇਸ ਦੁਆਰਾ ਇਸ ਤੱਕ ਪਹੁੰਚ ਕਰ ਸਕਦੇ ਸਨ। ਹਾਲਾਂਕਿ, ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ GCP ਦੀਆਂ ਕੁਝ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਅਤੇ ਸੰਕਲਪਾਂ ਤੋਂ ਜਾਣੂ ਹੋਣ ਦੀ ਲੋੜ ਹੈ, ਜਿਸ ਵਿੱਚ ਸਰੋਤਾਂ ਜਿਵੇਂ ਕਿ ਪ੍ਰੋਜੈਕਟ, ਡੇਟਾਸੈੱਟ ਅਤੇ ਟੇਬਲ ਸ਼ਾਮਲ ਹਨ। ਅਸੀਂ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਸ਼ੁਰੂਆਤ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਨ ਲਈ ਵਿਦਿਅਕ ਸਮੱਗਰੀ ਅਤੇ ਟਿਊਟੋਰਿਅਲ ਵਿਕਸਿਤ ਕੀਤੇ ਹਨ। ਮੁਢਲੀ ਸਮਝ ਪ੍ਰਾਪਤ ਕਰਨ ਦੇ ਨਾਲ, ਉਪਭੋਗਤਾਵਾਂ ਨੇ ਡਾਟਾ ਸਟੂਡੀਓ ਵਿੱਚ ਡਾਟਾ ਸੈੱਟਾਂ ਨੂੰ ਨੈਵੀਗੇਟ ਕਰਨਾ, ਸਕੀਮਾ ਅਤੇ ਟੇਬਲ ਡਾਟਾ ਦੇਖਣਾ, ਸਧਾਰਨ ਸਵਾਲਾਂ ਨੂੰ ਚਲਾਉਣਾ ਅਤੇ ਨਤੀਜਿਆਂ ਦੀ ਕਲਪਨਾ ਕਰਨਾ ਆਸਾਨ ਪਾਇਆ।

BigQuery ਵਿੱਚ ਡੇਟਾ ਐਂਟਰੀ ਲਈ ਸਾਡਾ ਟੀਚਾ ਇੱਕ ਕਲਿੱਕ ਨਾਲ HDFS ਜਾਂ GCS ਡੇਟਾਸੈਟਾਂ ਦੀ ਸਹਿਜ ਲੋਡਿੰਗ ਨੂੰ ਸਮਰੱਥ ਬਣਾਉਣਾ ਸੀ। ਅਸੀਂ ਵਿਚਾਰ ਕੀਤਾ ਕਲਾਊਡ ਕੰਪੋਜ਼ਰ (ਏਅਰਫਲੋ ਦੁਆਰਾ ਪ੍ਰਬੰਧਿਤ) ਪਰ ਸਾਡੇ ਡੋਮੇਨ ਪ੍ਰਤਿਬੰਧਿਤ ਸ਼ੇਅਰਿੰਗ ਸੁਰੱਖਿਆ ਮਾਡਲ ਦੇ ਕਾਰਨ ਇਸਦੀ ਵਰਤੋਂ ਕਰਨ ਵਿੱਚ ਅਸਮਰੱਥ ਸਨ (ਹੇਠਾਂ ਦਿੱਤੇ ਡੇਟਾ ਪ੍ਰਬੰਧਨ ਭਾਗ ਵਿੱਚ ਇਸ ਬਾਰੇ ਹੋਰ)। ਅਸੀਂ BigQuery ਵਰਕਲੋਡ ਨੂੰ ਆਰਕੇਸਟ੍ਰੇਟ ਕਰਨ ਲਈ Google ਡਾਟਾ ਟ੍ਰਾਂਸਫਰ ਸੇਵਾ (DTS) ਦੀ ਵਰਤੋਂ ਕਰਨ ਦਾ ਪ੍ਰਯੋਗ ਕੀਤਾ। ਜਦੋਂ ਕਿ ਡੀਟੀਐਸ ਸਥਾਪਤ ਕਰਨ ਲਈ ਤੇਜ਼ ਸੀ, ਇਹ ਨਿਰਭਰਤਾ ਨਾਲ ਪਾਈਪਲਾਈਨਾਂ ਬਣਾਉਣ ਲਈ ਲਚਕਦਾਰ ਨਹੀਂ ਸੀ। ਸਾਡੀ ਐਲਫ਼ਾ ਰੀਲੀਜ਼ ਲਈ, ਅਸੀਂ GCE ਵਿੱਚ ਆਪਣਾ ਅਪਾਚੇ ਏਅਰਫਲੋ ਫਰੇਮਵਰਕ ਬਣਾਇਆ ਹੈ ਅਤੇ ਇਸਨੂੰ ਉਤਪਾਦਨ ਵਿੱਚ ਚਲਾਉਣ ਲਈ ਤਿਆਰ ਕਰ ਰਹੇ ਹਾਂ ਅਤੇ ਵਰਟਿਕਾ ਵਰਗੇ ਹੋਰ ਡੇਟਾ ਸਰੋਤਾਂ ਦਾ ਸਮਰਥਨ ਕਰਨ ਦੇ ਯੋਗ ਹੋਵਾਂਗੇ।

ਡੇਟਾ ਨੂੰ BigQuery ਵਿੱਚ ਬਦਲਣ ਲਈ, ਉਪਭੋਗਤਾ ਅਨੁਸੂਚਿਤ ਪੁੱਛਗਿੱਛਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਸਧਾਰਨ SQL ਡਾਟਾ ਪਾਈਪਲਾਈਨਾਂ ਬਣਾਉਂਦੇ ਹਨ। ਨਿਰਭਰਤਾ ਵਾਲੀਆਂ ਗੁੰਝਲਦਾਰ ਬਹੁ-ਪੜਾਵੀ ਪਾਈਪਲਾਈਨਾਂ ਲਈ, ਅਸੀਂ ਜਾਂ ਤਾਂ ਸਾਡੇ ਆਪਣੇ ਏਅਰਫਲੋ ਫਰੇਮਵਰਕ ਜਾਂ ਕਲਾਉਡ ਕੰਪੋਜ਼ਰ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਯੋਜਨਾ ਬਣਾ ਰਹੇ ਹਾਂ ਕਲਾਉਡ ਡਾਟਾਫਲੋ.

ਉਤਪਾਦਕਤਾ

BigQuery ਨੂੰ ਆਮ ਉਦੇਸ਼ SQL ਸਵਾਲਾਂ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ ਜੋ ਵੱਡੀ ਮਾਤਰਾ ਵਿੱਚ ਡੇਟਾ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਦੇ ਹਨ। ਇਹ ਘੱਟ ਲੇਟੈਂਸੀ, ਟ੍ਰਾਂਜੈਕਸ਼ਨਲ ਡੇਟਾਬੇਸ ਦੁਆਰਾ ਲੋੜੀਂਦੇ ਉੱਚ ਥ੍ਰੁਪੁੱਟ ਪੁੱਛਗਿੱਛਾਂ, ਜਾਂ ਲਾਗੂ ਕੀਤੇ ਗਏ ਘੱਟ ਲੇਟੈਂਸੀ ਟਾਈਮ ਸੀਰੀਜ਼ ਵਿਸ਼ਲੇਸ਼ਣ ਲਈ ਨਹੀਂ ਹੈ। ਅਪਾਚੇ ਡਰੂਇਡ. ਪਰਸਪਰ ਵਿਸ਼ਲੇਸ਼ਕੀ ਸਵਾਲਾਂ ਲਈ, ਸਾਡੇ ਉਪਭੋਗਤਾ ਇੱਕ ਮਿੰਟ ਤੋਂ ਘੱਟ ਦੇ ਜਵਾਬ ਸਮੇਂ ਦੀ ਉਮੀਦ ਕਰਦੇ ਹਨ। ਸਾਨੂੰ ਇਹਨਾਂ ਉਮੀਦਾਂ ਨੂੰ ਪੂਰਾ ਕਰਨ ਲਈ BigQuery ਦੀ ਸਾਡੀ ਵਰਤੋਂ ਨੂੰ ਡਿਜ਼ਾਈਨ ਕਰਨਾ ਪਿਆ। ਸਾਡੇ ਉਪਭੋਗਤਾਵਾਂ ਲਈ ਅਨੁਮਾਨਿਤ ਪ੍ਰਦਰਸ਼ਨ ਪ੍ਰਦਾਨ ਕਰਨ ਲਈ, ਅਸੀਂ BigQuery ਕਾਰਜਕੁਸ਼ਲਤਾ ਦਾ ਲਾਭ ਉਠਾਇਆ ਹੈ, ਜੋ ਕਿ ਗਾਹਕਾਂ ਲਈ ਇੱਕ ਫਲੈਟ ਫੀਸ ਦੇ ਆਧਾਰ 'ਤੇ ਉਪਲਬਧ ਹੈ ਜੋ ਪ੍ਰੋਜੈਕਟ ਮਾਲਕਾਂ ਨੂੰ ਉਹਨਾਂ ਦੀਆਂ ਪੁੱਛਗਿੱਛਾਂ ਲਈ ਘੱਟੋ-ਘੱਟ ਸਲਾਟ ਰਾਖਵੇਂ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ। ਸਲਾਟ BigQuery SQL ਪੁੱਛਗਿੱਛਾਂ ਨੂੰ ਚਲਾਉਣ ਲਈ ਲੋੜੀਂਦੀ ਕੰਪਿਊਟਿੰਗ ਸ਼ਕਤੀ ਦੀ ਇਕਾਈ ਹੈ।

ਅਸੀਂ ਲਗਭਗ 800 TB ਡੇਟਾ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਨ ਵਾਲੀਆਂ 1 ਤੋਂ ਵੱਧ ਪ੍ਰਸ਼ਨਾਂ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕੀਤਾ ਅਤੇ ਪਾਇਆ ਕਿ ਔਸਤ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਸਮਾਂ 30 ਸਕਿੰਟ ਸੀ। ਅਸੀਂ ਇਹ ਵੀ ਸਿੱਖਿਆ ਹੈ ਕਿ ਪ੍ਰਦਰਸ਼ਨ ਵੱਖ-ਵੱਖ ਪ੍ਰੋਜੈਕਟਾਂ ਅਤੇ ਕੰਮਾਂ ਵਿੱਚ ਸਾਡੇ ਸਲਾਟ ਦੀ ਵਰਤੋਂ 'ਤੇ ਬਹੁਤ ਜ਼ਿਆਦਾ ਨਿਰਭਰ ਕਰਦਾ ਹੈ। ਸਾਨੂੰ ਉਤਪਾਦਨ ਵਰਤੋਂ ਦੇ ਮਾਮਲਿਆਂ ਅਤੇ ਔਨਲਾਈਨ ਵਿਸ਼ਲੇਸ਼ਣ ਲਈ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਬਰਕਰਾਰ ਰੱਖਣ ਲਈ ਸਾਡੇ ਉਤਪਾਦਨ ਅਤੇ ਐਡਹਾਕ ਸਲਾਟ ਰਿਜ਼ਰਵ ਨੂੰ ਸਪਸ਼ਟ ਰੂਪ ਵਿੱਚ ਦਰਸਾਉਣਾ ਪਿਆ। ਇਸ ਨੇ ਸਲਾਟ ਰਿਜ਼ਰਵੇਸ਼ਨਾਂ ਅਤੇ ਪ੍ਰੋਜੈਕਟ ਲੜੀ ਲਈ ਸਾਡੇ ਡਿਜ਼ਾਈਨ ਨੂੰ ਬਹੁਤ ਪ੍ਰਭਾਵਿਤ ਕੀਤਾ।

ਅਸੀਂ ਆਉਣ ਵਾਲੇ ਦਿਨਾਂ ਵਿੱਚ ਅਨੁਵਾਦ ਦੇ ਦੂਜੇ ਭਾਗ ਵਿੱਚ ਡੇਟਾ ਪ੍ਰਬੰਧਨ, ਕਾਰਜਸ਼ੀਲਤਾ ਅਤੇ ਪ੍ਰਣਾਲੀਆਂ ਦੀ ਲਾਗਤ ਬਾਰੇ ਗੱਲ ਕਰਾਂਗੇ, ਪਰ ਹੁਣ ਅਸੀਂ ਸਾਰਿਆਂ ਨੂੰ ਸੱਦਾ ਦਿੰਦੇ ਹਾਂ ਮੁਫ਼ਤ ਲਾਈਵ ਵੈਬਿਨਾਰ, ਜਿਸ ਦੌਰਾਨ ਤੁਸੀਂ ਕੋਰਸ ਬਾਰੇ ਵਿਸਥਾਰ ਵਿੱਚ ਸਿੱਖਣ ਦੇ ਯੋਗ ਹੋਵੋਗੇ, ਨਾਲ ਹੀ ਸਾਡੇ ਮਾਹਰ - Egor Mateshuk (ਸੀਨੀਅਰ ਡਾਟਾ ਇੰਜੀਨੀਅਰ, MaximaTelecom) ਨੂੰ ਸਵਾਲ ਪੁੱਛ ਸਕਦੇ ਹੋ।

ਹੋਰ ਪੜ੍ਹੋ:

• ਡੇਟਾ ਬਿਲਡ ਟੂਲ ਜਾਂ ਡੇਟਾ ਵੇਅਰਹਾਊਸ ਅਤੇ ਸਮੂਥੀ ਵਿਚਕਾਰ ਆਮ ਕੀ ਹੈ
• ਡੈਲਟਾ ਲੇਕ ਡਾਇਵ: ਇਨਫੋਰਸਮੈਂਟ ਐਂਡ ਸਕੀਮ ਈਵੇਲੂਸ਼ਨ
• ਅਪਾਚੇ ਐਰੋ ਦੇ ਨਾਲ ਪਾਈਥਨ ਵਿੱਚ ਹਾਈ-ਸਪੀਡ ਅਪਾਚੇ ਪਾਰਕਵੇਟ

ਸਰੋਤ: www.habr.com