Google को BigQuery ले डेटा विश्लेषणलाई कसरी प्रजातान्त्रिक बनायो। भाग 1

नमस्ते, Habr! नयाँ पाठ्यक्रम स्ट्रिमको लागि नामांकन अहिले OTUS मा खुला छ डाटा इन्जिनियर। पाठ्यक्रमको सुरुवातको प्रत्याशामा, हामीले परम्परागत रूपमा तपाईंको लागि रोचक सामग्रीको अनुवाद तयार गरेका छौं।

हरेक दिन, एक करोड भन्दा बढी मानिसहरू संसारमा के भइरहेको छ पत्ता लगाउन र छलफल गर्न ट्विटर भ्रमण गर्छन्। प्रत्येक ट्वीट र प्रत्येक अन्य प्रयोगकर्ता कार्यले ट्विटरको आन्तरिक डेटा विश्लेषणको लागि उपलब्ध घटना उत्पन्न गर्दछ। सयौं कर्मचारीहरूले यस डेटाको विश्लेषण र कल्पना गर्छन्, र तिनीहरूको अनुभव सुधार्नु Twitter डेटा प्लेटफर्म टोलीको लागि उच्च प्राथमिकता हो।

हामी विश्वास गर्छौं कि प्राविधिक सीपहरूको विस्तृत दायरा भएका प्रयोगकर्ताहरूले डेटा पत्ता लगाउन र राम्रो प्रदर्शन गर्ने SQL-आधारित विश्लेषण र दृश्य उपकरणहरूमा पहुँच गर्न सक्षम हुनुपर्छ। यसले डेटा विश्लेषकहरू र उत्पादन प्रबन्धकहरू सहित कम प्राविधिक प्रयोगकर्ताहरूको पूर्ण नयाँ समूहलाई डेटाबाट अन्तर्दृष्टि निकाल्न अनुमति दिनेछ, उनीहरूलाई Twitter को क्षमताहरू अझ राम्ररी बुझ्न र प्रयोग गर्न अनुमति दिन्छ। यसरी हामी ट्विटरमा डाटा एनालिटिक्सलाई प्रजातान्त्रिक बनाउँछौं।

हाम्रा उपकरणहरू र आन्तरिक डाटा एनालिटिक्स क्षमताहरू सुधार भएकाले, हामीले ट्विटरमा सुधार भएको देखेका छौं। तर, सुधारको लागि अझै ठाउँ छ। वर्तमान उपकरणहरू जस्तै Scalding लाई प्रोग्रामिङ अनुभव चाहिन्छ। SQL-आधारित विश्लेषण उपकरणहरू जस्तै Presto र Vertica मा स्तर मा प्रदर्शन समस्याहरू छन्। हामीसँग यसमा निरन्तर पहुँच बिना धेरै प्रणालीहरूमा डाटा वितरण गर्ने समस्या पनि छ।

गत वर्ष हामीले घोषणा गरेका थियौं Google सँग नयाँ सहकार्य, जस भित्र हामी हाम्रो भागहरु स्थानान्तरण गर्छौं डाटा पूर्वाधार गुगल क्लाउड प्लेटफर्म (GCP) मा। हामीले गुगल क्लाउड उपकरणहरू निष्कर्षमा पुगेका छौं ठूलो डाटा Twitter मा विश्लेषण, भिजुअलाइजेशन, र मेसिन लर्निङलाई प्रजातान्त्रिक बनाउन हाम्रो पहलहरूमा हामीलाई मद्दत गर्न सक्छ:

• बिगक्वेरी: SQL इन्जिन आधारित उद्यम डाटा गोदाम DREMEL, जुन यसको गति, सरलता र सामना गर्न को लागी प्रसिद्ध छ मेसिन शिक्षा.
• डाटा स्टुडियो: Google कागजात-जस्तो सहयोग सुविधाहरूको साथ ठूलो डेटा दृश्य उपकरण।

यस लेखमा, तपाइँ यी उपकरणहरूसँगको हाम्रो अनुभवको बारेमा जान्नुहुनेछ: हामीले के गर्यौं, हामीले के सिक्यौं, र हामी अब के गर्नेछौं। हामी अब ब्याच र अन्तरक्रियात्मक विश्लेषणमा ध्यान केन्द्रित गर्नेछौं। हामी अर्को लेखमा वास्तविक-समय विश्लेषणहरू छलफल गर्नेछौं।

ट्विटर डाटा स्टोर को इतिहास

BigQuery मा डाइभ गर्नु अघि, यो संक्षिप्त रूपमा Twitter डाटा भण्डारणको इतिहास पुन: गणना गर्न लायक छ। 2011 मा, ट्विटर डेटा विश्लेषण Vertica र Hadoop मा प्रदर्शन गरिएको थियो। हामीले MapReduce Hadoop रोजगारहरू सिर्जना गर्न पिग प्रयोग गर्यौं। 2012 मा, हामीले Pig लाई Scalding ले बदल्यौं, जसमा जटिल पाइपलाइनहरू सिर्जना गर्ने क्षमता र परीक्षणको सहजता जस्ता फाइदाहरू भएको Scala API थियो। जे होस्, धेरै डाटा विश्लेषकहरू र उत्पादन प्रबन्धकहरूका लागि जो SQL सँग काम गर्न सहज थिए, यो एकदमै ठाडो सिक्ने वक्र थियो। 2016 को वरिपरि, हामीले Hadoop डेटामा SQL इन्टरफेसको रूपमा Presto प्रयोग गर्न थाल्यौं। स्पार्कले पाइथन इन्टरफेस प्रस्ताव गर्‍यो, जसले यसलाई तदर्थ डेटा विज्ञान र मेसिन लर्निङको लागि राम्रो विकल्प बनाउँछ।

2018 देखि, हामीले डेटा विश्लेषण र दृश्यका लागि निम्न उपकरणहरू प्रयोग गरेका छौं:

• उत्पादन कन्वेयरहरूको लागि स्क्याल्डिंग
• तदर्थ डेटा विश्लेषण र मेसिन लर्निङका लागि स्क्याल्डिङ र स्पार्क
• तदर्थ र अन्तरक्रियात्मक SQL विश्लेषणको लागि Vertica र Presto
• समय शृङ्खला मेट्रिक्समा कम अन्तरक्रियात्मक, अन्वेषण र कम विलम्बता पहुँचको लागि ड्रुइड
• डाटा भिजुअलाइजेसनको लागि झांकी, Zeppelin र पिभोट

हामीले पत्ता लगायौं कि यी उपकरणहरूले धेरै शक्तिशाली क्षमताहरू प्रस्ताव गर्दा, हामीलाई यी क्षमताहरूलाई Twitter मा फराकिलो दर्शकहरूलाई उपलब्ध गराउन कठिनाइ भयो। गुगल क्लाउडको साथ हाम्रो प्लेटफर्म विस्तार गरेर, हामी सबै Twitter को लागि हाम्रो विश्लेषणात्मक उपकरणहरू सरल बनाउनमा ध्यान केन्द्रित गर्दैछौं।

Google को BigQuery डाटा वेयरहाउस

Twitter मा धेरै टोलीहरूले पहिले नै BigQuery लाई तिनीहरूको केही उत्पादन पाइपलाइनहरूमा समावेश गरिसकेका छन्। तिनीहरूको विशेषज्ञता प्रयोग गरेर, हामीले सबै Twitter प्रयोग केसहरूको लागि BigQuery को क्षमताहरूको मूल्याङ्कन गर्न थाल्यौं। हाम्रो लक्ष्य सम्पूर्ण कम्पनीलाई BigQuery प्रस्ताव गर्नु र डेटा प्लेटफर्म टूलसेट भित्र मानकीकरण र समर्थन गर्नु थियो। यो धेरै कारणहरूको लागि गाह्रो थियो। हामीले भरपर्दो रूपमा डेटाको ठूलो मात्रा इन्जेस्ट गर्न, कम्पनी-व्यापी डेटा व्यवस्थापनलाई समर्थन गर्न, उचित पहुँच नियन्त्रणहरू सुनिश्चित गर्न, र ग्राहकको गोपनीयता सुनिश्चित गर्न पूर्वाधार विकास गर्न आवश्यक छ। टोलीहरूले BigQuery को प्रभावकारी रूपमा प्रयोग गर्न सकून् भन्नाका खातिर हामीले संसाधन आवंटन, अनुगमन र चार्जब्याकहरूका लागि प्रणालीहरू पनि सिर्जना गर्नुपर्‍यो।

नोभेम्बर २०१८ मा, हामीले BigQuery र Data Studio को कम्पनी-व्यापी अल्फा विमोचन जारी गर्‍यौं। हामीले ट्विटरका कर्मचारीहरूलाई हाम्रा प्रायः प्रयोग हुने केही स्प्रिेडसिटहरू सफा गरिएको व्यक्तिगत डेटाको साथ प्रस्ताव गरेका छौं। BigQuery लाई ईन्जिनियरिङ्, फाइनान्स र मार्केटिङ सहित विभिन्न टोलीका २५० भन्दा बढी प्रयोगकर्ताहरूले प्रयोग गरेका छन्। हालसालै, तिनीहरूले लगभग 2018k अनुरोधहरू चलाउँदै थिए, प्रति महिना लगभग 250 PB प्रशोधन गर्दै, निर्धारित अनुरोधहरू गणना नगरी। धेरै सकारात्मक प्रतिक्रिया प्राप्त गरेपछि, हामीले अगाडि बढ्ने निर्णय गर्‍यौं र Twitter मा डेटासँग अन्तरक्रिया गर्नको लागि प्राथमिक स्रोतको रूपमा BigQuery प्रस्ताव गर्यौं।

यहाँ हाम्रो Google BigQuery डाटा गोदाम वास्तुकलाको उच्च-स्तर रेखाचित्र छ।

हामी आन्तरिक क्लाउड रेप्लिकेटर उपकरण प्रयोग गरेर अन-प्रिमाइसेस Hadoop क्लस्टरहरूबाट Google क्लाउड भण्डारण (GCS) मा डेटा प्रतिलिपि गर्छौं। त्यसपछि हामी पाइपलाइनहरू सिर्जना गर्न Apache Airflow प्रयोग गर्छौं जुन "bq_load» GCS बाट BigQuery मा डेटा लोड गर्न। हामी GCS मा Parquet वा Thrift-LZO डेटासेटहरू क्वेरी गर्न Presto प्रयोग गर्छौं। BQ Blaster HDFS Vertica र Thrift-LZO डेटासेटहरू BigQuery मा लोड गर्नको लागि आन्तरिक स्क्याल्डिङ उपकरण हो।

निम्न खण्डहरूमा, हामी प्रयोगको सहजता, कार्यसम्पादन, डाटा व्यवस्थापन, प्रणाली स्वास्थ्य, र लागतको क्षेत्रमा हाम्रो दृष्टिकोण र विशेषज्ञताबारे छलफल गर्छौं।

प्रयोगमा सजिलो

हामीले यो पत्ता लगायौं कि प्रयोगकर्ताहरूलाई BigQuery को साथ सुरु गर्न सजिलो थियो किनभने यसलाई सफ्टवेयर स्थापना आवश्यक पर्दैन र प्रयोगकर्ताहरूले सहज वेब इन्टरफेस मार्फत पहुँच गर्न सक्छन्। यद्यपि, प्रयोगकर्ताहरूलाई GCP का केही सुविधाहरू र अवधारणाहरू, परियोजनाहरू, डेटासेटहरू र तालिकाहरू जस्ता स्रोतहरू सहित परिचित हुन आवश्यक छ। हामीले प्रयोगकर्ताहरूलाई सुरु गर्न मद्दत गर्न शैक्षिक सामग्री र ट्यूटोरियलहरू विकास गरेका छौं। आधारभूत बुझाइ प्राप्त भएपछि, प्रयोगकर्ताहरूले डेटा सेटहरू नेभिगेट गर्न, स्किमा र तालिका डेटा हेर्न, सरल प्रश्नहरू चलाउन र डेटा स्टुडियोमा परिणामहरू कल्पना गर्न सजिलो पाए।

BigQuery मा डेटा प्रविष्टिको लागि हाम्रो लक्ष्य एक क्लिकमा HDFS वा GCS डेटासेटहरूको सिमलेस लोडिङ सक्षम पार्नु थियो। हामीले विचार गर्यौं क्लाउड कम्पोजर (एयरफ्लो द्वारा प्रबन्धित) तर हाम्रो डोमेन प्रतिबन्धित साझेदारी सुरक्षा मोडेलको कारणले यसलाई प्रयोग गर्न असमर्थ थिए (तलको डेटा व्यवस्थापन खण्डमा यस बारे थप)। हामीले BigQuery कार्यभारहरू अर्केस्ट्रेट गर्न Google डेटा स्थानान्तरण सेवा (DTS) प्रयोग गरेर प्रयोग गर्यौं। जबकि DTS सेटअप गर्न छिटो थियो, यो निर्भरता संग पाइपलाइन निर्माण को लागी लचिलो थिएन। हाम्रो अल्फा रिलीजको लागि, हामीले GCE मा हाम्रो आफ्नै Apache Airflow फ्रेमवर्क निर्माण गरेका छौं र यसलाई उत्पादनमा चलाउन र Vertica जस्ता थप डेटा स्रोतहरूलाई समर्थन गर्न सक्षम हुने तयारी गर्दैछौं।

डेटालाई BigQuery मा रूपान्तरण गर्न, प्रयोगकर्ताहरूले निर्धारित क्वेरीहरू प्रयोग गरेर सरल SQL डेटा पाइपलाइनहरू सिर्जना गर्छन्। निर्भरताका साथ जटिल बहु-चरण पाइपलाइनहरूको लागि, हामी या त हाम्रो आफ्नै एयरफ्लो फ्रेमवर्क वा क्लाउड कम्पोजर प्रयोग गर्ने योजना गर्छौं। क्लाउड डाटाफ्लो.

उत्पादकता

BigQuery लाई सामान्य उद्देश्य SQL क्वेरीहरूको लागि डिजाइन गरिएको हो जसले ठूलो मात्रामा डेटा प्रशोधन गर्दछ। यो कम विलम्बता, लेनदेन डाटाबेस द्वारा आवश्यक उच्च थ्रुपुट प्रश्नहरू, वा लागू गरिएको कम विलम्बता समय श्रृंखला विश्लेषणको लागि उद्देश्य होइन। Apache Druid। अन्तरक्रियात्मक विश्लेषणात्मक प्रश्नहरूको लागि, हाम्रा प्रयोगकर्ताहरूले एक मिनेट भन्दा कम प्रतिक्रिया समयको अपेक्षा गर्छन्। हामीले यी अपेक्षाहरू पूरा गर्न BigQuery को हाम्रो प्रयोग डिजाइन गर्नुपर्थ्यो। हाम्रा प्रयोगकर्ताहरूका लागि अनुमानित कार्यसम्पादन प्रदान गर्न, हामीले BigQuery कार्यक्षमताको लाभ उठायौं, ग्राहकहरूलाई फ्ल्याट शुल्कको आधारमा उपलब्ध छ जसले परियोजना मालिकहरूलाई उनीहरूका प्रश्नहरूको लागि न्यूनतम स्लटहरू आरक्षित गर्न अनुमति दिन्छ। स्लट BigQuery SQL क्वेरीहरू कार्यान्वयन गर्न आवश्यक पर्ने कम्प्युटिङ पावरको एकाइ हो।

हामीले प्रत्येकमा लगभग 800 TB डाटा प्रशोधन गर्ने 1 प्रश्नहरू विश्लेषण गर्यौं र औसत कार्यान्वयन समय 30 सेकेन्ड थियो भनेर फेला पार्यौं। हामीले यो पनि सिक्यौं कि कार्यसम्पादन विभिन्न परियोजना र कार्यहरूमा हाम्रो स्लटको प्रयोगमा धेरै निर्भर छ। हामीले उत्पादन प्रयोगका केसहरू र अनलाइन विश्लेषणको लागि कार्यसम्पादन कायम राख्न हाम्रो उत्पादन र तदर्थ स्लट भण्डारहरू स्पष्ट रूपमा चित्रण गर्नुपर्थ्यो। यसले स्लट आरक्षण र परियोजना पदानुक्रमको लागि हाम्रो डिजाइनलाई धेरै प्रभाव पार्यो।

हामी अनुवादको दोस्रो भागमा आउने दिनहरूमा डेटा व्यवस्थापन, कार्यक्षमता र प्रणालीहरूको लागतको बारेमा कुरा गर्नेछौं, तर अब हामी सबैलाई निमन्त्रणा गर्दछौं। नि: शुल्क लाइभ वेबिनार, जसको अवधिमा तपाइँ पाठ्यक्रमको बारेमा विस्तृत रूपमा जान्न सक्षम हुनुहुनेछ, साथै हाम्रा विशेषज्ञलाई प्रश्नहरू सोध्नुहुनेछ - Egor Mateshuk (वरिष्ठ डाटा इन्जिनियर, MaximaTelecom)।

थप पढ्नुहोस्:

• डाटा निर्माण उपकरण वा डाटा वेयरहाउस र Smoothie बीच के सामान्य छ
• डेल्टा तालमा डुब्नुहोस्: स्कीमा प्रवर्तन र विकास
• Apache Arrow को साथ Python मा उच्च-गति Apache Parquet

स्रोत: www.habr.com