कैसे Google के BigQuery ने डेटा विश्लेषण का लोकतंत्रीकरण किया। भाग 1

नमस्ते, हबर! ओटीयूएस में नए पाठ्यक्रम स्ट्रीम के लिए नामांकन अभी खुला है डाटा इंजीनियर. पाठ्यक्रम की शुरुआत की प्रत्याशा में, हमने पारंपरिक रूप से आपके लिए दिलचस्प सामग्री का अनुवाद तैयार किया है।

दुनिया में क्या हो रहा है, यह जानने और उस पर चर्चा करने के लिए हर दिन सौ मिलियन से अधिक लोग ट्विटर पर आते हैं। प्रत्येक ट्वीट और प्रत्येक अन्य उपयोगकर्ता कार्रवाई एक घटना उत्पन्न करती है जो ट्विटर के आंतरिक डेटा विश्लेषण के लिए उपलब्ध है। सैकड़ों कर्मचारी इस डेटा का विश्लेषण और कल्पना करते हैं, और उनके अनुभव में सुधार करना ट्विटर डेटा प्लेटफ़ॉर्म टीम के लिए सर्वोच्च प्राथमिकता है।

हमारा मानना ​​है कि व्यापक तकनीकी कौशल वाले उपयोगकर्ताओं को डेटा खोजने में सक्षम होना चाहिए और अच्छा प्रदर्शन करने वाले SQL-आधारित विश्लेषण और विज़ुअलाइज़ेशन टूल तक पहुंच होनी चाहिए। यह डेटा विश्लेषकों और उत्पाद प्रबंधकों सहित कम तकनीकी उपयोगकर्ताओं के एक पूरे नए समूह को डेटा से अंतर्दृष्टि निकालने की अनुमति देगा, जिससे उन्हें ट्विटर की क्षमताओं को बेहतर ढंग से समझने और उपयोग करने की अनुमति मिलेगी। इस तरह हम ट्विटर पर डेटा एनालिटिक्स का लोकतंत्रीकरण करते हैं।

जैसे-जैसे हमारे टूल और आंतरिक डेटा विश्लेषण क्षमताओं में सुधार हुआ है, हमने ट्विटर में सुधार देखा है। हालाँकि, अभी भी सुधार की गुंजाइश है। स्केल्डिंग जैसे मौजूदा टूल के लिए प्रोग्रामिंग अनुभव की आवश्यकता होती है। प्रेस्टो और वर्टिका जैसे एसक्यूएल-आधारित विश्लेषण टूल में बड़े पैमाने पर प्रदर्शन संबंधी समस्याएं हैं। हमारे पास निरंतर पहुंच के बिना कई प्रणालियों में डेटा वितरित करने की भी समस्या है।

पिछले साल हमने घोषणा की थी Google के साथ नया सहयोग, जिसके भीतर हम अपने कुछ हिस्सों को स्थानांतरित करते हैं डेटा अवसंरचना Google क्लाउड प्लेटफ़ॉर्म (GCP) पर। हमने निष्कर्ष निकाला है कि Google क्लाउड टूल बड़ा डेटा ट्विटर पर एनालिटिक्स, विज़ुअलाइज़ेशन और मशीन लर्निंग को लोकतांत्रिक बनाने की हमारी पहल से हमें मदद मिल सकती है:

• BigQuery: SQL इंजन आधारित एंटरप्राइज़ डेटा वेयरहाउस Dremel, जो अपनी गति, सरलता और मुकाबला करने के लिए प्रसिद्ध है यंत्र अधिगम.
• डेटा स्टूडियो: Google डॉक्स जैसी सहयोग सुविधाओं के साथ बड़ा डेटा विज़ुअलाइज़ेशन टूल।

इस लेख में, आप इन उपकरणों के साथ हमारे अनुभव के बारे में जानेंगे: हमने क्या किया, हमने क्या सीखा और हम आगे क्या करेंगे। अब हम बैच और इंटरैक्टिव एनालिटिक्स पर ध्यान केंद्रित करेंगे। हम अगले लेख में वास्तविक समय विश्लेषण पर चर्चा करेंगे।

ट्विटर डेटा स्टोर का इतिहास

BigQuery में गोता लगाने से पहले, ट्विटर डेटा वेयरहाउसिंग के इतिहास को संक्षेप में याद करना उचित होगा। 2011 में, ट्विटर डेटा विश्लेषण वर्टिका और Hadoop में किया गया था। हमने MapReduce Hadoop जॉब्स बनाने के लिए पिग का उपयोग किया। 2012 में, हमने पिग को स्कैल्डिंग से बदल दिया, जिसमें जटिल पाइपलाइन बनाने की क्षमता और परीक्षण में आसानी जैसे लाभों के साथ स्काला एपीआई था। हालाँकि, कई डेटा विश्लेषकों और उत्पाद प्रबंधकों के लिए जो SQL के साथ काम करने में अधिक सहज थे, यह सीखने की एक कठिन अवस्था थी। 2016 के आसपास, हमने Hadoop डेटा के लिए SQL इंटरफ़ेस के रूप में Presto का उपयोग करना शुरू किया। स्पार्क ने एक पायथन इंटरफ़ेस की पेशकश की, जो इसे तदर्थ डेटा विज्ञान और मशीन लर्निंग के लिए एक अच्छा विकल्प बनाता है।

2018 से, हमने डेटा विश्लेषण और विज़ुअलाइज़ेशन के लिए निम्नलिखित टूल का उपयोग किया है:

• उत्पादन कन्वेयर के लिए स्केलिंग
• तदर्थ डेटा विश्लेषण और मशीन लर्निंग के लिए स्केलिंग और स्पार्क
• तदर्थ और इंटरैक्टिव एसक्यूएल विश्लेषण के लिए वर्टिका और प्रेस्टो
• समय श्रृंखला मेट्रिक्स तक कम इंटरैक्टिव, खोजपूर्ण और कम विलंबता पहुंच के लिए ड्र्यूड
• डेटा विज़ुअलाइज़ेशन के लिए झांकी, ज़ेपेलिन और पिवोट

हमने पाया कि हालांकि ये उपकरण बहुत शक्तिशाली क्षमताएं प्रदान करते हैं, हमें ट्विटर पर व्यापक दर्शकों के लिए इन क्षमताओं को उपलब्ध कराने में कठिनाई हुई। Google क्लाउड के साथ अपने प्लेटफ़ॉर्म का विस्तार करके, हम पूरे ट्विटर के लिए अपने एनालिटिक्स टूल को सरल बनाने पर ध्यान केंद्रित कर रहे हैं।

Google का BigQuery डेटा वेयरहाउस

ट्विटर की कई टीमों ने पहले ही अपनी कुछ उत्पादन पाइपलाइनों में BigQuery को शामिल कर लिया है। उनकी विशेषज्ञता का उपयोग करते हुए, हमने सभी ट्विटर उपयोग मामलों के लिए BigQuery की क्षमताओं का मूल्यांकन करना शुरू किया। हमारा लक्ष्य पूरी कंपनी को BigQuery की पेशकश करना और डेटा प्लेटफ़ॉर्म टूलसेट के भीतर इसका मानकीकरण और समर्थन करना था। यह कई कारणों से कठिन था. हमें बड़ी मात्रा में डेटा को विश्वसनीय रूप से ग्रहण करने, कंपनी-व्यापी डेटा प्रबंधन का समर्थन करने, उचित पहुंच नियंत्रण सुनिश्चित करने और ग्राहक गोपनीयता सुनिश्चित करने के लिए एक बुनियादी ढांचा विकसित करने की आवश्यकता थी। हमें संसाधन आवंटन, निगरानी और चार्जबैक के लिए सिस्टम भी बनाना था ताकि टीमें BigQuery का प्रभावी ढंग से उपयोग कर सकें।

नवंबर 2018 में, हमने BigQuery और डेटा स्टूडियो की कंपनी-व्यापी अल्फ़ा रिलीज़ जारी की। हमने ट्विटर कर्मचारियों को साफ-सुथरे व्यक्तिगत डेटा के साथ हमारी कुछ सबसे अधिक उपयोग की जाने वाली स्प्रेडशीट की पेशकश की है। इंजीनियरिंग, वित्त और विपणन सहित विभिन्न टीमों के 250 से अधिक उपयोगकर्ताओं द्वारा BigQuery का उपयोग किया गया है। हाल ही में, वे लगभग 8k अनुरोध चला रहे थे, प्रति माह लगभग 100 पीबी संसाधित कर रहे थे, निर्धारित अनुरोधों की गिनती नहीं कर रहे थे। बहुत सकारात्मक प्रतिक्रिया प्राप्त करने के बाद, हमने आगे बढ़ने और ट्विटर पर डेटा के साथ बातचीत करने के लिए प्राथमिक संसाधन के रूप में BigQuery की पेशकश करने का निर्णय लिया।

यहां हमारे Google BigQuery डेटा वेयरहाउस आर्किटेक्चर का एक उच्च-स्तरीय आरेख है।

हम आंतरिक क्लाउड रेप्लिकेटर टूल का उपयोग करके ऑन-प्रिमाइसेस Hadoop क्लस्टर से डेटा को Google क्लाउड स्टोरेज (GCS) में कॉपी करते हैं। फिर हम अपाचे एयरफ्लो का उपयोग पाइपलाइन बनाने के लिए करते हैं जो "bq_load»GCS से BigQuery में डेटा लोड करने के लिए। हम GCS में Parquet या थ्रिफ्ट-LZO डेटासेट को क्वेरी करने के लिए प्रेस्टो का उपयोग करते हैं। BQ ब्लास्टर HDFS वर्टिका और थ्रिफ्ट-LZO डेटासेट को BigQuery में लोड करने के लिए एक आंतरिक स्केलिंग टूल है।

निम्नलिखित अनुभागों में, हम उपयोग में आसानी, प्रदर्शन, डेटा प्रबंधन, सिस्टम स्वास्थ्य और लागत के क्षेत्रों में अपने दृष्टिकोण और विशेषज्ञता पर चर्चा करते हैं।

उपयोग में आसानी

हमने पाया कि उपयोगकर्ताओं के लिए BigQuery के साथ शुरुआत करना आसान था क्योंकि इसके लिए सॉफ़्टवेयर इंस्टॉलेशन की आवश्यकता नहीं थी और उपयोगकर्ता इसे एक सहज वेब इंटरफ़ेस के माध्यम से एक्सेस कर सकते थे। हालाँकि, उपयोगकर्ताओं को GCP की कुछ विशेषताओं और अवधारणाओं से परिचित होने की आवश्यकता थी, जिसमें प्रोजेक्ट, डेटासेट और टेबल जैसे संसाधन शामिल थे। हमने उपयोगकर्ताओं को आरंभ करने में सहायता के लिए शैक्षिक सामग्री और ट्यूटोरियल विकसित किए हैं। बुनियादी समझ हासिल करने के साथ, उपयोगकर्ताओं को डेटा सेट नेविगेट करना, स्कीमा और टेबल डेटा देखना, सरल क्वेरी चलाना और डेटा स्टूडियो में परिणामों की कल्पना करना आसान हो गया।

BigQuery में डेटा प्रविष्टि के लिए हमारा लक्ष्य एक क्लिक के साथ HDFS या GCS डेटासेट की निर्बाध लोडिंग को सक्षम करना था। हमने माना मेघ संगीतकार (एयरफ्लो द्वारा प्रबंधित) लेकिन हमारे डोमेन प्रतिबंधित साझाकरण सुरक्षा मॉडल के कारण इसका उपयोग करने में असमर्थ थे (नीचे डेटा प्रबंधन अनुभाग में इस पर अधिक जानकारी)। हमने BigQuery वर्कलोड को व्यवस्थित करने के लिए Google डेटा ट्रांसफर सेवा (DTS) का उपयोग करने का प्रयोग किया। हालाँकि DTS की स्थापना त्वरित थी, लेकिन यह निर्भरता वाली पाइपलाइनों के निर्माण के लिए लचीला नहीं था। हमारी अल्फा रिलीज के लिए, हमने जीसीई में अपना खुद का अपाचे एयरफ्लो फ्रेमवर्क बनाया है और इसे उत्पादन में चलाने और वर्टिका जैसे अधिक डेटा स्रोतों का समर्थन करने में सक्षम होने के लिए तैयार कर रहे हैं।

डेटा को BigQuery में बदलने के लिए, उपयोगकर्ता शेड्यूल किए गए प्रश्नों का उपयोग करके सरल SQL डेटा पाइपलाइन बनाते हैं। निर्भरता वाली जटिल मल्टी-स्टेज पाइपलाइनों के लिए, हम या तो अपने स्वयं के एयरफ्लो फ्रेमवर्क या क्लाउड कम्पोज़र का उपयोग करने की योजना बनाते हैं क्लाउड डेटाफ्लो.

निष्पादन

BigQuery को सामान्य प्रयोजन SQL क्वेरी के लिए डिज़ाइन किया गया है जो बड़ी मात्रा में डेटा संसाधित करता है। यह कम विलंबता, लेन-देन संबंधी डेटाबेस के लिए आवश्यक उच्च थ्रूपुट प्रश्नों, या लागू कम विलंबता समय श्रृंखला विश्लेषण के लिए अभिप्रेत नहीं है अपाचे ड्र्यूड. इंटरैक्टिव एनालिटिक्स प्रश्नों के लिए, हमारे उपयोगकर्ता एक मिनट से भी कम समय की प्रतिक्रिया समय की उम्मीद करते हैं। हमें इन अपेक्षाओं को पूरा करने के लिए BigQuery के अपने उपयोग को डिज़ाइन करना था। अपने उपयोगकर्ताओं के लिए पूर्वानुमानित प्रदर्शन प्रदान करने के लिए, हमने BigQuery कार्यक्षमता का लाभ उठाया, जो ग्राहकों के लिए एक फ्लैट शुल्क के आधार पर उपलब्ध है जो परियोजना मालिकों को उनके प्रश्नों के लिए न्यूनतम स्लॉट आरक्षित करने की अनुमति देता है। स्लॉट BigQuery SQL क्वेरी निष्पादित करने के लिए आवश्यक कंप्यूटिंग शक्ति की एक इकाई है।

हमने लगभग 800 टीबी डेटा संसाधित करने वाली 1 से अधिक क्वेरीज़ का विश्लेषण किया और पाया कि औसत निष्पादन समय 30 सेकंड था। हमने यह भी सीखा कि प्रदर्शन विभिन्न परियोजनाओं और कार्यों में हमारे स्लॉट के उपयोग पर अत्यधिक निर्भर है। उत्पादन उपयोग के मामलों और ऑनलाइन विश्लेषण के प्रदर्शन को बनाए रखने के लिए हमें अपने उत्पादन और तदर्थ स्लॉट भंडार को स्पष्ट रूप से चित्रित करना था। इसने स्लॉट आरक्षण और प्रोजेक्ट पदानुक्रम के लिए हमारे डिज़ाइन को बहुत प्रभावित किया।

हम अनुवाद के दूसरे भाग में आने वाले दिनों में डेटा प्रबंधन, कार्यक्षमता और सिस्टम की लागत के बारे में बात करेंगे, लेकिन अब हम सभी को आमंत्रित करते हैं निःशुल्क लाइव वेबिनार, जिसके दौरान आप पाठ्यक्रम के बारे में विस्तार से जान सकेंगे, साथ ही हमारे विशेषज्ञ - ईगोर मातेशुक (वरिष्ठ डेटा इंजीनियर, मैक्सिमाटेलीकॉम) से प्रश्न भी पूछ सकेंगे।

अधिक पढ़ें:

• डेटा बिल्ड टूल या डेटा वेयरहाउस और स्मूथी के बीच क्या सामान्य है
• डेल्टा झील में गोता लगाएँ: स्कीमा प्रवर्तन और विकास
• अपाचे एरो के साथ पायथन में हाई-स्पीड अपाचे पैराक्वेट

स्रोत: www.habr.com