कैसे Google के BigQuery ने डेटा विश्लेषण का लोकतंत्रीकरण किया। भाग 2

नमस्ते, हबर! ओटीयूएस में नए पाठ्यक्रम स्ट्रीम के लिए नामांकन अभी खुला है डाटा इंजीनियर. पाठ्यक्रम की शुरुआत की प्रत्याशा में, हम आपके साथ उपयोगी सामग्री साझा करना जारी रखेंगे।

भाग एक पढ़ें

डाटा प्रबंधन

मजबूत डेटा गवर्नेंस ट्विटर इंजीनियरिंग का एक मूल सिद्धांत है। जैसे ही हम अपने प्लेटफ़ॉर्म में BigQuery लागू करते हैं, हम डेटा खोज, एक्सेस नियंत्रण, सुरक्षा और गोपनीयता पर ध्यान केंद्रित करते हैं।

डेटा को खोजने और प्रबंधित करने के लिए, हमने अपनी डेटा एक्सेस लेयर का विस्तार किया है दाल) हमारे उपयोगकर्ताओं के लिए एकल इंटरफ़ेस और एपीआई प्रदान करते हुए, ऑन-प्रिमाइसेस और Google क्लाउड डेटा दोनों के लिए उपकरण प्रदान करना। गूगल के रूप में डेटा कैटलॉग सामान्य उपलब्धता की ओर बढ़ रहा है, हम उपयोगकर्ताओं को कॉलम खोज जैसी सुविधाएं प्रदान करने के लिए इसे अपनी परियोजनाओं में शामिल करेंगे।

BigQuery डेटा साझा करना और एक्सेस करना आसान बनाता है, लेकिन डेटा एक्सफ़िल्ट्रेशन को रोकने के लिए हमें इस पर कुछ नियंत्रण रखने की आवश्यकता है। अन्य उपकरणों के बीच, हमने दो फ़ंक्शन चुने:

• डोमेन प्रतिबंधित साझाकरण: उपयोगकर्ताओं को ट्विटर के बाहर के उपयोगकर्ताओं के साथ BigQuery डेटासेट साझा करने से रोकने के लिए बीटा सुविधा।
• वीपीसी सेवा नियंत्रण: एक नियंत्रण जो डेटा घुसपैठ को रोकता है और उपयोगकर्ताओं को ज्ञात आईपी एड्रेस रेंज से BigQuery तक पहुंचने की आवश्यकता होती है।

हमने सुरक्षा के लिए प्रमाणीकरण, प्राधिकरण और ऑडिटिंग (एएए) आवश्यकताओं को निम्नानुसार लागू किया है:

• प्रमाणीकरण: हमने तदर्थ अनुरोधों के लिए जीसीपी उपयोगकर्ता खातों और उत्पादन अनुरोधों के लिए सेवा खातों का उपयोग किया।
• प्राधिकरण: हमें प्रत्येक डेटासेट में एक स्वामी सेवा खाता और एक पाठक समूह होना आवश्यक है।
• ऑडिटिंग: हमने आसान विश्लेषण के लिए BigQuery स्टैकड्राइवर लॉग को BigQuery डेटासेट में निर्यात किया, जिसमें विस्तृत क्वेरी निष्पादन जानकारी शामिल थी।

यह सुनिश्चित करने के लिए कि ट्विटर उपयोगकर्ताओं के व्यक्तिगत डेटा को ठीक से प्रबंधित किया जाए, हमें सभी BigQuery डेटासेट को पंजीकृत करना होगा, व्यक्तिगत डेटा को एनोटेट करना होगा, उचित भंडारण बनाए रखना होगा और उपयोगकर्ताओं द्वारा हटाए गए डेटा को हटाना (स्क्रैप) करना होगा।

हमने गूगल पर नजर डाली क्लाउड डेटा हानि निवारण एपीआई, जो संवेदनशील डेटा को वर्गीकृत और संपादित करने के लिए मशीन लर्निंग का उपयोग करता है, लेकिन सटीकता के कारण डेटासेट को मैन्युअल रूप से एनोटेट करने के पक्ष में निर्णय लिया गया। हम कस्टम एनोटेशन को बढ़ाने के लिए डेटा हानि निवारण एपीआई का उपयोग करने की योजना बना रहे हैं।

ट्विटर पर, हमने BigQuery में डेटासेट के लिए चार गोपनीयता श्रेणियां बनाई हैं, जो यहां संवेदनशीलता के घटते क्रम में सूचीबद्ध हैं:

• अत्यधिक संवेदनशील डेटा सेट न्यूनतम विशेषाधिकार के सिद्धांत के आधार पर आवश्यकतानुसार उपलब्ध कराए जाते हैं। प्रत्येक डेटा सेट में पाठकों का एक अलग समूह होता है, और हम अलग-अलग खातों द्वारा उपयोग को ट्रैक करेंगे।
• मध्यम संवेदनशीलता डेटासेट (नमकीन हैशिंग का उपयोग करके एकतरफा छद्म शब्द) में व्यक्तिगत रूप से पहचान योग्य जानकारी (पीआईआई) नहीं होती है और कर्मचारियों के एक बड़े समूह के लिए पहुंच योग्य होती है। यह गोपनीयता संबंधी चिंताओं और डेटा उपयोगिता के बीच एक अच्छा संतुलन है। यह कर्मचारियों को विश्लेषण कार्य करने की अनुमति देता है, जैसे किसी सुविधा का उपयोग करने वाले उपयोगकर्ताओं की संख्या की गणना करना, बिना यह जाने कि वास्तविक उपयोगकर्ता कौन हैं।
• उपयोगकर्ता की पहचान करने वाली सभी जानकारी के साथ कम संवेदनशीलता वाले डेटासेट। गोपनीयता के दृष्टिकोण से यह एक अच्छा दृष्टिकोण है, लेकिन उपयोगकर्ता-स्तरीय विश्लेषण के लिए इसका उपयोग नहीं किया जा सकता है।
• सार्वजनिक डेटासेट (ट्विटर के बाहर जारी) सभी ट्विटर कर्मचारियों के लिए उपलब्ध हैं।

लॉगिंग के लिए, हमने BigQuery डेटासेट की गणना करने और उन्हें डेटा एक्सेस लेयर के साथ पंजीकृत करने के लिए निर्धारित कार्यों का उपयोग किया (दाल), ट्विटर मेटाडेटा रिपॉजिटरी। उपयोगकर्ता गोपनीयता जानकारी के साथ डेटासेट को एनोटेट करेंगे और एक अवधारण अवधि भी निर्दिष्ट करेंगे। जहाँ तक सफ़ाई का सवाल है, हम दो विकल्पों के प्रदर्शन और लागत का मूल्यांकन करते हैं: 1. Scalding जैसे टूल का उपयोग करके GCS में डेटासेट साफ़ करना और उन्हें BigQuery में लोड करना; 2. BigQuery DML कथनों का उपयोग करना। हम संभवतः विभिन्न समूहों और डेटा की आवश्यकताओं को पूरा करने के लिए दोनों तरीकों के संयोजन का उपयोग करेंगे।

सिस्टम कार्यक्षमता

क्योंकि BigQuery एक प्रबंधित सेवा है, इसलिए सिस्टम प्रबंधन या डेस्क कर्तव्यों में ट्विटर की SRE टीम को शामिल करने की कोई आवश्यकता नहीं थी। भंडारण और कंप्यूटिंग दोनों के लिए अधिक क्षमता प्रदान करना आसान था। हम Google सहायता से टिकट बनाकर स्लॉट आरक्षण बदल सकते हैं। हमने उन क्षेत्रों की पहचान की जिनमें सुधार किया जा सकता है, जैसे स्व-सेवा स्लॉट आवंटन और निगरानी के लिए डैशबोर्ड सुधार, और उन अनुरोधों को Google को सबमिट कर दिया।

लागत

हमारे प्रारंभिक विश्लेषण से पता चला कि BigQuery और Presto के लिए क्वेरी लागत समान स्तर पर थी। हमने इसके लिए स्लॉट खरीदे हल किया गया कीमत में भुगतान के बजाय एक स्थिर मासिक लागत होनी चाहिए मांग पर संसाधित डेटा की प्रति टीबी. यह निर्णय उन उपयोगकर्ताओं के फीडबैक पर भी आधारित था जो प्रत्येक अनुरोध करने से पहले लागत के बारे में सोचना नहीं चाहते थे।

BigQuery में डेटा संग्रहीत करने से GCS लागत के अतिरिक्त लागत भी आती है। स्केल्डिंग जैसे टूल को GCS में डेटासेट की आवश्यकता होती है, और BigQuery तक पहुंचने के लिए हमें उन्हीं डेटासेट को BigQuery प्रारूप में लोड करना पड़ता है संधारित्र. हम BigQuery डेटासेट के लिए स्केलिंग कनेक्शन पर काम कर रहे हैं जो GCS और BigQuery दोनों में डेटासेट संग्रहीत करने की आवश्यकता को समाप्त कर देगा।

ऐसे दुर्लभ मामलों के लिए जिनमें दसियों पेटाबाइट्स की दुर्लभ क्वेरी की आवश्यकता होती है, हमने निर्णय लिया कि BigQuery में डेटासेट संग्रहीत करना लागत प्रभावी नहीं था और जीसीएस में सीधे डेटासेट तक पहुंचने के लिए प्रेस्टो का उपयोग किया गया। ऐसा करने के लिए, हम BigQuery बाहरी डेटा स्रोतों को देख रहे हैं।

अगले चरण

हमने अल्फा रिलीज़ के बाद से BigQuery में बहुत रुचि देखी है। हम BigQuery में अधिक डेटासेट और अधिक कमांड जोड़ रहे हैं। हम BigQuery स्टोरेज को पढ़ने और लिखने के लिए स्कैल्डिंग जैसे डेटा एनालिटिक्स टूल के लिए कनेक्टर विकसित करते हैं। हम BigQuery डेटासेट का उपयोग करके एंटरप्राइज़ गुणवत्ता रिपोर्ट और नोट्स बनाने के लिए लुकर और अपाचे ज़ेपेलिन जैसे टूल पर विचार कर रहे हैं।

Google के साथ हमारा सहयोग बहुत उपयोगी रहा है और हम इस साझेदारी को जारी रखने और विकसित करने में प्रसन्न हैं। हमने अपना स्वयं का कार्यान्वयन करने के लिए Google के साथ काम किया पार्टनर इश्यू ट्रैकरसीधे Google को प्रश्न भेजने के लिए. उनमें से कुछ, जैसे कि BigQuery Parquet लोडर, Google द्वारा पहले ही कार्यान्वित किए जा चुके हैं।

यहां Google के लिए हमारे कुछ उच्च प्राथमिकता वाले सुविधा अनुरोध दिए गए हैं:

• सुविधाजनक डेटा रिसेप्शन और एलजेडओ-थ्रिफ्ट प्रारूप के लिए समर्थन के लिए उपकरण।
• प्रति घंटा विभाजन
• अभिगम नियंत्रण सुधार जैसे तालिका-, पंक्ति- और स्तंभ-स्तरीय अनुमतियाँ।
• BigQuery बाहरी डेटा स्रोत हाइव मेटास्टोर एकीकरण और एलजेडओ-थ्रिफ्ट प्रारूप के लिए समर्थन के साथ।
• BigQuery उपयोगकर्ता इंटरफ़ेस में बेहतर डेटा कैटलॉग एकीकरण
• स्लॉट आवंटन और निगरानी के लिए स्व-सेवा।

निष्कर्ष

डेटा एनालिटिक्स, विज़ुअलाइज़ेशन और मशीन लर्निंग को सुरक्षित तरीके से डेमोक्रेटाइज़ करना डेटा प्लेटफ़ॉर्म टीम के लिए सर्वोच्च प्राथमिकता है। हमने Google BigQuery और डेटा स्टूडियो को ऐसे टूल के रूप में पहचाना जो इस लक्ष्य को प्राप्त करने में मदद कर सकते हैं, और पिछले साल कंपनी भर में BigQuery Alpha जारी किया।

हमें BigQuery में क्वेरीज़ सरल और कुशल लगीं। हमने सरल पाइपलाइनों के लिए डेटा ग्रहण करने और बदलने के लिए Google टूल का उपयोग किया, लेकिन जटिल पाइपलाइनों के लिए हमें अपना स्वयं का एयरफ्लो ढांचा बनाना पड़ा। डेटा प्रबंधन क्षेत्र में, प्रमाणीकरण, प्राधिकरण और ऑडिटिंग के लिए BigQuery की सेवाएँ हमारी आवश्यकताओं को पूरा करती हैं। मेटाडेटा को प्रबंधित करने और गोपनीयता बनाए रखने के लिए, हमें अधिक लचीलेपन की आवश्यकता थी और हमें अपना सिस्टम बनाना था। एक प्रबंधित सेवा होने के कारण BigQuery का उपयोग करना आसान था। क्वेरी लागत मौजूदा टूल के समान थी। BigQuery में डेटा संग्रहीत करने पर GCS लागत के अलावा लागत भी आती है।

कुल मिलाकर, BigQuery सामान्य SQL विश्लेषण के लिए अच्छा काम करता है। हम BigQuery में बहुत रुचि देख रहे हैं, और हम अधिक डेटा सेट स्थानांतरित करने, अधिक टीमें लाने और BigQuery के साथ अधिक पाइपलाइन बनाने के लिए काम कर रहे हैं। ट्विटर विभिन्न प्रकार के डेटा का उपयोग करता है जिसके लिए स्केल्डिंग, स्पार्क, प्रेस्टो और ड्र्यूड जैसे टूल के संयोजन की आवश्यकता होगी। हम अपने डेटा एनालिटिक्स टूल को मजबूत करना जारी रखना चाहते हैं और अपने उपयोगकर्ताओं को हमारी पेशकशों का सर्वोत्तम उपयोग करने के बारे में स्पष्ट मार्गदर्शन प्रदान करना चाहते हैं।

कृतज्ञता के शब्द

मैं इस परियोजना पर उनके महान सहयोग और कड़ी मेहनत के लिए अपने सह-लेखकों और टीम के साथियों, अंजू झा और विल पास्कुची को धन्यवाद देना चाहता हूं। मैं ट्विटर और Google की कई टीमों के इंजीनियरों और प्रबंधकों को भी धन्यवाद देना चाहता हूं जिन्होंने हमारी मदद की और ट्विटर पर BigQuery उपयोगकर्ताओं को भी धन्यवाद दिया जिन्होंने बहुमूल्य प्रतिक्रिया प्रदान की।

यदि आप इन समस्याओं पर काम करने में रुचि रखते हैं, तो हमारी जाँच करें रिक्त पद डेटा प्लेटफ़ॉर्म टीम में.

DWH में डेटा गुणवत्ता - डेटा वेयरहाउस संगति

स्रोत: www.habr.com