Google को BigQuery ले डेटा विश्लेषणलाई कसरी प्रजातान्त्रिक बनायो। भाग 2

नमस्ते, Habr! नयाँ पाठ्यक्रम स्ट्रिमको लागि नामांकन अहिले OTUS मा खुला छ डाटा इन्जिनियर। पाठ्यक्रमको सुरुवातको प्रत्याशामा, हामी तपाइँसँग उपयोगी सामग्री साझा गर्न जारी राख्छौं।

भाग एक पढ्नुहोस्

डाटा व्यवस्थापन

सशक्त डाटा गभर्नेन्स ट्विटर इन्जिनियरिङको मुख्य सिद्धान्त हो। हामीले हाम्रो प्लेटफर्ममा BigQuery लागू गर्दा, हामी डेटा खोज, पहुँच नियन्त्रण, सुरक्षा र गोपनीयतामा ध्यान केन्द्रित गर्छौं।

डाटा पत्ता लगाउन र व्यवस्थापन गर्न, हामीले हाम्रो डाटा पहुँच तहलाई विस्तार गरेका छौं DAL) दुबै अन-प्रिमाइसेस र Google क्लाउड डेटाका लागि उपकरणहरू प्रदान गर्न, हाम्रा प्रयोगकर्ताहरूका लागि एउटै इन्टरफेस र API प्रदान गर्दै। Google को रूपमा डाटा क्याटलग सामान्य उपलब्धतातर्फ अघि बढिरहेको छ, हामी प्रयोगकर्ताहरूलाई स्तम्भ खोज जस्ता सुविधाहरू प्रदान गर्न हाम्रा परियोजनाहरूमा समावेश गर्नेछौं।

BigQuery ले डेटा साझा गर्न र पहुँच गर्न सजिलो बनाउँछ, तर डेटा बाहिर निस्कन रोक्न हामीले यसमा केही नियन्त्रण गर्न आवश्यक छ। अन्य उपकरणहरू मध्ये, हामीले दुई प्रकार्यहरू चयन गर्यौं:

• डोमेन प्रतिबन्धित साझेदारी: प्रयोगकर्ताहरूलाई Twitter बाहिरका प्रयोगकर्ताहरूसँग BigQuery डाटासेटहरू साझेदारी गर्नबाट रोक्नको लागि बीटा सुविधा।
• VPC सेवा नियन्त्रणहरू: डेटा निष्कासन रोक्ने र प्रयोगकर्ताहरूलाई ज्ञात IP ठेगाना दायराहरूबाट BigQuery पहुँच गर्न आवश्यक पर्ने नियन्त्रण।

हामीले सुरक्षाको लागि निम्नानुसार प्रमाणीकरण, प्राधिकरण, र लेखा परीक्षण (AAA) आवश्यकताहरू लागू गरेका छौं:

• प्रमाणीकरण: हामीले तदर्थ अनुरोधहरूको लागि GCP प्रयोगकर्ता खाताहरू र उत्पादन अनुरोधहरूको लागि सेवा खाताहरू प्रयोग गर्यौं।
• प्राधिकरण: हामीले प्रत्येक डेटासेटको मालिक सेवा खाता र पाठक समूह हुन आवश्यक छ।
• अडिटिङ: हामीले सजिलै विश्लेषणको लागि BigQuery डेटासेटमा विस्तृत क्वेरी कार्यान्वयन जानकारी समावेश गर्ने BigQuery stackdriver लगहरू निर्यात गर्यौं।

Twitter प्रयोगकर्ताहरूको व्यक्तिगत डेटा ठीकसँग ह्यान्डल गरिएको छ भनी सुनिश्चित गर्न, हामीले सबै BigQuery डाटासेटहरू दर्ता गर्नुपर्छ, व्यक्तिगत डाटा एनोटेट गर्नुपर्छ, उचित भण्डारण कायम गर्नुपर्छ, र प्रयोगकर्ताहरूद्वारा मेटाइएको डाटा (स्क्र्याप) मेटाउनुपर्छ।

हामीले गुगल हेरे क्लाउड डेटा हानि रोकथाम API, जसले संवेदनशील डेटा वर्गीकरण र सम्पादन गर्न मेसिन लर्निङ प्रयोग गर्दछ, तर सटीकताको कारणले म्यानुअल रूपमा डेटासेट एनोटेट गर्ने पक्षमा निर्णय गरियो। हामीले अनुकूलन एनोटेसन बढाउनको लागि डेटा हानि रोकथाम API प्रयोग गर्ने योजना बनाएका छौं।

Twitter मा, हामीले BigQuery मा डेटासेटहरूका लागि चार गोपनीयता कोटीहरू सिर्जना गरेका छौं, यहाँ संवेदनशीलताको घट्दो क्रममा सूचीबद्ध गरिएको छ:

• अति संवेदनशील डाटा सेटहरू न्यूनतम विशेषाधिकारको सिद्धान्तमा आधारित आवश्यक आधारमा उपलब्ध गराइन्छ। प्रत्येक डेटा सेटमा पाठकहरूको छुट्टै समूह हुन्छ, र हामी व्यक्तिगत खाताहरूद्वारा प्रयोग ट्र्याक गर्नेछौं।
• मध्यम संवेदनशीलता डेटासेटहरू (साल्टेड ह्यासिङ प्रयोग गरेर एकतर्फी छद्मनामहरू) व्यक्तिगत रूपमा पहिचान योग्य जानकारी (PII) समावेश गर्दैन र कर्मचारीहरूको ठूलो समूहको लागि पहुँचयोग्य हुन्छ। यो गोपनीयता चिन्ता र डेटा उपयोगिता बीच एक राम्रो सन्तुलन हो। यसले कर्मचारीहरूलाई विश्लेषण कार्यहरू गर्न अनुमति दिन्छ, जस्तै कि वास्तविक प्रयोगकर्ताहरू को हुन् भनेर थाहा नपाई सुविधा प्रयोग गर्ने प्रयोगकर्ताहरूको संख्या गणना गर्ने।
• सबै प्रयोगकर्ता पहिचान जानकारीको साथ कम संवेदनशीलता डेटासेटहरू। यो गोपनीयता परिप्रेक्ष्यबाट राम्रो दृष्टिकोण हो, तर प्रयोगकर्ता-स्तर विश्लेषणको लागि प्रयोग गर्न सकिँदैन।
• सार्वजनिक डाटासेटहरू (ट्विटर बाहिर जारी) सबै ट्विटर कर्मचारीहरूको लागि उपलब्ध छन्।

लगिङको लागि, हामीले BigQuery डेटासेटहरू गणना गर्न र डेटा पहुँच तह (डेटा एक्सेस लेयर) सँग दर्ता गर्न निर्धारित कार्यहरू प्रयोग गर्यौं।DAL), ट्विटर मेटाडाटा भण्डार। प्रयोगकर्ताहरूले गोपनीयता जानकारीको साथ डेटासेटहरू एनोटेट गर्नेछन् र अवधारण अवधि पनि निर्दिष्ट गर्नेछन्। सफाईको लागि, हामी दुई विकल्पहरूको प्रदर्शन र लागत मूल्याङ्कन गर्छौं: 1. Scalding र BigQuery मा लोड गर्ने जस्ता उपकरणहरू प्रयोग गरेर GCS मा डेटासेटहरू सफा गर्दै; 2. BigQuery DML कथनहरू प्रयोग गर्दै। हामी सम्भवतः विभिन्न समूह र डेटाको आवश्यकताहरू पूरा गर्न दुवै विधिहरूको संयोजन प्रयोग गर्नेछौं।

प्रणाली कार्यक्षमता

किनकी BigQuery एक व्यवस्थित सेवा हो, त्यहाँ प्रणाली व्यवस्थापन वा डेस्क कर्तव्यहरूमा Twitter को SRE टोली समावेश गर्न आवश्यक थिएन। भण्डारण र कम्प्युटिङ दुवैको लागि थप क्षमता प्रदान गर्न सजिलो थियो। हामीले गुगल समर्थनमा टिकट सिर्जना गरेर स्लट रिजर्भेसन परिवर्तन गर्न सक्छौं। हामीले सुधार गर्न सकिने क्षेत्रहरू पहिचान गर्यौं, जस्तै सेल्फ-सर्भिस स्लट आवंटन र अनुगमनका लागि ड्यासबोर्ड सुधारहरू, र ती अनुरोधहरू गुगलमा पेश गर्‍यौं।

को लागत

हाम्रो प्रारम्भिक विश्लेषणले BigQuery र Presto को लागि क्वेरी लागतहरू समान स्तरमा रहेको देखाएको छ। हामीले स्लटहरू किनेका छौं निश्चित भुक्तानीको सट्टा स्थिर मासिक लागतको लागि मूल्य माग बमोजिम प्रशोधित डाटाको प्रति टीबी। यो निर्णय प्रत्येक अनुरोध गर्नु अघि लागत बारे सोच्न नचाहने प्रयोगकर्ताहरूको प्रतिक्रियामा आधारित थियो।

BigQuery मा डेटा भण्डारण गर्दा GCS लागतहरू बाहेक लागतहरू ल्याइयो। Scalding जस्ता उपकरणहरू GCS मा डेटासेटहरू चाहिन्छ, र BigQuery पहुँच गर्न हामीले उही डेटासेटहरू BigQuery ढाँचामा लोड गर्नुपर्थ्यो। संधारित्र। हामी BigQuery डेटासेटहरूमा स्क्याल्डिङ जडानमा काम गरिरहेका छौं जसले GCS र BigQuery दुवैमा डेटासेटहरू भण्डारण गर्ने आवश्यकतालाई हटाउनेछ।

दसौं पेटाबाइटहरूका दुर्लभ प्रश्नहरू आवश्यक पर्ने दुर्लभ अवस्थाहरूमा, हामीले BigQuery मा डेटासेटहरू भण्डारण गर्नु लागत-प्रभावी थिएन र GCS मा डेटासेटहरू सीधै पहुँच गर्न Presto प्रयोग गर्ने निर्णय गर्‍यौं। यो गर्नको लागि, हामी BigQuery बाह्य डेटा स्रोतहरू हेर्दैछौं।

अर्को चरणहरू

हामीले अल्फा रिलीज पछि BigQuery मा धेरै चासो देखेका छौं। हामी BigQuery मा थप डेटासेट र थप आदेशहरू थप्दै छौँ। हामीले BigQuery भण्डारणमा पढ्न र लेख्न स्क्याल्डिङ जस्ता डेटा एनालिटिक्स उपकरणहरूको लागि कनेक्टरहरू विकास गर्छौं। हामी BigQuery डेटासेटहरू प्रयोग गरेर उद्यम गुणस्तर रिपोर्टहरू र टिप्पणीहरू सिर्जना गर्न लुकर र Apache Zeppelin जस्ता उपकरणहरू हेर्दैछौं।

गुगलसँगको हाम्रो सहकार्य धेरै फलदायी भएको छ र हामी यो साझेदारीलाई जारी राख्न र विकास गर्न पाउँदा खुसी छौं। हामीले आफ्नै कार्यान्वयन गर्न Google सँग काम गर्यौं साझेदार मुद्दा ट्र्याकरगुगलमा सीधै प्रश्नहरू पठाउन। ती मध्ये केही, जस्तै BigQuery Parquet लोडर, Google द्वारा पहिले नै लागू गरिसकिएको छ।

यहाँ गुगलका लागि हाम्रा केही उच्च प्राथमिकता सुविधाहरू अनुरोधहरू छन्:

• LZO-Thrift ढाँचाको लागि सुविधाजनक डेटा रिसेप्शन र समर्थनको लागि उपकरणहरू।
• प्रति घण्टा विभाजन
• पहुँच नियन्त्रण सुधारहरू जस्तै तालिका-, पङ्क्ति-, र स्तम्भ-स्तर अनुमतिहरू।
• बिगक्वेरी बाह्य डेटा स्रोतहरू Hive Metastore एकीकरण र LZO-Thrift ढाँचाको लागि समर्थनको साथ।
• BigQuery प्रयोगकर्ता इन्टरफेसमा सुधारिएको डेटा क्याटलग एकीकरण
• स्लट आवंटन र निगरानीको लागि स्व-सेवा।

निष्कर्षमा

डाटा एनालिटिक्स, भिजुअलाइजेसन, र मेसिन लर्निङलाई सुरक्षित तरिकाले प्रजातन्त्रीकरण गर्नु डाटा प्लेटफर्म टोलीको लागि उच्च प्राथमिकता हो। हामीले यो लक्ष्य हासिल गर्न मद्दत गर्ने उपकरणहरूका रूपमा Google BigQuery र डेटा स्टुडियो पहिचान गर्यौं, र गत वर्ष BigQuery Alpha कम्पनीव्यापी रूपमा जारी गर्‍यौं।

हामीले BigQuery मा सोधिएका प्रश्नहरू सरल र प्रभावकारी भएको भेट्टायौं। हामीले साधारण पाइपलाइनहरूका लागि डाटा इन्जेस्ट गर्न र रूपान्तरण गर्न Google उपकरणहरू प्रयोग गर्‍यौं, तर जटिल पाइपलाइनहरूको लागि हामीले आफ्नै एयरफ्लो फ्रेमवर्क निर्माण गर्नुपर्‍यो। डाटा व्यवस्थापन स्थानमा, प्रमाणीकरण, प्राधिकरण र लेखा परीक्षणका लागि BigQuery का सेवाहरूले हाम्रा आवश्यकताहरू पूरा गर्छन्। मेटाडेटा प्रबन्ध गर्न र गोपनीयता कायम राख्न, हामीलाई थप लचिलोपन चाहिन्छ र हाम्रो आफ्नै प्रणालीहरू निर्माण गर्नुपर्‍यो। BigQuery, एक व्यवस्थित सेवा भएकोले, प्रयोग गर्न सजिलो थियो। क्वेरी लागतहरू अवस्थित उपकरणहरू जस्तै थिए। BigQuery मा डाटा भण्डारण गर्दा GCS लागतहरूका अतिरिक्त लागतहरू लाग्दछ।

समग्रमा, BigQuery ले सामान्य SQL विश्लेषणको लागि राम्रोसँग काम गर्छ। हामीले BigQuery मा धेरै चासो देखिरहेका छौं, र हामी BigQuery मार्फत थप डेटा सेटहरू स्थानान्तरण गर्न, थप टोलीहरू ल्याउन र थप पाइपलाइनहरू निर्माण गर्न काम गरिरहेका छौं। Twitter ले विभिन्न प्रकारका डेटा प्रयोग गर्दछ जसलाई उपकरणहरूको संयोजन चाहिन्छ जस्तै Scalding, Spark, Presto, र Druid। हामी हाम्रा डाटा एनालिटिक्स उपकरणहरूलाई सुदृढ गर्न र हाम्रा प्रस्तावहरूलाई कसरी राम्रोसँग प्रयोग गर्ने भन्ने बारे हाम्रा प्रयोगकर्ताहरूलाई स्पष्ट मार्गदर्शन प्रदान गर्न जारी राख्न चाहन्छौं।

कृतज्ञताका शब्दहरू

म मेरा सह-लेखकहरू र टोलीका साथीहरू, अन्जु झा र विल पासुचीलाई यस परियोजनामा ​​उनीहरूको ठूलो सहयोग र कडा परिश्रमको लागि धन्यवाद दिन चाहन्छु। म Twitter र Google का धेरै टोलीका इन्जिनियरहरू र प्रबन्धकहरूलाई धन्यवाद दिन चाहन्छु जसले हामीलाई र Twitter मा BigQuery प्रयोगकर्ताहरूलाई मूल्यवान प्रतिक्रिया प्रदान गर्न मद्दत गर्नुभयो।

यदि तपाइँ यी समस्याहरूमा काम गर्न इच्छुक हुनुहुन्छ भने, हाम्रो जाँच गर्नुहोस् रिक्त पदहरू डाटा प्लेटफर्म टोलीमा।

DWH मा डाटा गुणस्तर - डाटा वेयरहाउस स्थिरता

स्रोत: www.habr.com