🥇 गुगल बिगक्वेरीले डेटा विश्लेषणलाई कसरी प्रजातान्त्रिक बनायो। भाग १

नमस्ते, Habr! नयाँ पाठ्यक्रम स्ट्रिमको लागि नामांकन अहिले OTUS मा खुला छ डाटा इन्जिनियर। कोर्स सुरु हुने प्रत्याशामा, हामी तपाईंसँग उपयोगी सामग्री साझा गर्न जारी राख्छौं।

भाग एक पढ्नुहोस्

डाटा व्यवस्थापन

बलियो डेटा प्रशासन ट्विटर इन्जिनियरिङको मूल सिद्धान्त हो। हामीले हाम्रो प्लेटफर्ममा BigQuery लाई एकीकृत गर्दा, हामी डेटा खोज, पहुँच नियन्त्रण, सुरक्षा र गोपनीयतामा ध्यान केन्द्रित गर्छौं।

डेटा पत्ता लगाउन र व्यवस्थापन गर्न, हामीले हाम्रो डेटा पहुँच तह (DAL) विस्तार गरेका छौं। DAL) हाम्रा प्रयोगकर्ताहरूको लागि एकल इन्टरफेस र API प्रदान गर्दै, अन-प्रिमाइसेस र गुगल क्लाउड डेटा दुवैको लागि उपकरणहरू प्रदान गर्न। गुगलको रूपमा डाटा क्याटलग यो सामान्य उपलब्धतातर्फ बढ्दै जाँदा, हामी प्रयोगकर्ताहरूलाई स्तम्भ खोज जस्ता सुविधाहरू प्रदान गर्न यसलाई हाम्रा परियोजनाहरूमा समावेश गर्नेछौं।

BigQuery ले डेटा साझा गर्न र पहुँच गर्न सजिलो बनाउँछ, तर डेटा एक्सफिल्टरेशन रोक्नको लागि हामीलाई यसमा केही नियन्त्रण आवश्यक थियो। अन्य उपकरणहरू मध्ये, हामीले दुई सुविधाहरू छनौट गर्यौं:

डोमेन प्रतिबन्धित साझेदारी: एउटा बिटा सुविधा जसले प्रयोगकर्ताहरूलाई ट्विटर बाहिरका प्रयोगकर्ताहरूसँग BigQuery डेटासेटहरू साझेदारी गर्नबाट रोक्छ।
VPC सेवा नियन्त्रणहरू: एउटा नियन्त्रण जसले डेटा एक्सफिल्टरेशनलाई रोक्छ र प्रयोगकर्ताहरूलाई ज्ञात IP दायराहरूबाट BigQuery पहुँच गर्न आवश्यक बनाउँछ।

सुरक्षा सुनिश्चित गर्न हामीले निम्नानुसार प्रमाणीकरण, प्राधिकरण, र लेखापरीक्षण (AAA) आवश्यकताहरू लागू गरेका छौं:

प्रमाणीकरण: हामीले तदर्थ अनुरोधहरूको लागि GCP प्रयोगकर्ता खाताहरू र उत्पादन अनुरोधहरूको लागि सेवा खाताहरू प्रयोग गर्यौं।
अधिकार: हामीले प्रत्येक डेटासेटमा मालिक सेवा खाता र पाठक समूह हुनु आवश्यक थियो।
लेखा परीक्षण: हामीले BigQuery स्ट्याकड्राइभर लगहरू निर्यात गर्यौं, जसमा विस्तृत क्वेरी कार्यान्वयन जानकारी थियो, सजिलो विश्लेषणको लागि BigQuery डेटासेटमा।

ट्विटर प्रयोगकर्ताहरूको व्यक्तिगत डेटाको उचित ह्यान्डलिङ सुनिश्चित गर्न, हामीले सबै BigQuery डेटासेटहरू दर्ता गर्नुपर्छ, व्यक्तिगत डेटा एनोटेट गर्नुपर्छ, उचित भण्डारण कायम राख्नुपर्छ, र प्रयोगकर्ताहरूले मेटाएको डेटा मेटाउनु पर्छ (पर्ज)।

हामीले गुगल हेर्यौं। क्लाउड डेटा नोक्सान रोकथाम API, जसले संवेदनशील डेटा वर्गीकरण र सम्पादन गर्न मेसिन लर्निङ प्रयोग गर्दछ, तर शुद्धताको कारणले डेटासेटलाई म्यानुअल रूपमा एनोटेट गर्न रोज्यो। हामी अनुकूलन एनोटेसनलाई पूरक बनाउन डेटा हानि रोकथाम API प्रयोग गर्ने योजनामा छौं।

ट्विटरमा, हामीले BigQuery मा डेटासेटहरूको लागि चार गोपनीयता कोटीहरू सिर्जना गरेका छौं, जुन घट्दो संवेदनशीलताको क्रममा यहाँ सूचीबद्ध छन्:

अत्यधिक संवेदनशील डेटा सेटहरू न्यूनतम विशेषाधिकारको सिद्धान्तमा आधारित आवश्यकता अनुसार पहुँचयोग्य छन्। प्रत्येक डेटा सेटमा पाठकहरूको छुट्टै समूह हुन्छ, र हामी व्यक्तिगत खाताहरूको प्रयोगको निगरानी गर्नेछौं।
मध्यम-संवेदनशीलता डेटासेटहरू (साल्टेड ह्यासिङ प्रयोग गरेर एकतर्फी छद्मनाम) मा कुनै पनि व्यक्तिगत रूपमा पहिचान योग्य जानकारी (PII) हुँदैन र कर्मचारीहरूको ठूलो समूहको लागि पहुँचयोग्य हुन्छ। यो गोपनीयता सरोकार र डेटा उपयोगिता बीचको राम्रो सन्तुलन हो। यसले कर्मचारीहरूलाई वास्तविक प्रयोगकर्ताहरू को हुन् भनेर नजानीकन सुविधा प्रयोग गर्ने प्रयोगकर्ताहरूको संख्या गणना गर्ने जस्ता विश्लेषण कार्यहरू गर्न अनुमति दिन्छ।
सबै प्रयोगकर्ता-पहिचान जानकारी सहितको कम-संवेदनशीलता डेटासेटहरू। यो गोपनीयताको दृष्टिकोणबाट राम्रो दृष्टिकोण हो, तर यसलाई प्रयोगकर्ता-स्तर विश्लेषणको लागि प्रयोग गर्न सकिँदैन।
सार्वजनिक डेटासेटहरू (ट्विटर बाहिर जारी गरिएको) सबै ट्विटर कर्मचारीहरूको लागि उपलब्ध छन्।

लगिङको सन्दर्भमा, हामीले BigQuery डेटासेटहरूको गणना गर्न र तिनीहरूलाई डेटा पहुँच तहमा लग गर्न निर्धारित कार्यहरू प्रयोग गर्यौं (DAL), ट्विटर मेटाडेटा भण्डार। प्रयोगकर्ताहरूले गोपनीयता जानकारीको साथ डेटासेटहरू एनोटेट गर्नेछन् र अवधारण अवधि निर्दिष्ट गर्नेछन्। सफाईको लागि, हामी दुई विकल्पहरूको प्रदर्शन र लागतको मूल्याङ्कन गर्छौं: 1. स्क्याल्डिङ जस्ता उपकरणहरू प्रयोग गरेर GCS मा डेटासेटहरू सफा गर्ने र BigQuery मा लोड गर्ने; 2. BigQuery DML अपरेटरहरू प्रयोग गर्दै हामी विभिन्न समूह र डेटाको आवश्यकताहरू पूरा गर्न दुवै विधिहरूको संयोजन प्रयोग गर्नेछौं।

प्रणाली कार्यक्षमता

BigQuery एक व्यवस्थित सेवा भएकोले, प्रणाली व्यवस्थापन गर्न वा अन-कल कर्तव्यहरू प्रदर्शन गर्न ट्विटरको SRE टोलीलाई संलग्न गर्नु आवश्यक थिएन। भण्डारण र कम्प्युट दुवैको लागि थप क्षमताको व्यवस्था गर्न सजिलो थियो। हामी Google समर्थनको साथ टिकटहरू सिर्जना गरेर स्लट आरक्षणहरू परिवर्तन गर्न सक्छौं। हामीले स्व-सेवा स्लट आवंटन र सुधारिएको ड्यासबोर्ड अनुगमन जस्ता सुधार गर्न सकिने क्षेत्रहरू पहिचान गर्यौं, र ती अनुरोधहरू Google मा बढायौं।

को लागत

हाम्रो प्रारम्भिक विश्लेषणले BigQuery र Presto को लागि क्वेरी लागत बराबर रहेको देखाएको छ। हामीले यहाँ स्लटहरू खरिद गर्यौं स्थिर भुक्तानी गर्नुको सट्टा स्थिर मासिक लागतको लागि मूल्य माग बमोजिम प्रशोधित डेटाको प्रति TB। यो निर्णय प्रत्येक अनुरोध कार्यान्वयन गर्नु अघि लागतको बारेमा सोच्न नचाहने प्रयोगकर्ताहरूको प्रतिक्रियामा पनि आधारित थियो।

BigQuery मा डेटा भण्डारण गर्दा GCS लागतको अतिरिक्त लागत पनि बढ्यो। Scalding जस्ता उपकरणहरूलाई GCS मा डेटासेटहरू हुनु आवश्यक पर्दछ, र BigQuery पहुँच गर्न हामीले उही डेटासेटहरू BigQuery ढाँचामा लोड गर्नुपर्थ्यो। संधारित्रहामी स्क्याल्डिङलाई BigQuery डेटासेटहरूमा जडान गर्ने काम गरिरहेका छौं, जसले GCS र BigQuery दुवैमा डेटासेटहरू भण्डारण गर्ने आवश्यकतालाई हटाउनेछ।

दशौं पेटाबाइटको दुर्लभ प्रश्नहरू आवश्यक पर्ने दुर्लभ घटनाहरूको लागि, हामीले BigQuery मा डेटासेटहरू भण्डारण गर्नु लागत-प्रभावी नभएको निर्णय गर्यौं र GCS मा डेटासेटहरू सिधै पहुँच गर्न Presto प्रयोग गर्यौं। यसको लागि, हामी BigQuery बाह्य डेटा स्रोतहरू हेरिरहेका छौं।

अर्को चरणहरू

अल्फा रिलिज भएदेखि नै हामीले BigQuery मा धेरै चासो देखेका छौं। हामी BigQuery मा थप डेटासेट र थप आदेशहरू थप्दैछौं। हामी BigQuery भण्डारणमा पढ्न र लेख्नको लागि Scalding जस्ता डेटा विश्लेषण उपकरणहरूको लागि कनेक्टरहरू निर्माण गर्दैछौं। हामी BigQuery डेटासेटहरू प्रयोग गरेर उद्यम गुणस्तर रिपोर्टहरू र नोटहरू सिर्जना गर्न Looker र Apache Zeppelin जस्ता उपकरणहरू हेरिरहेका छौं।

गुगलसँगको सहकार्य धेरै फलदायी भएको छ र हामी यो साझेदारीलाई निरन्तरता दिन र विकास गर्न उत्साहित छौं। हामीले आफ्नै कार्यान्वयन गर्न गुगलसँग काम गरेका छौं साझेदार समस्या ट्रयाकरगुगललाई सिधै प्रश्नहरू पठाउन। यी मध्ये केही, जस्तै BigQuery Parquet लोडर, पहिले नै गुगल द्वारा लागू गरिएको छ।

गुगलका लागि हाम्रा केही उच्च प्राथमिकता सुविधा अनुरोधहरू यहाँ दिइएका छन्:

LZO-Thrift ढाँचाको लागि सुविधाजनक डेटा स्वागत र समर्थनको लागि उपकरणहरू।
प्रति घण्टा विभाजन
तालिका, पङ्क्ति र स्तम्भ स्तर अनुमतिहरू जस्ता पहुँच नियन्त्रणमा सुधारहरू।
बिगक्वेरी बाह्य डेटा स्रोतहरू हाइभ मेटास्टोर एकीकरण र LZO-थ्रिफ्ट ढाँचाको लागि समर्थनको साथ।
BigQuery UI मा सुधारिएको डेटा क्याटलग एकीकरण
स्लट आवंटन र अनुगमनको लागि स्व-सेवा।

निष्कर्षमा

डेटा विश्लेषण, भिजुअलाइजेशन र मेसिन लर्निङलाई सुरक्षित तरिकाले लोकतान्त्रिकीकरण गर्नु डेटा प्लेटफर्म टोलीको लागि उच्च प्राथमिकता हो। हामीले गुगल बिगक्वेरी र डाटा स्टुडियोलाई यो लक्ष्य हासिल गर्न मद्दत गर्ने उपकरणहरूको रूपमा पहिचान गर्यौं, र गत वर्ष हामीले सम्पूर्ण कम्पनीलाई बिगक्वेरी अल्फा जारी गर्यौं।

हामीले BigQuery क्वेरी गर्नु सरल र प्रभावकारी भएको पायौं। डेटा इन्जेसन र रूपान्तरणको लागि, हामीले साधारण पाइपलाइनहरूको लागि Google उपकरणहरू प्रयोग गर्यौं, तर जटिल पाइपलाइनहरूको लागि, हामीले आफ्नै Airflow पूर्वाधार निर्माण गर्नुपर्‍यो। डेटा व्यवस्थापनको लागि, BigQuery को प्रमाणीकरण, प्राधिकरण, र लेखा परीक्षण सेवाहरूले हाम्रा आवश्यकताहरू पूरा गर्‍यो। मेटाडेटा व्यवस्थापन र गोपनीयताको लागि, हामीलाई थप लचिलोपन आवश्यक थियो र हाम्रा आफ्नै प्रणालीहरू निर्माण गर्नुपर्‍यो। BigQuery, एक व्यवस्थित सेवा भएकोले, सञ्चालन गर्न सजिलो थियो। क्वेरी लागतहरू अवस्थित उपकरणहरू जस्तै थिए। BigQuery मा डेटा भण्डारण गर्दा GCS को अतिरिक्त लागत लाग्थ्यो।

समग्रमा, BigQuery ले सामान्य SQL विश्लेषणको लागि राम्रो काम गर्छ। हामीले BigQuery मा धेरै चासो देखेका छौं, र हामी थप डेटासेटहरू माइग्रेट गर्न, थप टोलीहरूलाई बोर्डमा ल्याउन र BigQuery सँग थप पाइपलाइनहरू निर्माण गर्न काम गरिरहेका छौं। Twitter मा एक विविध डेटासेट छ जसलाई Scalding, Spark, Presto, र Druid जस्ता उपकरणहरूको संयोजन आवश्यक पर्दछ। हामी हाम्रा डेटा विश्लेषण उपकरणहरूलाई निरन्तर बढाउन र हाम्रा प्रस्तावहरूलाई कसरी उत्तम रूपमा प्रयोग गर्ने भन्ने बारे हाम्रा प्रयोगकर्ताहरूलाई स्पष्ट मार्गदर्शन प्रदान गर्न प्रतिबद्ध छौं।

कृतज्ञताका शब्दहरू

म मेरा सह-लेखकहरू र टोलीका साथीहरू, अन्जु झा र विल पास्कुचीलाई यस परियोजनामा उनीहरूको ठूलो सहयोग र कडा परिश्रमको लागि धन्यवाद दिन चाहन्छु। म ट्विटर र गुगलका धेरै टोलीहरूका इन्जिनियरहरू र प्रबन्धकहरूलाई पनि धन्यवाद दिन चाहन्छु जसले हामीलाई मद्दत गरे र बहुमूल्य प्रतिक्रिया प्रदान गर्ने ट्विटरमा BigQuery प्रयोगकर्ताहरूलाई पनि धन्यवाद दिन चाहन्छु।

यदि तपाईं यी कार्यहरूमा काम गर्न इच्छुक हुनुहुन्छ भने, कृपया हाम्रो हेर्नुहोस् रिक्त पदहरू डेटा प्लेटफर्म टोलीमा।

DWH मा डेटा गुणस्तर - डेटा वेयरहाउस स्थिरता

स्रोत: www.habr.com