Google च्या BigQuery ने डेटा विश्लेषणाचे लोकशाहीकरण कसे केले. भाग 2

हॅलो, हॅब्र! नवीन अभ्यासक्रम प्रवाहासाठी नावनोंदणी सध्या OTUS वर उघडली आहे डेटा अभियंता. अभ्यासक्रम सुरू होण्याच्या अपेक्षेने, आम्ही तुमच्यासोबत उपयुक्त साहित्य शेअर करत आहोत.

भाग पहिला वाचा

माहिती व्यवस्थापन

सशक्त डेटा गव्हर्नन्स हा Twitter अभियांत्रिकीचा मुख्य सिद्धांत आहे. आम्ही आमच्या प्लॅटफॉर्ममध्ये BigQuery लागू करत असताना, आम्ही डेटा शोध, प्रवेश नियंत्रण, सुरक्षा आणि गोपनीयता यावर लक्ष केंद्रित करतो.

डेटा शोधण्यासाठी आणि व्यवस्थापित करण्यासाठी, आम्ही आमच्या डेटा ऍक्सेस लेयरचा विस्तार केला आहे DAL) ऑन-प्रिमाइसेस आणि Google क्लाउड डेटा दोन्हीसाठी साधने प्रदान करण्यासाठी, आमच्या वापरकर्त्यांसाठी एकच इंटरफेस आणि API प्रदान करणे. Google म्हणून डेटा कॅटलॉग सामान्य उपलब्धतेकडे वाटचाल करत आहे, आम्ही वापरकर्त्यांना स्तंभ शोध सारखी वैशिष्ट्ये प्रदान करण्यासाठी आमच्या प्रकल्पांमध्ये समाविष्ट करू.

BigQuery डेटा सामायिक करणे आणि त्यात प्रवेश करणे सोपे करते, परंतु डेटा बाहेर टाकणे टाळण्यासाठी आम्हाला यावर काही नियंत्रण असणे आवश्यक आहे. इतर साधनांपैकी, आम्ही दोन कार्ये निवडली:

• डोमेन प्रतिबंधित शेअरिंग: वापरकर्त्यांना Twitter च्या बाहेरील वापरकर्त्यांसोबत BigQuery डेटासेट शेअर करण्यापासून रोखण्यासाठी बीटा वैशिष्ट्य.
• VPC सेवा नियंत्रणे: एक नियंत्रण जे डेटा एक्स्फिल्टेशन प्रतिबंधित करते आणि वापरकर्त्यांना ज्ञात IP पत्ता श्रेणींमधून BigQuery मध्ये प्रवेश करणे आवश्यक आहे.

आम्ही खालीलप्रमाणे सुरक्षेसाठी प्रमाणीकरण, अधिकृतता आणि ऑडिटिंग (AAA) आवश्यकता लागू केल्या आहेत:

• प्रमाणीकरण: आम्ही तदर्थ विनंत्यांसाठी GCP वापरकर्ता खाती आणि उत्पादन विनंत्यांसाठी सेवा खाती वापरली.
• अधिकृतता: आम्हाला प्रत्येक डेटासेटमध्ये मालक सेवा खाते आणि वाचक गट असणे आवश्यक आहे.
• ऑडिटिंग: सुलभ विश्लेषणासाठी आम्ही BigQuery स्टॅकड्रिव्हर लॉग एक्सपोर्ट केले, ज्यात तपशीलवार क्वेरी एक्झिक्यूशन माहिती आहे.

Twitter वापरकर्त्यांचा वैयक्तिक डेटा योग्य प्रकारे हाताळला गेला आहे याची खात्री करण्यासाठी, आम्ही सर्व BigQuery डेटासेटची नोंदणी करणे, वैयक्तिक डेटाचे भाष्य करणे, योग्य स्टोरेज राखणे आणि वापरकर्त्यांद्वारे हटवलेला डेटा हटवणे (स्क्रॅप) करणे आवश्यक आहे.

आम्ही गुगल बघितले क्लाउड डेटा लॉस प्रिव्हेंशन API, जे संवेदनशील डेटाचे वर्गीकरण आणि संपादन करण्यासाठी मशीन लर्निंग वापरते, परंतु अचूकतेमुळे डेटासेट मॅन्युअली भाष्य करण्याच्या बाजूने निर्णय घेतला. सानुकूल भाष्य वाढवण्यासाठी आम्ही डेटा लॉस प्रिव्हेंशन API वापरण्याची योजना आखत आहोत.

Twitter वर, आम्ही BigQuery मधील डेटासेटसाठी चार गोपनीयता श्रेणी तयार केल्या आहेत, जे येथे संवेदनशीलतेच्या उतरत्या क्रमाने सूचीबद्ध आहेत:

• अत्यंत संवेदनशील डेटा संच किमान विशेषाधिकाराच्या तत्त्वावर आधारित आवश्यकतेनुसार उपलब्ध करून दिले जातात. प्रत्येक डेटा सेटमध्ये वाचकांचा एक वेगळा गट असतो आणि आम्ही वैयक्तिक खात्यांद्वारे वापराचा मागोवा घेऊ.
• मध्यम संवेदनशीलता डेटासेट (सॉल्टेड हॅशिंग वापरून वन-वे छद्म नाव) मध्ये वैयक्तिकरित्या ओळखण्यायोग्य माहिती (PII) नसते आणि कर्मचार्‍यांच्या मोठ्या गटासाठी प्रवेशयोग्य असतात. गोपनीयतेची चिंता आणि डेटा युटिलिटी यांच्यात हे चांगले संतुलन आहे. हे कर्मचार्‍यांना विश्लेषण कार्ये करण्यास अनुमती देते, जसे की वास्तविक वापरकर्ते कोण आहेत हे जाणून न घेता, वैशिष्ट्य वापरलेल्या वापरकर्त्यांची संख्या मोजणे.
• सर्व वापरकर्ता ओळख माहितीसह कमी संवेदनशीलता डेटासेट. गोपनीयतेच्या दृष्टीकोनातून हा एक चांगला दृष्टीकोन आहे, परंतु वापरकर्ता-स्तरीय विश्लेषणासाठी वापरला जाऊ शकत नाही.
• सार्वजनिक डेटासेट (Twitter च्या बाहेर प्रसिद्ध) सर्व Twitter कर्मचार्‍यांसाठी उपलब्ध आहेत.

लॉगिंगसाठी, आम्ही BigQuery डेटासेटची गणना करण्यासाठी आणि डेटा ऍक्सेस लेयरसह त्यांची नोंदणी करण्यासाठी शेड्यूल केलेली कार्ये वापरली (DAL), Twitter मेटाडेटा भांडार. वापरकर्ते गोपनीयता माहितीसह डेटासेट भाष्य करतील आणि धारणा कालावधी देखील निर्दिष्ट करतील. साफसफाईसाठी, आम्ही दोन पर्यायांची कार्यक्षमता आणि किंमतीचे मूल्यांकन करतो: 1. Scalding सारख्या साधनांचा वापर करून GCS मधील डेटासेट साफ करणे आणि त्यांना BigQuery मध्ये लोड करणे; 2. BigQuery DML स्टेटमेंट वापरणे. आम्ही कदाचित भिन्न गट आणि डेटाच्या आवश्यकता पूर्ण करण्यासाठी दोन्ही पद्धतींचे संयोजन वापरू.

सिस्टम कार्यक्षमता

BigQuery ही व्यवस्थापित सेवा असल्यामुळे, सिस्टीम व्यवस्थापन किंवा डेस्क ड्युटीमध्ये Twitter च्या SRE टीमला सामील करण्याची गरज नव्हती. स्टोरेज आणि कॉम्प्युटिंग दोन्हीसाठी अधिक क्षमता प्रदान करणे सोपे होते. आम्ही Google समर्थनासह तिकीट तयार करून स्लॉट आरक्षण बदलू शकतो. आम्ही सेल्फ-सर्व्हिस स्लॉट वाटप आणि मॉनिटरिंगसाठी डॅशबोर्ड सुधारणा यासारख्या सुधारल्या जाऊ शकतात अशी क्षेत्रे ओळखली आणि त्या विनंत्या Google कडे सबमिट केल्या.

खर्च

आमच्या प्राथमिक विश्लेषणात असे दिसून आले आहे की BigQuery आणि Presto साठी क्वेरी खर्च समान पातळीवर होता. आम्ही साठी स्लॉट खरेदी केले निश्चित पेमेंट ऐवजी स्थिर मासिक खर्चाची किंमत मागणीनुसार प्रक्रिया केलेल्या डेटाच्या प्रति टीबी. हा निर्णय प्रत्येक विनंती करण्यापूर्वी खर्चाचा विचार करू इच्छित नसलेल्या वापरकर्त्यांच्या अभिप्रायावर आधारित होता.

BigQuery मध्ये डेटा संचयित केल्याने GCS खर्चाव्यतिरिक्त खर्च येतो. Scalding सारख्या साधनांना GCS मध्ये डेटासेट आवश्यक आहेत आणि BigQuery मध्ये प्रवेश करण्यासाठी आम्हाला तेच डेटासेट BigQuery फॉरमॅटमध्ये लोड करावे लागले संधारित्र. आम्ही BigQuery डेटासेटच्या स्कॅल्डिंग कनेक्शनवर काम करत आहोत जे GCS आणि BigQuery दोन्हीमध्ये डेटासेट स्टोअर करण्याची गरज दूर करेल.

दहापट पेटाबाइट्सच्या क्वचित प्रश्नांची आवश्यकता असलेल्या दुर्मिळ प्रकरणांसाठी, आम्ही ठरवले की BigQuery मध्ये डेटासेट संचयित करणे किफायतशीर नाही आणि GCS मधील डेटासेटमध्ये थेट प्रवेश करण्यासाठी Presto चा वापर केला. हे करण्यासाठी, आम्ही BigQuery बाह्य डेटा स्रोत पाहत आहोत.

पुढील पायऱ्या

अल्फा रिलीज झाल्यापासून आम्ही BigQuery मध्ये खूप स्वारस्य पाहिले आहे. आम्ही BigQuery मध्ये अधिक डेटासेट आणि अधिक आदेश जोडत आहोत. आम्ही BigQuery स्टोरेजवर वाचण्यासाठी आणि लिहिण्यासाठी Scalding सारख्या डेटा विश्लेषण साधनांसाठी कनेक्टर विकसित करतो. BigQuery डेटासेट वापरून एंटरप्राइझ गुणवत्ता अहवाल आणि नोट्स तयार करण्यासाठी आम्ही Looker आणि Apache Zeppelin सारखी साधने पाहत आहोत.

Google सह आमचे सहकार्य खूप फलदायी ठरले आहे आणि ही भागीदारी पुढे चालू ठेवण्यास आणि विकसित करण्यात आम्हाला आनंद होत आहे. आम्ही आमची स्वतःची अंमलबजावणी करण्यासाठी Google सह काम केले भागीदार समस्या ट्रॅकरथेट Google वर क्वेरी पाठवण्यासाठी. त्यापैकी काही, जसे की BigQuery Parquet लोडर, Google द्वारे आधीच लागू केले गेले आहे.

Google साठी आमच्या काही उच्च प्राधान्य वैशिष्ट्य विनंत्या येथे आहेत:

• सोयीस्कर डेटा रिसेप्शनसाठी साधने आणि LZO-थ्रिफ्ट फॉरमॅटसाठी समर्थन.
• तासाचे विभाजन
• प्रवेश नियंत्रण सुधारणा जसे की टेबल-, पंक्ती- आणि स्तंभ-स्तरीय परवानग्या.
• बिगक्वेरी बाह्य डेटा स्रोत Hive Metastore एकत्रीकरण आणि LZO-Trift फॉरमॅटसाठी समर्थनासह.
• BigQuery वापरकर्ता इंटरफेसमध्ये सुधारित डेटा कॅटलॉग एकत्रीकरण
• स्लॉट वाटप आणि देखरेखीसाठी स्वयं-सेवा.

निष्कर्ष

डेटा प्लॅटफॉर्म टीमसाठी डेटा विश्लेषण, व्हिज्युअलायझेशन आणि मशीन लर्निंगचे सुरक्षित पद्धतीने लोकशाहीकरण करणे ही सर्वोच्च प्राथमिकता आहे. आम्ही Google BigQuery आणि डेटा स्टुडिओ अशी साधने ओळखली जी हे उद्दिष्ट साध्य करण्यात मदत करू शकतील आणि मागच्या वर्षी BigQuery Alpha कंपनीभर रिलीझ केली.

आम्हाला BigQuery मधील क्वेरी सोप्या आणि कार्यक्षम असल्याचे आढळले. आम्ही साध्या पाइपलाइनसाठी डेटा अंतर्भूत करण्यासाठी आणि रूपांतरित करण्यासाठी Google साधने वापरली, परंतु जटिल पाइपलाइनसाठी आम्हाला स्वतःचे एअरफ्लो फ्रेमवर्क तयार करावे लागले. डेटा व्यवस्थापन जागेत, प्रमाणीकरण, अधिकृतता आणि ऑडिटिंगसाठी BigQuery च्या सेवा आमच्या गरजा पूर्ण करतात. मेटाडेटा व्यवस्थापित करण्यासाठी आणि गोपनीयता राखण्यासाठी, आम्हाला अधिक लवचिकतेची आवश्यकता होती आणि आमच्या स्वतःच्या सिस्टम तयार कराव्या लागल्या. BigQuery ही व्यवस्थापित सेवा असल्याने वापरण्यास सोपी होती. क्वेरी खर्च विद्यमान साधनांप्रमाणेच होते. BigQuery मध्ये डेटा संचयित करण्यासाठी GCS खर्चाव्यतिरिक्त खर्च येतो.

एकंदरीत, BigQuery सामान्य SQL विश्लेषणासाठी चांगले काम करते. आम्ही BigQuery मध्ये खूप स्वारस्य पाहत आहोत आणि आम्ही अधिक डेटा संच स्थलांतरित करण्यासाठी, अधिक संघ आणण्यासाठी आणि BigQuery सह आणखी पाइपलाइन तयार करण्यासाठी काम करत आहोत. Twitter विविध प्रकारच्या डेटाचा वापर करते ज्यासाठी Scalding, Spark, Presto आणि Druid सारख्या साधनांच्या संयोजनाची आवश्यकता असेल. आमची डेटा अॅनालिटिक्स टूल्स बळकट करण्याचा आणि आमच्या ऑफरचा सर्वोत्तम वापर कसा करायचा याबद्दल आमच्या वापरकर्त्यांना स्पष्ट मार्गदर्शन पुरवण्याचा आमचा मानस आहे.

कृतज्ञतेचे शब्द

मी माझे सह-लेखक आणि संघमित्र, अंजू झा आणि विल पासुची, या प्रकल्पासाठी त्यांच्या उत्कृष्ट सहकार्यासाठी आणि कठोर परिश्रमांसाठी आभार मानू इच्छितो. मला Twitter आणि Google मधील अनेक टीममधील अभियंते आणि व्यवस्थापकांचे आभार मानायचे आहेत ज्यांनी आम्हाला मदत केली आणि Twitter वरील BigQuery वापरकर्ते ज्यांनी मौल्यवान अभिप्राय दिला.

तुम्हाला या समस्यांवर काम करण्यात स्वारस्य असल्यास, आमचे पहा रिक्त पदे डेटा प्लॅटफॉर्म टीममध्ये.

DWH मधील डेटा गुणवत्ता - डेटा वेअरहाऊस सुसंगतता

स्त्रोत: www.habr.com