Google च्या BigQuery ने डेटा विश्लेषणाचे लोकशाहीकरण कसे केले. भाग 1

हॅलो, हॅब्र! नवीन अभ्यासक्रम प्रवाहासाठी नावनोंदणी सध्या OTUS वर उघडली आहे डेटा अभियंता. अभ्यासक्रम सुरू होण्याच्या अपेक्षेने, आम्ही परंपरेने तुमच्यासाठी मनोरंजक सामग्रीचे भाषांतर तयार केले आहे.

जगात काय चालले आहे हे जाणून घेण्यासाठी आणि त्यावर चर्चा करण्यासाठी दररोज शंभर दशलक्षाहून अधिक लोक ट्विटरला भेट देतात. प्रत्येक ट्विट आणि प्रत्येक इतर वापरकर्ता क्रिया Twitter च्या अंतर्गत डेटा विश्लेषणासाठी उपलब्ध असलेला एक कार्यक्रम तयार करते. शेकडो कर्मचारी या डेटाचे विश्लेषण आणि कल्पना करतात आणि त्यांचा अनुभव सुधारणे हे Twitter डेटा प्लॅटफॉर्म टीमसाठी सर्वोच्च प्राधान्य आहे.

आमचा विश्वास आहे की तांत्रिक कौशल्यांची विस्तृत श्रेणी असलेले वापरकर्ते डेटा शोधण्यात सक्षम असले पाहिजेत आणि त्यांना SQL-आधारित विश्लेषण आणि व्हिज्युअलायझेशन साधनांमध्ये प्रवेश मिळावा. हे डेटा विश्लेषक आणि उत्पादन व्यवस्थापकांसह कमी तांत्रिक वापरकर्त्यांच्या संपूर्ण नवीन गटाला डेटामधून अंतर्दृष्टी काढण्यास अनुमती देईल, त्यांना Twitter च्या क्षमता अधिक चांगल्या प्रकारे समजून घेण्यास आणि वापरण्यास अनुमती देईल. अशा प्रकारे आम्ही Twitter वर डेटा विश्लेषणाचे लोकशाहीकरण करतो.

जसजसे आमची साधने आणि अंतर्गत डेटा विश्लेषण क्षमता सुधारली आहे, तसतसे आम्ही Twitter सुधारलेले पाहिले आहे. तथापि, अद्याप सुधारणेला वाव आहे. स्कॅल्डिंग सारख्या वर्तमान साधनांना प्रोग्रामिंग अनुभव आवश्यक आहे. Presto आणि Vertica सारख्या SQL-आधारित विश्लेषण साधनांमध्ये मोठ्या प्रमाणावर कार्यप्रदर्शन समस्या आहेत. आमच्याकडे सतत प्रवेश न करता एकाधिक सिस्टमवर डेटा वितरित करण्याची समस्या देखील आहे.

गेल्या वर्षी आम्ही घोषणा केली Google सह नवीन सहयोग, ज्यामध्ये आम्ही आमचे भाग हस्तांतरित करतो डेटा पायाभूत सुविधा Google Cloud Platform (GCP) वर. आम्ही असा निष्कर्ष काढला आहे की Google क्लाउड टूल्स मोठी माहिती Twitter वर विश्लेषण, व्हिज्युअलायझेशन आणि मशीन लर्निंगचे लोकशाहीकरण करण्याच्या आमच्या पुढाकारांमध्ये आम्हाला मदत करू शकते:

• बिगक्वेरी: SQL इंजिन आधारित एंटरप्राइझ डेटा वेअरहाऊस Dremel, जे त्याच्या वेग, साधेपणा आणि सामना करण्यासाठी प्रसिद्ध आहे मशीन लर्निंग.
• डेटा स्टुडिओ: Google डॉक्स सारख्या सहयोग वैशिष्ट्यांसह मोठे डेटा व्हिज्युअलायझेशन साधन.

या लेखात, आपण या साधनांबद्दलच्या आमच्या अनुभवाबद्दल जाणून घ्याल: आम्ही काय केले, आम्ही काय शिकलो आणि आम्ही पुढे काय करू. आम्ही आता बॅच आणि परस्परसंवादी विश्लेषणावर लक्ष केंद्रित करू. पुढील लेखात आपण रिअल-टाइम विश्लेषणावर चर्चा करू.

ट्विटर डेटा स्टोअर्सचा इतिहास

BigQuery मध्ये जाण्यापूर्वी, Twitter डेटा वेअरहाउसिंगचा इतिहास थोडक्यात सांगणे योग्य आहे. 2011 मध्ये, ट्विटर डेटा विश्लेषण व्हर्टिका आणि हडूपमध्ये केले गेले. MapReduce Hadoop नोकऱ्या तयार करण्यासाठी आम्ही Pig चा वापर केला. 2012 मध्ये, आम्ही पिगला स्कॅल्डिंगने बदलले, ज्यामध्ये जटिल पाइपलाइन तयार करण्याची क्षमता आणि चाचणीची सुलभता यासारख्या फायद्यांसह Scala API होते. तथापि, अनेक डेटा विश्लेषक आणि उत्पादन व्यवस्थापकांसाठी जे SQL सह काम करण्यास अधिक सोयीस्कर होते, ते खूप मोठे शिक्षण वक्र होते. 2016 च्या आसपास, आम्ही Hadoop डेटासाठी SQL इंटरफेस म्हणून Presto वापरण्यास सुरुवात केली. स्पार्कने पायथन इंटरफेस ऑफर केला, ज्यामुळे तो तदर्थ डेटा विज्ञान आणि मशीन लर्निंगसाठी चांगला पर्याय बनतो.

2018 पासून, आम्ही डेटा विश्लेषण आणि व्हिज्युअलायझेशनसाठी खालील साधने वापरली आहेत:

• उत्पादन conveyors साठी scalding
• तदर्थ डेटा विश्लेषण आणि मशीन लर्निंगसाठी स्कॅल्डिंग आणि स्पार्क
• तदर्थ आणि परस्परसंवादी SQL विश्लेषणासाठी व्हर्टिका आणि प्रेस्टो
• वेळ मालिका मेट्रिक्समध्ये कमी परस्परसंवादी, अन्वेषणात्मक आणि कमी विलंब प्रवेशासाठी ड्रुइड
• डेटा व्हिज्युअलायझेशनसाठी झांकी, झेपेलिन आणि पिव्होट

आम्हाला आढळले की ही साधने अतिशय शक्तिशाली क्षमता प्रदान करत असताना, आम्हाला Twitter वर व्यापक प्रेक्षकांसाठी या क्षमता उपलब्ध करून देण्यात अडचण आली. Google Cloud सह आमचे प्लॅटफॉर्म विस्तारित करून, आम्ही सर्व Twitter साठी आमचे विश्लेषण साधने सुलभ करण्यावर लक्ष केंद्रित करत आहोत.

Google चे BigQuery डेटा वेअरहाऊस

Twitter वरील अनेक संघांनी आधीच त्यांच्या काही उत्पादन पाइपलाइनमध्ये BigQuery समाविष्ट केले आहे. त्यांचे कौशल्य वापरून, आम्ही सर्व Twitter वापर प्रकरणांसाठी BigQuery च्या क्षमतांचे मूल्यांकन करण्यास सुरुवात केली. आमचे ध्येय संपूर्ण कंपनीला BigQuery ऑफर करणे आणि डेटा प्लॅटफॉर्म टूलसेटमध्ये त्याचे मानकीकरण आणि समर्थन करणे हे होते. हे अनेक कारणांमुळे अवघड होते. आम्‍हाला मोठ्या प्रमाणात डेटा विश्‍वासार्हपणे अंतर्भूत करण्‍यासाठी, कंपनी-व्यापी डेटा व्‍यवस्‍थापनाला समर्थन देण्‍यासाठी, योग्य प्रवेश नियंत्रणे सुनिश्चित करण्‍यासाठी आणि ग्राहकांची गोपनीयता सुनिश्चित करण्‍यासाठी पायाभूत सुविधा विकसित करणे आवश्‍यक आहे. आम्हाला संसाधन वाटप, देखरेख आणि चार्जबॅकसाठी सिस्टम तयार करावे लागले जेणेकरून टीम BigQuery प्रभावीपणे वापरू शकतील.

नोव्हेंबर 2018 मध्ये, आम्ही BigQuery आणि डेटा स्टुडिओचे कंपनी-व्यापी अल्फा रिलीज केले. आम्ही ट्विटर कर्मचार्‍यांना आमच्या काही वारंवार वापरल्या जाणार्‍या स्प्रेडशीट्स साफ केलेल्या वैयक्तिक डेटासह ऑफर केल्या आहेत. BigQuery चा वापर अभियांत्रिकी, वित्त आणि विपणन यासह विविध संघांमधील 250 हून अधिक वापरकर्त्यांनी केला आहे. अगदी अलीकडे, ते सुमारे 8k विनंत्या चालवत होते, दरमहा सुमारे 100 PB प्रक्रिया करत होते, शेड्यूल केलेल्या विनंत्या मोजत नाहीत. अतिशय सकारात्मक अभिप्राय मिळाल्यानंतर, आम्ही पुढे जाण्याचा निर्णय घेतला आणि Twitter वर डेटाशी संवाद साधण्यासाठी प्राथमिक संसाधन म्हणून BigQuery ऑफर केले.

आमच्या Google BigQuery डेटा वेअरहाऊस आर्किटेक्चरचा उच्च-स्तरीय आकृती येथे आहे.

आम्ही अंतर्गत क्लाउड रेप्लिकेटर टूल वापरून ऑन-प्रिमाइसेस हडूप क्लस्टर्समधील डेटा Google क्लाउड स्टोरेज (GCS) वर कॉपी करतो. त्यानंतर आम्ही "अपाचे एअरफ्लो" वापरणाऱ्या पाइपलाइन तयार करण्यासाठी वापरतो.bq_load» GCS वरून BigQuery मध्ये डेटा लोड करण्यासाठी. GCS मध्ये Parquet किंवा Thrift-LZO डेटासेटची चौकशी करण्यासाठी आम्ही Presto वापरतो. BQ Blaster हे HDFS Vertica आणि Thrift-LZO डेटासेट BigQuery मध्ये लोड करण्यासाठी अंतर्गत स्केल्डिंग साधन आहे.

पुढील विभागांमध्ये, आम्ही वापरात सुलभता, कार्यप्रदर्शन, डेटा व्यवस्थापन, सिस्टम आरोग्य आणि खर्च या क्षेत्रातील आमच्या दृष्टिकोन आणि कौशल्याची चर्चा करतो.

वापरण्याची सोय

आम्हाला आढळले की वापरकर्त्यांसाठी BigQuery सह प्रारंभ करणे सोपे होते कारण त्यास सॉफ्टवेअर इंस्टॉलेशनची आवश्यकता नसते आणि वापरकर्ते अंतर्ज्ञानी वेब इंटरफेसद्वारे त्यात प्रवेश करू शकतात. तथापि, वापरकर्त्यांना प्रकल्प, डेटासेट आणि सारण्यांसारख्या संसाधनांसह GCP ची काही वैशिष्ट्ये आणि संकल्पनांशी परिचित होणे आवश्यक आहे. वापरकर्त्यांना सुरुवात करण्यात मदत करण्यासाठी आम्ही शैक्षणिक साहित्य आणि ट्यूटोरियल विकसित केले आहेत. मूलभूत समज मिळाल्यामुळे, वापरकर्त्यांना डेटा सेट नेव्हिगेट करणे, स्कीमा आणि टेबल डेटा पाहणे, साध्या क्वेरी चालवणे आणि डेटा स्टुडिओमध्ये परिणामांची कल्पना करणे सोपे झाले.

BigQuery मधील डेटा एंट्रीचे आमचे ध्येय एका क्लिकवर HDFS किंवा GCS डेटासेटचे अखंड लोडिंग सक्षम करणे हे होते. आम्ही विचार केला मेघ संगीतकार (एअरफ्लोद्वारे व्यवस्थापित) परंतु आमच्या डोमेन प्रतिबंधित सामायिकरण सुरक्षा मॉडेलमुळे ते वापरता आले नाही (खालील डेटा व्यवस्थापन विभागात याबद्दल अधिक). BigQuery वर्कलोड ऑर्केस्ट्रेट करण्यासाठी आम्ही Google डेटा ट्रान्सफर सर्व्हिस (DTS) वापरण्याचा प्रयोग केला. DTS त्वरीत सेट अप करताना, ते अवलंबित्वांसह पाइपलाइन बांधण्यासाठी लवचिक नव्हते. आमच्या अल्फा रिलीझसाठी, आम्ही GCE मध्ये आमचे स्वतःचे Apache Airflow फ्रेमवर्क तयार केले आहे आणि ते उत्पादनात चालण्यासाठी तयार करत आहोत आणि Vertica सारख्या अधिक डेटा स्रोतांना समर्थन देण्यास सक्षम आहोत.

डेटाला BigQuery मध्ये रूपांतरित करण्यासाठी, वापरकर्ते शेड्यूल केलेल्या क्वेरी वापरून साध्या SQL डेटा पाइपलाइन तयार करतात. अवलंबनांसह जटिल मल्टी-स्टेज पाइपलाइनसाठी, आम्ही आमची स्वतःची एअरफ्लो फ्रेमवर्क किंवा क्लाउड कंपोझर वापरण्याची योजना आखत आहोत क्लाऊड डेटाफ्लो.

उत्पादकता

BigQuery सामान्य उद्देशाच्या SQL क्वेरीसाठी डिझाइन केले आहे ज्या मोठ्या प्रमाणात डेटावर प्रक्रिया करतात. हे कमी लेटन्सीसाठी, ट्रान्झॅक्शनल डेटाबेसला आवश्यक असलेल्या उच्च थ्रूपुट क्वेरीसाठी किंवा अंमलात आणलेल्या कमी विलंब वेळेच्या मालिका विश्लेषणासाठी नाही. अपाचे ड्रुइड. परस्पर विश्लेषणात्मक प्रश्नांसाठी, आमचे वापरकर्ते एक मिनिटापेक्षा कमी वेळेच्या प्रतिसादाची अपेक्षा करतात. या अपेक्षा पूर्ण करण्यासाठी आम्हाला आमचा BigQuery वापर डिझाइन करावा लागला. आमच्या वापरकर्त्यांसाठी अंदाजे कार्यप्रदर्शन प्रदान करण्यासाठी, आम्ही BigQuery कार्यक्षमतेचा लाभ घेतला आहे, जी ग्राहकांना फ्लॅट फीच्या आधारावर उपलब्ध आहे जी प्रकल्प मालकांना त्यांच्या प्रश्नांसाठी किमान स्लॉट आरक्षित करू देते. स्लॉट BigQuery हे SQL क्वेरी कार्यान्वित करण्यासाठी आवश्यक असलेल्या संगणकीय शक्तीचे एकक आहे.

आम्ही प्रत्येकी अंदाजे 800 TB डेटावर प्रक्रिया करणार्‍या 1 पेक्षा जास्त क्वेरींचे विश्लेषण केले आणि असे आढळले की सरासरी अंमलबजावणी वेळ 30 सेकंद आहे. आम्ही हे देखील शिकलो की विविध प्रकल्प आणि कार्यांमध्ये आमच्या स्लॉटच्या वापरावर कार्यप्रदर्शन खूप अवलंबून असते. उत्पादन वापर प्रकरणे आणि ऑनलाइन विश्लेषणासाठी कार्यप्रदर्शन राखण्यासाठी आम्हाला आमचे उत्पादन आणि तदर्थ स्लॉट राखीव स्पष्टपणे चित्रित करावे लागले. स्लॉट आरक्षण आणि प्रकल्प पदानुक्रमासाठी आमच्या डिझाइनवर याचा खूप प्रभाव पडला.

आम्ही भाषांतराच्या दुसऱ्या भागात डेटा व्यवस्थापन, कार्यक्षमता आणि सिस्टमची किंमत याबद्दल येत्या काही दिवसांत बोलू, परंतु आता आम्ही सर्वांना आमंत्रित करतो विनामूल्य थेट वेबिनार, ज्या दरम्यान तुम्ही कोर्सबद्दल तपशीलवार जाणून घेण्यास सक्षम असाल, तसेच आमच्या तज्ञांना प्रश्न विचारू शकाल - Egor Mateshuk (वरिष्ठ डेटा अभियंता, MaximaTelecom).

पुढे वाचा:

• डेटा बिल्ड टूल किंवा डेटा वेअरहाऊस आणि स्मूदीमध्ये काय साम्य आहे
• डेल्टा लेकमध्ये जा: स्कीमा अंमलबजावणी आणि उत्क्रांती
• Apache Arrow सह Python मध्ये हाय-स्पीड Apache Parquet

स्त्रोत: www.habr.com