🥇क्या हमें डेटा लेक की आवश्यकता है? डेटा वेयरहाउस के साथ क्या करें?

यह आलेख माध्यम पर मेरे आलेख का अनुवाद है - डेटा लेक के साथ शुरुआत करना, जो संभवतः अपनी सादगी के कारण काफ़ी लोकप्रिय हुआ। इसलिए, मैंने इसे रूसी में लिखने का फैसला किया और एक सामान्य व्यक्ति को, जो डेटा विशेषज्ञ नहीं है, यह स्पष्ट करने के लिए थोड़ा सा जोड़ दिया कि डेटा वेयरहाउस (डीडब्ल्यू) क्या है, और डेटा लेक क्या है (डेटा लेक), और वे कैसे हैं साथ मिलकर ।

मैं डेटा लेक के बारे में क्यों लिखना चाहता था? मैं 10 वर्षों से अधिक समय से डेटा और एनालिटिक्स के साथ काम कर रहा हूं, और अब मैं निश्चित रूप से कैम्ब्रिज में अमेज़ॅन एलेक्सा एआई में बड़े डेटा के साथ काम कर रहा हूं, जो बोस्टन में है, हालांकि मैं वैंकूवर द्वीप पर विक्टोरिया में रहता हूं और अक्सर बोस्टन, सिएटल जाता हूं , और वैंकूवर में, और कभी-कभी मॉस्को में भी, मैं सम्मेलनों में बोलता हूं। मैं भी समय-समय पर लिखता हूं, लेकिन मैं मुख्य रूप से अंग्रेजी में लिखता हूं और पहले भी लिख चुका हूं कुछ किताबें, मुझे उत्तरी अमेरिका से विश्लेषणात्मक रुझानों को साझा करने की भी आवश्यकता है, और मैं कभी-कभी लिखता हूं तार.

मैंने हमेशा डेटा वेयरहाउस के साथ काम किया है, और 2015 से मैंने अमेज़ॅन वेब सर्विसेज के साथ मिलकर काम करना शुरू किया, और आम तौर पर क्लाउड एनालिटिक्स (एडब्ल्यूएस, एज़्योर, जीसीपी) पर स्विच किया। मैंने 2007 से एनालिटिक्स समाधानों के विकास को देखा है और यहां तक कि डेटा वेयरहाउस विक्रेता टेराडाटा के लिए भी काम किया है और इसे सर्बैंक में लागू किया है, और तभी Hadoop के साथ बिग डेटा सामने आया। हर कोई कहने लगा कि स्टोरेज का युग बीत चुका है और अब सब कुछ Hadoop पर है, और फिर वे डेटा लेक के बारे में बात करने लगे, कि अब डेटा वेयरहाउस का अंत निश्चित रूप से आ गया है। लेकिन सौभाग्य से (शायद दुर्भाग्य से कुछ लोगों के लिए जिन्होंने Hadoop की स्थापना करके बहुत पैसा कमाया), डेटा वेयरहाउस ख़त्म नहीं हुआ।

इस लेख में हम देखेंगे कि डेटा लेक क्या है। यह आलेख उन लोगों के लिए है जिनके पास डेटा वेयरहाउस के साथ बहुत कम या कोई अनुभव नहीं है।

चित्र में लेक ब्लेड है, यह मेरी पसंदीदा झीलों में से एक है, हालाँकि मैं वहाँ केवल एक बार गया था, लेकिन मैंने इसे जीवन भर याद रखा। लेकिन हम एक अन्य प्रकार की झील के बारे में बात करेंगे - डेटा झील। शायद आप में से कई लोग इस शब्द के बारे में एक से अधिक बार सुन चुके होंगे, लेकिन एक और परिभाषा से किसी को कोई नुकसान नहीं होगा।

सबसे पहले, यहां डेटा लेक की सबसे लोकप्रिय परिभाषाएँ दी गई हैं:

"सभी प्रकार के कच्चे डेटा का एक फ़ाइल भंडारण जो संगठन में किसी के भी विश्लेषण के लिए उपलब्ध है" - मार्टिन फाउलर।

“यदि आप सोचते हैं कि डेटा मार्ट पानी की एक बोतल है - जिसे सुविधाजनक उपभोग के लिए शुद्ध, पैक और पैक किया जाता है, तो डेटा लेक अपने प्राकृतिक रूप में पानी का एक विशाल भंडार है। उपयोगकर्ताओं, मैं अपने लिए पानी इकट्ठा कर सकता हूं, गहराई तक गोता लगा सकता हूं, अन्वेषण कर सकता हूं" - जेम्स डिक्सन।

अब हम निश्चित रूप से जानते हैं कि डेटा लेक एनालिटिक्स के बारे में है, यह हमें बड़ी मात्रा में डेटा को उसके मूल रूप में संग्रहीत करने की अनुमति देता है और हमारे पास डेटा तक आवश्यक और सुविधाजनक पहुंच होती है।

मैं अक्सर चीजों को सरल बनाना पसंद करता हूं, अगर मैं किसी जटिल शब्द को सरल शब्दों में समझा सकता हूं, तो मैं खुद समझ जाता हूं कि यह कैसे काम करता है और इसकी क्या जरूरत है। एक दिन, मैं iPhone फोटो गैलरी में इधर-उधर देख रहा था, और मुझे ख्याल आया, यह एक वास्तविक डेटा झील है, मैंने सम्मेलनों के लिए एक स्लाइड भी बनाई:

सब कुछ बहुत सरल है. हम फोन पर एक फोटो लेते हैं, फोटो फोन पर सेव हो जाती है और इसे iCloud (क्लाउड फाइल स्टोरेज) में सेव किया जा सकता है। फ़ोन फ़ोटो मेटाडेटा भी एकत्र करता है: क्या दिखाया गया है, जियो टैग, समय। परिणामस्वरूप, हम अपनी तस्वीर ढूंढने के लिए iPhone के उपयोगकर्ता-अनुकूल इंटरफ़ेस का उपयोग कर सकते हैं और हम संकेतक भी देखते हैं, उदाहरण के लिए, जब मैं आग शब्द के साथ तस्वीरें खोजता हूं, तो मुझे आग की छवि के साथ 3 तस्वीरें मिलती हैं। मेरे लिए, यह एक बिजनेस इंटेलिजेंस टूल की तरह है जो बहुत तेज़ी से और सटीक रूप से काम करता है।

और निश्चित रूप से, हमें सुरक्षा (प्राधिकरण और प्रमाणीकरण) के बारे में नहीं भूलना चाहिए, अन्यथा हमारा डेटा आसानी से सार्वजनिक डोमेन में जा सकता है। बड़े निगमों और स्टार्टअप्स के बारे में बहुत सी खबरें हैं जिनका डेटा डेवलपर्स की लापरवाही और सरल नियमों का पालन करने में विफलता के कारण सार्वजनिक रूप से उपलब्ध हो गया।

इतनी सरल तस्वीर भी हमें यह कल्पना करने में मदद करती है कि डेटा लेक क्या है, पारंपरिक डेटा वेयरहाउस से इसका अंतर और इसके मुख्य तत्व:

डेटा लोड हो रहा है (अंतर्ग्रहण) डेटा लेक का एक प्रमुख घटक है। डेटा दो तरीकों से डेटा वेयरहाउस में प्रवेश कर सकता है - बैच (अंतराल पर लोडिंग) और स्ट्रीमिंग (डेटा प्रवाह)।
फ़ाइल भंडारण (स्टोरेज) डेटा लेक का मुख्य घटक है। हमें भंडारण को आसानी से स्केलेबल, बेहद विश्वसनीय और कम लागत वाला बनाना था। उदाहरण के लिए, AWS में यह S3 है।
कैटलॉग और खोज (कैटलॉग और खोज) - डेटा दलदल से बचने के लिए (यह तब होता है जब हम सभी डेटा को एक ढेर में डंप कर देते हैं, और फिर इसके साथ काम करना असंभव है), हमें डेटा को वर्गीकृत करने के लिए एक मेटाडेटा परत बनाने की आवश्यकता है ताकि उपयोगकर्ता आसानी से वह डेटा पा सकें, जिसकी उन्हें विश्लेषण के लिए आवश्यकता है। इसके अतिरिक्त, आप ElasticSearch जैसे अतिरिक्त खोज समाधानों का उपयोग कर सकते हैं। खोज उपयोगकर्ता को उपयोगकर्ता के अनुकूल इंटरफेस के माध्यम से आवश्यक डेटा ढूंढने में मदद करती है।
प्रसंस्करण (प्रक्रिया) - यह चरण डेटा को संसाधित करने और बदलने के लिए जिम्मेदार है। हम डेटा को रूपांतरित कर सकते हैं, उसकी संरचना बदल सकते हैं, उसे साफ़ कर सकते हैं और बहुत कुछ कर सकते हैं।
सुरक्षा (सुरक्षा) - समाधान के सुरक्षा डिज़ाइन पर समय व्यतीत करना महत्वपूर्ण है। उदाहरण के लिए, भंडारण, प्रसंस्करण और लोडिंग के दौरान डेटा एन्क्रिप्शन। प्रमाणीकरण और प्राधिकरण विधियों का उपयोग करना महत्वपूर्ण है। अंत में, एक ऑडिट टूल की आवश्यकता है।

व्यावहारिक दृष्टिकोण से, हम डेटा लेक को तीन विशेषताओं द्वारा चिह्नित कर सकते हैं:

किसी भी चीज़ को इकट्ठा करके संग्रहित करें - डेटा लेक में सभी डेटा शामिल हैं, किसी भी समयावधि के लिए कच्चे असंसाधित डेटा और संसाधित/साफ किए गए डेटा दोनों।
गहरा अवलोकन करना - एक डेटा लेक उपयोगकर्ताओं को डेटा का पता लगाने और उसका विश्लेषण करने की अनुमति देता है।
लचीली पहुंच - डेटा लेक विभिन्न डेटा और विभिन्न परिदृश्यों के लिए लचीली पहुंच प्रदान करता है।

अब हम डेटा वेयरहाउस और डेटा लेक के बीच अंतर के बारे में बात कर सकते हैं। आमतौर पर लोग पूछते हैं:

डेटा वेयरहाउस के बारे में क्या?
क्या हम डेटा वेयरहाउस को डेटा लेक से बदल रहे हैं या हम इसका विस्तार कर रहे हैं?
क्या डेटा लेक के बिना अब भी ऐसा करना संभव है?

संक्षेप में, कोई स्पष्ट उत्तर नहीं है। यह सब विशिष्ट स्थिति, टीम के कौशल और बजट पर निर्भर करता है। उदाहरण के लिए, एक डेटा वेयरहाउस को Oracle से AWS में स्थानांतरित करना और अमेज़न की एक सहायक कंपनी - वूट - द्वारा एक डेटा लेक बनाना। हमारी डेटा लेक कहानी: कैसे Woot.com ने AWS पर सर्वर रहित डेटा लेक बनाया.

दूसरी ओर, विक्रेता स्नोफ्लेक का कहना है कि अब आपको डेटा लेक के बारे में सोचने की ज़रूरत नहीं है, क्योंकि उनका डेटा प्लेटफ़ॉर्म (2020 तक यह एक डेटा वेयरहाउस था) आपको डेटा लेक और डेटा वेयरहाउस दोनों को संयोजित करने की अनुमति देता है। मैंने स्नोफ्लेक के साथ ज्यादा काम नहीं किया है, और यह वास्तव में एक अनूठा उत्पाद है जो ऐसा कर सकता है। मुद्दे की कीमत एक और मामला है.

अंत में, मेरी व्यक्तिगत राय यह है कि हमें अभी भी अपनी रिपोर्टिंग के लिए डेटा के मुख्य स्रोत के रूप में एक डेटा वेयरहाउस की आवश्यकता है, और जो कुछ भी फिट नहीं होता है उसे हम डेटा लेक में संग्रहीत करते हैं। एनालिटिक्स की पूरी भूमिका व्यवसाय को निर्णय लेने के लिए आसान पहुंच प्रदान करना है। कोई कुछ भी कहे, व्यावसायिक उपयोगकर्ता डेटा लेक की तुलना में डेटा वेयरहाउस के साथ अधिक कुशलता से काम करते हैं, उदाहरण के लिए अमेज़ॅन में - रेडशिफ्ट (विश्लेषणात्मक डेटा वेयरहाउस) है और रेडशिफ्ट स्पेक्ट्रम/एथेना (एस 3 में डेटा लेक के लिए एसक्यूएल इंटरफ़ेस) पर आधारित है। हाइव/प्रेस्टो)। यही बात अन्य आधुनिक विश्लेषणात्मक डेटा वेयरहाउसों पर भी लागू होती है।

आइए एक विशिष्ट डेटा वेयरहाउस आर्किटेक्चर पर नजर डालें:

यह एक क्लासिक समाधान है. हमारे पास स्रोत प्रणालियां हैं, ईटीएल/ईएलटी का उपयोग करके हम डेटा को एक विश्लेषणात्मक डेटा वेयरहाउस में कॉपी करते हैं और इसे बिजनेस इंटेलिजेंस समाधान से जोड़ते हैं (मेरा पसंदीदा टेबलू है, आपके बारे में क्या?)।

इस समाधान के निम्नलिखित नुकसान हैं:

ईटीएल/ईएलटी संचालन के लिए समय और संसाधनों की आवश्यकता होती है।
एक नियम के रूप में, विश्लेषणात्मक डेटा वेयरहाउस में डेटा संग्रहीत करने के लिए मेमोरी सस्ती नहीं है (उदाहरण के लिए, रेडशिफ्ट, बिगक्वेरी, टेराडाटा), क्योंकि हमें एक संपूर्ण क्लस्टर खरीदने की आवश्यकता है।
व्यावसायिक उपयोगकर्ताओं के पास साफ़ और अक्सर एकत्रित डेटा तक पहुंच होती है और कच्चे डेटा तक उनकी पहुंच नहीं होती है।

बेशक, यह सब आपके मामले पर निर्भर करता है। यदि आपको अपने डेटा वेयरहाउस में कोई समस्या नहीं है, तो आपको डेटा लेक की बिल्कुल भी आवश्यकता नहीं है। लेकिन जब जगह की कमी, बिजली या कीमत की समस्या आती है तो आप डेटा लेक के विकल्प पर विचार कर सकते हैं। यही कारण है कि डेटा लेक बहुत लोकप्रिय है। यहां डेटा लेक वास्तुकला का एक उदाहरण दिया गया है:

डेटा लेक दृष्टिकोण का उपयोग करके, हम कच्चे डेटा को अपने डेटा लेक (बैच या स्ट्रीमिंग) में लोड करते हैं, फिर हम आवश्यकतानुसार डेटा को संसाधित करते हैं। डेटा लेक व्यावसायिक उपयोगकर्ताओं को अपना स्वयं का डेटा ट्रांसफ़ॉर्मेशन (ईटीएल/ईएलटी) बनाने या बिज़नेस इंटेलिजेंस समाधानों में डेटा का विश्लेषण करने की अनुमति देता है (यदि आवश्यक ड्राइवर उपलब्ध है)।

किसी भी विश्लेषण समाधान का लक्ष्य व्यावसायिक उपयोगकर्ताओं की सेवा करना है। इसलिए हमें हमेशा व्यावसायिक आवश्यकताओं के अनुसार ही काम करना चाहिए। (अमेज़ॅन में यह सिद्धांतों में से एक है - पीछे की ओर काम करना)।

डेटा वेयरहाउस और डेटा लेक दोनों के साथ काम करते हुए, हम दोनों समाधानों की तुलना कर सकते हैं:

मुख्य निष्कर्ष जो निकाला जा सकता है वह यह है कि डेटा वेयरहाउस डेटा लेक के साथ प्रतिस्पर्धा नहीं करता है, बल्कि इसे पूरक करता है। लेकिन यह आपको तय करना है कि आपके मामले के लिए क्या सही है। इसे स्वयं आज़माना और सही निष्कर्ष निकालना हमेशा दिलचस्प होता है।

मैं आपको एक ऐसा मामला भी बताना चाहूंगा जब मैंने डेटा लेक दृष्टिकोण का उपयोग करना शुरू किया था। सब कुछ काफी मामूली है, मैंने ईएलटी टूल (हमारे पास मैटिलियन ईटीएल था) और अमेज़ॅन रेडशिफ्ट का उपयोग करने की कोशिश की, मेरा समाधान काम करता था, लेकिन आवश्यकताओं के अनुरूप नहीं था।

मुझे 2 मामलों के लिए डेटा प्रदान करने के लिए वेब लॉग लेने, उन्हें बदलने और उन्हें एकत्रित करने की आवश्यकता थी:

मार्केटिंग टीम SEO के लिए बॉट गतिविधि का विश्लेषण करना चाहती थी
आईटी वेबसाइट प्रदर्शन मेट्रिक्स को देखना चाहता था

बहुत ही सरल, बहुत ही सरल लॉग. यहाँ एक उदाहरण है:

https 2018-07-02T22:23:00.186641Z app/my-loadbalancer/50dc6c495c0c9188 
192.168.131.39:2817 10.0.0.1:80 0.086 0.048 0.037 200 200 0 57 
"GET https://www.example.com:443/ HTTP/1.1" "curl/7.46.0" ECDHE-RSA-AES128-GCM-SHA256 TLSv1.2 
arn:aws:elasticloadbalancing:us-east-2:123456789012:targetgroup/my-targets/73e2d6bc24d8a067
"Root=1-58337281-1d84f3d73c47ec4e58577259" "www.example.com" "arn:aws:acm:us-east-2:123456789012:certificate/12345678-1234-1234-1234-123456789012"
1 2018-07-02T22:22:48.364000Z "authenticate,forward" "-" "-"

एक फ़ाइल का वजन 1-4 मेगाबाइट था।

लेकिन एक कठिनाई थी. हमारे पास दुनिया भर में 7 डोमेन थे, और एक दिन में 7000 हजार फ़ाइलें बनाई गईं। यह अधिक मात्रा नहीं है, केवल 50 गीगाबाइट है। लेकिन हमारे रेडशिफ्ट क्लस्टर का आकार भी छोटा (4 नोड्स) था। पारंपरिक तरीके से एक फ़ाइल को लोड करने में लगभग एक मिनट का समय लगा। यानी समस्या का समाधान सीधे तौर पर नहीं हुआ. और यही स्थिति थी जब मैंने डेटा लेक दृष्टिकोण का उपयोग करने का निर्णय लिया। समाधान कुछ इस तरह दिखता था:

यह काफी सरल है (मैं यह नोट करना चाहता हूं कि क्लाउड में काम करने का लाभ सरलता है)। मैंनें इस्तेमाल किया:

कंप्यूट पावर के लिए AWS इलास्टिक मैप रिड्यूस (Hadoop)।
डेटा को एन्क्रिप्ट करने और पहुंच को सीमित करने की क्षमता के साथ फ़ाइल भंडारण के रूप में AWS S3
इनमेमोरी कंप्यूटिंग शक्ति के रूप में स्पार्क और तर्क और डेटा परिवर्तन के लिए पायस्पार्क
स्पार्क के परिणामस्वरूप लकड़ी की छत
नए डेटा और विभाजन के बारे में मेटाडेटा संग्राहक के रूप में AWS ग्लू क्रॉलर
मौजूदा रेडशिफ्ट उपयोगकर्ताओं के लिए डेटा लेक के लिए SQL इंटरफ़ेस के रूप में रेडशिफ्ट स्पेक्ट्रम

सबसे छोटे ईएमआर+स्पार्क क्लस्टर ने फाइलों के पूरे ढेर को 30 मिनट में संसाधित किया। AWS के लिए अन्य मामले भी हैं, विशेष रूप से एलेक्सा से संबंधित, जहां बहुत सारा डेटा है।

अभी हाल ही में मुझे पता चला कि डेटा लेक का एक नुकसान जीडीपीआर है। समस्या यह है कि जब क्लाइंट इसे हटाने के लिए कहता है और डेटा किसी एक फाइल में होता है, तो हम डेटाबेस की तरह डेटा मैनिपुलेशन लैंग्वेज और DELETE ऑपरेशन का उपयोग नहीं कर सकते हैं।

मुझे आशा है कि इस लेख ने डेटा वेयरहाउस और डेटा लेक के बीच अंतर स्पष्ट कर दिया है। यदि आपकी रुचि हो, तो मैं अपने द्वारा पढ़े गए अधिक लेखों या पेशेवरों के लेखों का अनुवाद कर सकता हूँ। और उन समाधानों और उनकी वास्तुकला के बारे में भी बताएं जिनके साथ मैं काम करता हूं।

स्रोत: www.habr.com

क्या हमें डेटा लेक की आवश्यकता है? डेटा वेयरहाउस के साथ क्या करें?

एक टिप्पणी जोड़ें उत्तर रद्द