आम्हाला डेटा लेकची गरज आहे का? डेटा वेअरहाऊसचे काय करायचे?

हा लेख माझ्या माध्यमावरील लेखाचा अनुवाद आहे - डेटा लेकसह प्रारंभ करणे, जे बरेच लोकप्रिय झाले, कदाचित त्याच्या साधेपणामुळे. म्हणून, मी ते रशियन भाषेत लिहिण्याचे ठरवले आणि डेटा वेअरहाऊस (DW) म्हणजे काय आणि डेटा लेक म्हणजे काय आणि ते कसे हे डेटा स्पेशालिस्ट नसलेल्या सामान्य व्यक्तीला स्पष्ट करण्यासाठी थोडे जोडण्याचे ठरवले. एकत्र येणे.

मला डेटा लेक बद्दल का लिहायचे होते? मी 10 वर्षांहून अधिक काळ डेटा आणि विश्लेषणासह काम करत आहे, आणि आता मी निश्चितपणे केंब्रिजमधील Amazon Alexa AI येथे मोठ्या डेटासह काम करत आहे, जे बोस्टनमध्ये आहे, जरी मी व्हँकुव्हर बेटावरील व्हिक्टोरिया येथे राहतो आणि अनेकदा बोस्टन, सिएटलला भेट देतो. , आणि व्हँकुव्हरमध्ये आणि कधीकधी मॉस्कोमध्येही मी परिषदांमध्ये बोलतो. मी देखील वेळोवेळी लिहितो, परंतु मी मुख्यतः इंग्रजीत लिहितो आणि मी आधीच लिहिले आहे काही पुस्तके, मला उत्तर अमेरिकेतील विश्लेषण ट्रेंड सामायिक करण्याची देखील आवश्यकता आहे आणि मी कधीकधी लिहितो तार.

मी नेहमी डेटा वेअरहाऊससह काम केले आहे आणि 2015 पासून मी Amazon वेब सर्व्हिसेससह जवळून काम करण्यास सुरुवात केली आणि सामान्यतः क्लाउड अॅनालिटिक्स (AWS, Azure, GCP) वर स्विच केले. मी 2007 पासून अॅनालिटिक्स सोल्यूशन्सच्या उत्क्रांतीचे निरीक्षण केले आहे आणि डेटा वेअरहाऊस विक्रेता टेराडाटा साठी देखील काम केले आहे आणि ते Sberbank येथे लागू केले आहे आणि तेव्हाच Hadoop सह बिग डेटा दिसला. सर्वजण म्हणू लागले की स्टोरेजचे युग संपले आहे आणि आता सर्व काही हडूपवर आहे, आणि नंतर ते पुन्हा डेटा लेकबद्दल बोलू लागले की, आता डेटा वेअरहाऊसचा शेवट नक्कीच झाला आहे. पण सुदैवाने (कदाचित दुर्दैवाने ज्यांनी हडूप सेट करून भरपूर पैसे कमवले त्यांच्यासाठी) डेटा वेअरहाऊस गेला नाही.

या लेखात आपण डेटा लेक म्हणजे काय ते पाहू. हा लेख अशा लोकांसाठी आहे ज्यांना डेटा वेअरहाऊसचा कमी किंवा कोणताही अनुभव नाही.

चित्रात लेक ब्लेड आहे, हे माझ्या आवडत्या तलावांपैकी एक आहे, जरी मी तिथे फक्त एकदाच गेलो होतो, मला ते आयुष्यभर लक्षात राहिले. परंतु आम्ही दुसर्‍या प्रकारच्या तलावाबद्दल बोलू - डेटा तलाव. कदाचित तुमच्यापैकी अनेकांनी या शब्दाबद्दल एकापेक्षा जास्त वेळा ऐकले असेल, परंतु आणखी एक व्याख्या कोणालाही हानी पोहोचवू शकणार नाही.

सर्व प्रथम, येथे डेटा लेकच्या सर्वात लोकप्रिय व्याख्या आहेत:

"संस्थेतील कोणाच्याही विश्लेषणासाठी उपलब्ध असलेल्या सर्व प्रकारच्या कच्च्या डेटाचे फाइल संचयन" - मार्टिन फॉलर.

“जर तुम्हाला वाटत असेल की डेटा मार्ट ही पाण्याची बाटली आहे - शुद्ध केलेली, पॅक केलेली आणि सोयीस्कर वापरासाठी पॅकेज केलेली आहे, तर डेटा तलाव हा त्याच्या नैसर्गिक स्वरूपात पाण्याचा एक मोठा साठा आहे. वापरकर्ते, मी स्वतःसाठी पाणी गोळा करू शकतो, खोल बुडी मारू शकतो, एक्सप्लोर करू शकतो” - जेम्स डिक्सन.

आता आम्हाला निश्चितपणे माहित आहे की डेटा लेक हे विश्लेषणाबद्दल आहे, ते आम्हाला मोठ्या प्रमाणात डेटा त्याच्या मूळ स्वरूपात संग्रहित करण्यास अनुमती देते आणि आमच्याकडे डेटामध्ये आवश्यक आणि सोयीस्कर प्रवेश आहे.

मला बर्‍याचदा गोष्टी सोप्या करायला आवडतात, जर मी एखादी जटिल संज्ञा सोप्या शब्दात समजावून सांगू शकलो तर ते कसे कार्य करते आणि कशासाठी आवश्यक आहे हे मला स्वतःला समजते. एके दिवशी, मी आयफोनच्या फोटो गॅलरीमध्ये फिरत होतो, आणि ते माझ्यावर पडले, हा एक वास्तविक डेटा तलाव आहे, मी कॉन्फरन्ससाठी एक स्लाइड देखील बनवली:

सर्व काही अगदी सोपे आहे. आम्ही फोनवर फोटो काढतो, फोटो फोनवर सेव्ह केला जातो आणि iCloud (क्लाउड फाइल स्टोरेज) मध्ये सेव्ह केला जाऊ शकतो. फोन फोटो मेटाडेटा देखील गोळा करतो: काय दाखवले आहे, जिओ टॅग, वेळ. परिणामी, आम्ही आमचा फोटो शोधण्यासाठी आयफोनचा वापरकर्ता-अनुकूल इंटरफेस वापरू शकतो आणि आम्ही निर्देशक देखील पाहू शकतो, उदाहरणार्थ, जेव्हा मी फायर शब्दासह फोटो शोधतो तेव्हा मला आगीच्या प्रतिमेसह 3 फोटो सापडतात. माझ्यासाठी, हे अगदी त्वरीत आणि अचूकपणे काम करणार्‍या बिझनेस इंटेलिजन्स टूलसारखे आहे.

आणि अर्थातच, आम्ही सुरक्षिततेबद्दल (अधिकृतता आणि प्रमाणीकरण) विसरू नये, अन्यथा आमचा डेटा सार्वजनिक डोमेनमध्ये सहजपणे संपू शकतो. मोठ्या कॉर्पोरेशन्स आणि स्टार्टअप्सबद्दल बर्याच बातम्या आहेत ज्यांचा डेटा विकासकांच्या निष्काळजीपणामुळे आणि साध्या नियमांचे पालन करण्यात अयशस्वी झाल्यामुळे सार्वजनिकरित्या उपलब्ध झाला.

इतके साधे चित्र देखील डेटा लेक म्हणजे काय, पारंपारिक डेटा वेअरहाऊसमधील फरक आणि त्यातील मुख्य घटकांची कल्पना करण्यास मदत करते:

1. डेटा लोड करत आहे (अंतर्ग्रहण) हा डेटा लेकचा प्रमुख घटक आहे. डेटा डेटा वेअरहाऊसमध्ये दोन प्रकारे प्रवेश करू शकतो - बॅच (अंतराने लोड करणे) आणि प्रवाह (डेटा प्रवाह).
2. फाइल स्टोरेज (स्टोरेज) हा डेटा लेकचा मुख्य घटक आहे. आम्हाला स्टोरेज सहजपणे वाढवता येण्याजोगे, अत्यंत विश्वासार्ह आणि कमी किमतीचे असणे आवश्यक आहे. उदाहरणार्थ, AWS मध्ये ते S3 आहे.
3. कॅटलॉग आणि शोध (कॅटलॉग आणि शोध) - डेटा दलदल टाळण्यासाठी (हे असे होते जेव्हा आम्ही सर्व डेटा एका ढिगाऱ्यात टाकतो आणि नंतर त्यावर कार्य करणे अशक्य होते), डेटाचे वर्गीकरण करण्यासाठी आम्हाला मेटाडेटा स्तर तयार करणे आवश्यक आहे. जेणेकरुन वापरकर्ते सहजपणे डेटा शोधू शकतील, जे त्यांना विश्लेषणासाठी आवश्यक आहे. याव्यतिरिक्त, आपण अतिरिक्त शोध उपाय वापरू शकता जसे की ElasticSearch. शोध वापरकर्त्याला वापरकर्त्यासाठी अनुकूल इंटरफेसद्वारे आवश्यक डेटा शोधण्यात मदत करते.
4. प्रक्रिया करीत आहे (प्रक्रिया) - ही पायरी डेटावर प्रक्रिया करण्यासाठी आणि बदलण्यासाठी जबाबदार आहे. आम्ही डेटा बदलू शकतो, त्याची रचना बदलू शकतो, तो साफ करू शकतो आणि बरेच काही करू शकतो.
5. सुरक्षा (सुरक्षा) - समाधानाच्या सुरक्षा डिझाइनवर वेळ घालवणे महत्वाचे आहे. उदाहरणार्थ, स्टोरेज, प्रोसेसिंग आणि लोडिंग दरम्यान डेटा एन्क्रिप्शन. प्रमाणीकरण आणि अधिकृतता पद्धती वापरणे महत्वाचे आहे. शेवटी, ऑडिट साधन आवश्यक आहे.

व्यावहारिक दृष्टिकोनातून, आम्ही तीन गुणधर्मांद्वारे डेटा लेकचे वैशिष्ट्यीकृत करू शकतो:

1. काहीही गोळा आणि साठवा — डेटा लेकमध्ये सर्व डेटा असतो, कोणत्याही कालावधीसाठी कच्चा प्रक्रिया न केलेला डेटा आणि प्रक्रिया केलेला/साफ केलेला डेटा.
2. सखोल तपासणी — डेटा लेक वापरकर्त्यांना डेटा एक्सप्लोर आणि विश्लेषण करण्यास अनुमती देते.
3. लवचिक प्रवेश — डेटा लेक विविध डेटा आणि भिन्न परिस्थितींसाठी लवचिक प्रवेश प्रदान करते.

आता आपण डेटा वेअरहाऊस आणि डेटा लेकमधील फरकाबद्दल बोलू शकतो. सहसा लोक विचारतात:

• डेटा वेअरहाऊसचे काय?
• आम्ही डेटा वेअरहाऊसला डेटा लेकने बदलत आहोत की आम्ही त्याचा विस्तार करत आहोत?
• डेटा लेकशिवाय करणे अद्याप शक्य आहे का?

थोडक्यात, कोणतेही स्पष्ट उत्तर नाही. हे सर्व विशिष्ट परिस्थिती, संघाचे कौशल्य आणि बजेट यावर अवलंबून असते. उदाहरणार्थ, ओरॅकल ते AWS वर डेटा वेअरहाऊस स्थलांतरित करणे आणि Amazon उपकंपनी - Woot - द्वारे डेटा तलाव तयार करणे. आमची डेटा लेक स्टोरी: Woot.com ने AWS वर सर्व्हरलेस डेटा लेक कसा बनवला.

दुसरीकडे, विक्रेता स्नोफ्लेक म्हणतो की, तुम्हाला यापुढे डेटा लेकबद्दल विचार करण्याची गरज नाही, कारण त्यांचे डेटा प्लॅटफॉर्म (२०२० पर्यंत ते डेटा वेअरहाऊस होते) तुम्हाला डेटा लेक आणि डेटा वेअरहाऊस दोन्ही एकत्र करण्याची परवानगी देते. मी स्नोफ्लेकसह जास्त काम केले नाही आणि हे खरोखरच एक अद्वितीय उत्पादन आहे जे हे करू शकते. अंकाची किंमत ही दुसरी बाब आहे.

शेवटी, माझे वैयक्तिक मत असे आहे की आम्हाला आमच्या अहवालासाठी डेटाचा मुख्य स्त्रोत म्हणून डेटा वेअरहाऊसची आवश्यकता आहे आणि जे काही फिट होत नाही ते आम्ही डेटा तलावामध्ये साठवतो. विश्लेषणाची संपूर्ण भूमिका व्यवसायाला निर्णय घेण्यासाठी सुलभ प्रवेश प्रदान करणे आहे. कोणी काहीही म्हणो, व्यावसायिक वापरकर्ते डेटा लेकपेक्षा डेटा वेअरहाऊससह अधिक कार्यक्षमतेने काम करतात, उदाहरणार्थ Amazon मध्ये - Redshift (विश्लेषणात्मक डेटा वेअरहाऊस) आहे आणि Redshift Spectrum/Athena (S3 मधील डेटा लेकसाठी एसक्यूएल इंटरफेस) आहे. पोळे/प्रेस्टो). हेच इतर आधुनिक विश्लेषणात्मक डेटा गोदामांना लागू होते.

चला एक सामान्य डेटा वेअरहाऊस आर्किटेक्चर पाहू:

हा एक क्लासिक उपाय आहे. आमच्याकडे सोर्स सिस्टम्स आहेत, ETL/ELT वापरून आम्ही विश्लेषणात्मक डेटा वेअरहाऊसमध्ये डेटा कॉपी करतो आणि तो बिझनेस इंटेलिजेंस सोल्यूशनशी जोडतो (माझ्या आवडत्या टॅबलेट आहे, तुमचे काय?).

या सोल्यूशनचे खालील तोटे आहेत:

• ETL/ELT ऑपरेशन्ससाठी वेळ आणि संसाधने लागतात.
• नियमानुसार, विश्लेषणात्मक डेटा वेअरहाऊसमध्ये डेटा संचयित करण्यासाठी मेमरी स्वस्त नाही (उदाहरणार्थ, Redshift, BigQuery, Teradata), कारण आम्हाला संपूर्ण क्लस्टर खरेदी करणे आवश्यक आहे.
• व्यावसायिक वापरकर्त्यांना साफ केलेल्या आणि बर्‍याचदा एकत्रित केलेल्या डेटामध्ये प्रवेश आहे आणि त्यांना कच्च्या डेटामध्ये प्रवेश नाही.

अर्थात, हे सर्व आपल्या केसवर अवलंबून आहे. तुम्हाला तुमच्या डेटा वेअरहाऊसमध्ये समस्या नसल्यास, तुम्हाला डेटा लेकची अजिबात गरज नाही. परंतु जेव्हा जागा, शक्ती किंवा किमतीच्या अभावामुळे समस्या उद्भवतात तेव्हा महत्त्वाची भूमिका बजावते, तेव्हा तुम्ही डेटा लेकच्या पर्यायाचा विचार करू शकता. त्यामुळे डेटा लेक खूप लोकप्रिय आहे. येथे डेटा लेक आर्किटेक्चरचे उदाहरण आहे:

डेटा लेक पद्धतीचा वापर करून, आम्ही आमच्या डेटा लेकमध्ये (बॅच किंवा स्ट्रीमिंग) कच्चा डेटा लोड करतो, त्यानंतर आम्ही आवश्यकतेनुसार डेटावर प्रक्रिया करतो. डेटा लेक व्यावसायिक वापरकर्त्यांना त्यांचे स्वतःचे डेटा ट्रान्सफॉर्मेशन (ETL/ELT) तयार करण्यास किंवा बिझनेस इंटेलिजेंस सोल्यूशन्समध्ये डेटाचे विश्लेषण करण्यास (आवश्यक ड्रायव्हर उपलब्ध असल्यास) परवानगी देतो.

कोणत्याही विश्लेषण सोल्यूशनचे ध्येय व्यावसायिक वापरकर्त्यांना सेवा देणे आहे. म्हणून, आपण नेहमी व्यवसायाच्या आवश्यकतांनुसार कार्य केले पाहिजे. (ऍमेझॉनमध्ये हे एक तत्त्व आहे - मागे काम करणे).

डेटा वेअरहाऊस आणि डेटा लेक या दोन्हींसोबत काम करताना, आम्ही दोन्ही उपायांची तुलना करू शकतो:

काढता येणारा मुख्य निष्कर्ष असा आहे की डेटा वेअरहाऊस डेटा लेकशी स्पर्धा करत नाही, उलट त्यास पूरक आहे. परंतु आपल्या केससाठी काय योग्य आहे हे ठरविणे आपल्यावर अवलंबून आहे. स्वतः प्रयत्न करणे आणि योग्य निष्कर्ष काढणे नेहमीच मनोरंजक असते.

जेव्हा मी डेटा लेक पध्दत वापरण्यास सुरुवात केली तेव्हाची एक घटना मी तुम्हाला सांगू इच्छितो. सर्व काही अगदी क्षुल्लक आहे, मी ईएलटी टूल (आमच्याकडे मॅटिलियन ईटीएल होते) आणि ऍमेझॉन रेडशिफ्ट वापरण्याचा प्रयत्न केला, माझे समाधान कार्य केले, परंतु आवश्यकतांमध्ये बसत नाही.

मला 2 प्रकरणांसाठी डेटा प्रदान करण्यासाठी वेब लॉग घेणे, त्यांचे रूपांतर करणे आणि एकत्रित करणे आवश्यक आहे:

1. मार्केटिंग टीमला SEO साठी बॉट अॅक्टिव्हिटीचे विश्लेषण करायचे होते
2. IT ला वेबसाइट परफॉर्मन्स मेट्रिक्स पहायचे होते

अगदी साधे, अगदी साधे लॉग. येथे एक उदाहरण आहे:

https 2018-07-02T22:23:00.186641Z app/my-loadbalancer/50dc6c495c0c9188 
192.168.131.39:2817 10.0.0.1:80 0.086 0.048 0.037 200 200 0 57 
"GET https://www.example.com:443/ HTTP/1.1" "curl/7.46.0" ECDHE-RSA-AES128-GCM-SHA256 TLSv1.2 
arn:aws:elasticloadbalancing:us-east-2:123456789012:targetgroup/my-targets/73e2d6bc24d8a067
"Root=1-58337281-1d84f3d73c47ec4e58577259" "www.example.com" "arn:aws:acm:us-east-2:123456789012:certificate/12345678-1234-1234-1234-123456789012"
1 2018-07-02T22:22:48.364000Z "authenticate,forward" "-" "-"

एका फाइलचे वजन 1-4 मेगाबाइट होते.

पण एक अडचण होती. आमच्याकडे जगभरात 7 डोमेन होती आणि एका दिवसात 7000 हजार फायली तयार झाल्या. हे जास्त व्हॉल्यूम नाही, फक्त 50 गीगाबाइट्स. पण आमच्या रेडशिफ्ट क्लस्टरचा आकारही लहान (4 नोड्स) होता. पारंपारिक पद्धतीने एक फाइल लोड करण्यासाठी सुमारे एक मिनिट लागला. म्हणजेच प्रश्न डोके वर काढला नाही. आणि जेव्हा मी डेटा लेक दृष्टिकोन वापरण्याचा निर्णय घेतला तेव्हा ही परिस्थिती होती. समाधान असे काहीतरी दिसले:

हे अगदी सोपे आहे (मला हे लक्षात घ्यायचे आहे की क्लाउडमध्ये काम करण्याचा फायदा साधेपणा आहे). मी वापरले:

• कंप्यूट पॉवरसाठी AWS लवचिक नकाशा कमी करा (हडूप).
• AWS S3 डेटा एन्क्रिप्ट करण्याची आणि प्रवेश मर्यादित करण्याच्या क्षमतेसह फाइल स्टोरेज म्हणून
• इनमेमरी कॉम्प्युटिंग पॉवर म्हणून स्पार्क आणि लॉजिक आणि डेटा ट्रान्सफॉर्मेशनसाठी PySpark
• स्पार्कचा परिणाम म्हणून पर्केट
• नवीन डेटा आणि विभाजनांबद्दल मेटाडेटा संग्राहक म्हणून AWS ग्लू क्रॉलर
• विद्यमान Redshift वापरकर्त्यांसाठी डेटा लेकचा SQL इंटरफेस म्हणून Redshift Spectrum

सर्वात लहान EMR+Spark क्लस्टरने 30 मिनिटांत फाइल्सच्या संपूर्ण स्टॅकवर प्रक्रिया केली. AWS साठी इतर प्रकरणे आहेत, विशेषत: अनेक Alexa शी संबंधित आहेत, जिथे भरपूर डेटा आहे.

नुकतेच मला माहिती मिळाली की डेटा लेकचा एक तोटा म्हणजे GDPR. क्लायंट हटवण्यास सांगतो आणि डेटा एका फायलीमध्ये असतो तेव्हा अडचण येते, आम्ही डेटाबेसप्रमाणे डेटा मॅनिप्युलेशन लँग्वेज आणि डिलीट ऑपरेशन वापरू शकत नाही.

मला आशा आहे की या लेखाने डेटा वेअरहाऊस आणि डेटा लेकमधील फरक स्पष्ट केला आहे. तुम्हाला स्वारस्य असल्यास, मी माझे अधिक लेख किंवा मी वाचलेल्या व्यावसायिकांच्या लेखांचे भाषांतर करू शकतो. आणि मी काम करत असलेल्या उपायांबद्दल आणि त्यांच्या आर्किटेक्चरबद्दल देखील सांगा.

स्त्रोत: www.habr.com