هي مضمون منهنجي مضمون جو ترجمو آهي وچولي تي - ، جيڪو تمام گهڻو مشهور ٿيو، شايد ان جي سادگي جي ڪري. تنهن ڪري، مون ان کي روسي ۾ لکڻ جو فيصلو ڪيو ۽ ان کي عام ماڻهوءَ کي واضح ڪرڻ لاءِ ٿورو شامل ڪيو جيڪو ڊيٽا اسپيشلسٽ نه آهي ڊيٽا گودام (DW) ڇا آهي، ۽ ڊيٽا ڍنڍ ڇا آهي (ڊيٽا ڍنڍ)، ۽ اهي ڪيئن آهن. گڏ ٿيڻ.
مون ڊيٽا ڍنڍ بابت ڇو لکڻ چاهيو؟ مان 10 سالن کان ڊيٽا ۽ تجزيي سان ڪم ڪري رهيو آهيان، ۽ هاڻي مان يقيني طور تي ڪيمبرج ۾ Amazon Alexa AI تي وڏي ڊيٽا سان ڪم ڪري رهيو آهيان، جيڪو بوسٽن ۾ آهي، جيتوڻيڪ مان وينڪوور ٻيٽ تي وڪٽوريا ۾ رهندو آهيان ۽ اڪثر ڪري بوسٽن، سيٽل جو دورو ڪندو آهيان. ، ۽ وانڪوور ۾، ۽ ڪڏهن ڪڏهن ماسڪو ۾ به، مان ڪانفرنسن ۾ ڳالهائيندو آهيان. مان به وقت بوقت لکندو آهيان، پر گهڻو ڪري انگريزيءَ ۾ لکندو آهيان، ۽ اڳي به لکي چڪو آهيان , مون کي به هڪ ضرورت آهي حصيداري ڪرڻ جي تجزياتي رجحانات اتر آمريڪا کان, ۽ مان ڪڏهن ڪڏهن لکندو آهيان .
مون هميشه ڊيٽا گودامن سان ڪم ڪيو آهي، ۽ 2015 کان وٺي مون Amazon ويب سروسز سان ويجهي ڪم ڪرڻ شروع ڪيو، ۽ عام طور تي ڪلائوڊ اينالائيٽڪس (AWS، Azure، GCP) ڏانهن تبديل ڪيو. مون 2007 کان تجزياتي حلن جي ارتقا جو مشاهدو ڪيو آهي ۽ ايستائين جو ڊيٽا گودام وينڊر Teradata لاءِ ڪم ڪيو آهي ۽ ان کي Sberbank تي لاڳو ڪيو آهي، ۽ اهو تڏهن ٿيو جڏهن Hadoop سان بگ ڊيٽا ظاهر ٿيو. هر ڪو چوڻ لڳو ته ذخيري جو دور گذري ويو آهي ۽ هاڻي سڀ ڪجهه هڙپ تي آهي، پوءِ وري ڊيٽا ڍنڍ جي ڳالهه ڪرڻ لڳا ته هاڻي ڊيٽا گودام جي پڄاڻي ضرور ٿي چڪي هئي. پر خوشقسمتيءَ سان (شايد بدقسمتيءَ سان ڪجھه ماڻهن لاءِ جن هدوپ قائم ڪرڻ لاءِ تمام گهڻو پئسو ڪمايو)، ڊيٽا گودام پري نه ٿيو.
هن آرٽيڪل ۾ اسين ڏسنداسين ته ڊيٽا ڍنڍ ڇا آهي. هي آرٽيڪل انهن ماڻهن لاءِ آهي جن وٽ ڊيٽا گودامن سان ٿورو يا ڪو تجربو ناهي.
تصوير ۾ ڍنڍ بلڊ آهي، هي منهنجي پسنديده ڍنڍن مان هڪ آهي، جيتوڻيڪ مان اتي صرف هڪ ڀيرو ويو هوس، مون ان کي منهنجي باقي زندگي لاء ياد رکيو. پر اسان هڪ ٻي قسم جي ڍنڍ بابت ڳالهائينداسين - هڪ ڊيٽا ڍنڍ. شايد توھان مان گھڻا ئي ھن اصطلاح جي باري ۾ ھڪ کان وڌيڪ ڀيرا ٻڌا آھن، پر ھڪڙي وڌيڪ تعريف ڪنھن کي به نقصان نه پھچندي.
سڀ کان پهريان، هتي ڊيٽا ڍنڍ جي سڀ کان وڌيڪ مشهور تعريفون آهن:
"خام ڊيٽا جي سڀني قسمن جي فائل اسٽوريج جيڪا تنظيم ۾ هر ڪنهن جي تجزيي لاء دستياب آهي" - مارٽن فولر.
”جيڪڏهن توهان سوچيو ته ڊيٽا مارٽ پاڻيءَ جي هڪ بوتل آهي - صاف ٿيل، پيڪيج ٿيل ۽ آسان استعمال لاءِ پيڪيج ٿيل، ته پوءِ ڊيٽا ڍنڍ پنهنجي قدرتي شڪل ۾ پاڻيءَ جو هڪ وڏو ذخيرو آهي. استعمال ڪندڙ، مان پنهنجي لاءِ پاڻي گڏ ڪري سگهان ٿو، گهيرو ٻوڙي، ڳولهي سگهان ٿو "- جيمس ڊڪسن.
ھاڻي اسان کي پڪ سان ڄاڻون ٿا ته ڊيٽا جي ڍنڍ اينالائيٽڪس بابت آھي، اھو اسان کي اجازت ڏئي ٿو ته ڊيٽا جي وڏي مقدار کي ان جي اصلي شڪل ۾ ذخيرو ڪري سگھون ٿا ۽ اسان وٽ ڊيٽا تائين ضروري ۽ آسان رسائي آھي.
مان اڪثر شين کي آسان ڪرڻ پسند ڪندو آهيان، جيڪڏهن مان هڪ پيچيده اصطلاح کي آسان لفظن ۾ بيان ڪري سگهان ٿو، ته پوءِ مان سمجهان ٿو ته اهو ڪيئن ڪم ڪري ٿو ۽ ان جي ڪهڙي ضرورت آهي. هڪ ڏينهن، مان آئي فون فوٽو گيلري ۾ چوڌاري ڦري رهيو هوس، ۽ اهو مون تي اچي ويو، هي هڪ حقيقي ڊيٽا ڍنڍ آهي، مون ڪانفرنس لاء هڪ سلائڊ پڻ ٺاهيو:
هر شيء بلڪل سادي آهي. اسان فون تي فوٽو ڪڍو ٿا، تصوير فون تي محفوظ ڪئي وئي آهي ۽ iCloud (ڪلائوڊ فائل اسٽوريج) ۾ محفوظ ٿي سگهي ٿو. فون پڻ گڏ ڪري ٿو فوٽو ميٽاداٽا: ڇا ڏيکاريل آهي، جيو ٽيگ، وقت. نتيجي طور، اسان استعمال ڪري سگھون ٿا آئي فون جو استعمال ڪندڙ-دوست انٽرفيس اسان جي فوٽو ڳولڻ لاء ۽ اسان اشارو پڻ ڏسندا آهيون، مثال طور، جڏهن آئون لفظ فائر سان فوٽو ڳوليان ٿو، مون کي باهه جي تصوير سان 3 فوٽو ملن ٿا. منهنجي لاءِ، اهو صرف هڪ ڪاروباري انٽيليجنس ٽول وانگر آهي جيڪو تمام تيز ۽ واضح طور ڪم ڪري ٿو.
۽ يقينا، اسان کي سيڪيورٽي (اختيار ۽ تصديق) جي باري ۾ نه وسارڻ گهرجي، ٻي صورت ۾ اسان جي ڊيٽا آساني سان عوامي ڊومين ۾ ختم ٿي سگهي ٿي. وڏين ڪارپوريشنن ۽ شروعاتن بابت تمام گهڻيون خبرون آهن جن جي ڊيٽا ڊولپرز جي لاپرواهي ۽ سادي ضابطن تي عمل ڪرڻ ۾ ناڪامي جي ڪري عام طور تي دستياب ٿي چڪي آهي.
جيتوڻيڪ اهڙي سادي تصوير اسان کي تصور ڪرڻ ۾ مدد ڪري ٿي ته ڊيٽا ڍنڍ ڇا آهي، ان جي روايتي ڊيٽا گودام کان اختلاف ۽ ان جي مکيه عناصر:
- ڊيٽا لوڊ ڪندي (Ingestion) ڊيٽا ڍنڍ جو هڪ اهم حصو آهي. ڊيٽا ڊيٽا گودام ۾ ٻن طريقن سان داخل ٿي سگھي ٿو - بيچ (وقف تي لوڊ ڪندي) ۽ اسٽريمنگ (ڊيٽا فلو).
- فائل اسٽوريج (اسٽوريج) ڊيٽا ڍنڍ جو مکيه حصو آهي. اسان کي اسٽوريج جي ضرورت آهي آساني سان اسپيبلبل، انتهائي قابل اعتماد، ۽ گهٽ قيمت. مثال طور، AWS ۾ اهو S3 آهي.
- فهرست ۽ ڳولا (ڪيٽلاگ ۽ ڳولها) - اسان لاءِ ڊيٽا جي دلدل کان بچڻ لاءِ (اهو آهي جڏهن اسان سڀني ڊيٽا کي هڪ ڍير ۾ ڊمپ ڪريون ٿا، ۽ پوءِ ان سان ڪم ڪرڻ ناممڪن آهي)، اسان کي ڊيٽا کي درجه بندي ڪرڻ لاءِ هڪ ميٽا ڊيٽا پرت ٺاهڻ جي ضرورت آهي. انهي ڪري ته صارف آساني سان ڊيٽا ڳولي سگھن ٿا، جنهن جي انهن کي تجزيو ڪرڻ جي ضرورت آهي. اضافي طور تي، توهان اضافي ڳولها حل استعمال ڪري سگهو ٿا جهڙوڪ ElasticSearch. ڳولها صارف کي صارف دوست انٽرفيس ذريعي گهربل ڊيٽا ڳولڻ ۾ مدد ڪري ٿي.
- پروسيسنگ (پروسيس) - هي قدم ڊيٽا کي پروسيسنگ ۽ تبديل ڪرڻ لاء ذميوار آهي. اسان ڊيٽا کي تبديل ڪري سگھون ٿا، ان جي جوڙجڪ کي تبديل ڪري سگھون ٿا، ان کي صاف ڪريو، ۽ وڌيڪ.
- حفاظت (سيڪيورٽي) - حل جي سيڪيورٽي ڊيزائن تي وقت گذارڻ ضروري آهي. مثال طور، اسٽوريج، پروسيسنگ ۽ لوڊ ڪرڻ دوران ڊيٽا انڪرپشن. اهو ضروري آهي ته استعمال ڪرڻ جي تصديق ۽ اختيار ڪرڻ جا طريقا. آخرڪار، هڪ آڊٽ اوزار جي ضرورت آهي.
هڪ عملي نقطي نظر کان، اسان هڪ ڊيٽا ڍنڍ کي ٽن خاصيتن سان منسوب ڪري سگهون ٿا:
- گڏ ڪريو ۽ ذخيرو ڪريو - ڊيٽا ڍنڍ ۾ سڀ ڊيٽا شامل آهن، ٻئي ڪنهن به وقت جي خام غير پروسيس ٿيل ڊيٽا ۽ پروسيس ٿيل / صاف ٿيل ڊيٽا.
- گہرے اسڪين - هڪ ڊيٽا ڍنڍ صارفين کي ڊيٽا ڳولڻ ۽ تجزيو ڪرڻ جي اجازت ڏئي ٿي.
- لچڪدار رسائي - ڊيٽا ڍنڍ مختلف ڊيٽا ۽ مختلف منظرنامي لاء لچڪدار رسائي فراهم ڪري ٿي.
هاڻي اسان ڊيٽا گودام ۽ ڊيٽا ڍنڍ جي وچ ۾ فرق بابت ڳالهائي سگهون ٿا. عام طور تي ماڻهو پڇن ٿا:
- ڊيٽا گودام بابت ڇا؟
- ڇا اسان ڊيٽا گودام کي ڊيٽا ڍنڍ سان تبديل ڪري رهيا آهيون يا اسان ان کي وڌائي رهيا آهيون؟
- ڇا اهو اڃا تائين ممڪن آهي ته ڊيٽا ڍنڍ کان سواء؟
مختصر ۾، ڪو به واضح جواب نه آهي. اهو سڀ ڪجهه منحصر آهي مخصوص صورتحال، ٽيم جي صلاحيتن ۽ بجيٽ تي. مثال طور، ڊيٽا گودام کي منتقلي ڪرڻ Oracle ڏانهن AWS ۽ هڪ ڊيٽا ڍنڍ ٺاهي هڪ Amazon ماتحت ڪمپني - Woot - .
ٻئي طرف، وينڊر Snowflake چوي ٿو ته توهان کي هاڻي ڊيٽا ڍنڍ بابت سوچڻ جي ضرورت ناهي، ڇاڪاڻ ته انهن جو ڊيٽا پليٽ فارم (2020 تائين اهو هڪ ڊيٽا گودام هو) توهان کي ڊيٽا ڍنڍ ۽ ڊيٽا گودام ٻنهي کي گڏ ڪرڻ جي اجازت ڏئي ٿو. مون Snowflake سان گهڻو ڪم نه ڪيو آهي، ۽ اهو واقعي هڪ منفرد پراڊڪٽ آهي جيڪو اهو ڪري سگهي ٿو. مسئلي جي قيمت هڪ ٻيو معاملو آهي.
نتيجي ۾، منهنجي ذاتي راءِ اها آهي ته اسان کي اڃا تائين هڪ ڊيٽا گودام جي ضرورت آهي جيئن اسان جي رپورٽنگ لاءِ ڊيٽا جو بنيادي ذريعو، ۽ جيڪو به مناسب نه هجي ته اسان ڊيٽا ڍنڍ ۾ ذخيرو ڪريون. تجزياتي جو سڄو ڪردار ڪاروبار لاء فيصلا ڪرڻ لاء آسان رسائي فراهم ڪرڻ آهي. جيڪو ڪجهه به چئي سگهي ٿو، ڪاروباري صارف ڊيٽا جي گودام سان ڊيٽا جي ڍنڍ جي ڀيٽ ۾ وڌيڪ موثر طريقي سان ڪم ڪن ٿا، مثال طور Amazon ۾ - اتي Redshift (تجزيي ڊيٽا گودام) آهي ۽ اتي Redshift Spectrum/Athena (SQL انٽرفيس ڊيٽا ڍنڍ لاءِ S3 تي ٻڌل آهي. Hive/Presto). ساڳيو ئي ٻين جديد تجزياتي ڊيٽا گودامن تي لاڳو ٿئي ٿو.
اچو ته هڪ عام ڊيٽا گودام جي فن تعمير کي ڏسو:
هي هڪ کلاسک حل آهي. اسان وٽ سورس سسٽم آهي، ETL/ELT استعمال ڪندي اسان ڊيٽا کي نقل ڪريون ٿا هڪ تجزياتي ڊيٽا گودام ۾ ۽ ان کي ڳنڍي هڪ ڪاروباري انٽيليجنس حل سان (منهنجو پسنديده ٽيبلو آهي، توهان جي باري ۾ ڇا؟).
هن حل ۾ هيٺيان نقصان آهن:
- ETL/ELT آپريشن وقت ۽ وسيلن جي ضرورت آهي.
- ضابطي جي طور تي، هڪ تجزياتي ڊيٽا گودام ۾ ڊيٽا کي ذخيرو ڪرڻ لاء ياداشت سستو ناهي (مثال طور، Redshift، BigQuery، Teradata)، ڇو ته اسان کي مڪمل ڪلستر خريد ڪرڻ جي ضرورت آهي.
- ڪاروباري صارفين کي صاف ۽ اڪثر مجموعي ڊيٽا تائين رسائي آهي ۽ خام ڊيٽا تائين رسائي نه آهي.
يقينن، اهو سڀ ڪجهه توهان جي ڪيس تي منحصر آهي. جيڪڏهن توهان وٽ توهان جي ڊيٽا گودام سان مسئلو ناهي، ته توهان کي ڊيٽا ڍنڍ جي ضرورت ناهي. پر جڏهن مسئلو پيدا ٿئي ٿو خلا جي کوٽ، طاقت، يا قيمت هڪ اهم ڪردار ادا ڪري ٿو، ته پوء توهان ڊيٽا ڍنڍ جي اختيار تي غور ڪري سگهو ٿا. اهو ئي سبب آهي ته ڊيٽا ڍنڍ تمام مشهور آهي. هتي ڊيٽا ڍنڍ جي فن تعمير جو هڪ مثال آهي:
ڊيٽا ڍنڍ جي طريقي کي استعمال ڪندي، اسان خام ڊيٽا کي اسان جي ڊيٽا ڍنڍ (بيچ يا اسٽريمنگ) ۾ لوڊ ڪريون ٿا، پوء اسان ضرورت مطابق ڊيٽا کي پروسيس ڪريون ٿا. ڊيٽا ڍنڍ ڪاروباري صارفين کي انهن جي پنهنجي ڊيٽا ٽرانسفارميشن (ETL/ELT) ٺاهڻ يا ڪاروباري انٽيليجنس حلن ۾ ڊيٽا جو تجزيو ڪرڻ جي اجازت ڏئي ٿي (جيڪڏهن ضروري ڊرائيور موجود هجي).
ڪنهن به تجزياتي حل جو مقصد ڪاروباري صارفين جي خدمت ڪرڻ آهي. تنهن ڪري، اسان کي هميشه ڪاروبار گهرجن مطابق ڪم ڪرڻ گهرجي. (Amazon تي هي اصولن مان هڪ آهي - پوئتي ڪم ڪرڻ).
ڊيٽا گودام ۽ ڊيٽا ڍنڍ ٻنهي سان ڪم ڪندي، اسان ٻنهي حلن جو مقابلو ڪري سگهون ٿا:
مکيه نتيجو جيڪو ڪڍي سگهجي ٿو اهو آهي ته ڊيٽا گودام ڊيٽا ڍنڍ سان مقابلو نٿو ڪري، بلڪه ان کي پورو ڪري ٿو. پر اھو توھان تي آھي اھو فيصلو ڪرڻ لاءِ ته توھان جي ڪيس لاءِ ڇا صحيح آھي. اهو هميشه دلچسپ آهي ته ان کي ڪوشش ڪريو ۽ صحيح نتيجا ڪڍو.
مان توهان کي هڪ ڪيس پڻ ٻڌائڻ چاهيان ٿو جڏهن مون ڊيٽا ڍنڍ جي طريقي کي استعمال ڪرڻ شروع ڪيو. هر شي بلڪل معمولي آهي، مون هڪ ELT ٽول استعمال ڪرڻ جي ڪوشش ڪئي (اسان وٽ Matillion ETL) ۽ Amazon Redshift، منهنجو حل ڪم ڪيو، پر ضرورتن کي پورو نه ڪيو.
مون کي ويب لاگز وٺڻ جي ضرورت هئي، انهن کي تبديل ڪرڻ ۽ انهن کي گڏ ڪرڻ لاء 2 ڪيسن لاء ڊيٽا مهيا ڪرڻ لاء:
- مارڪيٽنگ ٽيم ايس اي او لاءِ بوٽ جي سرگرمي جو تجزيو ڪرڻ چاهي ٿي
- آئي ٽي ويب سائيٽ جي ڪارڪردگي جي ماپ کي ڏسڻ چاهيندو هو
تمام سادو، تمام سادو لاگ. هتي هڪ مثال آهي:
https 2018-07-02T22:23:00.186641Z app/my-loadbalancer/50dc6c495c0c9188
192.168.131.39:2817 10.0.0.1:80 0.086 0.048 0.037 200 200 0 57
"GET https://www.example.com:443/ HTTP/1.1" "curl/7.46.0" ECDHE-RSA-AES128-GCM-SHA256 TLSv1.2
arn:aws:elasticloadbalancing:us-east-2:123456789012:targetgroup/my-targets/73e2d6bc24d8a067
"Root=1-58337281-1d84f3d73c47ec4e58577259" "www.example.com" "arn:aws:acm:us-east-2:123456789012:certificate/12345678-1234-1234-1234-123456789012"
1 2018-07-02T22:22:48.364000Z "authenticate,forward" "-" "-"ھڪڙي فائل جو وزن 1-4 ميگا بائيٽ آھي.
پر اتي هڪ مشڪل هئي. اسان وٽ سڄي دنيا ۾ 7 ڊومينز هئا، ۽ هڪ ڏينهن ۾ 7000 هزار فائلون ٺاهيون ويون. اهو وڌيڪ حجم نه آهي، صرف 50 گيگا بائيٽ. پر اسان جي Redshift ڪلستر جي سائيز به ننڍي هئي (4 نوڊس). ھڪڙي فائل کي لوڊ ڪندي روايتي طريقي سان اٽڪل ھڪ منٽ ورتو. اهو آهي، مسئلو سر تي حل نه ڪيو ويو آهي. ۽ اهو معاملو هو جڏهن مون ڊيٽا ڍنڍ جي طريقي کي استعمال ڪرڻ جو فيصلو ڪيو. حل ڪجهه هن طرح نظر آيو:
اهو بلڪل سادو آهي (مان نوٽ ڪرڻ چاهيان ٿو ته ڪلائوڊ ۾ ڪم ڪرڻ جو فائدو سادگي آهي). مون استعمال ڪيو:
- AWS لچڪدار نقشو گھٽائڻ (Hadoop) ڪمپيوٽر پاور لاءِ
- AWS S3 فائل اسٽوريج جي طور تي ڊيٽا کي انڪرپٽ ڪرڻ ۽ رسائي کي محدود ڪرڻ جي صلاحيت سان
- اسپارڪ جيئن InMemory ڪمپيوٽنگ پاور ۽ PySpark منطق ۽ ڊيٽا جي تبديلي لاءِ
- اسپارڪ جي نتيجي ۾ پارڪر
- AWS Glue Crawler نئين ڊيٽا ۽ ورهاڱي بابت ميٽا ڊيٽا ڪليڪٽر طور
- Redshift Spectrum موجوده Redshift استعمال ڪندڙن لاءِ ڊيٽا ڍنڍ ڏانهن SQL انٽرفيس جي طور تي
سڀ کان ننڍڙو EMR + اسپارڪ ڪلستر 30 منٽن ۾ فائلن جي پوري اسٽيڪ کي پروسيس ڪيو. AWS لاء ٻيا ڪيس آهن، خاص طور تي ڪيترائي Alexa سان لاڳاپيل آهن، جتي تمام گهڻو ڊيٽا آهي.
تازو ئي مون سکيو هڪ ڊيٽا ڍنڍ جي نقصانن مان هڪ آهي GDPR. مسئلو اهو آهي جڏهن ڪلائنٽ ان کي حذف ڪرڻ لاءِ پڇي ٿو ۽ ڊيٽا فائلن مان هڪ ۾ آهي، اسان استعمال نٿا ڪري سگهون ڊيٽا مينيپوليشن ٻولي ۽ ڊيليٽ آپريشن وانگر ڊيٽابيس ۾.
مون کي اميد آهي ته هي آرٽيڪل ڊيٽا گودام ۽ ڊيٽا ڍنڍ جي وچ ۾ فرق واضح ڪيو آهي. جيڪڏھن توھان دلچسپي وٺندا آھيو، مان پنھنجي مضمونن جو ترجمو ڪري سگھان ٿو يا پروفيسرن جا مضمون جيڪي مون پڙھيا آھن. ۽ انهن حلن جي باري ۾ پڻ ٻڌايو جن سان آئون ڪم ڪريان ٿو ۽ انهن جي فن تعمير.
جو ذريعو: www.habr.com