🥇 আমাদের কি একটি ডেটা লেক দরকার? ডাটা গুদাম দিয়ে কি করবেন?

এই নিবন্ধটি আমার মাধ্যমের নিবন্ধের একটি অনুবাদ - ডেটা লেক দিয়ে শুরু করা, যা বেশ জনপ্রিয় হয়ে উঠেছে, সম্ভবত তার সরলতার কারণে। অতএব, আমি এটিকে রাশিয়ান ভাষায় লেখার সিদ্ধান্ত নিয়েছি এবং একজন সাধারণ ব্যক্তি যিনি ডেটা বিশেষজ্ঞ নন, ডেটা গুদাম (DW) কী এবং একটি ডেটা লেক কী (ডেটা লেক) এবং কীভাবে তারা এটিকে পরিষ্কার করার জন্য এটিকে একটু যোগ করার সিদ্ধান্ত নিয়েছি। একসাথে পেতে

ডাটা লেক নিয়ে লিখতে চাইলাম কেন? আমি 10 বছরেরও বেশি সময় ধরে ডেটা এবং অ্যানালিটিক্স নিয়ে কাজ করছি, এবং এখন আমি অবশ্যই ক্যামব্রিজের অ্যামাজন অ্যালেক্সা এআই-তে বড় ডেটা নিয়ে কাজ করছি, যা বোস্টনে রয়েছে, যদিও আমি ভ্যাঙ্কুভার দ্বীপের ভিক্টোরিয়াতে থাকি এবং প্রায়ই বোস্টন, সিয়াটেলে যাই , এবং ভ্যাঙ্কুভারে, এবং কখনও কখনও এমনকি মস্কোতেও, আমি সম্মেলনে কথা বলি। আমিও সময়ে সময়ে লিখি, তবে আমি মূলত ইংরেজিতে লিখি, এবং আমি ইতিমধ্যেই লিখেছি কিছু বই, আমার উত্তর আমেরিকা থেকে বিশ্লেষণ প্রবণতা শেয়ার করার প্রয়োজন আছে এবং আমি মাঝে মাঝে লিখি টেলিগ্রাম.

আমি সবসময় ডেটা গুদামগুলির সাথে কাজ করেছি, এবং 2015 সাল থেকে আমি Amazon ওয়েব পরিষেবাগুলির সাথে ঘনিষ্ঠভাবে কাজ করতে শুরু করেছি এবং সাধারণত ক্লাউড বিশ্লেষণে (AWS, Azure, GCP) স্যুইচ করেছি৷ আমি 2007 সাল থেকে বিশ্লেষণ সমাধানের বিবর্তন পর্যবেক্ষণ করেছি এবং এমনকি ডেটা গুদাম বিক্রেতা Teradata-এর জন্য কাজ করেছি এবং Sberbank-এ এটি প্রয়োগ করেছি, এবং তখনই Hadoop-এর সাথে বিগ ডেটা উপস্থিত হয়েছে। সবাই বলতে শুরু করে যে স্টোরেজের যুগ চলে গেছে এবং এখন সবকিছু হাডুপে রয়েছে, এবং তারপরে তারা আবার ডেটা লেক সম্পর্কে কথা বলতে শুরু করেছিল যে এখন ডেটা গুদামের শেষ অবশ্যই এসেছে। কিন্তু সৌভাগ্যবশত (হয়তো দুর্ভাগ্যবশত কেউ কেউ যারা হ্যাডুপ সেট আপ করে প্রচুর অর্থ উপার্জন করেছেন), ডেটা গুদামটি চলে যায়নি।

এই নিবন্ধে আমরা একটি ডেটা লেক কি তা দেখব। এই নিবন্ধটি এমন লোকদের জন্য যাদের ডেটা গুদামগুলির সাথে সামান্য বা কোন অভিজ্ঞতা নেই৷

ছবিতে লেক ব্লেড, এটি আমার প্রিয় হ্রদগুলির মধ্যে একটি, যদিও আমি সেখানে একবারই ছিলাম, আমি আমার বাকি জীবনের জন্য এটি মনে রেখেছিলাম। কিন্তু আমরা অন্য ধরনের হ্রদ সম্পর্কে কথা বলব - একটি ডাটা লেক। সম্ভবত আপনারা অনেকেই এই শব্দটি সম্পর্কে একাধিকবার শুনেছেন, তবে আরও একটি সংজ্ঞা কারও ক্ষতি করবে না।

প্রথমত, এখানে একটি ডেটা লেকের সবচেয়ে জনপ্রিয় সংজ্ঞা রয়েছে:

"সকল ধরণের কাঁচা ডেটার একটি ফাইল স্টোরেজ যা প্রতিষ্ঠানের যে কেউ বিশ্লেষণের জন্য উপলব্ধ" - মার্টিন ফাউলার।

“আপনি যদি মনে করেন যে একটি ডাটা মার্ট হল পানির বোতল - বিশুদ্ধ, প্যাকেজ করা এবং সুবিধাজনক ব্যবহারের জন্য প্যাকেজ করা, তাহলে একটি ডাটা লেক তার প্রাকৃতিক আকারে পানির একটি বিশাল আধার। ব্যবহারকারীরা, আমি নিজের জন্য জল সংগ্রহ করতে পারি, গভীরে ডুব দিতে পারি, অন্বেষণ করতে পারি" - জেমস ডিক্সন।

এখন আমরা নিশ্চিতভাবে জানি যে একটি ডেটা লেক বিশ্লেষণ সম্পর্কে, এটি আমাদেরকে তার আসল আকারে প্রচুর পরিমাণে ডেটা সংরক্ষণ করতে দেয় এবং ডেটাতে আমাদের প্রয়োজনীয় এবং সুবিধাজনক অ্যাক্সেস রয়েছে।

আমি প্রায়শই জিনিসগুলি সরল করতে পছন্দ করি, যদি আমি একটি জটিল শব্দকে সহজ ভাষায় ব্যাখ্যা করতে পারি, তবে আমি নিজেই বুঝতে পারি এটি কীভাবে কাজ করে এবং এটির জন্য কী প্রয়োজন। একদিন, আমি আইফোনের ফটো গ্যালারীতে ঘুরে বেড়াচ্ছিলাম, এবং এটি আমার মনে হল, এটি একটি সত্যিকারের ডেটা লেক, আমি এমনকি সম্মেলনের জন্য একটি স্লাইড তৈরি করেছি:

সবকিছু খুব সহজ. আমরা ফোনে একটি ছবি তুলি, ছবিটি ফোনে সংরক্ষিত হয় এবং iCloud (ক্লাউড ফাইল স্টোরেজ) এ সংরক্ষণ করা যায়। ফোনটি ফটো মেটাডেটাও সংগ্রহ করে: কী দেখানো হয়েছে, জিও ট্যাগ, সময়। ফলস্বরূপ, আমরা আমাদের ফটো খুঁজে পেতে আইফোনের ব্যবহারকারী-বান্ধব ইন্টারফেস ব্যবহার করতে পারি এবং এমনকি আমরা সূচকগুলিও দেখতে পারি, উদাহরণস্বরূপ, যখন আমি আগুন শব্দের সাথে ফটোগুলি অনুসন্ধান করি, তখন আমি আগুনের একটি চিত্র সহ 3টি ফটো খুঁজে পাই৷ আমার জন্য, এটি একটি বিজনেস ইন্টেলিজেন্স টুলের মতো যা খুব দ্রুত এবং পরিষ্কারভাবে কাজ করে।

এবং অবশ্যই, আমাদের অবশ্যই নিরাপত্তা (অনুমোদন এবং প্রমাণীকরণ) সম্পর্কে ভুলে যাওয়া উচিত নয়, অন্যথায় আমাদের ডেটা সহজেই পাবলিক ডোমেনে শেষ হতে পারে। বৃহৎ কর্পোরেশন এবং স্টার্টআপ সম্পর্কে অনেক খবর রয়েছে যেগুলির ডেটা বিকাশকারীদের অবহেলার কারণে এবং সাধারণ নিয়মগুলি অনুসরণ করতে ব্যর্থতার কারণে সর্বজনীনভাবে উপলব্ধ হয়েছে৷

এমনকি এই ধরনের একটি সাধারণ ছবি আমাদের কল্পনা করতে সাহায্য করে যে একটি ডেটা লেক কী, একটি ঐতিহ্যগত ডেটা গুদাম থেকে এর পার্থক্য এবং এর প্রধান উপাদানগুলি:

তথ্য প্রস্তুত হচ্ছে (ইনজেশন) ডেটা লেকের একটি মূল উপাদান। ডেটা দুটি উপায়ে ডেটা গুদামে প্রবেশ করতে পারে - ব্যাচ (ব্যবধানে লোড হচ্ছে) এবং স্ট্রিমিং (ডেটা প্রবাহ)।
ফাইল স্টোরেজ (স্টোরেজ) ডাটা লেকের প্রধান উপাদান। আমাদের সঞ্চয়স্থান সহজে স্কেলযোগ্য, অত্যন্ত নির্ভরযোগ্য এবং কম খরচে প্রয়োজন। উদাহরণস্বরূপ, AWS এ এটি S3।
ক্যাটালগ এবং অনুসন্ধান (ক্যাটালগ এবং অনুসন্ধান) - ডেটা সোয়াম্প এড়াতে আমাদের জন্য (এটি যখন আমরা সমস্ত ডেটা এক স্তূপে ডাম্প করি এবং তারপরে এটির সাথে কাজ করা অসম্ভব), ডেটা শ্রেণীবদ্ধ করার জন্য আমাদের একটি মেটাডেটা স্তর তৈরি করতে হবে যাতে ব্যবহারকারীরা সহজেই ডেটা খুঁজে পেতে পারেন, যা তাদের বিশ্লেষণের জন্য প্রয়োজন। উপরন্তু, আপনি অতিরিক্ত অনুসন্ধান সমাধান যেমন ইলাস্টিক সার্চ ব্যবহার করতে পারেন। অনুসন্ধান ব্যবহারকারীকে একটি ব্যবহারকারী-বান্ধব ইন্টারফেসের মাধ্যমে প্রয়োজনীয় ডেটা খুঁজে পেতে সহায়তা করে।
প্রক্রিয়াকরণ (প্রসেস) - এই ধাপটি ডেটা প্রক্রিয়াকরণ এবং রূপান্তরের জন্য দায়ী। আমরা ডেটা রূপান্তর করতে পারি, এর গঠন পরিবর্তন করতে পারি, এটি পরিষ্কার করতে পারি এবং আরও অনেক কিছু করতে পারি।
নিরাপত্তা (নিরাপত্তা) - সমাধানের নিরাপত্তা নকশায় সময় ব্যয় করা গুরুত্বপূর্ণ। উদাহরণস্বরূপ, স্টোরেজ, প্রক্রিয়াকরণ এবং লোড করার সময় ডেটা এনক্রিপশন। প্রমাণীকরণ এবং অনুমোদন পদ্ধতি ব্যবহার করা গুরুত্বপূর্ণ। অবশেষে, একটি অডিট টুল প্রয়োজন.

একটি ব্যবহারিক দৃষ্টিকোণ থেকে, আমরা তিনটি বৈশিষ্ট্য দ্বারা একটি ডেটা লেককে চিহ্নিত করতে পারি:

কিছু সংগ্রহ এবং সংরক্ষণ করুন — ডেটা লেকে সমস্ত ডেটা থাকে, যে কোনও সময়ের জন্য কাঁচা অপ্রক্রিয়াজাত ডেটা এবং প্রক্রিয়াকৃত/পরিষ্কার করা ডেটা উভয়ই।
গভীর অনুসন্ধান — একটি ডেটা লেক ব্যবহারকারীদের ডেটা অন্বেষণ এবং বিশ্লেষণ করতে দেয়।
নমনীয় অ্যাক্সেস — ডেটা লেক বিভিন্ন ডেটা এবং বিভিন্ন পরিস্থিতিতে নমনীয় অ্যাক্সেস প্রদান করে।

এখন আমরা ডেটা গুদাম এবং ডেটা লেকের মধ্যে পার্থক্য সম্পর্কে কথা বলতে পারি। সাধারণত লোকেরা জিজ্ঞাসা করে:

তথ্য গুদাম সম্পর্কে কি?
আমরা কি ডেটা গুদামটিকে ডেটা লেকের সাথে প্রতিস্থাপন করছি বা আমরা এটিকে প্রসারিত করছি?
এটা এখনও একটি ডাটা লেক ছাড়া করা সম্ভব?

সংক্ষেপে, কোন স্পষ্ট উত্তর নেই। এটি সব নির্দিষ্ট পরিস্থিতি, দলের দক্ষতা এবং বাজেটের উপর নির্ভর করে। উদাহরণস্বরূপ, ওরাকল থেকে AWS-এ একটি ডেটা গুদাম স্থানান্তরিত করা এবং একটি আমাজন সহায়ক সংস্থার দ্বারা একটি ডেটা লেক তৈরি করা - Woot - আমাদের ডেটা লেকের গল্প: কিভাবে Woot.com AWS-এ একটি সার্ভারহীন ডেটা লেক তৈরি করেছে৷.

অন্যদিকে, বিক্রেতা স্নোফ্লেক বলেছেন যে আপনাকে আর ডেটা লেক সম্পর্কে ভাবতে হবে না, যেহেতু তাদের ডেটা প্ল্যাটফর্ম (2020 পর্যন্ত এটি একটি ডেটা গুদাম ছিল) আপনাকে ডেটা লেক এবং ডেটা গুদাম উভয়ই একত্রিত করতে দেয়। আমি স্নোফ্লেকের সাথে খুব বেশি কাজ করিনি এবং এটি সত্যিই একটি অনন্য পণ্য যা এটি করতে পারে। ইস্যুটির দাম অন্য বিষয়।

উপসংহারে, আমার ব্যক্তিগত মতামত হল যে আমাদের রিপোর্টিংয়ের জন্য ডেটার মূল উত্স হিসাবে আমাদের এখনও একটি ডেটা গুদাম প্রয়োজন এবং যা কিছু উপযুক্ত নয় তা আমরা একটি ডেটা লেকে সংরক্ষণ করি। বিশ্লেষণের পুরো ভূমিকা হল ব্যবসার সিদ্ধান্ত নেওয়ার জন্য সহজ অ্যাক্সেস প্রদান করা। কেউ যাই বলুক না কেন, ব্যবসায়িক ব্যবহারকারীরা ডেটা লেকের চেয়ে ডেটা গুদামের সাথে আরও দক্ষতার সাথে কাজ করে, উদাহরণস্বরূপ অ্যামাজনে - সেখানে রেডশিফ্ট (বিশ্লেষণমূলক ডেটা গুদাম) রয়েছে এবং সেখানে রেডশিফ্ট স্পেকট্রাম/এথেনা (এস 3-তে ডেটা লেকের জন্য এসকিউএল ইন্টারফেস) রয়েছে মৌচাক/প্রেস্টো)। একই অন্যান্য আধুনিক বিশ্লেষণাত্মক তথ্য গুদাম প্রযোজ্য.

আসুন একটি সাধারণ ডেটা গুদামের আর্কিটেকচার দেখি:

এটি একটি ক্লাসিক সমাধান। আমাদের কাছে সোর্স সিস্টেম রয়েছে, ETL/ELT ব্যবহার করে আমরা ডেটা কপি করে একটি বিশ্লেষণাত্মক ডেটা গুদামে এবং এটিকে একটি বিজনেস ইন্টেলিজেন্স সলিউশনের সাথে সংযুক্ত করি (আমার প্রিয় মূকনাটি, আপনার কী হবে?)।

এই সমাধান নিম্নলিখিত অসুবিধা আছে:

ETL/ELT অপারেশনের জন্য সময় এবং সংস্থান প্রয়োজন।
একটি নিয়ম হিসাবে, একটি বিশ্লেষণাত্মক ডেটা গুদামে ডেটা সংরক্ষণের জন্য মেমরি সস্তা নয় (উদাহরণস্বরূপ, Redshift, BigQuery, Teradata), যেহেতু আমাদের একটি সম্পূর্ণ ক্লাস্টার কিনতে হবে।
ব্যবসায়িক ব্যবহারকারীদের পরিষ্কার এবং প্রায়শই একত্রিত ডেটাতে অ্যাক্সেস রয়েছে এবং কাঁচা ডেটাতে অ্যাক্সেস নেই।

অবশ্যই, এটা সব আপনার ক্ষেত্রে উপর নির্ভর করে. যদি আপনার ডেটা গুদাম নিয়ে সমস্যা না থাকে, তাহলে আপনার ডেটা লেকের প্রয়োজন নেই। কিন্তু যখন স্থান, শক্তি বা মূল্যের অভাবের সাথে সমস্যা দেখা দেয়, তখন আপনি ডেটা লেকের বিকল্পটি বিবেচনা করতে পারেন। এই কারণেই ডাটা লেক খুবই জনপ্রিয়। এখানে একটি ডেটা লেক আর্কিটেকচারের একটি উদাহরণ রয়েছে:

ডেটা লেক পদ্ধতি ব্যবহার করে, আমরা আমাদের ডেটা লেকে (ব্যাচ বা স্ট্রিমিং) কাঁচা ডেটা লোড করি, তারপরে আমরা প্রয়োজনীয় ডেটা প্রক্রিয়া করি। ডেটা লেক ব্যবসায়িক ব্যবহারকারীদের নিজস্ব ডেটা ট্রান্সফরমেশন (ETL/ELT) তৈরি করতে বা বিজনেস ইন্টেলিজেন্স সলিউশনে ডেটা বিশ্লেষণ করতে দেয় (যদি প্রয়োজনীয় ড্রাইভার পাওয়া যায়)।

যেকোনো বিশ্লেষণ সমাধানের লক্ষ্য হল ব্যবসায়িক ব্যবহারকারীদের সেবা করা। অতএব, আমাদের সর্বদা ব্যবসায়ের প্রয়োজনীয়তা অনুসারে কাজ করতে হবে। (আমাজনে এটি একটি নীতি - পিছনের দিকে কাজ করা)।

একটি ডেটা গুদাম এবং একটি ডেটা লেক উভয়ের সাথে কাজ করে, আমরা উভয় সমাধানের তুলনা করতে পারি:

যে প্রধান উপসংহার টানা যেতে পারে তা হল যে ডেটা গুদামটি ডেটা লেকের সাথে প্রতিযোগিতা করে না, বরং এটিকে পরিপূরক করে। কিন্তু আপনার ক্ষেত্রে কোনটি সঠিক তা সিদ্ধান্ত নেওয়া আপনার উপর নির্ভর করে। এটি নিজে চেষ্টা করা এবং সঠিক সিদ্ধান্তে আসা সর্বদা আকর্ষণীয়।

আমি ডেটা লেক পদ্ধতির ব্যবহার শুরু করার সময় আপনাকে একটি ক্ষেত্রেও বলতে চাই। সবকিছুই বেশ তুচ্ছ, আমি একটি ইএলটি টুল ব্যবহার করার চেষ্টা করেছি (আমাদের ম্যাটিলিয়ন ইটিএল ছিল) এবং অ্যামাজন রেডশিফ্ট, আমার সমাধান কাজ করেছে, কিন্তু প্রয়োজনীয়তা পূরণ করেনি।

আমার ওয়েব লগ নেওয়া দরকার, সেগুলি রূপান্তর করা এবং 2টি ক্ষেত্রে ডেটা সরবরাহ করার জন্য সেগুলিকে একত্রিত করা দরকার:

মার্কেটিং টিম এসইও এর জন্য বট কার্যকলাপ বিশ্লেষণ করতে চেয়েছিল
আইটি ওয়েবসাইট কর্মক্ষমতা মেট্রিক্স দেখতে চেয়েছিলেন

খুব সহজ, খুব সহজ লগ। এখানে একটি উদাহরণ:

https 2018-07-02T22:23:00.186641Z app/my-loadbalancer/50dc6c495c0c9188 
192.168.131.39:2817 10.0.0.1:80 0.086 0.048 0.037 200 200 0 57 
"GET https://www.example.com:443/ HTTP/1.1" "curl/7.46.0" ECDHE-RSA-AES128-GCM-SHA256 TLSv1.2 
arn:aws:elasticloadbalancing:us-east-2:123456789012:targetgroup/my-targets/73e2d6bc24d8a067
"Root=1-58337281-1d84f3d73c47ec4e58577259" "www.example.com" "arn:aws:acm:us-east-2:123456789012:certificate/12345678-1234-1234-1234-123456789012"
1 2018-07-02T22:22:48.364000Z "authenticate,forward" "-" "-"

একটি ফাইলের ওজন ছিল 1-4 মেগাবাইট।

কিন্তু একটা অসুবিধা ছিল। সারা বিশ্বে আমাদের 7টি ডোমেইন ছিল এবং একদিনে 7000 হাজার ফাইল তৈরি হয়েছিল৷ এটি অনেক বেশি ভলিউম নয়, মাত্র 50 গিগাবাইট। কিন্তু আমাদের রেডশিফ্ট ক্লাস্টারের আকারও ছোট ছিল (4 নোড)। প্রথাগত পদ্ধতিতে একটি ফাইল লোড করতে প্রায় এক মিনিট সময় লেগেছে। অর্থাৎ সমস্যার সমাধান হয়নি মাথায়। এবং এই ঘটনাটি ছিল যখন আমি ডেটা লেক পদ্ধতি ব্যবহার করার সিদ্ধান্ত নিয়েছিলাম। সমাধান এই মত কিছু লাগছিল:

এটি বেশ সহজ (আমি লক্ষ্য করতে চাই যে ক্লাউডে কাজ করার সুবিধা হল সরলতা)। আমি ব্যবহার করতাম:

কম্পিউট পাওয়ারের জন্য AWS ইলাস্টিক ম্যাপ রিডুস (Hadoop)
ডেটা এনক্রিপ্ট করার ক্ষমতা এবং অ্যাক্সেস সীমিত করার ক্ষমতা সহ ফাইল স্টোরেজ হিসাবে AWS S3
ইনমেমোরি কম্পিউটিং শক্তি হিসাবে স্পার্ক এবং যুক্তি এবং ডেটা রূপান্তরের জন্য পাইস্পার্ক
স্পার্ক এর ফলে Parquet
নতুন ডেটা এবং পার্টিশন সম্পর্কে মেটাডেটা সংগ্রাহক হিসাবে AWS আঠালো ক্রলার
রেডশিফ্ট স্পেকট্রাম বর্তমান রেডশিফ্ট ব্যবহারকারীদের জন্য ডেটা লেকের SQL ইন্টারফেস হিসাবে

ক্ষুদ্রতম EMR + স্পার্ক ক্লাস্টারটি 30 মিনিটের মধ্যে ফাইলগুলির সম্পূর্ণ স্ট্যাক প্রক্রিয়া করে। AWS-এর জন্য অন্যান্য ক্ষেত্রে রয়েছে, বিশেষ করে অনেকগুলি আলেক্সার সাথে সম্পর্কিত, যেখানে প্রচুর ডেটা রয়েছে।

সম্প্রতি আমি একটি ডেটা লেকের অসুবিধাগুলির মধ্যে একটি হল জিডিপিআর। সমস্যা হল যখন ক্লায়েন্ট এটি মুছে ফেলতে বলে এবং ডেটাটি ফাইলগুলির একটিতে থাকে, আমরা ডেটা ম্যানিপুলেশন ল্যাঙ্গুয়েজ ব্যবহার করতে পারি না এবং ডাটাবেসের মতো অপারেশন ডিলিট করতে পারি না।

আমি আশা করি এই নিবন্ধটি একটি ডেটা গুদাম এবং একটি ডেটা লেকের মধ্যে পার্থক্য স্পষ্ট করেছে। আপনি যদি আগ্রহী হন, আমি আমার পড়া পেশাদারদের নিবন্ধ বা নিবন্ধগুলি অনুবাদ করতে পারি। এবং আমি যে সমাধানগুলির সাথে কাজ করি এবং তাদের আর্কিটেকচার সম্পর্কেও বলুন৷

উত্স: www.habr.com

আমরা একটি ডাটা লেক প্রয়োজন? ডাটা গুদাম দিয়ে কি করবেন?

একটি মন্তব্য জুড়ুন উত্তর বাতিল