কীভাবে Google-এর BigQuery ডেটা বিশ্লেষণকে গণতান্ত্রিক করেছে। অংশ 2

হ্যালো, হাবর! একটি নতুন কোর্স স্ট্রীমের জন্য তালিকাভুক্তি এখনই OTUS এ খোলা আছে ডেটা ইঞ্জিনিয়ার. কোর্স শুরু হওয়ার প্রত্যাশায়, আমরা আপনার সাথে দরকারী উপাদান শেয়ার করতে থাকি।

প্রথম অংশ পড়ুন

ডাটা ব্যাবস্থাপনা

স্ট্রং ডেটা গভর্নেন্স হল টুইটার ইঞ্জিনিয়ারিং এর একটি মূল নীতি। আমরা আমাদের প্ল্যাটফর্মে BigQuery প্রয়োগ করার সময়, আমরা ডেটা আবিষ্কার, অ্যাক্সেস নিয়ন্ত্রণ, নিরাপত্তা এবং গোপনীয়তার উপর ফোকাস করি।

ডেটা আবিষ্কার এবং পরিচালনা করার জন্য, আমরা আমাদের ডেটা অ্যাক্সেস লেয়ারকে প্রসারিত করেছি ডাল) আমাদের ব্যবহারকারীদের জন্য একটি একক ইন্টারফেস এবং API প্রদান করে, অন-প্রিমিসেস এবং Google ক্লাউড ডেটা উভয়ের জন্য সরঞ্জাম সরবরাহ করতে। গুগল হিসাবে ডেটা ক্যাটালগ সাধারণ উপলব্ধতার দিকে অগ্রসর হচ্ছে, আমরা কলাম অনুসন্ধানের মতো বৈশিষ্ট্যগুলি ব্যবহারকারীদের প্রদানের জন্য এটিকে আমাদের প্রকল্পগুলিতে অন্তর্ভুক্ত করব।

BigQuery ডেটা শেয়ার করা এবং অ্যাক্সেস করা সহজ করে, কিন্তু ডেটা অপসারণ রোধ করতে আমাদের এর উপর কিছু নিয়ন্ত্রণ থাকা দরকার। অন্যান্য সরঞ্জামগুলির মধ্যে, আমরা দুটি ফাংশন নির্বাচন করেছি:

• ডোমেন সীমাবদ্ধ শেয়ারিং: টুইটারের বাইরের ব্যবহারকারীদের সাথে BigQuery ডেটাসেট শেয়ার করা থেকে ব্যবহারকারীদের আটকাতে বিটা বৈশিষ্ট্য।
• ভিপিসি পরিষেবা নিয়ন্ত্রণ: একটি নিয়ন্ত্রণ যা ডেটা অপসারণকে বাধা দেয় এবং ব্যবহারকারীদের পরিচিত IP ঠিকানা ব্যাপ্তি থেকে BigQuery অ্যাক্সেস করতে হয়।

আমরা নিম্নলিখিত হিসাবে নিরাপত্তার জন্য প্রমাণীকরণ, অনুমোদন, এবং অডিটিং (AAA) প্রয়োজনীয়তা বাস্তবায়ন করেছি:

• প্রমাণীকরণ: আমরা অ্যাডহক অনুরোধের জন্য GCP ব্যবহারকারী অ্যাকাউন্ট এবং উত্পাদন অনুরোধের জন্য পরিষেবা অ্যাকাউন্ট ব্যবহার করেছি।
• অনুমোদন: আমাদের প্রতিটি ডেটাসেটের মালিকের পরিষেবা অ্যাকাউন্ট এবং একটি পাঠক গোষ্ঠী থাকা প্রয়োজন৷
• অডিটিং: সহজ বিশ্লেষণের জন্য আমরা BigQuery স্ট্যাকড্রাইভার লগ রপ্তানি করেছি, যাতে বিস্তারিত ক্যোয়ারী এক্সিকিউশন তথ্য রয়েছে।

Twitter ব্যবহারকারীদের ব্যক্তিগত ডেটা সঠিকভাবে পরিচালনা করা হয়েছে তা নিশ্চিত করতে, আমাদের অবশ্যই সমস্ত BigQuery ডেটাসেট নিবন্ধন করতে হবে, ব্যক্তিগত ডেটা টীকা করতে হবে, সঠিক স্টোরেজ বজায় রাখতে হবে এবং ব্যবহারকারীদের দ্বারা মুছে ফেলা ডেটা মুছে ফেলতে হবে (স্ক্র্যাপ)।

আমরা গুগলের দিকে তাকালাম ক্লাউড ডেটা লস প্রতিরোধ API, যা সংবেদনশীল ডেটা শ্রেণীবদ্ধ করতে এবং সম্পাদনা করতে মেশিন লার্নিং ব্যবহার করে, কিন্তু নির্ভুলতার কারণে ডেটাসেট ম্যানুয়ালি টীকা করার পক্ষে সিদ্ধান্ত নিয়েছে। কাস্টম টীকা বাড়ানোর জন্য আমরা ডেটা লস প্রতিরোধ API ব্যবহার করার পরিকল্পনা করছি।

Twitter-এ, আমরা BigQuery-এ ডেটাসেটের জন্য চারটি গোপনীয়তা বিভাগ তৈরি করেছি, সংবেদনশীলতার ক্রমানুসারে এখানে তালিকাভুক্ত করা হয়েছে:

• অত্যন্ত সংবেদনশীল ডেটা সেটগুলি ন্যূনতম বিশেষাধিকারের নীতির উপর ভিত্তি করে প্রয়োজনীয় ভিত্তিতে উপলব্ধ করা হয়। প্রতিটি ডেটা সেটের পাঠকদের একটি পৃথক গোষ্ঠী রয়েছে এবং আমরা পৃথক অ্যাকাউন্ট দ্বারা ব্যবহার ট্র্যাক করব।
• মাঝারি সংবেদনশীলতা ডেটাসেট (সল্টেড হ্যাশিং ব্যবহার করে একমুখী ছদ্মনাম) ব্যক্তিগতভাবে সনাক্তযোগ্য তথ্য (PII) ধারণ করে না এবং কর্মচারীদের একটি বৃহত্তর গোষ্ঠীর কাছে অ্যাক্সেসযোগ্য। এটি গোপনীয়তা উদ্বেগ এবং ডেটা উপযোগিতার মধ্যে একটি ভাল ভারসাম্য। এটি কর্মীদের বিশ্লেষণের কাজগুলি সম্পাদন করতে দেয়, যেমন প্রকৃত ব্যবহারকারী কে তা না জেনেই একটি বৈশিষ্ট্য ব্যবহার করেছেন এমন ব্যবহারকারীর সংখ্যা গণনা করা।
• সমস্ত ব্যবহারকারী সনাক্তকারী তথ্য সহ কম সংবেদনশীলতা ডেটাসেট। এটি একটি গোপনীয়তার দৃষ্টিকোণ থেকে একটি ভাল পদ্ধতি, কিন্তু ব্যবহারকারী-স্তরের বিশ্লেষণের জন্য ব্যবহার করা যাবে না।
• পাবলিক ডেটাসেট (টুইটারের বাইরে প্রকাশিত) সমস্ত টুইটার কর্মীদের জন্য উপলব্ধ।

লগিংয়ের জন্য, আমরা BigQuery ডেটাসেটগুলি গণনা করার জন্য নির্ধারিত কাজগুলি ব্যবহার করেছি এবং সেগুলিকে ডেটা অ্যাক্সেস লেয়ার (ডাল), টুইটার মেটাডেটা সংগ্রহস্থল। ব্যবহারকারীরা গোপনীয়তা তথ্য সহ ডেটাসেটগুলি টীকা করবে এবং একটি ধারণ সময়ও নির্দিষ্ট করবে৷ পরিষ্কারের জন্য, আমরা দুটি বিকল্পের কর্মক্ষমতা এবং খরচ মূল্যায়ন করি: 1. স্ক্যাল্ডিং এর মতো টুল ব্যবহার করে GCS-এ ডেটাসেট পরিষ্কার করা এবং সেগুলো BigQuery-এ লোড করা; 2. BigQuery DML স্টেটমেন্ট ব্যবহার করা। আমরা সম্ভবত বিভিন্ন গোষ্ঠী এবং ডেটার প্রয়োজনীয়তা মেটাতে উভয় পদ্ধতির সংমিশ্রণ ব্যবহার করব।

সিস্টেম কার্যকারিতা

যেহেতু BigQuery একটি পরিচালিত পরিষেবা, সিস্টেম ম্যানেজমেন্ট বা ডেস্ক ডিউটিতে Twitter এর SRE টিমকে জড়িত করার কোন প্রয়োজন ছিল না। স্টোরেজ এবং কম্পিউটিং উভয়ের জন্য আরও ক্ষমতা প্রদান করা সহজ ছিল। আমরা Google সমর্থনে একটি টিকিট তৈরি করে স্লট রিজার্ভেশন পরিবর্তন করতে পারি। আমরা এমন ক্ষেত্রগুলি চিহ্নিত করেছি যেগুলি উন্নত করা যেতে পারে, যেমন স্ব-পরিষেবা স্লট বরাদ্দকরণ এবং মনিটরিংয়ের জন্য ড্যাশবোর্ডের উন্নতি, এবং সেই অনুরোধগুলি Google-এ জমা দেওয়া হয়েছে৷

খরচ

আমাদের প্রাথমিক বিশ্লেষণে দেখা গেছে যে BigQuery এবং Presto-এর জন্য কোয়েরি খরচ একই স্তরে ছিল। আমরা জন্য স্লট ক্রয় স্থায়ী মূল্য পরিশোধের পরিবর্তে একটি স্থিতিশীল মাসিক খরচ আছে চাহিদা সাপেক্ষে প্রক্রিয়াকৃত ডেটার প্রতি টিবি। এই সিদ্ধান্তটি ব্যবহারকারীদের প্রতিক্রিয়ার উপর ভিত্তি করেও ছিল যারা প্রতিটি অনুরোধ করার আগে খরচ সম্পর্কে চিন্তা করতে চান না।

BigQuery-এ ডেটা সঞ্চয় করার ফলে GCS খরচ ছাড়াও খরচ হয়। স্ক্যাল্ডিংয়ের মতো টুলগুলির জন্য GCS-এ ডেটাসেট প্রয়োজন এবং BigQuery অ্যাক্সেস করতে আমাদের একই ডেটাসেটগুলি BigQuery ফর্ম্যাটে লোড করতে হয়েছিল ক্যাপাসিটর. আমরা BigQuery ডেটাসেটের সাথে একটি স্ক্যাল্ডিং সংযোগে কাজ করছি যা GCS এবং BigQuery উভয় ক্ষেত্রেই ডেটাসেট সংরক্ষণ করার প্রয়োজনীয়তা দূর করবে।

বিরল ক্ষেত্রে যেগুলির জন্য দশ হাজার পেটাবাইটের কদাচিৎ প্রশ্নের প্রয়োজন হয়, আমরা সিদ্ধান্ত নিয়েছি যে BigQuery-এ ডেটাসেট সংরক্ষণ করা সাশ্রয়ী ছিল না এবং GCS-এ ডেটাসেটগুলি সরাসরি অ্যাক্সেস করতে Presto ব্যবহার করেছিলাম। এটি করার জন্য, আমরা BigQuery এক্সটার্নাল ডেটা সোর্স দেখছি।

পরবর্তী পদক্ষেপ

আলফা প্রকাশের পর থেকে আমরা BigQuery-এর প্রতি অনেক আগ্রহ দেখেছি। আমরা BigQuery-এ আরও ডেটাসেট এবং আরও কমান্ড যোগ করছি। আমরা BigQuery স্টোরেজে পড়তে এবং লিখতে Scalding-এর মতো ডেটা অ্যানালিটিক্স টুলের জন্য কানেক্টর তৈরি করি। BigQuery ডেটাসেট ব্যবহার করে এন্টারপ্রাইজ গুণমানের প্রতিবেদন এবং নোট তৈরি করার জন্য আমরা Looker এবং Apache Zeppelin-এর মতো টুলগুলি দেখছি।

Google-এর সাথে আমাদের সহযোগিতা খুবই ফলপ্রসূ হয়েছে এবং আমরা এই অংশীদারিত্ব চালিয়ে যেতে এবং বিকাশ করতে পেরে আনন্দিত। আমরা আমাদের নিজস্ব বাস্তবায়নের জন্য Google এর সাথে কাজ করেছি পার্টনার ইস্যু ট্র্যাকারসরাসরি Google-এ প্রশ্ন পাঠাতে। তাদের মধ্যে কিছু, যেমন BigQuery Parquet লোডার, ইতিমধ্যেই Google দ্বারা প্রয়োগ করা হয়েছে৷

এখানে Google এর জন্য আমাদের কিছু উচ্চ অগ্রাধিকার বৈশিষ্ট্য অনুরোধ রয়েছে:

• সুবিধাজনক ডেটা রিসেপশন এবং LZO-থ্রিফট ফরম্যাটের জন্য সমর্থনের জন্য টুল।
• ঘন্টায় বিভাজন
• অ্যাক্সেস নিয়ন্ত্রণের উন্নতি যেমন টেবিল-, সারি- এবং কলাম-স্তরের অনুমতি।
• BigQuery- তে এক্সটার্নাল ডাটা সোর্স Hive Metastore ইন্টিগ্রেশন এবং LZO-থ্রিফট ফরম্যাটের জন্য সমর্থন সহ।
• BigQuery ইউজার ইন্টারফেসে উন্নত ডেটা ক্যাটালগ ইন্টিগ্রেশন
• স্লট বরাদ্দ এবং পর্যবেক্ষণের জন্য স্ব-পরিষেবা।

উপসংহার

ডেটা অ্যানালিটিক্স, ভিজ্যুয়ালাইজেশন, এবং মেশিন লার্নিংকে নিরাপদ উপায়ে গণতন্ত্রীকরণ করা ডেটা প্ল্যাটফর্ম দলের জন্য একটি শীর্ষ অগ্রাধিকার। আমরা Google BigQuery এবং ডেটা স্টুডিওকে এমন টুল হিসেবে চিহ্নিত করেছি যা এই লক্ষ্য অর্জনে সাহায্য করতে পারে এবং গত বছর কোম্পানি জুড়ে BigQuery আলফা প্রকাশ করেছে।

আমরা BigQuery-এ প্রশ্নগুলিকে সহজ এবং দক্ষ বলে খুঁজে পেয়েছি। আমরা সাধারণ পাইপলাইনগুলির জন্য ডেটা গ্রহণ এবং রূপান্তর করতে Google সরঞ্জামগুলি ব্যবহার করেছি, কিন্তু জটিল পাইপলাইনের জন্য আমাদের নিজস্ব এয়ারফ্লো ফ্রেমওয়ার্ক তৈরি করতে হয়েছিল৷ ডেটা ম্যানেজমেন্ট স্পেসে, প্রমাণীকরণ, অনুমোদন এবং অডিট করার জন্য BigQuery-এর পরিষেবাগুলি আমাদের চাহিদা পূরণ করে। মেটাডেটা পরিচালনা এবং গোপনীয়তা বজায় রাখতে, আমাদের আরও নমনীয়তার প্রয়োজন এবং আমাদের নিজস্ব সিস্টেম তৈরি করতে হয়েছিল। BigQuery, একটি পরিচালিত পরিষেবা হওয়ায় ব্যবহার করা সহজ ছিল। ক্যোয়ারী খরচ বিদ্যমান টুলস অনুরূপ ছিল. BigQuery-এ ডেটা স্টোর করার জন্য GCS খরচ ছাড়াও খরচ হয়।

সামগ্রিকভাবে, সাধারণ SQL বিশ্লেষণের জন্য BigQuery ভাল কাজ করে। আমরা BigQuery-এর প্রতি অনেক আগ্রহ দেখছি এবং আমরা আরও ডেটা সেট স্থানান্তর করতে, আরও টিম আনতে এবং BigQuery-এর সাথে আরও পাইপলাইন তৈরি করতে কাজ করছি। টুইটার বিভিন্ন ধরণের ডেটা ব্যবহার করে যার জন্য স্ক্যাল্ডিং, স্পার্ক, প্রেস্টো এবং ড্রুইডের মতো সরঞ্জামগুলির সংমিশ্রণের প্রয়োজন হবে। আমরা আমাদের ডেটা অ্যানালিটিক্স টুলগুলিকে শক্তিশালী করতে এবং কীভাবে আমাদের অফারগুলিকে সর্বোত্তমভাবে ব্যবহার করতে হয় সে সম্পর্কে আমাদের ব্যবহারকারীদের স্পষ্ট নির্দেশনা প্রদান করতে চাই।

কৃতজ্ঞতার বাণী

আমি আমার সহ-লেখক এবং সতীর্থদের ধন্যবাদ জানাতে চাই, অঞ্জু ঝা এবং উইল পাসুকি, এই প্রকল্পে তাদের মহান সহযোগিতা এবং কঠোর পরিশ্রমের জন্য। আমি Twitter এবং Google-এর বিভিন্ন দলের প্রকৌশলী এবং পরিচালকদের ধন্যবাদ জানাতে চাই যারা আমাদের এবং Twitter-এ BigQuery ব্যবহারকারীদের সাহায্য করেছেন যারা মূল্যবান মতামত প্রদান করেছেন।

আপনি যদি এই সমস্যাগুলিতে কাজ করতে আগ্রহী হন তবে আমাদের দেখুন শূন্যপদ ডেটা প্ল্যাটফর্ম দলে।

DWH-এ ডেটার গুণমান - ডেটা গুদাম সামঞ্জস্য

উত্স: www.habr.com