কীভাবে Google-এর BigQuery ডেটা বিশ্লেষণকে গণতান্ত্রিক করেছে। অংশ 1

হ্যালো, হাবর! একটি নতুন কোর্স স্ট্রীমের জন্য তালিকাভুক্তি এখনই OTUS এ খোলা আছে ডেটা ইঞ্জিনিয়ার. কোর্স শুরুর প্রত্যাশায়, আমরা ঐতিহ্যগতভাবে আপনার জন্য আকর্ষণীয় উপাদানের অনুবাদ প্রস্তুত করেছি।

প্রতিদিন, একশো মিলিয়নেরও বেশি মানুষ বিশ্বে কী ঘটছে তা জানতে এবং আলোচনা করতে টুইটারে যান। প্রতিটি টুইট এবং প্রতিটি অন্য ব্যবহারকারীর ক্রিয়া এমন একটি ইভেন্ট তৈরি করে যা টুইটারের অভ্যন্তরীণ ডেটা বিশ্লেষণের জন্য উপলব্ধ। শত শত কর্মচারী এই ডেটা বিশ্লেষণ এবং কল্পনা করে, এবং তাদের অভিজ্ঞতা উন্নত করা Twitter ডেটা প্ল্যাটফর্ম টিমের জন্য একটি শীর্ষ অগ্রাধিকার।

আমরা বিশ্বাস করি যে প্রযুক্তিগত দক্ষতার বিস্তৃত পরিসরের ব্যবহারকারীদের ডেটা আবিষ্কার করতে সক্ষম হওয়া উচিত এবং ভাল-সম্পাদনা করা SQL-ভিত্তিক বিশ্লেষণ এবং ভিজ্যুয়ালাইজেশন সরঞ্জামগুলিতে অ্যাক্সেস থাকতে হবে। এটি ডেটা বিশ্লেষক এবং পণ্য পরিচালক সহ কম প্রযুক্তিগত ব্যবহারকারীদের একটি সম্পূর্ণ নতুন গ্রুপকে ডেটা থেকে অন্তর্দৃষ্টি বের করার অনুমতি দেবে, যাতে তারা টুইটারের ক্ষমতাগুলি আরও ভালভাবে বুঝতে এবং ব্যবহার করতে পারে৷ এইভাবে আমরা টুইটারে ডেটা বিশ্লেষণকে গণতন্ত্রীকরণ করি।

আমাদের টুলস এবং অভ্যন্তরীণ ডেটা বিশ্লেষণ ক্ষমতা যেমন উন্নত হয়েছে, আমরা টুইটারের উন্নতি দেখেছি। যাইহোক, এখনও উন্নতি করার জায়গা আছে। স্কাল্ডিংয়ের মতো বর্তমান সরঞ্জামগুলির জন্য প্রোগ্রামিং অভিজ্ঞতা প্রয়োজন। এসকিউএল-ভিত্তিক বিশ্লেষণ সরঞ্জাম যেমন প্রেস্টো এবং ভার্টিকার স্কেলে কর্মক্ষমতা সমস্যা রয়েছে। আমাদের এটিতে অবিচ্ছিন্ন অ্যাক্সেস ছাড়াই একাধিক সিস্টেমে ডেটা বিতরণের সমস্যা রয়েছে।

গত বছর আমরা ঘোষণা দিয়েছিলাম Google এর সাথে নতুন সহযোগিতা, যার মধ্যে আমরা আমাদের কিছু অংশ স্থানান্তর করি তথ্য পরিকাঠামো Google ক্লাউড প্ল্যাটফর্মে (GCP)। আমরা উপসংহারে পৌঁছেছি যে গুগল ক্লাউড টুলস বড় ডেটা টুইটারে অ্যানালিটিক্স, ভিজ্যুয়ালাইজেশন এবং মেশিন লার্নিংকে গণতান্ত্রিক করার জন্য আমাদের উদ্যোগে সাহায্য করতে পারে:

• BigQuery- তে: এসকিউএল ইঞ্জিন ভিত্তিক এন্টারপ্রাইজ ডেটা গুদাম Dremel, যা তার গতি, সরলতা এবং সঙ্গে copes জন্য বিখ্যাত মেশিন লার্নিং.
• ডেটা স্টুডিও: Google ডক্স-এর মতো সহযোগিতা বৈশিষ্ট্য সহ বড় ডেটা ভিজ্যুয়ালাইজেশন টুল।

এই নিবন্ধে, আপনি এই সরঞ্জামগুলির সাথে আমাদের অভিজ্ঞতা সম্পর্কে শিখবেন: আমরা কী করেছি, আমরা কী শিখেছি এবং আমরা পরবর্তীতে কী করব৷ আমরা এখন ব্যাচ এবং ইন্টারেক্টিভ বিশ্লেষণে ফোকাস করব। আমরা পরবর্তী নিবন্ধে বাস্তব-সময় বিশ্লেষণ নিয়ে আলোচনা করব।

টুইটার ডেটা স্টোরের ইতিহাস

BigQuery-এ ডাইভ করার আগে, টুইটার ডেটা গুদামজাতকরণের ইতিহাস সংক্ষিপ্তভাবে বর্ণনা করা মূল্যবান। 2011 সালে, টুইটার ডেটা বিশ্লেষণ ভার্টিকা এবং হাদুপে সঞ্চালিত হয়েছিল। আমরা MapReduce Hadoop কাজ তৈরি করতে Pig ব্যবহার করি। 2012 সালে, আমরা পিগকে স্ক্যাল্ডিং দিয়ে প্রতিস্থাপিত করেছি, যার একটি স্কলা API ছিল জটিল পাইপলাইন তৈরি করার ক্ষমতা এবং পরীক্ষার সহজতার মতো সুবিধা সহ। যাইহোক, অনেক ডেটা বিশ্লেষক এবং প্রোডাক্ট ম্যানেজার যারা SQL এর সাথে কাজ করতে বেশি স্বাচ্ছন্দ্য বোধ করেন, এটি একটি মোটামুটি খাড়া শেখার বক্ররেখা ছিল। 2016 সালের দিকে, আমরা Hadoop ডেটাতে SQL ইন্টারফেস হিসাবে Presto ব্যবহার শুরু করি। স্পার্ক একটি পাইথন ইন্টারফেস অফার করেছে, যা এটিকে অ্যাডহক ডেটা সায়েন্স এবং মেশিন লার্নিংয়ের জন্য একটি ভাল পছন্দ করে তোলে।

2018 সাল থেকে, আমরা ডেটা বিশ্লেষণ এবং ভিজ্যুয়ালাইজেশনের জন্য নিম্নলিখিত সরঞ্জামগুলি ব্যবহার করেছি:

• উত্পাদন conveyors জন্য scalding
• অ্যাডহক ডেটা বিশ্লেষণ এবং মেশিন লার্নিংয়ের জন্য স্কাল্ডিং এবং স্পার্ক
• অ্যাডহক এবং ইন্টারেক্টিভ SQL বিশ্লেষণের জন্য Vertica এবং Presto
• টাইম সিরিজ মেট্রিক্সে কম ইন্টারেক্টিভ, অনুসন্ধানমূলক এবং কম লেটেন্সি অ্যাক্সেসের জন্য ড্রুড
• ডাটা ভিজ্যুয়ালাইজেশনের জন্য ট্যাবলো, জেপেলিন এবং পিভট

আমরা দেখেছি যে এই সরঞ্জামগুলি যখন খুব শক্তিশালী ক্ষমতা প্রদান করে, তখন আমাদের এই ক্ষমতাগুলি টুইটারে বৃহত্তর দর্শকদের কাছে উপলব্ধ করতে অসুবিধা হয়েছিল৷ Google ক্লাউডের সাথে আমাদের প্ল্যাটফর্মকে প্রসারিত করার মাধ্যমে, আমরা সমস্ত Twitter-এর জন্য আমাদের বিশ্লেষণ সরঞ্জামগুলিকে সরল করার দিকে মনোনিবেশ করছি৷

Google এর BigQuery ডেটা গুদাম

টুইটারে বেশ কিছু দল ইতিমধ্যেই তাদের কিছু উৎপাদন পাইপলাইনে BigQuery যুক্ত করেছে। তাদের দক্ষতা ব্যবহার করে, আমরা সমস্ত Twitter ব্যবহারের ক্ষেত্রে BigQuery-এর ক্ষমতা মূল্যায়ন করতে শুরু করেছি। আমাদের লক্ষ্য ছিল পুরো কোম্পানিকে BigQuery অফার করা এবং ডেটা প্ল্যাটফর্ম টুলসেটের মধ্যে এটিকে মানসম্মত করা এবং সমর্থন করা। এটি অনেক কারণে কঠিন ছিল। আমাদের নির্ভরযোগ্যভাবে বিপুল পরিমাণ ডেটা গ্রহণ করার জন্য একটি পরিকাঠামো তৈরি করতে হবে, কোম্পানি-ব্যাপী ডেটা ব্যবস্থাপনাকে সমর্থন করতে হবে, সঠিক অ্যাক্সেস নিয়ন্ত্রণ নিশ্চিত করতে হবে এবং গ্রাহকের গোপনীয়তা নিশ্চিত করতে হবে। আমাদের সংস্থান বরাদ্দ, পর্যবেক্ষণ এবং চার্জব্যাকের জন্য সিস্টেম তৈরি করতে হয়েছিল যাতে দলগুলি কার্যকরভাবে BigQuery ব্যবহার করতে পারে।

নভেম্বর 2018-এ, আমরা BigQuery এবং ডেটা স্টুডিওর একটি কোম্পানি-ব্যাপী আলফা রিলিজ প্রকাশ করেছি। আমরা টুইটার কর্মীদের ব্যক্তিগত ডেটা পরিষ্কার করার সাথে আমাদের প্রায়শই ব্যবহৃত কিছু স্প্রেডশীট অফার করেছি। BigQuery ইঞ্জিনিয়ারিং, ফিনান্স এবং মার্কেটিং সহ বিভিন্ন দলের 250 জন ব্যবহারকারী ব্যবহার করেছেন। অতি সম্প্রতি, তারা প্রায় 8k অনুরোধ চালাচ্ছে, প্রতি মাসে প্রায় 100 পিবি প্রক্রিয়া করছে, নির্ধারিত অনুরোধগুলি গণনা করছে না। খুব ইতিবাচক প্রতিক্রিয়া পাওয়ার পর, আমরা এগিয়ে যাওয়ার সিদ্ধান্ত নিয়েছি এবং টুইটারে ডেটার সাথে ইন্টারঅ্যাক্ট করার প্রাথমিক সম্পদ হিসেবে BigQuery অফার করার সিদ্ধান্ত নিয়েছি।

এখানে আমাদের Google BigQuery ডেটা গুদামের আর্কিটেকচারের একটি উচ্চ-স্তরের চিত্র।

আমরা অভ্যন্তরীণ ক্লাউড রেপ্লিকেটর টুল ব্যবহার করে অন-প্রিমিসেস হ্যাডুপ ক্লাস্টার থেকে ডেটা Google ক্লাউড স্টোরেজ (GCS)-এ কপি করি। তারপরে আমরা পাইপলাইন তৈরি করতে Apache Airflow ব্যবহার করি যা "bq_load» GCS থেকে BigQuery-এ ডেটা লোড করতে। আমরা GCS-এ Parquet বা Thrift-LZO ডেটাসেট জিজ্ঞাসা করতে Presto ব্যবহার করি। BQ Blaster হল HDFS Vertica এবং Thrift-LZO ডেটাসেট BigQuery-এ লোড করার জন্য একটি অভ্যন্তরীণ স্ক্যাল্ডিং টুল।

নিম্নলিখিত বিভাগে, আমরা ব্যবহার সহজ, কর্মক্ষমতা, ডেটা ব্যবস্থাপনা, সিস্টেম স্বাস্থ্য, এবং খরচের ক্ষেত্রে আমাদের পদ্ধতি এবং দক্ষতা নিয়ে আলোচনা করি।

ব্যবহারের সহজতা

আমরা দেখতে পেয়েছি যে ব্যবহারকারীদের জন্য BigQuery এর সাথে শুরু করা সহজ কারণ এটির জন্য সফ্টওয়্যার ইনস্টলেশনের প্রয়োজন ছিল না এবং ব্যবহারকারীরা একটি স্বজ্ঞাত ওয়েব ইন্টারফেসের মাধ্যমে এটি অ্যাক্সেস করতে পারে। যাইহোক, ব্যবহারকারীদের GCP-এর কিছু বৈশিষ্ট্য এবং ধারণার সাথে পরিচিত হতে হবে, যেমন প্রকল্প, ডেটাসেট এবং টেবিলের মতো সংস্থানগুলি সহ। ব্যবহারকারীদের শুরু করতে সাহায্য করার জন্য আমরা শিক্ষাগত উপকরণ এবং টিউটোরিয়াল তৈরি করেছি। একটি মৌলিক বোঝাপড়ার সাথে, ব্যবহারকারীরা ডেটা সেটগুলি নেভিগেট করা, স্কিমা এবং টেবিল ডেটা দেখা, সাধারণ প্রশ্নগুলি চালানো এবং ডেটা স্টুডিওতে ফলাফলগুলি কল্পনা করা সহজ বলে মনে করেছেন৷

BigQuery-এ ডেটা এন্ট্রির জন্য আমাদের লক্ষ্য ছিল এক ক্লিকে HDFS বা GCS ডেটাসেটগুলির নির্বিঘ্ন লোডিং সক্ষম করা। আমরা বিবেচনা করেছি ক্লাউড কম্পোজার (এয়ারফ্লো দ্বারা পরিচালিত) কিন্তু আমাদের ডোমেন সীমাবদ্ধ শেয়ারিং সুরক্ষা মডেলের কারণে এটি ব্যবহার করতে অক্ষম (নীচের ডেটা ম্যানেজমেন্ট বিভাগে এটি সম্পর্কে আরও)। আমরা BigQuery কাজের চাপ অর্কেস্ট্রেট করতে Google ডেটা ট্রান্সফার সার্ভিস (DTS) ব্যবহার করে পরীক্ষা করেছি। ডিটিএস দ্রুত সেট আপ করার সময়, এটি নির্ভরশীলতার সাথে পাইপলাইন নির্মাণের জন্য নমনীয় ছিল না। আমাদের আলফা রিলিজের জন্য, আমরা GCE-তে আমাদের নিজস্ব Apache Airflow ফ্রেমওয়ার্ক তৈরি করেছি এবং এটিকে উৎপাদনে চালানোর জন্য প্রস্তুত করছি এবং ভার্টিকার মতো আরও ডেটা উত্স সমর্থন করতে সক্ষম হচ্ছি।

BigQuery-এ ডেটা রূপান্তর করতে, ব্যবহারকারীরা নির্ধারিত কোয়েরি ব্যবহার করে সাধারণ SQL ডেটা পাইপলাইন তৈরি করে। নির্ভরতা সহ জটিল মাল্টি-স্টেজ পাইপলাইনগুলির জন্য, আমরা আমাদের নিজস্ব এয়ারফ্লো ফ্রেমওয়ার্ক বা ক্লাউড কম্পোজার ব্যবহার করার পরিকল্পনা করি ক্লাউড ডেটাফ্লো.

উৎপাদনশীলতা

BigQuery সাধারণ উদ্দেশ্যে SQL কোয়েরির জন্য ডিজাইন করা হয়েছে যা প্রচুর পরিমাণে ডেটা প্রক্রিয়া করে। এটি একটি লেনদেন ডাটাবেসের জন্য প্রয়োজনীয় কম লেটেন্সি, উচ্চ থ্রুপুট কোয়েরি বা কম লেটেন্সি টাইম সিরিজ বিশ্লেষণ বাস্তবায়নের উদ্দেশ্যে নয় Apache Druid. ইন্টারেক্টিভ অ্যানালিটিক্স কোয়েরির জন্য, আমাদের ব্যবহারকারীরা এক মিনিটেরও কম সময়ের প্রতিক্রিয়ার প্রত্যাশা করে। এই প্রত্যাশাগুলি পূরণ করার জন্য আমাদের BigQuery-এর ব্যবহার ডিজাইন করতে হয়েছিল। আমাদের ব্যবহারকারীদের জন্য অনুমানযোগ্য পারফরম্যান্স প্রদানের জন্য, আমরা BigQuery কার্যকারিতা ব্যবহার করেছি, গ্রাহকদের জন্য ফ্ল্যাট ফি ভিত্তিতে উপলব্ধ যা প্রকল্পের মালিকদের তাদের প্রশ্নের জন্য ন্যূনতম স্লট সংরক্ষণ করতে দেয়। স্লট BigQuery হল SQL কোয়েরি চালানোর জন্য প্রয়োজনীয় কম্পিউটিং শক্তির একক।

আমরা 800 টিরও বেশি প্রশ্ন বিশ্লেষণ করেছি যার প্রতিটিতে প্রায় 1 টিবি ডেটা প্রসেস করা হয়েছে এবং দেখা গেছে যে গড় কার্যকর করার সময় 30 সেকেন্ড ছিল। আমরা আরও শিখেছি যে কর্মক্ষমতা বিভিন্ন প্রকল্প এবং কাজগুলিতে আমাদের স্লট ব্যবহারের উপর অত্যন্ত নির্ভরশীল। উত্পাদন ব্যবহারের ক্ষেত্রে এবং অনলাইন বিশ্লেষণের জন্য কার্যক্ষমতা বজায় রাখার জন্য আমাদের উত্পাদন এবং অ্যাডহক স্লট রিজার্ভগুলি পরিষ্কারভাবে বর্ণনা করতে হয়েছিল। এটি স্লট রিজার্ভেশন এবং প্রকল্পের শ্রেণিবিন্যাসের জন্য আমাদের নকশাকে ব্যাপকভাবে প্রভাবিত করেছে।

আমরা অনুবাদের দ্বিতীয় অংশে আগামী দিনে ডেটা ব্যবস্থাপনা, কার্যকারিতা এবং সিস্টেমের খরচ সম্পর্কে কথা বলব, কিন্তু এখন আমরা সবাইকে আমন্ত্রণ জানাচ্ছি বিনামূল্যে লাইভ ওয়েবিনার, যে সময়ে আপনি কোর্স সম্পর্কে বিস্তারিতভাবে জানতে পারবেন, সেইসাথে আমাদের বিশেষজ্ঞের কাছে প্রশ্ন জিজ্ঞাসা করতে পারবেন - Egor Mateshuk (সিনিয়র ডেটা ইঞ্জিনিয়ার, MaximaTelecom)।

আরও পড়ুন:

• ডেটা বিল্ড টুল বা ডেটা ওয়্যারহাউস এবং স্মুদির মধ্যে কী সাধারণ
• ডেল্টা লেক ডাইভ: এনফোর্সমেন্ট এবং স্কিম বিবর্তন
• Apache Arrow সহ পাইথনে হাই-স্পিড অ্যাপাচি প্যারকেট

উত্স: www.habr.com