সার্ভার বিশ্লেষণ সিস্টেম

এটি বিশ্লেষণাত্মক সিস্টেম সম্পর্কে নিবন্ধগুলির একটি সিরিজের দ্বিতীয় অংশ (অংশ 1 লিঙ্ক).

আজ আর কোন সন্দেহ নেই যে যত্নশীল ডেটা প্রক্রিয়াকরণ এবং ফলাফলের ব্যাখ্যা প্রায় যেকোনো ধরনের ব্যবসায় সাহায্য করতে পারে। এই বিষয়ে, বিশ্লেষণাত্মক সিস্টেমগুলি পরামিতিগুলির সাথে ক্রমবর্ধমান লোড হয়ে উঠছে এবং অ্যাপ্লিকেশনগুলিতে ট্রিগার এবং ব্যবহারকারীর ইভেন্টের সংখ্যা বাড়ছে।
এই কারণে, কোম্পানিগুলি তাদের বিশ্লেষকদের বিশ্লেষণ এবং সঠিক সিদ্ধান্তে পরিণত করার জন্য আরও বেশি কাঁচা তথ্য দিচ্ছে। একটি কোম্পানির জন্য একটি বিশ্লেষণ সিস্টেমের গুরুত্ব অবমূল্যায়ন করা উচিত নয়, এবং সিস্টেম নিজেই নির্ভরযোগ্য এবং স্থিতিশীল হতে হবে.

ক্লায়েন্ট বিশ্লেষক

গ্রাহক বিশ্লেষণ হল এমন একটি পরিষেবা যা একটি কোম্পানি অফিসিয়াল SDK এর মাধ্যমে তার ওয়েবসাইট বা অ্যাপ্লিকেশনের সাথে সংযুক্ত করে, তার নিজস্ব কোডবেসে সংহত করে এবং ইভেন্ট ট্রিগার নির্বাচন করে। এই পদ্ধতির একটি সুস্পষ্ট নেতিবাচক দিক রয়েছে: আপনার চয়ন করা যেকোনো পরিষেবার সীমাবদ্ধতার কারণে সংগৃহীত সমস্ত ডেটা আপনার পছন্দ মতো প্রক্রিয়াজাত নাও হতে পারে। উদাহরণস্বরূপ, একটি সিস্টেমে MapReduce কাজগুলি চালানো সহজ হবে না, অন্যটিতে আপনি আপনার মডেল চালাতে সক্ষম হবেন না। আরেকটি অসুবিধা হল পরিষেবার জন্য নিয়মিত (চিত্তাকর্ষক) বিল।
বাজারে অনেকগুলি গ্রাহক বিশ্লেষণ সমাধান রয়েছে, তবে শীঘ্র বা পরে বিশ্লেষকরা এই সত্যের মুখোমুখি হন যে প্রতিটি কাজের জন্য উপযুক্ত একটি সর্বজনীন পরিষেবা নেই (যদিও এই সমস্ত পরিষেবার দাম সর্বদা বাড়ছে)। এই ধরনের পরিস্থিতিতে, কোম্পানিগুলি প্রায়ই সমস্ত প্রয়োজনীয় কাস্টম সেটিংস এবং ক্ষমতা সহ তাদের নিজস্ব বিশ্লেষণ সিস্টেম তৈরি করার সিদ্ধান্ত নেয়।

সার্ভার বিশ্লেষক

সার্ভার-সাইড অ্যানালিটিক্স হল এমন একটি পরিষেবা যা একটি কোম্পানির মধ্যে তার নিজস্ব সার্ভারে এবং (সাধারণত) নিজস্ব প্রচেষ্টায় স্থাপন করা যেতে পারে। এই মডেলে, সমস্ত ব্যবহারকারী ইভেন্ট অভ্যন্তরীণ সার্ভারে সংরক্ষণ করা হয়, যা বিকাশকারীদের বিভিন্ন স্টোরেজ ডাটাবেস চেষ্টা করতে এবং সবচেয়ে সুবিধাজনক আর্কিটেকচার বেছে নিতে দেয়। এমনকি যদি আপনি এখনও কিছু কাজের জন্য তৃতীয় পক্ষের ক্লায়েন্ট বিশ্লেষণ ব্যবহার করতে চান তবে এটি এখনও সম্ভব হবে।
সার্ভার-সাইড বিশ্লেষণ দুটি উপায়ে স্থাপন করা যেতে পারে। প্রথম: কিছু ওপেন সোর্স ইউটিলিটি বেছে নিন, সেগুলিকে আপনার মেশিনে স্থাপন করুন এবং ব্যবসায়িক যুক্তি বিকাশ করুন।

Плюсы
Минусы

আপনি যা চান তা কাস্টমাইজ করতে পারেন
এটি প্রায়শই খুব কঠিন এবং আলাদা ডেভেলপার প্রয়োজন

দ্বিতীয়ত: SaaS পরিষেবাগুলি (Amazon, Google, Azure) গ্রহণ করার পরিবর্তে এটি নিজে ব্যবহার করুন৷ আমরা তৃতীয় অংশে আরও বিস্তারিতভাবে SaaS সম্পর্কে কথা বলব।

Плюсы
Минусы

এটি মাঝারি আয়তনে সস্তা হতে পারে, তবে বড় বৃদ্ধির সাথে এটি এখনও খুব ব্যয়বহুল হয়ে উঠবে
সব প্যারামিটার নিয়ন্ত্রণ করা সম্ভব হবে না

প্রশাসন সম্পূর্ণভাবে পরিষেবা প্রদানকারীর কাঁধে স্থানান্তরিত হয়
পরিষেবার ভিতরে কী আছে তা সর্বদা জানা যায় না (এর প্রয়োজন নাও হতে পারে)

কিভাবে সার্ভার বিশ্লেষণ সংগ্রহ করতে হয়

আমরা যদি ক্লায়েন্ট অ্যানালিটিক্স ব্যবহার করা থেকে দূরে সরে যেতে চাই এবং আমাদের নিজেদের তৈরি করতে চাই, প্রথমে আমাদের নতুন সিস্টেমের আর্কিটেকচারের মাধ্যমে চিন্তা করতে হবে। নীচে আমি আপনাকে ধাপে ধাপে বলব যে আপনাকে কী বিবেচনা করতে হবে, কেন প্রতিটি পদক্ষেপের প্রয়োজন এবং আপনি কোন সরঞ্জামগুলি ব্যবহার করতে পারেন।

1. ডেটা গ্রহণ করা

ঠিক যেমন গ্রাহক বিশ্লেষণের ক্ষেত্রে, প্রথমত, কোম্পানির বিশ্লেষকরা ভবিষ্যতে যে ইভেন্টগুলি অধ্যয়ন করতে চান তা নির্বাচন করে এবং সেগুলিকে একটি তালিকায় সংগ্রহ করে। সাধারণত, এই ঘটনাগুলি একটি নির্দিষ্ট ক্রমে ঘটে, যাকে "ইভেন্ট প্যাটার্ন" বলা হয়।
এর পরে, কল্পনা করুন যে একটি মোবাইল অ্যাপ্লিকেশন (ওয়েবসাইট) এর নিয়মিত ব্যবহারকারী (ডিভাইস) এবং অনেক সার্ভার রয়েছে। ডিভাইস থেকে সার্ভারে ইভেন্টগুলিকে নিরাপদে স্থানান্তর করতে, একটি মধ্যবর্তী স্তর প্রয়োজন। স্থাপত্যের উপর নির্ভর করে, বিভিন্ন ইভেন্ট সারি হতে পারে।
আপাচি কাফকা - এটা পাব/সাব সারি, যা ইভেন্ট সংগ্রহের জন্য একটি সারি হিসাবে ব্যবহৃত হয়।

অনুযায়ী Quora এ পোস্ট করুন 2014 সালে, অ্যাপাচি কাফকার স্রষ্টা সফ্টওয়্যারটির নাম ফ্রাঞ্জ কাফকার নামে রাখার সিদ্ধান্ত নেন কারণ "এটি লেখার জন্য অপ্টিমাইজ করা একটি সিস্টেম" এবং কারণ তিনি কাফকার কাজ পছন্দ করতেন। - উইকিপিডিয়া

আমাদের উদাহরণে, অনেক ডেটা প্রযোজক এবং ডেটা গ্রাহক (ডিভাইস এবং সার্ভার) রয়েছে এবং কাফকা তাদের একে অপরের সাথে সংযোগ করতে সহায়তা করে। নিম্নলিখিত ধাপে ভোক্তাদের আরও বিস্তারিতভাবে বর্ণনা করা হবে, যেখানে তারা প্রধান বিষয় হবে। এখন আমরা শুধুমাত্র ডেটা প্রযোজক (ইভেন্ট) বিবেচনা করব।
কাফকা সারি এবং বিভাজনের ধারণাগুলিকে অন্তর্ভুক্ত করেছেন; অন্য কোথাও এটি সম্পর্কে আরও নির্দিষ্টভাবে পড়া ভাল (উদাহরণস্বরূপ, ডকুমেন্টেশন) বিস্তারিত না গিয়ে, আসুন কল্পনা করি যে দুটি ভিন্ন OS এর জন্য একটি মোবাইল অ্যাপ্লিকেশন চালু করা হয়েছে। তারপর প্রতিটি সংস্করণ তার নিজস্ব পৃথক ইভেন্ট স্ট্রিম তৈরি করে। প্রযোজকরা কাফকার কাছে ঘটনা পাঠান, সেগুলি একটি উপযুক্ত কাতারে রেকর্ড করা হয়।

(ছবি এখানে থেকে)

একই সময়ে, কাফকা আপনাকে টুকরো টুকরো পড়তে এবং মিনি-ব্যাচে ইভেন্টের একটি প্রবাহ প্রক্রিয়া করার অনুমতি দেয়। কাফকা একটি খুব সুবিধাজনক হাতিয়ার যা ক্রমবর্ধমান চাহিদার (উদাহরণস্বরূপ, ইভেন্টের ভূ-অবস্থান দ্বারা) ভালভাবে মাপকাঠি করে।
সাধারণত একটি শার্ড যথেষ্ট, তবে স্কেলিং করার সময় জিনিসগুলি আরও জটিল হয়ে যায় (যেমন তারা সবসময় করে)। সম্ভবত কেউই উত্পাদনে শুধুমাত্র একটি শারীরিক শার্ড ব্যবহার করতে চাইবে না, যেহেতু আর্কিটেকচারটি অবশ্যই দোষ-সহনশীল হতে হবে। কাফকা ছাড়াও, আরেকটি সুপরিচিত সমাধান আছে - RabbitMQ। আমরা ইভেন্ট বিশ্লেষণের জন্য একটি সারি হিসাবে উত্পাদনে এটি ব্যবহার করিনি (আপনার যদি এমন অভিজ্ঞতা থাকে তবে মন্তব্যে এটি সম্পর্কে আমাদের বলুন!) যাইহোক, আমরা AWS Kinesis ব্যবহার করেছি।

পরবর্তী ধাপে যাওয়ার আগে, আমাদের সিস্টেমের আরও একটি অতিরিক্ত স্তর উল্লেখ করতে হবে - কাঁচা লগ স্টোরেজ। এটি একটি প্রয়োজনীয় স্তর নয়, তবে কিছু ভুল হয়ে গেলে এবং কাফকার ইভেন্ট সারিগুলি পুনরায় সেট করা হলে এটি কার্যকর হবে৷ কাঁচা লগ সংরক্ষণ করার জন্য একটি জটিল এবং ব্যয়বহুল সমাধান প্রয়োজন হয় না; আপনি কেবল সঠিক ক্রমে কোথাও লিখতে পারেন (এমনকি একটি হার্ড ড্রাইভেও)।

2. ইভেন্ট স্ট্রীম প্রক্রিয়াকরণ

আমরা সমস্ত ইভেন্ট প্রস্তুত করার পরে এবং উপযুক্ত সারিতে স্থাপন করার পরে, আমরা প্রক্রিয়াকরণের ধাপে এগিয়ে যাই। এখানে আমি আপনাকে দুটি সবচেয়ে সাধারণ প্রক্রিয়াকরণ বিকল্প সম্পর্কে বলব।
প্রথম বিকল্পটি হল Apache সিস্টেমে স্পার্ক স্ট্রিমিং সক্ষম করা। সমস্ত Apache পণ্য HDFS-এ লাইভ, ফাইলের প্রতিলিপি সহ একটি সুরক্ষিত ফাইল সিস্টেম। স্পার্ক স্ট্রিমিং হল একটি সহজে ব্যবহারযোগ্য টুল যা স্ট্রিমিং ডেটা এবং স্কেল ভালভাবে পরিচালনা করে। যাইহোক, এটি বজায় রাখা কঠিন হতে পারে।
আরেকটি বিকল্প হল আপনার নিজের ইভেন্ট হ্যান্ডলার তৈরি করা। এটি করার জন্য, আপনার প্রয়োজন, উদাহরণস্বরূপ, একটি পাইথন অ্যাপ্লিকেশন লিখতে, এটি ডকারে তৈরি করতে এবং কাফকা সারিতে সদস্যতা নিতে হবে। যখন ট্রিগার ডকার হ্যান্ডলারে পৌঁছাবে, তখন প্রক্রিয়াকরণ শুরু হবে। এই পদ্ধতির সাহায্যে, আপনাকে সর্বদা অ্যাপ্লিকেশনগুলি চালু রাখতে হবে।
আসুন ধরে নিই যে আমরা উপরে বর্ণিত বিকল্পগুলির মধ্যে একটি বেছে নিয়েছি এবং নিজেই প্রক্রিয়াকরণে এগিয়ে যাই। প্রসেসরগুলি ডেটার বৈধতা পরীক্ষা করে, আবর্জনা ফিল্টারিং এবং "ভাঙা" ইভেন্টগুলি পরীক্ষা করে শুরু করা উচিত। বৈধতার জন্য আমরা সাধারণত ব্যবহার করি সারবেরাস. এর পরে, আপনি ডেটা ম্যাপিং করতে পারেন: একটি সাধারণ টেবিলে যোগ করার জন্য বিভিন্ন উত্স থেকে ডেটা স্বাভাবিক এবং মানক করা হয়।

3. ডাটাবেস

তৃতীয় ধাপ হল স্বাভাবিক ঘটনা বজায় রাখা। একটি রেডিমেড অ্যানালিটিকাল সিস্টেমের সাথে কাজ করার সময়, আমাদের প্রায়শই সেগুলি অ্যাক্সেস করতে হবে, তাই একটি সুবিধাজনক ডাটাবেস বেছে নেওয়া গুরুত্বপূর্ণ।
যদি ডেটা একটি নির্দিষ্ট স্কিমে ভালভাবে ফিট করে, আপনি চয়ন করতে পারেন ক্লিক হাউস বা অন্য কিছু কলামার ডাটাবেস। এইভাবে একত্রিতকরণ খুব দ্রুত কাজ করবে। নেতিবাচক দিক হল যে স্কিমটি কঠোরভাবে স্থির করা হয়েছে এবং তাই পরিবর্তন ছাড়াই ইচ্ছাকৃত বস্তুগুলি যোগ করা সম্ভব হবে না (উদাহরণস্বরূপ, যখন একটি অ-মানক ঘটনা ঘটে)। কিন্তু আপনি সত্যিই খুব দ্রুত গণনা করতে পারেন.
অসংগঠিত ডেটার জন্য, আপনি NoSQL নিতে পারেন, উদাহরণস্বরূপ, আপাবা Cassandra. এটি HDFS-এ চলে, ভালোভাবে প্রতিলিপি করে, আপনি অনেক উদাহরণ উত্থাপন করতে পারেন এবং দোষ-সহনশীল।
আপনি আরও সহজ কিছু বাড়াতে পারেন, উদাহরণস্বরূপ, MongoDB. এটি বেশ ধীর এবং ছোট ভলিউমের জন্য। কিন্তু প্লাস হল যে এটি খুব সহজ এবং তাই শুরু করার জন্য উপযুক্ত।

4. সমষ্টি

সমস্ত ইভেন্ট সাবধানে সংরক্ষণ করার পরে, আমরা যে ব্যাচটি এসেছিল সেখান থেকে সমস্ত গুরুত্বপূর্ণ তথ্য সংগ্রহ করতে এবং ডেটাবেস আপডেট করতে চাই। বিশ্বব্যাপী, আমরা প্রাসঙ্গিক ড্যাশবোর্ড এবং মেট্রিক্স পেতে চাই। উদাহরণস্বরূপ, ঘটনাগুলি থেকে একটি ব্যবহারকারীর প্রোফাইল সংগ্রহ করুন এবং কোনওভাবে আচরণ পরিমাপ করুন। ইভেন্টগুলি একত্রিত, সংগৃহীত এবং আবার সংরক্ষণ করা হয় (ব্যবহারকারীর টেবিলে)। একই সময়ে, আপনি একটি সিস্টেম তৈরি করতে পারেন যাতে আপনি অ্যাগ্রিগেটর-সমন্বয়কের সাথে একটি ফিল্টার সংযোগ করতে পারেন: শুধুমাত্র একটি নির্দিষ্ট ধরণের ইভেন্ট থেকে ব্যবহারকারীদের সংগ্রহ করুন।
এর পরে, যদি দলের কেউ শুধুমাত্র উচ্চ-স্তরের বিশ্লেষণের প্রয়োজন হয়, বহিরাগত বিশ্লেষণ সিস্টেম সংযুক্ত করা যেতে পারে। আপনি আবার Mixpanel নিতে পারেন। কিন্তু যেহেতু এটি বেশ ব্যয়বহুল, সমস্ত ব্যবহারকারী ইভেন্ট সেখানে পাঠানো হয় না, তবে শুধুমাত্র যা প্রয়োজন তা পাঠানো হয়। এটি করার জন্য, আমাদের একটি সমন্বয়কারী তৈরি করতে হবে যিনি কিছু কাঁচা ঘটনা বা এমন কিছু স্থানান্তর করবেন যা আমরা নিজেরাই আগে একত্রিত করেছি বহিরাগত সিস্টেম, API বা বিজ্ঞাপন প্ল্যাটফর্মে।

5. ফ্রন্টেন্ড

আপনাকে তৈরি করা সিস্টেমের সাথে ফ্রন্টএন্ড সংযোগ করতে হবে। একটি ভাল উদাহরণ হল পরিষেবা redash, একটি ডাটাবেস GUI যা ড্যাশবোর্ড তৈরি করতে সাহায্য করে। মিথস্ক্রিয়া কিভাবে কাজ করে:

1. ব্যবহারকারী একটি SQL ক্যোয়ারী করে।
2. জবাবে সে একটি চিহ্ন পায়।
3. এটি এটির জন্য একটি 'নতুন ভিজ্যুয়ালাইজেশন' তৈরি করে এবং একটি সুন্দর গ্রাফ পায় যা আপনি নিজের জন্য সংরক্ষণ করতে পারেন।

পরিষেবার ভিজ্যুয়ালাইজেশনগুলি স্বয়ংক্রিয়ভাবে আপডেট হচ্ছে, আপনি আপনার মনিটরিং কাস্টমাইজ এবং ট্র্যাক করতে পারেন। স্ব-হোস্ট করা হলে Redash বিনামূল্যে, কিন্তু SaaS হিসাবে প্রতি মাসে $50 খরচ হবে।

উপসংহার

উপরের সমস্ত ধাপগুলি সম্পন্ন করার পরে, আপনি আপনার সার্ভার বিশ্লেষণ তৈরি করবেন। অনুগ্রহ করে মনে রাখবেন যে এটি কেবল গ্রাহক বিশ্লেষণের সাথে সংযোগ স্থাপনের মতো সহজ নয়, কারণ সবকিছু নিজেই কনফিগার করা দরকার। অতএব, আপনার নিজস্ব সিস্টেম তৈরি করার আগে, আপনি এটিতে বরাদ্দ করতে ইচ্ছুক সংস্থানগুলির সাথে একটি গুরুতর বিশ্লেষণ সিস্টেমের প্রয়োজনীয়তার তুলনা করা মূল্যবান।
আপনি যদি গণিত করেন এবং দেখেন যে খরচগুলি খুব বেশি, তাহলে পরবর্তী অংশে আমি সার্ভার-সাইড বিশ্লেষণের একটি সস্তা সংস্করণ তৈরি করার বিষয়ে কথা বলব।

পড়ার জন্য ধন্যবাদ! আমি মন্তব্যে প্রশ্ন জিজ্ঞাসা করতে খুশি হবে.

উত্স: www.habr.com