सर्वर एनालिटिक्स सिस्टम

यह विश्लेषणात्मक प्रणालियों के बारे में लेखों की श्रृंखला का दूसरा भाग है (भाग 1 से लिंक करें).

आज इसमें कोई संदेह नहीं रह गया है कि सावधानीपूर्वक डेटा प्रोसेसिंग और परिणामों की व्याख्या लगभग किसी भी प्रकार के व्यवसाय में मदद कर सकती है। इस संबंध में, विश्लेषणात्मक प्रणालियाँ तेजी से मापदंडों से भरी होती जा रही हैं, और अनुप्रयोगों में ट्रिगर और उपयोगकर्ता घटनाओं की संख्या बढ़ रही है।
इस वजह से, कंपनियां अपने विश्लेषकों को विश्लेषण करने और सही निर्णय लेने के लिए अधिक से अधिक कच्ची जानकारी दे रही हैं। किसी कंपनी के लिए एनालिटिक्स सिस्टम के महत्व को कम नहीं आंका जाना चाहिए, और सिस्टम स्वयं विश्वसनीय और स्थिर होना चाहिए।

ग्राहक विश्लेषक

ग्राहक विश्लेषण एक ऐसी सेवा है जिसे एक कंपनी आधिकारिक एसडीके के माध्यम से अपनी वेबसाइट या एप्लिकेशन से जोड़ती है, अपने कोडबेस में एकीकृत करती है और इवेंट ट्रिगर का चयन करती है। इस दृष्टिकोण का एक स्पष्ट नकारात्मक पहलू है: आपके द्वारा चुनी गई किसी भी सेवा की सीमाओं के कारण एकत्र किए गए सभी डेटा को ठीक उसी तरह संसाधित नहीं किया जा सकता है जैसा आप चाहते हैं। उदाहरण के लिए, एक सिस्टम पर MapReduce कार्यों को चलाना आसान नहीं होगा, दूसरे पर आप अपना मॉडल नहीं चला पाएंगे। एक और नुकसान सेवाओं के लिए नियमित (प्रभावशाली) बिल होगा।
बाज़ार में कई ग्राहक विश्लेषण समाधान मौजूद हैं, लेकिन देर-सबेर विश्लेषकों को इस तथ्य का सामना करना पड़ता है कि हर कार्य के लिए उपयुक्त कोई एक सार्वभौमिक सेवा नहीं है (जबकि इन सभी सेवाओं की कीमतें हर समय बढ़ रही हैं)। ऐसी स्थिति में, कंपनियां अक्सर सभी आवश्यक कस्टम सेटिंग्स और क्षमताओं के साथ अपना स्वयं का एनालिटिक्स सिस्टम बनाने का निर्णय लेती हैं।

सर्वर विश्लेषक

सर्वर-साइड एनालिटिक्स एक ऐसी सेवा है जिसे किसी कंपनी के भीतर अपने सर्वर पर और (आमतौर पर) अपने स्वयं के प्रयासों से तैनात किया जा सकता है। इस मॉडल में, सभी उपयोगकर्ता ईवेंट आंतरिक सर्वर पर संग्रहीत होते हैं, जिससे डेवलपर्स को विभिन्न स्टोरेज डेटाबेस आज़माने और सबसे सुविधाजनक आर्किटेक्चर चुनने की अनुमति मिलती है। और यदि आप अभी भी कुछ कार्यों के लिए तृतीय-पक्ष क्लाइंट एनालिटिक्स का उपयोग करना चाहते हैं, तो भी यह संभव होगा।
सर्वर-साइड एनालिटिक्स को दो तरीकों से तैनात किया जा सकता है। पहला: कुछ ओपन सोर्स उपयोगिताएँ चुनें, उन्हें अपनी मशीनों पर तैनात करें और व्यावसायिक तर्क विकसित करें।

पेशेवरों
विपक्ष

आप अपनी इच्छानुसार कुछ भी अनुकूलित कर सकते हैं
यह अक्सर बहुत कठिन होता है और इसके लिए अलग डेवलपर्स की आवश्यकता होती है

दूसरा: इसे स्वयं तैनात करने के बजाय SaaS सेवाएँ (Amazon, Google, Azure) लें। हम तीसरे भाग में SaaS के बारे में अधिक विस्तार से बात करेंगे।

पेशेवरों
विपक्ष

मध्यम मात्रा में यह सस्ता हो सकता है, लेकिन बड़ी वृद्धि के साथ यह अभी भी बहुत महंगा हो जाएगा
सभी मापदंडों को नियंत्रित करना संभव नहीं होगा

प्रशासन पूरी तरह से सेवा प्रदाता के कंधों पर स्थानांतरित कर दिया गया है
यह हमेशा ज्ञात नहीं होता कि सेवा के अंदर क्या है (इसकी आवश्यकता नहीं हो सकती)

सर्वर एनालिटिक्स कैसे एकत्रित करें

यदि हम क्लाइंट एनालिटिक्स के उपयोग से दूर जाना चाहते हैं और अपना खुद का निर्माण करना चाहते हैं, तो सबसे पहले हमें नई प्रणाली की वास्तुकला के बारे में सोचने की जरूरत है। नीचे मैं आपको चरण दर चरण बताऊंगा कि आपको क्या विचार करने की आवश्यकता है, प्रत्येक चरण की आवश्यकता क्यों है और आप किन उपकरणों का उपयोग कर सकते हैं।

1. डेटा प्राप्त करना

ग्राहक विश्लेषण के मामले में, सबसे पहले, कंपनी विश्लेषक उन प्रकार की घटनाओं का चयन करते हैं जिनका वे भविष्य में अध्ययन करना चाहते हैं और उन्हें एक सूची में एकत्र करते हैं। आमतौर पर, ये घटनाएँ एक विशिष्ट क्रम में घटित होती हैं, जिन्हें "घटना पैटर्न" कहा जाता है।
इसके बाद, कल्पना करें कि एक मोबाइल एप्लिकेशन (वेबसाइट) में नियमित उपयोगकर्ता (डिवाइस) और कई सर्वर हैं। डिवाइस से सर्वर पर ईवेंट को सुरक्षित रूप से स्थानांतरित करने के लिए, एक मध्यवर्ती परत की आवश्यकता होती है। आर्किटेक्चर के आधार पर, कई अलग-अलग इवेंट कतारें हो सकती हैं।
अपाचे काफ्का - क्या पब/उप कतार, जिसका उपयोग घटनाओं को एकत्रित करने के लिए एक कतार के रूप में किया जाता है।

के अनुसार Quora पर पोस्ट करें 2014 में, अपाचे काफ्का के निर्माता ने सॉफ्टवेयर का नाम फ्रांज काफ्का के नाम पर रखने का फैसला किया क्योंकि "यह लेखन के लिए अनुकूलित एक प्रणाली है" और क्योंकि उन्हें काफ्का के काम पसंद थे। — विकिपीडिया

हमारे उदाहरण में, कई डेटा उत्पादक और डेटा उपभोक्ता (डिवाइस और सर्वर) हैं, और काफ्का उन्हें एक-दूसरे से जोड़ने में मदद करता है। उपभोक्ताओं का निम्नलिखित चरणों में अधिक विस्तार से वर्णन किया जाएगा, जहां वे मुख्य विषय होंगे। अब हम केवल डेटा उत्पादकों (घटनाओं) पर विचार करेंगे।
काफ्का कतार और विभाजन की अवधारणाओं को समाहित करता है; इसके बारे में अधिक विशेष रूप से कहीं और पढ़ना बेहतर है (उदाहरण के लिए, में) प्रलेखन). विवरण में जाए बिना, आइए कल्पना करें कि दो अलग-अलग ओएस के लिए एक मोबाइल एप्लिकेशन लॉन्च किया गया है। फिर प्रत्येक संस्करण अपनी अलग ईवेंट स्ट्रीम बनाता है। निर्माता काफ्का को कार्यक्रम भेजते हैं, उन्हें एक उपयुक्त कतार में रिकॉर्ड किया जाता है।

(चित्र अत:)

उसी समय, काफ्का आपको टुकड़ों में पढ़ने और मिनी-बैचों में घटनाओं की एक धारा को संसाधित करने की अनुमति देता है। काफ्का एक बहुत ही सुविधाजनक उपकरण है जो बढ़ती जरूरतों (उदाहरण के लिए, घटनाओं के जियोलोकेशन द्वारा) के साथ अच्छी तरह से मेल खाता है।
आमतौर पर एक टुकड़ा ही काफी होता है, लेकिन स्केलिंग करते समय चीजें अधिक जटिल हो जाती हैं (जैसा कि वे हमेशा करते हैं)। संभवतः कोई भी उत्पादन में केवल एक भौतिक शार्ड का उपयोग नहीं करना चाहेगा, क्योंकि वास्तुकला को दोष-सहिष्णु होना चाहिए। काफ्का के अलावा, एक और प्रसिद्ध समाधान है - RabbitMQ। हमने इसे इवेंट एनालिटिक्स के लिए कतार के रूप में उत्पादन में उपयोग नहीं किया (यदि आपके पास ऐसा अनुभव है, तो हमें टिप्पणियों में इसके बारे में बताएं!)। हालाँकि, हमने AWS Kinetics का उपयोग किया।

अगले चरण पर जाने से पहले, हमें सिस्टम की एक और अतिरिक्त परत - रॉ लॉग स्टोरेज का उल्लेख करना होगा। यह एक आवश्यक परत नहीं है, लेकिन अगर कुछ गलत हो जाता है और काफ्का में ईवेंट कतार रीसेट हो जाती है तो यह उपयोगी होगी। कच्चे लॉग को संग्रहीत करने के लिए किसी जटिल और महंगे समाधान की आवश्यकता नहीं होती है; आप बस उन्हें कहीं सही क्रम में लिख सकते हैं (हार्ड ड्राइव पर भी)।

2. इवेंट स्ट्रीम का प्रसंस्करण

सभी घटनाओं को तैयार करने और उन्हें उचित कतार में रखने के बाद, हम प्रसंस्करण चरण पर आगे बढ़ते हैं। यहां मैं आपको दो सबसे सामान्य प्रसंस्करण विकल्पों के बारे में बताऊंगा।
पहला विकल्प अपाचे सिस्टम में स्पार्क स्ट्रीमिंग को सक्षम करना है। सभी अपाचे उत्पाद HDFS पर रहते हैं, जो फ़ाइल प्रतिकृतियों के साथ एक सुरक्षित फ़ाइल सिस्टम है। स्पार्क स्ट्रीमिंग एक उपयोग में आसान उपकरण है जो स्ट्रीमिंग डेटा और स्केल को अच्छी तरह से संभालता है। हालाँकि, इसे बनाए रखना मुश्किल हो सकता है।
दूसरा विकल्प अपना खुद का इवेंट हैंडलर बनाना है। ऐसा करने के लिए, उदाहरण के लिए, आपको एक पायथन एप्लिकेशन लिखना होगा, इसे डॉकर में बनाना होगा और काफ्का कतार की सदस्यता लेनी होगी। जब ट्रिगर डॉकर हैंडलर के पास पहुंचेंगे, तो प्रोसेसिंग शुरू हो जाएगी। इस पद्धति से, आपको एप्लिकेशन को हर समय चालू रखना होगा।
आइए मान लें कि हमने ऊपर वर्णित विकल्पों में से एक को चुना है और प्रसंस्करण पर आगे बढ़ें। प्रोसेसर को डेटा की वैधता की जांच, कचरा और "टूटी हुई" घटनाओं को फ़िल्टर करके शुरू करना चाहिए। सत्यापन के लिए हम आमतौर पर उपयोग करते हैं Cerberus. इसके बाद, आप डेटा मैपिंग कर सकते हैं: विभिन्न स्रोतों से डेटा को एक सामान्य तालिका में जोड़ने के लिए सामान्यीकृत और मानकीकृत किया जाता है।

3. डेटाबेस

तीसरा चरण सामान्यीकृत घटनाओं को बनाए रखना है। तैयार विश्लेषणात्मक प्रणाली के साथ काम करते समय, हमें अक्सर उन तक पहुंच प्राप्त करनी होगी, इसलिए एक सुविधाजनक डेटाबेस चुनना महत्वपूर्ण है।
यदि डेटा किसी निश्चित योजना में अच्छी तरह फिट बैठता है, तो आप चुन सकते हैं clickhouse या कोई अन्य स्तंभ डेटाबेस। इस तरह एकत्रीकरण बहुत तेजी से काम करेगा। नकारात्मक पक्ष यह है कि योजना कठोरता से तय की गई है और इसलिए संशोधन के बिना मनमानी वस्तुओं को जोड़ना संभव नहीं होगा (उदाहरण के लिए, जब कोई गैर-मानक घटना होती है)। लेकिन आप वास्तव में बहुत तेजी से गिनती कर सकते हैं।
असंरचित डेटा के लिए, आप NoSQL ले सकते हैं, उदाहरण के लिए, अपाचे कैसंद्रा. यह एचडीएफएस पर चलता है, अच्छी तरह से प्रतिकृति बनाता है, आप कई उदाहरण उठा सकते हैं, और दोष-सहिष्णु है।
आप कुछ सरल भी उठा सकते हैं, उदाहरण के लिए, MongoDB. यह काफी धीमा है और छोटी मात्रा के लिए है। लेकिन प्लस यह है कि यह बहुत सरल है और इसलिए शुरुआत के लिए उपयुक्त है।

4. एकत्रीकरण

सभी घटनाओं को सावधानीपूर्वक सहेजने के बाद, हम आने वाले बैच से सभी महत्वपूर्ण जानकारी एकत्र करना चाहते हैं और डेटाबेस को अपडेट करना चाहते हैं। विश्व स्तर पर, हम प्रासंगिक डैशबोर्ड और मेट्रिक्स प्राप्त करना चाहते हैं। उदाहरण के लिए, घटनाओं से उपयोगकर्ता प्रोफ़ाइल एकत्र करें और किसी तरह व्यवहार को मापें। घटनाओं को एकत्र किया जाता है, एकत्र किया जाता है और फिर से सहेजा जाता है (उपयोगकर्ता तालिकाओं में)। साथ ही, आप एक सिस्टम बना सकते हैं ताकि आप एग्रीगेटर-समन्वयक से एक फ़िल्टर भी कनेक्ट कर सकें: केवल एक निश्चित प्रकार के ईवेंट से उपयोगकर्ताओं को एकत्र करें।
उसके बाद, यदि टीम में किसी को केवल उच्च-स्तरीय एनालिटिक्स की आवश्यकता है, तो बाहरी एनालिटिक्स सिस्टम को जोड़ा जा सकता है। आप मिक्सपैनल फिर से ले सकते हैं। लेकिन चूंकि यह काफी महंगा है, इसलिए सभी उपयोगकर्ता ईवेंट वहां नहीं भेजे जाते हैं, बल्कि केवल वही भेजे जाते हैं जिनकी आवश्यकता होती है। ऐसा करने के लिए, हमें एक समन्वयक बनाने की आवश्यकता है जो कुछ कच्ची घटनाओं या कुछ ऐसी चीज़ों को स्थानांतरित करेगा जिन्हें हमने स्वयं पहले एकत्रित किया था, बाहरी सिस्टम, एपीआई या विज्ञापन प्लेटफ़ॉर्म पर।

5. अग्रभाग

आपको फ्रंटएंड को बनाए गए सिस्टम से कनेक्ट करना होगा। सेवा एक अच्छा उदाहरण है redash, एक डेटाबेस GUI है जो डैशबोर्ड बनाने में मदद करता है। इंटरेक्शन कैसे काम करता है:

1. उपयोगकर्ता एक SQL क्वेरी बनाता है.
2. जवाब में उसे एक संकेत मिलता है.
3. यह इसके लिए एक 'नया विज़ुअलाइज़ेशन' बनाता है और एक सुंदर ग्राफ़ प्राप्त करता है जिसे आप अपने लिए सहेज सकते हैं।

सेवा में विज़ुअलाइज़ेशन स्वचालित रूप से अपडेट हो रहे हैं, आप अपनी निगरानी को अनुकूलित और ट्रैक कर सकते हैं। यदि स्व-होस्ट किया गया है तो Redash मुफ़्त है, लेकिन SaaS के रूप में इसकी लागत $50 प्रति माह होगी।

निष्कर्ष

उपरोक्त सभी चरणों को पूरा करने के बाद, आप अपना सर्वर एनालिटिक्स बनाएंगे। कृपया ध्यान दें कि यह केवल ग्राहक विश्लेषण को जोड़ने जितना आसान नहीं है, क्योंकि हर चीज़ को स्वयं कॉन्फ़िगर करने की आवश्यकता है। इसलिए, अपना स्वयं का सिस्टम बनाने से पहले, एक गंभीर विश्लेषण प्रणाली की आवश्यकता की तुलना उन संसाधनों से करना उचित है जिन्हें आप आवंटित करने को तैयार हैं।
यदि आपने गणित कर लिया है और पाया है कि लागत बहुत अधिक है, तो अगले भाग में मैं सर्वर-साइड एनालिटिक्स का सस्ता संस्करण बनाने के बारे में बात करूंगा।

पढ़ने के लिए धन्यवाद! मुझे टिप्पणियों में प्रश्न पूछने में खुशी होगी।

स्रोत: www.habr.com