बिग डेटा बिग बिलिंग: टेलीकॉम में बिग डेटा के बारे में

2008 में, बिगडेटा एक नया शब्द और फैशनेबल चलन था। 2019 में, बिगडेटा बिक्री की वस्तु, लाभ का स्रोत और नए बिलों का कारण है।

पिछली बार, रूसी सरकार ने बड़े डेटा को विनियमित करने के लिए एक विधेयक शुरू किया था। व्यक्तियों की पहचान जानकारी से नहीं की जा सकती है, लेकिन संघीय अधिकारियों के अनुरोध पर वे ऐसा कर सकते हैं। तीसरे पक्ष के लिए बिगडेटा का प्रसंस्करण केवल Roskomnadzor की अधिसूचना के बाद ही होता है। जिन कंपनियों के पास 100 हजार से अधिक नेटवर्क पते हैं वे कानून के अंतर्गत आती हैं। और, ज़ाहिर है, हम रजिस्ट्रियों के बिना कहाँ होंगे? यह डेटाबेस ऑपरेटरों की एक सूची के साथ एक बनाना माना जाता है। और अगर पहले बिगडेटा को हर कोई गंभीरता से नहीं लेता था, तो अब इस पर ध्यान देना होगा।

मैं, एक बिलिंग डेवलपर कंपनी के निदेशक के रूप में जो इस बड़े डेटा को संसाधित करता है, डेटाबेस को अनदेखा नहीं कर सकता। मैं दूरसंचार ऑपरेटरों के चश्मे से बड़े डेटा के बारे में सोचूंगा, जिनके बिलिंग सिस्टम के माध्यम से हर दिन हजारों ग्राहकों के बारे में जानकारी प्रवाहित होती है।

प्रमेय

आइए शुरू करते हैं, गणित की समस्या की तरह: पहले हम साबित करते हैं कि टेलीकॉम ऑपरेटरों के डेटा को बिगडैट कहा जा सकता है। आमतौर पर, बड़े डेटा को तीन वीवीवी विशेषताओं द्वारा दर्शाया जाता है, हालांकि मुक्त व्याख्याओं में "बनाम" की संख्या सात तक पहुंच गई।

आयतन। अकेले रोस्टेलकॉम का एमवीएनओ दस लाख से अधिक ग्राहकों को सेवा प्रदान करता है। प्रमुख होस्ट ऑपरेटर 44 से 78 मिलियन लोगों का डेटा संभालते हैं। ट्रैफ़िक हर सेकंड बढ़ रहा है: 2019 की पहली तिमाही में, ग्राहक पहले ही मोबाइल फोन से 3,3 बिलियन जीबी तक पहुंच चुके हैं।

वेग। गतिशीलता के बारे में आपको आंकड़ों से बेहतर कोई नहीं बता सकता, इसलिए मैं सिस्को के पूर्वानुमानों पर गौर करूंगा। 2021 तक, आईपी ट्रैफ़िक का 20% मोबाइल ट्रैफ़िक में चला जाएगा - यह पाँच वर्षों में लगभग तीन गुना हो जाएगा। एक तिहाई मोबाइल कनेक्शन एम2एम होंगे - आईओटी के विकास से कनेक्शनों में छह गुना वृद्धि होगी। इंटरनेट ऑफ थिंग्स न केवल लाभदायक, बल्कि संसाधन-गहन भी बन जाएगा, इसलिए कुछ ऑपरेटर केवल इस पर ध्यान केंद्रित करेंगे। और जो लोग IoT को एक अलग सेवा के रूप में विकसित करेंगे उन्हें दोगुना ट्रैफ़िक प्राप्त होगा।

विविधता। विविधता एक व्यक्तिपरक अवधारणा है, लेकिन दूरसंचार ऑपरेटर वास्तव में अपने ग्राहकों के बारे में लगभग सब कुछ जानते हैं। नाम और पासपोर्ट विवरण से लेकर फोन मॉडल, खरीदारी, देखी गई जगहों और रुचियों तक। यारोवाया कानून के अनुसार, मीडिया फ़ाइलें छह महीने तक संग्रहीत की जाती हैं। तो आइए इसे एक सिद्धांत के रूप में लें कि एकत्र किया गया डेटा विविध है।

सॉफ्टवेयर और कार्यप्रणाली

प्रदाता बिगडेटा के मुख्य उपभोक्ताओं में से एक हैं, इसलिए अधिकांश बड़ी डेटा विश्लेषण तकनीकें दूरसंचार उद्योग पर लागू होती हैं। एक और सवाल यह है कि एमएल, एआई, डीप लर्निंग के विकास में निवेश करने, डेटा सेंटर और डेटा माइनिंग में निवेश करने के लिए कौन तैयार है। डेटाबेस के साथ पूर्ण कार्य में बुनियादी ढाँचा और एक टीम शामिल होती है, जिसकी लागत हर कोई वहन नहीं कर सकता। जिन उद्यमों के पास पहले से ही एक कॉर्पोरेट गोदाम है या वे डेटा गवर्नेंस पद्धति विकसित कर रहे हैं, उन्हें बिगडेटा पर दांव लगाना चाहिए। उन लोगों के लिए जो अभी तक दीर्घकालिक निवेश के लिए तैयार नहीं हैं, मैं आपको धीरे-धीरे सॉफ़्टवेयर आर्किटेक्चर बनाने और घटकों को एक-एक करके स्थापित करने की सलाह देता हूं। आप भारी मॉड्यूल और Hadoop को आख़िर के लिए छोड़ सकते हैं। कुछ लोग डेटा गुणवत्ता और डेटा माइनिंग जैसी समस्याओं के लिए तैयार समाधान खरीदते हैं; कंपनियां आमतौर पर सिस्टम को अपनी विशिष्ट आवश्यकताओं और आवश्यकताओं के अनुसार अनुकूलित करती हैं - स्वयं या डेवलपर्स की मदद से।

लेकिन बिगडेटा के साथ काम करने के लिए हर बिलिंग को संशोधित नहीं किया जा सकता है। या यूँ कहें कि, न केवल हर चीज़ को संशोधित किया जा सकता है। ऐसा बहुत कम लोग कर पाते हैं.

तीन संकेत जो बताते हैं कि बिलिंग सिस्टम के पास डेटाबेस प्रोसेसिंग टूल बनने का मौका है:

• क्षैतिज मापनीयता. सॉफ्टवेयर लचीला होना चाहिए - हम बड़े डेटा के बारे में बात कर रहे हैं। सूचना की मात्रा में वृद्धि को क्लस्टर में हार्डवेयर में आनुपातिक वृद्धि द्वारा माना जाना चाहिए।
• दोष सहिष्णुता। गंभीर प्रीपेड सिस्टम आमतौर पर डिफ़ॉल्ट रूप से दोष-सहिष्णु होते हैं: बिलिंग को कई जियोलोकेशन में एक क्लस्टर में तैनात किया जाता है ताकि वे स्वचालित रूप से एक-दूसरे का बीमा कर सकें। एक या अधिक विफल होने की स्थिति में Hadoop क्लस्टर में पर्याप्त कंप्यूटर भी होने चाहिए।
• इलाका। डेटा को एक सर्वर पर संग्रहीत और संसाधित किया जाना चाहिए, अन्यथा आप डेटा ट्रांसफर पर बर्बाद हो सकते हैं। लोकप्रिय मैप-रिड्यूस दृष्टिकोण योजनाओं में से एक: एचडीएफएस स्टोर, स्पार्क प्रक्रियाएं। आदर्श रूप से, सॉफ़्टवेयर को डेटा सेंटर के बुनियादी ढांचे में निर्बाध रूप से एकीकृत होना चाहिए और एक साथ तीन काम करने में सक्षम होना चाहिए: जानकारी एकत्र करना, व्यवस्थित करना और विश्लेषण करना।

टीम

प्रोग्राम बड़े डेटा को क्या, कैसे और किस उद्देश्य से संसाधित करेगा, इसका निर्णय टीम द्वारा किया जाता है। अक्सर इसमें एक व्यक्ति शामिल होता है - एक डेटा वैज्ञानिक। हालाँकि, मेरी राय में, बिग डेटा के लिए कर्मचारियों के न्यूनतम पैकेज में एक उत्पाद प्रबंधक, डेटा इंजीनियर और प्रबंधक भी शामिल हैं। पहला व्यक्ति सेवाओं को समझता है, तकनीकी भाषा का मानव भाषा में अनुवाद करता है और इसके विपरीत। डेटा इंजीनियर जावा/स्कैला का उपयोग करके मॉडलों को जीवंत बनाता है और मशीन लर्निंग के साथ प्रयोग करता है। प्रबंधक समन्वय करता है, लक्ष्य निर्धारित करता है और चरणों को नियंत्रित करता है।

समस्याओं

यह बिगडेटा टीम की ओर से है कि डेटा एकत्र करने और संसाधित करते समय आमतौर पर समस्याएं उत्पन्न होती हैं। कार्यक्रम को यह समझाने की आवश्यकता है कि क्या एकत्र करना है और इसे कैसे संसाधित करना है - इसे समझाने के लिए, आपको पहले इसे स्वयं समझने की आवश्यकता है। लेकिन प्रदाताओं के लिए चीजें इतनी सरल नहीं हैं। मैं सब्सक्राइबर मंथन को कम करने के कार्य के उदाहरण का उपयोग करके समस्याओं के बारे में बात कर रहा हूं - टेलीकॉम ऑपरेटर सबसे पहले बिग डेटा की मदद से इसे हल करने की कोशिश कर रहे हैं।

लक्ष्यों का समायोजन। अच्छी तरह से लिखी गई तकनीकी विशिष्टताएँ और शब्दों की अलग-अलग समझ न केवल फ्रीलांसरों के लिए सदियों पुरानी पीड़ा रही है। यहां तक ​​कि "छोड़े गए" ग्राहकों की भी अलग-अलग तरीकों से व्याख्या की जा सकती है - जैसे कि जिन्होंने एक महीने, छह महीने या एक साल तक ऑपरेटर की सेवाओं का उपयोग नहीं किया है। और ऐतिहासिक डेटा के आधार पर एक एमवीपी बनाने के लिए, आपको मंथन से ग्राहकों की वापसी की आवृत्ति को समझने की आवश्यकता है - जिन्होंने अन्य ऑपरेटरों की कोशिश की या शहर छोड़ दिया और एक अलग नंबर का इस्तेमाल किया। एक और महत्वपूर्ण प्रश्न: ग्राहक के जाने से कितने समय पहले प्रदाता को यह निर्धारित करना चाहिए और कार्रवाई करनी चाहिए? छह महीने बहुत जल्दी हैं, एक सप्ताह बहुत देर हो चुकी है।

अवधारणाओं का प्रतिस्थापन। आमतौर पर, ऑपरेटर किसी ग्राहक की पहचान फ़ोन नंबर से करते हैं, इसलिए यह तर्कसंगत है कि संकेत इसका उपयोग करके अपलोड किए जाने चाहिए। आपके व्यक्तिगत खाते या सेवा आवेदन संख्या के बारे में क्या? यह तय करना आवश्यक है कि किस इकाई को क्लाइंट के रूप में लिया जाए ताकि ऑपरेटर के सिस्टम में डेटा में भिन्नता न हो। ग्राहक के मूल्य का आकलन करना भी संदिग्ध है - कौन सा ग्राहक कंपनी के लिए अधिक मूल्यवान है, किस उपयोगकर्ता को बनाए रखने के लिए अधिक प्रयास की आवश्यकता है, और कौन से किसी भी मामले में "गिर जाएंगे" और उन पर संसाधन खर्च करने का कोई मतलब नहीं है।

जानकारी का अभाव। सभी प्रदाता कर्मचारी बिगडेटा टीम को यह समझाने में सक्षम नहीं हैं कि ग्राहक मंथन पर विशेष रूप से क्या प्रभाव पड़ता है और बिलिंग में संभावित कारकों की गणना कैसे की जाती है। भले ही उन्होंने उनमें से एक का नाम रखा हो - एआरपीयू - यह पता चला है कि इसकी गणना विभिन्न तरीकों से की जा सकती है: या तो आवधिक ग्राहक भुगतान द्वारा, या स्वचालित बिलिंग शुल्क द्वारा। और काम की प्रक्रिया में, लाखों अन्य प्रश्न उठते हैं। क्या मॉडल सभी ग्राहकों को कवर करता है, एक ग्राहक को बनाए रखने की कीमत क्या है, क्या वैकल्पिक मॉडल के बारे में सोचने का कोई मतलब है, और उन ग्राहकों के साथ क्या करना है जिन्हें गलती से कृत्रिम रूप से बनाए रखा गया है।

लक्ष्य की स्थापना। मैं तीन प्रकार की परिणाम त्रुटियों के बारे में जानता हूं जिनके कारण ऑपरेटर डेटाबेस से निराश हो जाते हैं।

1. प्रदाता बिगडेटा में निवेश करता है, गीगाबाइट जानकारी संसाधित करता है, लेकिन उसे ऐसा परिणाम मिलता है जो सस्ता प्राप्त किया जा सकता था। सरल आरेख और मॉडल, आदिम विश्लेषण का उपयोग किया जाता है। लागत कई गुना ज्यादा है, लेकिन नतीजा वही ढाक के तीन पात।
2. ऑपरेटर आउटपुट के रूप में बहुआयामी डेटा प्राप्त करता है, लेकिन यह नहीं समझ पाता कि इसका उपयोग कैसे किया जाए। वहाँ विश्लेषण है - यहाँ यह है, समझने योग्य और बड़ा, लेकिन इसका कोई फायदा नहीं है। अंतिम परिणाम, जिसमें "डेटा प्रसंस्करण" का लक्ष्य शामिल नहीं हो सकता, पर विचार नहीं किया गया है। इसे प्रोसेस करना ही पर्याप्त नहीं है - एनालिटिक्स को व्यावसायिक प्रक्रियाओं को अपडेट करने का आधार बनना चाहिए।
3. बिगडेटा एनालिटिक्स के उपयोग में बाधाएं पुरानी व्यावसायिक प्रक्रियाएं और नए उद्देश्यों के लिए अनुपयुक्त सॉफ़्टवेयर हो सकती हैं। इसका मतलब यह है कि उन्होंने तैयारी के चरण में गलती की - उन्होंने कार्यों के एल्गोरिदम और बिग डेटा को काम में लाने के चरणों के बारे में नहीं सोचा।

क्या के लिए

नतीजों की बात हो रही है. मैं बिग डेटा के उपयोग और मुद्रीकरण के उन तरीकों के बारे में बताऊंगा जिनका उपयोग दूरसंचार ऑपरेटर पहले से ही कर रहे हैं।
प्रदाता न केवल ग्राहकों के बहिर्वाह की भविष्यवाणी करते हैं, बल्कि बेस स्टेशनों पर भार की भी भविष्यवाणी करते हैं।

1. ग्राहकों की गतिविधियों, गतिविधि और आवृत्ति सेवाओं के बारे में जानकारी का विश्लेषण किया जाता है। परिणाम: बुनियादी ढांचे के समस्या क्षेत्रों के अनुकूलन और आधुनिकीकरण के कारण अधिभार की संख्या में कमी।
2. बिक्री केंद्र खोलते समय दूरसंचार ऑपरेटर ग्राहकों की भौगोलिक स्थिति और यातायात घनत्व के बारे में जानकारी का उपयोग करते हैं। इस प्रकार, नए कार्यालयों के स्थान की योजना बनाने के लिए एमटीएस और विम्पेलकॉम द्वारा बिगडेटा एनालिटिक्स का उपयोग पहले से ही किया जा रहा है।
3. प्रदाता अपने स्वयं के बड़े डेटा को तीसरे पक्ष को पेश करके उससे कमाई करते हैं। बिगडेटा ऑपरेटरों के मुख्य ग्राहक वाणिज्यिक बैंक हैं। डेटाबेस का उपयोग करते हुए, वे ग्राहक के सिम कार्ड की संदिग्ध गतिविधियों की निगरानी करते हैं जिससे कार्ड जुड़े हुए हैं, और जोखिम स्कोरिंग, सत्यापन और निगरानी सेवाओं का उपयोग करते हैं। और 2017 में, मॉस्को सरकार ने तकनीकी और परिवहन बुनियादी ढांचे की योजना के लिए टेली2 से बिगडेटा डेटा के आधार पर आंदोलन की गतिशीलता का अनुरोध किया।
4. बिगडेटा एनालिटिक्स विपणक के लिए सोने की खान है, जो यदि चाहें तो हजारों ग्राहक समूहों के लिए वैयक्तिकृत विज्ञापन अभियान बना सकते हैं। टेलीकॉम कंपनियां सामाजिक प्रोफ़ाइल, उपभोक्ता हितों और ग्राहकों के व्यवहार पैटर्न को एकत्रित करती हैं, और फिर नए ग्राहकों को आकर्षित करने के लिए एकत्रित बिगडेटा का उपयोग करती हैं। लेकिन बड़े पैमाने पर प्रचार और पीआर योजना के लिए, बिलिंग में हमेशा पर्याप्त कार्यक्षमता नहीं होती है: कार्यक्रम को ग्राहकों के बारे में विस्तृत जानकारी के समानांतर कई कारकों को ध्यान में रखना होगा।

जबकि कुछ लोग अभी भी बिगडेटा को एक खोखला वाक्यांश मानते हैं, बिग फोर पहले से ही इस पर पैसा कमा रहे हैं। एमटीएस छह महीने में बड़े डेटा प्रोसेसिंग से 14 अरब रूबल कमाता है, और टेली2 ने परियोजनाओं से राजस्व साढ़े तीन गुना बढ़ा दिया है। बिगडेटा एक चलन से एक अनिवार्य प्रवृत्ति में बदल रहा है, जिसके तहत दूरसंचार ऑपरेटरों की पूरी संरचना का पुनर्निर्माण किया जाएगा।

स्रोत: www.habr.com