बिग डेटा बिग बिलिंग: टेलिकॉममधील बिगडेटा बद्दल

2008 मध्ये, BigData हा एक नवीन शब्द आणि फॅशनेबल ट्रेंड होता. 2019 मध्ये, BigData ही विक्रीची वस्तू आहे, नफ्याचा स्रोत आहे आणि नवीन बिलांचे कारण आहे.

गेल्या पतनात, रशियन सरकारने बिग डेटाचे नियमन करण्यासाठी एक विधेयक सुरू केले. माहितीवरून व्यक्ती ओळखल्या जाऊ शकत नाहीत, परंतु फेडरल अधिकार्यांच्या विनंतीनुसार ते करू शकतात. तृतीय पक्षांसाठी बिगडेटा प्रक्रिया करणे हे Roskomnadzor च्या सूचनेनंतरच आहे. 100 हजारांहून अधिक नेटवर्क पत्ते असलेल्या कंपन्या कायद्याच्या कक्षेत येतात. आणि, अर्थातच, जेथे नोंदणीशिवाय - डेटाबेस ऑपरेटरच्या सूचीसह एक तयार करणे अपेक्षित आहे. आणि जर याआधी बिग डेटा प्रत्येकाने गांभीर्याने घेतला नसेल तर आता ते लक्षात घ्यावे लागेल.

या मोठ्या डेटावर प्रक्रिया करणाऱ्या बिलिंग डेव्हलपर कंपनीचा संचालक म्हणून मी डेटाबेसकडे दुर्लक्ष करू शकत नाही. मी टेलिकॉम ऑपरेटर्सच्या प्रिझमद्वारे मोठ्या डेटाबद्दल विचार करेन, ज्यांच्या बिलिंग सिस्टमद्वारे दररोज हजारो सदस्यांबद्दल माहितीचा प्रवाह होतो.

प्रमेय

चला, गणिताच्या समस्येप्रमाणे प्रारंभ करूया: प्रथम आम्ही सिद्ध करतो की टेलिकॉम ऑपरेटरच्या डेटाला बिगडॅट म्हटले जाऊ शकते. सामान्यतः, मोठा डेटा तीन व्हीव्हीव्ही वैशिष्ट्यांद्वारे दर्शविला जातो, जरी विनामूल्य व्याख्यांमध्ये "वि" ची संख्या सातपर्यंत पोहोचली.

खंड. Rostelecom चे MVNO एकट्या दशलक्षाहून अधिक सदस्यांना सेवा देते. मुख्य होस्ट ऑपरेटर 44 ते 78 दशलक्ष लोकांसाठी डेटा हाताळतात. रहदारी दर सेकंदाला वाढत आहे: 2019 च्या पहिल्या तिमाहीत, ग्राहकांनी मोबाईल फोनवरून आधीच 3,3 अब्ज GB पर्यंत प्रवेश केला आहे.

वेग. सांख्यिकीपेक्षा चांगले गतिमानतेबद्दल कोणीही तुम्हाला सांगू शकत नाही, म्हणून मी Cisco च्या अंदाजांवरून जाईन. 2021 पर्यंत, 20% आयपी ट्रॅफिक मोबाईल ट्रॅफिकमध्ये जाईल - ते पाच वर्षांत जवळजवळ तिप्पट होईल. मोबाइल कनेक्शनपैकी एक तृतीयांश M2M असेल - IoT च्या विकासामुळे कनेक्शनमध्ये सहापट वाढ होईल. इंटरनेट ऑफ थिंग्ज केवळ फायदेशीरच नाही तर संसाधन-केंद्रित देखील होईल, म्हणून काही ऑपरेटर फक्त त्यावर लक्ष केंद्रित करतील. आणि जे आयओटी स्वतंत्र सेवा म्हणून विकसित करतात त्यांना दुप्पट रहदारी मिळेल.

विविधता. विविधता ही एक व्यक्तिनिष्ठ संकल्पना आहे, परंतु टेलिकॉम ऑपरेटरना त्यांच्या सदस्यांबद्दल जवळजवळ सर्वकाही माहित आहे. नाव आणि पासपोर्ट तपशील पासून फोन मॉडेल, खरेदी, भेट दिलेली ठिकाणे आणि स्वारस्ये. यारोवाया कायद्यानुसार, मीडिया फाइल्स सहा महिन्यांसाठी संग्रहित केल्या जातात. तर आपण हे एक स्वयंसिद्ध म्हणून घेऊ की गोळा केलेला डेटा भिन्न आहे.

सॉफ्टवेअर आणि कार्यपद्धती

प्रदाता हे BigData च्या मुख्य ग्राहकांपैकी एक आहेत, म्हणून बहुतेक मोठ्या डेटा विश्लेषण तंत्र टेलिकॉम उद्योगाला लागू आहेत. दुसरा प्रश्न असा आहे की एमएल, एआय, डीप लर्निंग, डेटा सेंटर्स आणि डेटा मायनिंगमध्ये गुंतवणूक करण्यास कोण तयार आहे. डेटाबेससह पूर्ण कार्यामध्ये पायाभूत सुविधा आणि एक कार्यसंघ असतो, ज्याचा खर्च प्रत्येकजण परवडत नाही. ज्यांचे आधीच कॉर्पोरेट वेअरहाऊस आहे किंवा डेटा गव्हर्नन्स पद्धत विकसित करत आहेत त्यांनी बिगडेटा वर पैज लावावी. जे अद्याप दीर्घकालीन गुंतवणुकीसाठी तयार नाहीत त्यांच्यासाठी, मी तुम्हाला हळूहळू सॉफ्टवेअर आर्किटेक्चर तयार करण्याचा आणि एक-एक घटक स्थापित करण्याचा सल्ला देतो. तुम्ही हेवी मॉड्यूल्स आणि हडूप शेवटच्यासाठी सोडू शकता. डेटा क्वालिटी आणि डेटा मायनिंग सारख्या समस्यांसाठी काही लोक तयार उपाय विकत घेतात; कंपन्या सामान्यतः सिस्टमला त्यांच्या विशिष्ट वैशिष्ट्यांनुसार आणि गरजेनुसार कस्टमाइझ करतात - स्वतः किंवा विकासकांच्या मदतीने.

परंतु BigData सह कार्य करण्यासाठी प्रत्येक बिलिंगमध्ये सुधारणा करता येणार नाही. किंवा त्याऐवजी, केवळ सर्वकाही सुधारित केले जाऊ शकत नाही. हे फार कमी लोक करू शकतात.

बिलिंग सिस्टमला डेटाबेस प्रोसेसिंग टूल बनण्याची संधी असल्याची तीन चिन्हे:

• क्षैतिज स्केलेबिलिटी. सॉफ्टवेअर लवचिक असणे आवश्यक आहे - आम्ही मोठ्या डेटाबद्दल बोलत आहोत. क्लस्टरमधील हार्डवेअरच्या प्रमाणात वाढ करून माहितीच्या प्रमाणात वाढ केली पाहिजे.
• चुकीची सहनशीलता. गंभीर प्रीपेड प्रणाली सामान्यतः डीफॉल्टनुसार दोष-सहिष्णु असतात: बिलिंग अनेक भौगोलिक स्थानांमध्ये क्लस्टरमध्ये तैनात केले जाते जेणेकरून ते एकमेकांना आपोआप विमा करतात. एक किंवा अधिक अयशस्वी झाल्यास हडूप क्लस्टरमध्ये पुरेसे संगणक देखील असले पाहिजेत.
• परिसर. डेटा एका सर्व्हरवर संग्रहित आणि प्रक्रिया करणे आवश्यक आहे, अन्यथा आपण डेटा ट्रान्सफरवर जाऊ शकता. लोकप्रिय मॅप-रिड्यूस अॅप्रोच योजनांपैकी एक: HDFS स्टोअर्स, स्पार्क प्रक्रिया. तद्वतच, सॉफ्टवेअरने डेटा सेंटर इन्फ्रास्ट्रक्चरमध्ये अखंडपणे समाकलित केले पाहिजे आणि एकामध्ये तीन गोष्टी करण्यास सक्षम असावे: माहिती गोळा करणे, व्यवस्थापित करणे आणि विश्लेषण करणे.

संघ

काय, कसे आणि कोणत्या उद्देशाने प्रोग्राम बिग डेटावर प्रक्रिया करेल हे टीमने ठरवले आहे. बर्‍याचदा त्यात एक व्यक्ती असते – डेटा सायंटिस्ट. जरी, माझ्या मते, बिग डेटासाठी कर्मचार्‍यांच्या किमान पॅकेजमध्ये उत्पादन व्यवस्थापक, डेटा अभियंता आणि व्यवस्थापक देखील समाविष्ट आहेत. प्रथम सेवा समजते, तांत्रिक भाषेचे मानवी भाषेत भाषांतर करते आणि त्याउलट. डेटा अभियंता Java/Scala वापरून मॉडेल्स जिवंत करतात आणि मशीन लर्निंगसह प्रयोग करतात. व्यवस्थापक समन्वय साधतो, ध्येये सेट करतो आणि टप्प्यांवर नियंत्रण ठेवतो.

समस्या

डेटा संकलित करताना आणि त्यावर प्रक्रिया करताना सामान्यतः समस्या उद्भवतात हे BigData टीमच्या वतीने आहे. काय संकलित करावे आणि त्यावर प्रक्रिया कशी करावी हे प्रोग्रामला स्पष्ट करणे आवश्यक आहे - हे स्पष्ट करण्यासाठी, आपल्याला प्रथम ते स्वतः समजून घेणे आवश्यक आहे. परंतु प्रदात्यांसाठी, गोष्टी इतक्या सोप्या नाहीत. मी ग्राहक मंथन कमी करण्याच्या कार्याचे उदाहरण वापरून समस्यांबद्दल बोलत आहे - हेच टेलिकॉम ऑपरेटर बिग डेटाच्या मदतीने सोडवण्याचा प्रयत्न करीत आहेत.

ध्येय निश्चित करणे. चांगल्या प्रकारे लिहिलेली तांत्रिक वैशिष्ट्ये आणि अटींची वेगवेगळी समज ही केवळ फ्रीलांसरसाठीच नव्हे तर शतकानुशतके जुनी वेदना आहे. अगदी "ड्रॉप" सदस्यांचाही वेगवेगळ्या प्रकारे अर्थ लावला जाऊ शकतो - जसे की ज्यांनी एक महिना, सहा महिने किंवा वर्षभर ऑपरेटरच्या सेवा वापरल्या नाहीत. आणि ऐतिहासिक डेटावर आधारित MVP तयार करण्यासाठी, तुम्हाला मंथनातून ग्राहकांच्या परताव्याची वारंवारता समजून घेणे आवश्यक आहे - ज्यांनी इतर ऑपरेटर्सचा प्रयत्न केला किंवा शहर सोडले आणि भिन्न संख्या वापरली. आणखी एक महत्त्वाचा प्रश्न: ग्राहकाने किती काळ सोडणे अपेक्षित आहे, प्रदात्याने हे निश्चित केले पाहिजे आणि कारवाई करावी? सहा महिने खूप लवकर आहे, एक आठवडा खूप उशीर झाला आहे.

संकल्पनांचे प्रतिस्थापन. सामान्यतः, ऑपरेटर फोन नंबरद्वारे क्लायंट ओळखतात, म्हणून ते वापरून चिन्हे अपलोड करणे तर्कसंगत आहे. तुमच्या वैयक्तिक खाते किंवा सेवा अर्ज क्रमांकाचे काय? ग्राहक म्हणून कोणते युनिट घ्यायचे हे ठरवणे आवश्यक आहे जेणेकरून ऑपरेटरच्या सिस्टममधील डेटा बदलू नये. क्लायंटच्या मूल्याचे मूल्यांकन करणे देखील शंकास्पद आहे - कोणता ग्राहक कंपनीसाठी अधिक मौल्यवान आहे, कोणता वापरकर्ता टिकवून ठेवण्यासाठी अधिक प्रयत्नांची आवश्यकता आहे आणि कोणते कोणत्याही परिस्थितीत "पडतील" आणि त्यांच्यावर संसाधने खर्च करण्यात काही अर्थ नाही.

माहितीची कमतरता. सर्व प्रदाता कर्मचारी बिगडेटा टीमला समजावून सांगू शकत नाहीत की ग्राहक मंथनावर विशेष काय परिणाम होतो आणि बिलिंगमधील संभाव्य घटकांची गणना कशी केली जाते. जरी त्यांनी त्यापैकी एकाचे नाव दिले - ARPU - असे दिसून आले की त्याची गणना वेगवेगळ्या प्रकारे केली जाऊ शकते: एकतर नियतकालिक क्लायंट पेमेंटद्वारे किंवा स्वयंचलित बिलिंग शुल्काद्वारे. आणि कामाच्या प्रक्रियेत, इतर लाखो प्रश्न उद्भवतात. मॉडेलमध्ये सर्व क्लायंट समाविष्ट आहेत का, क्लायंट टिकवून ठेवण्याची किंमत काय आहे, पर्यायी मॉडेल्सद्वारे विचार करण्यात काही अर्थ आहे का आणि ज्या क्लायंटला चुकून कृत्रिमरित्या राखून ठेवले आहे त्यांचे काय करावे.

ध्येय सेटिंग. मला तीन प्रकारच्या परिणाम त्रुटी माहित आहेत ज्यामुळे ऑपरेटर डेटाबेससह निराश होतात.

1. प्रदाता BigData मध्ये गुंतवणूक करतो, गीगाबाइट्सच्या माहितीवर प्रक्रिया करतो, परंतु त्याचा परिणाम स्वस्तात मिळू शकतो. साधे आकृती आणि मॉडेल, आदिम विश्लेषण वापरले जातात. किंमत अनेक पट जास्त आहे, परंतु परिणाम समान आहे.
2. ऑपरेटरला आउटपुट म्हणून बहुआयामी डेटा प्राप्त होतो, परंतु तो कसा वापरायचा हे समजत नाही. विश्लेषण आहे - येथे ते समजण्यासारखे आहे आणि मोठे आहे, परंतु त्याचा काही उपयोग नाही. अंतिम परिणाम, ज्यामध्ये "डेटा प्रक्रिया करणे" चे ध्येय असू शकत नाही, याचा विचार केला गेला नाही. प्रक्रिया करणे पुरेसे नाही - विश्लेषणे व्यवसाय प्रक्रिया अद्यतनित करण्यासाठी आधार बनली पाहिजेत.
3. बिगडेटा विश्लेषणाच्या वापरातील अडथळे जुन्या व्यवसाय प्रक्रिया आणि नवीन हेतूंसाठी अनुपयुक्त सॉफ्टवेअर असू शकतात. याचा अर्थ असा की त्यांनी तयारीच्या टप्प्यावर चूक केली - त्यांनी कृतींच्या अल्गोरिदम आणि बिग डेटा कामात आणण्याच्या टप्प्यांचा विचार केला नाही.

का

परिणाम बोलणे. मी टेलिकॉम ऑपरेटर आधीच वापरत असलेल्या बिग डेटाचा वापर आणि कमाई करण्याच्या मार्गांवर जाईन.
प्रदाते केवळ ग्राहकांच्या आउटफ्लोचाच नाही तर बेस स्टेशनवरील भाराचा अंदाज लावतात.

1. ग्राहकांच्या हालचाली, क्रियाकलाप आणि वारंवारता सेवांबद्दल माहितीचे विश्लेषण केले जाते. परिणाम: पायाभूत सुविधांच्या समस्या क्षेत्रांच्या ऑप्टिमायझेशन आणि आधुनिकीकरणामुळे ओव्हरलोडच्या संख्येत घट.
2. सेलचे पॉइंट उघडताना टेलिकॉम ऑपरेटर ग्राहकांचे भौगोलिक स्थान आणि रहदारी घनता याविषयी माहिती वापरतात. अशा प्रकारे, नवीन कार्यालयांच्या स्थानाची योजना करण्यासाठी MTS आणि VimpelCom द्वारे बिगडेटा विश्लेषणे आधीपासूनच वापरली जातात.
3. प्रदाते तृतीय पक्षांना ऑफर करून त्यांचा स्वतःचा मोठा डेटा कमाई करतात. बिगडेटा ऑपरेटरचे मुख्य ग्राहक व्यावसायिक बँका आहेत. डेटाबेसचा वापर करून, ते ग्राहकांच्या सिम कार्डच्या संशयास्पद क्रियाकलापांवर नजर ठेवतात ज्याशी कार्ड लिंक आहेत आणि जोखीम स्कोअरिंग, पडताळणी आणि देखरेख सेवा वापरतात. आणि 2017 मध्ये, मॉस्को सरकारने तांत्रिक आणि वाहतूक पायाभूत सुविधांची योजना करण्यासाठी Tele2 कडील BigData डेटावर आधारित हालचाली गतिमानतेची विनंती केली.
4. बिगडेटा विश्लेषणे ही विपणकांसाठी सोन्याची खाण आहे, जे त्यांनी निवडल्यास हजारो सदस्य गटांसाठी वैयक्तिकृत जाहिरात मोहिमा तयार करू शकतात. दूरसंचार कंपन्या सामाजिक प्रोफाइल, ग्राहकांच्या आवडी आणि सदस्यांच्या वर्तणुकीचे नमुने एकत्रित करतात आणि नंतर नवीन ग्राहकांना आकर्षित करण्यासाठी एकत्रित केलेला बिगडेटा वापरतात. परंतु मोठ्या प्रमाणावर प्रमोशन आणि पीआर प्लॅनिंगसाठी, बिलिंगमध्ये नेहमीच पुरेशी कार्यक्षमता नसते: प्रोग्रामने एकाच वेळी क्लायंटबद्दल तपशीलवार माहितीसह समांतर अनेक घटक विचारात घेतले पाहिजेत.

काहीजण अजूनही बिगडेटाला रिक्त वाक्यांश मानतात, तर बिग फोर आधीच त्यावर पैसे कमवत आहेत. एमटीएसने सहा महिन्यांत मोठ्या डेटा प्रक्रियेतून 14 अब्ज रूबल कमावले आणि टेली 2 प्रकल्पांमधून साडेतीन पटीने महसूल वाढविला. बिगडेटा एक ट्रेंडमधून आवश्यक आहे, ज्या अंतर्गत टेलिकॉम ऑपरेटरची संपूर्ण रचना पुन्हा तयार केली जाईल.

स्त्रोत: www.habr.com