बिग डाटा बिग बिलिङ: टेलिकममा बिगडाटा बारे

2008 मा, BigData एक नयाँ शब्द र फैशनेबल प्रवृत्ति थियो। 2019 मा, BigData बिक्रीको एक वस्तु, नाफाको स्रोत र नयाँ बिलहरूको कारण हो।

पछिल्लो पतन, रूसी सरकारले ठूलो डाटा विनियमित गर्न एक बिल सुरु गर्यो। व्यक्तिहरूलाई जानकारीबाट पहिचान गर्न सकिँदैन, तर संघीय अधिकारीहरूको अनुरोधमा त्यसो गर्न सकिन्छ। तेस्रो पक्षहरूको लागि BigData प्रशोधन Roskomnadzor को सूचना पछि मात्र हुन्छ। 100 हजार भन्दा बढी नेटवर्क ठेगाना भएका कम्पनीहरू कानूनको दायरामा पर्छन्। र, निस्सन्देह, जहाँ दर्ता बिना - यो डाटाबेस अपरेटरहरूको सूचीको साथ एउटा सिर्जना गर्न मानिन्छ। र यसअघि बिग डाटालाई सबैले गम्भीरताका साथ लिएका थिएनन् भने अब यसलाई ध्यानमा राख्नुपर्छ ।

म, एक बिलिङ विकासकर्ता कम्पनी को निर्देशक को रूप मा यो धेरै ठूलो डाटा को प्रशोधन, डाटाबेस बेवास्ता गर्न सक्दैन। म टेलिकम अपरेटरहरूको प्रिज्म मार्फत ठूलो डाटाको बारेमा सोच्नेछु, जसको बिलिङ प्रणाली मार्फत हरेक दिन हजारौं ग्राहकहरूको बारेमा जानकारी प्रवाह हुन्छ।

प्रमेय

एक गणित समस्या जस्तै सुरु गरौं: पहिले हामी टेलिकम अपरेटरहरूको डाटा BigDat भन्न सकिन्छ भनेर प्रमाणित गर्छौं। सामान्यतया, ठूलो डाटा तीन VVV विशेषताहरु द्वारा विशेषता छ, यद्यपि मुक्त व्याख्या मा "Vs" को संख्या सात पुग्यो।

भोल्युम। Rostelecom को MVNO ले मात्र एक मिलियन भन्दा बढी ग्राहकहरु लाई सेवा गर्दछ। मुख्य होस्ट अपरेटरहरूले 44 देखि 78 मिलियन मानिसहरूको लागि डाटा ह्यान्डल गर्छन्। ट्राफिक प्रत्येक सेकेन्ड बढ्दै छ: 2019 को पहिलो क्वाटरमा, ग्राहकहरूले पहिले नै मोबाइल फोनबाट 3,3 बिलियन GB पहुँच गरिसकेका छन्।

वेग। तथ्याङ्क भन्दा राम्रो गतिशीलता को बारे मा कसैले बताउन सक्दैन, त्यसैले म Cisco को पूर्वानुमान मा जानेछु। 2021 सम्म, IP ट्राफिकको 20% मोबाइल ट्राफिकमा जानेछ - यो पाँच वर्षमा लगभग तीन गुणा हुनेछ। मोबाइल जडानहरूको एक तिहाइ M2M हुनेछ - IoT को विकासले जडानहरूमा छ गुणा वृद्धि गर्नेछ। चीजहरूको इन्टरनेट लाभदायक मात्र होइन, तर संसाधन-गहन पनि हुनेछ, त्यसैले केही अपरेटरहरूले यसमा मात्र ध्यान केन्द्रित गर्नेछन्। र IoT लाई छुट्टै सेवाको रूपमा विकास गर्नेहरूले दोहोरो ट्राफिक प्राप्त गर्नेछन्।

विविधता। विविधता एक व्यक्तिपरक अवधारणा हो, तर दूरसंचार अपरेटरहरूले वास्तवमा आफ्ना ग्राहकहरूको बारेमा सबै कुरा जान्दछन्। नाम र राहदानी विवरणबाट फोन मोडेल, खरिदहरू, भ्रमण गरिएका ठाउँहरू र रुचिहरू। Yarovaya कानून अनुसार मिडिया फाइलहरू छ महिनाको लागि भण्डारण गरिन्छ। त्यसोभए यसलाई आत्मसिद्ध रूपमा लिनुहोस् कि सङ्कलन डाटा फरक छ।

सफ्टवेयर र पद्धति

प्रदायकहरू BigData को मुख्य उपभोक्ताहरू मध्ये एक हुन्, त्यसैले अधिकांश ठूला डाटा विश्लेषण प्रविधिहरू टेलिकम उद्योगमा लागू हुन्छन्। अर्को प्रश्न ML, AI, Deep Learning को विकासमा लगानी गर्न, डाटा सेन्टर र डाटा माइनिङमा लगानी गर्न को तयार छ। डाटाबेसको साथ पूर्ण कार्यमा पूर्वाधार र टोली समावेश हुन्छ, जसको लागत सबैले वहन गर्न सक्दैन। पहिले नै कर्पोरेट वेयरहाउस भएको वा डाटा गभर्नेन्स पद्धति विकास गर्ने उद्यमहरूले BigData मा शर्त लगाउनुपर्छ। दीर्घकालीन लगानीका लागि अझै तयार नभएकाहरूका लागि, म तपाईंलाई सफ्टवेयर आर्किटेक्चर बिस्तारै निर्माण गर्न र कम्पोनेन्टहरू एक-एक गरेर स्थापना गर्न सल्लाह दिन्छु। तपाईं अन्तिमका लागि भारी मोड्युल र Hadoop छोड्न सक्नुहुन्छ। डेटा गुणस्तर र डाटा माइनिङ जस्ता समस्याहरूको लागि केही मानिसहरूले तयार समाधान किन्छन्; कम्पनीहरूले सामान्यतया प्रणालीलाई तिनीहरूको विशिष्ट विशिष्टता र आवश्यकताहरू अनुसार अनुकूलित गर्छन् - आफै वा विकासकर्ताहरूको सहयोगमा।

तर हरेक बिलिङलाई BigData सँग काम गर्न परिमार्जन गर्न सकिँदैन। वा बरु, न केवल सबै परिमार्जन गर्न सकिन्छ। थोरै मानिसले यो गर्न सक्छन्।

एक बिलिङ प्रणाली एक डाटाबेस प्रशोधन उपकरण बन्ने मौका छ भनेर तीन संकेत:

• तेर्सो स्केलेबिलिटी। सफ्टवेयर लचिलो हुनुपर्दछ - हामी ठूलो डाटाको बारेमा कुरा गर्दैछौं। जानकारीको मात्रामा भएको वृद्धिलाई क्लस्टरमा हार्डवेयरमा समानुपातिक वृद्धिद्वारा व्यवहार गर्नुपर्छ।
• गल्ती सहिष्णुता। गम्भीर प्रीपेड प्रणालीहरू सामान्यतया पूर्वनिर्धारित रूपमा गल्ती-सहिष्णु हुन्छन्: बिलिङ धेरै भौगोलिक स्थानहरूमा क्लस्टरमा तैनाथ गरिएको छ ताकि तिनीहरूले स्वचालित रूपमा एकअर्कालाई बीमा गर्छन्। एक वा बढी असफल भएमा Hadoop क्लस्टरमा पर्याप्त कम्प्युटरहरू पनि हुनुपर्छ।
• इलाका। डाटा भण्डारण र एक सर्भरमा प्रशोधन हुनुपर्छ, अन्यथा तपाईं डाटा स्थानान्तरण मा ब्रेक जान सक्नुहुन्छ। लोकप्रिय नक्सा घटाउने दृष्टिकोण योजनाहरू मध्ये एक: HDFS स्टोरहरू, स्पार्क प्रक्रियाहरू। आदर्श रूपमा, सफ्टवेयरले डाटा सेन्टर पूर्वाधारमा निर्बाध रूपमा एकीकृत हुनुपर्छ र तीनवटा कुराहरू गर्न सक्षम हुनुपर्दछ: जानकारी सङ्कलन, व्यवस्थित र विश्लेषण।

टोली

के, कसरी र कुन उद्देश्यका लागि कार्यक्रमले ठूलो डाटा प्रशोधन गर्ने टोलीले निर्णय गर्छ। अक्सर यसमा एक व्यक्ति - एक डाटा वैज्ञानिक हुन्छ। यद्यपि, मेरो विचारमा, बिग डाटाका लागि कर्मचारीहरूको न्यूनतम प्याकेजमा उत्पादन प्रबन्धक, डाटा इन्जिनियर, र प्रबन्धक पनि समावेश छ। पहिलोले सेवाहरू बुझ्दछ, प्राविधिक भाषालाई मानव भाषामा अनुवाद गर्दछ र यसको विपरीत। डाटा इन्जिनियरले Java/Scala प्रयोग गरेर मोडेलहरूलाई जीवनमा ल्याउँछ र मेसिन लर्निङको प्रयोग गर्दछ। प्रबन्धकले समन्वय गर्दछ, लक्ष्यहरू सेट गर्दछ, र चरणहरू नियन्त्रण गर्दछ।

समस्याहरू

यो BigData टोलीको तर्फबाट हो कि डेटा सङ्कलन र प्रशोधन गर्दा सामान्यतया समस्याहरू उत्पन्न हुन्छन्। कार्यक्रमले के सङ्कलन गर्ने र कसरी प्रशोधन गर्ने भनेर व्याख्या गर्न आवश्यक छ - यो व्याख्या गर्नको लागि, तपाईंले पहिले यसलाई आफैं बुझ्न आवश्यक छ। तर प्रदायकहरूको लागि, चीजहरू त्यति सरल छैनन्। म ग्राहक मंथन घटाउने कार्यको उदाहरण प्रयोग गरेर समस्याहरूको बारेमा कुरा गर्दैछु - यो टेलिकम अपरेटरहरूले पहिलो स्थानमा बिग डाटाको सहयोगमा समाधान गर्न खोजिरहेका छन्।

लक्ष्यहरू सेट गर्दै। राम्ररी लिखित प्राविधिक विशिष्टताहरू र सर्तहरूको विभिन्न बुझाइहरू शताब्दीयौं पुरानो पीडा मात्र होइन फ्रीलान्सरहरूको लागि हो। "छाडिएका" सदस्यहरूलाई पनि विभिन्न तरिकामा व्याख्या गर्न सकिन्छ - जसरी एक महिना, छ महिना वा एक वर्षसम्म अपरेटरको सेवाहरू प्रयोग नगर्नेहरू। र ऐतिहासिक डेटामा आधारित MVP सिर्जना गर्न, तपाईंले मन्थनबाट ग्राहकहरूको फिर्तीको आवृत्ति बुझ्न आवश्यक छ - जसले अन्य अपरेटरहरू प्रयास गरे वा शहर छोडे र फरक नम्बर प्रयोग गरे। अर्को महत्त्वपूर्ण प्रश्न: ग्राहकले छोड्ने अपेक्षा गरिएको कति समय अघि प्रदायकले यो निर्धारण र कारबाही गर्नुपर्छ? छ महिना धेरै चाँडो छ, एक हप्ता धेरै ढिलो छ।

अवधारणा को प्रतिस्थापन। सामान्यतया, अपरेटरहरूले फोन नम्बरद्वारा ग्राहक पहिचान गर्छन्, त्यसैले यो तार्किक छ कि संकेतहरू यसलाई प्रयोग गरेर अपलोड गरिनुपर्छ। तपाईको व्यक्तिगत खाता वा सेवा आवेदन नम्बरको बारेमा के हो? अपरेटरको प्रणालीमा डाटा फरक नहोस् भनेर ग्राहकको रूपमा कुन इकाई लिने भन्ने निर्णय गर्न आवश्यक छ। ग्राहकको मूल्यको मूल्याङ्कन गर्नु पनि शंकास्पद छ - कुन ग्राहक कम्पनीको लागि बढी मूल्यवान छ, कुन प्रयोगकर्तालाई राख्नको लागि थप प्रयास चाहिन्छ, र कुन कुनै पनि अवस्थामा "झर्नेछ" र तिनीहरूमा स्रोतहरू खर्च गर्ने कुनै अर्थ छैन।

जानकारीको अभाव। सबै प्रदायक कर्मचारीहरूले BigData टोलीलाई कुन कुराले विशेष रूपमा सब्सक्राइबर मन्थनलाई असर गर्छ र बिलिङमा सम्भावित कारकहरू कसरी गणना गरिन्छ भनेर व्याख्या गर्न सक्षम हुँदैनन्। यदि तिनीहरूले तिनीहरूमध्ये एउटा नाम राखे पनि - ARPU - यो पत्ता लगाउँछ कि यो विभिन्न तरिकामा गणना गर्न सकिन्छ: या त आवधिक ग्राहक भुक्तानीहरू द्वारा, वा स्वचालित बिलिङ शुल्कहरूद्वारा। र कामको प्रक्रियामा, लाखौं प्रश्नहरू उठ्छन्। के मोडेलले सबै ग्राहकहरूलाई समेट्छ, ग्राहकलाई कायम राख्नको लागि मूल्य के हो, वैकल्पिक मोडेलहरू मार्फत सोच्ने कुनै अर्थ छ, र गल्तीले कृत्रिम रूपमा राखिएका ग्राहकहरूलाई के गर्ने।

लक्ष्य सेटिङ। मलाई तीन प्रकारका परिणाम त्रुटिहरू थाहा छ जसले अपरेटरहरूलाई डाटाबेससँग निराश बनाउँछ।

1. प्रदायकले BigData मा लगानी गर्छ, गीगाबाइट जानकारी प्रशोधन गर्छ, तर सस्तोमा प्राप्त गर्न सकिने नतिजा पाउँछ। सरल रेखाचित्र र मोडेल, आदिम विश्लेषण प्रयोग गरिन्छ। लागत धेरै गुणा बढी छ, तर परिणाम समान छ।
2. अपरेटरले आउटपुटको रूपमा बहुमुखी डाटा प्राप्त गर्दछ, तर यसलाई कसरी प्रयोग गर्ने भनेर बुझ्दैन। त्यहाँ एनालिटिक्स छ - यहाँ यो छ, बुझ्न योग्य र विशाल, तर यो कुनै कामको छैन। अन्तिम नतिजा, जसमा "डेटा प्रशोधन" को लक्ष्य सम्मिलित हुन सक्दैन, सोचिएको छैन। यो प्रक्रिया गर्न पर्याप्त छैन - विश्लेषणहरू व्यापार प्रक्रियाहरू अद्यावधिक गर्ने आधार बन्नुपर्दछ।
3. BigData एनालिटिक्सको प्रयोगमा अवरोधहरू पुरानो व्यापार प्रक्रियाहरू र नयाँ उद्देश्यहरूको लागि अनुपयुक्त सफ्टवेयर हुन सक्छ। यसको मतलब तिनीहरूले तयारी चरणमा गल्ती गरे - तिनीहरूले कार्यहरूको एल्गोरिथ्म र काममा बिग डाटा परिचय गर्ने चरणहरू मार्फत सोचेनन्।

किन

नतिजाको कुरा गर्दै। म बिग डाटा प्रयोग गर्ने र मुद्रीकरण गर्ने तरिकाहरूमा जान्छु जुन टेलिकम अपरेटरहरूले पहिले नै प्रयोग गरिरहेका छन्।
प्रदायकहरूले ग्राहकहरूको बहिर्वाह मात्र होइन, बेस स्टेशनहरूमा लोड पनि भविष्यवाणी गर्छन्।

1. ग्राहक आन्दोलन, गतिविधि र आवृत्ति सेवाहरूको बारेमा जानकारी विश्लेषण गरिएको छ। परिणाम: पूर्वाधारको समस्या क्षेत्रहरूको अनुकूलन र आधुनिकीकरणको कारणले ओभरलोडहरूको संख्यामा कमी।
2. टेलिकम अपरेटरहरूले बिक्रीको बिन्दु खोल्दा ग्राहकहरूको भौगोलिक स्थान र ट्राफिक घनत्व बारे जानकारी प्रयोग गर्छन्। यसरी, बिगडाटा एनालिटिक्सहरू MTS र VimpelCom द्वारा नयाँ कार्यालयहरूको स्थान योजना गर्न पहिले नै प्रयोग गरिन्छ।
3. प्रदायकहरूले तेस्रो पक्षहरूलाई प्रस्ताव गरेर आफ्नै ठूलो डेटा मुद्रीकरण गर्छन्। बिगडाटा अपरेटरहरूका मुख्य ग्राहकहरू वाणिज्य बैंकहरू हुन्। डाटाबेस प्रयोग गरेर, तिनीहरूले ग्राहकको सिम कार्डको संदिग्ध गतिविधिहरूको निगरानी गर्छन् जसमा कार्डहरू लिंक छन्, र जोखिम स्कोरिङ, प्रमाणीकरण र निगरानी सेवाहरू प्रयोग गर्छन्। र 2017 मा, मस्को सरकारले प्राविधिक र यातायात पूर्वाधारको योजना बनाउन Tele2 बाट BigData डाटामा आधारित आन्दोलन गतिशीलता अनुरोध गर्‍यो।
4. BigData एनालिटिक्स मार्केटरहरूका लागि सुनको खानी हो, जसले हजारौं ग्राहक समूहहरूको लागि व्यक्तिगत विज्ञापन अभियानहरू सिर्जना गर्न सक्छन् यदि तिनीहरूले छनौट गर्छन्। टेलिकम कम्पनीहरूले सामाजिक प्रोफाइलहरू, उपभोक्ता रुचिहरू र ग्राहकहरूको व्यवहार ढाँचाहरू जम्मा गर्छन्, र त्यसपछि नयाँ ग्राहकहरूलाई आकर्षित गर्न सङ्कलन गरिएको BigData प्रयोग गर्छन्। तर ठूलो मात्रामा प्रवर्द्धन र PR योजनाको लागि, बिलिङमा सधैं पर्याप्त कार्यक्षमता हुँदैन: कार्यक्रमले ग्राहकहरूको बारेमा विस्तृत जानकारीको साथमा समानान्तर रूपमा धेरै कारकहरूलाई ध्यानमा राख्नुपर्छ।

कोही कोहीले अझै पनि BigData लाई खाली वाक्यांश मान्दछन्, बिग फोरले पहिले नै यसमा पैसा कमाउँदै छ। MTS ले छ महिनामा ठूला डाटा प्रोसेसिङबाट १४ बिलियन रूबल कमाउँछ र Tele14 ले परियोजनाहरूबाट साढे तीन गुणाले राजस्व बढाएको छ। बिगडाटा एउटा प्रवृत्तिबाट अनिवार्य रूपमा परिणत हुँदैछ, जसअन्तर्गत टेलिकम अपरेटरहरूको सम्पूर्ण संरचना पुनर्निर्माण गरिनेछ।

स्रोत: www.habr.com