பிக் டேட்டா பெரிய பில்லிங்: டெலிகாமில் பிக்டேட்டா பற்றி

2008 இல் பிக்டேட்டா என்பது ஒரு புதிய சொல் மற்றும் நாகரீகமான போக்கு. 2019 ஆம் ஆண்டில், BigData என்பது விற்பனைப் பொருளாகவும், லாபத்தின் மூலமாகவும் புதிய பில்களுக்கான காரணமாகவும் உள்ளது.

கடந்த இலையுதிர்காலத்தில், ரஷ்ய அரசாங்கம் பெரிய தரவுகளை ஒழுங்குபடுத்துவதற்கான மசோதாவைத் தொடங்கியது. தகவலில் இருந்து மக்களை அடையாளம் காண இது தடைசெய்யப்பட்டுள்ளது, ஆனால் கூட்டாட்சி அதிகாரிகளின் வேண்டுகோளின் பேரில் இதைச் செய்ய அனுமதிக்கப்படுகிறது. மூன்றாம் தரப்பினருக்கான BigData செயலாக்கம் - Roskomnadzor இன் அறிவிப்பிற்குப் பிறகு மட்டுமே. 100 ஆயிரத்துக்கும் மேற்பட்ட நெட்வொர்க் முகவரிகளைக் கொண்ட நிறுவனங்கள் சட்டத்தின் கீழ் வருகின்றன. மற்றும், நிச்சயமாக, பதிவுகள் இல்லாமல் - இது தரவுத்தள ஆபரேட்டர்களின் பட்டியலுடன் ஒன்றை உருவாக்க வேண்டும். அதற்கு முன்பு பிக்டேட்டாவை அனைவரும் பெரிதாக எடுத்துக் கொள்ளவில்லை என்றால், இப்போது அதைக் கணக்கிட வேண்டியிருக்கும்.

இந்த பிக்டேட்டாவைச் செயலாக்கும் பில்லிங் டெவலப்மெண்ட் நிறுவனத்தின் இயக்குநராக நான், தரவுத்தளத்தைப் புறக்கணிக்க முடியாது. டெலிகாம் ஆபரேட்டர்களின் ப்ரிஸம் மூலம் பெரிய தரவுகளைப் பற்றி நான் யோசிப்பேன், அதன் பில்லிங் அமைப்புகளின் மூலம் ஒவ்வொரு நாளும் ஆயிரக்கணக்கான சந்தாதாரர்களைப் பற்றிய தகவல்கள் பாய்கின்றன.

தேற்றம்

கணிதச் சிக்கலைப் போலவே தொடங்குவோம்: முதலில், தொலைத்தொடர்பு ஆபரேட்டர்களின் தரவை BigDat என்று அழைக்கலாம் என்பதை நிரூபிப்போம். நிலையான பெரிய தரவு மூன்று VVV அம்சங்களால் வகைப்படுத்தப்படுகிறது, இருப்பினும் இலவச விளக்கங்களில் "V" இன் எண்ணிக்கை ஏழு வரை எட்டியது.

தொகுதி. Rostelecom இன் MVNO மட்டும் ஒரு மில்லியனுக்கும் அதிகமான சந்தாதாரர்களுக்கு சேவை செய்கிறது. முக்கிய ஹோஸ்ட் ஆபரேட்டர்கள் 44 மில்லியனிலிருந்து 78 மில்லியன் மக்கள் வரை தரவுகளை செயலாக்குகின்றனர். ஒவ்வொரு நொடியும் போக்குவரத்து அதிகரித்து வருகிறது: 2019 முதல் காலாண்டில், சந்தாதாரர்கள் ஏற்கனவே 3,3 பில்லியன் ஜிபி மொபைல் போன்களில் உலாவியுள்ளனர்.

வேகம். புள்ளிவிவரங்களை விட சிறந்த யாரும் இயக்கவியலைப் பற்றி சொல்ல மாட்டார்கள், எனவே நான் சிஸ்கோவின் கணிப்புகளைப் பார்க்கிறேன். 2021 ஆம் ஆண்டளவில், 20% ஐபி டிராஃபிக் மொபைல் போக்குவரத்திற்குச் செல்லும் - இது ஐந்து ஆண்டுகளில் கிட்டத்தட்ட மூன்று மடங்கு அதிகரிக்கும். மொபைல் இணைப்புகளில் மூன்றில் ஒரு பங்கு M2M இல் இருக்கும் - IoT இன் வளர்ச்சி இணைப்புகளில் ஆறு மடங்கு அதிகரிப்புக்கு வழிவகுக்கும். இன்டர்நெட் ஆஃப் திங்ஸ் லாபம் ஈட்டுவது மட்டுமல்லாமல், வளம் மிகுந்ததாகவும் மாறும், எனவே சில ஆபரேட்டர்கள் அதில் மட்டுமே கவனம் செலுத்துவார்கள். மேலும் IoTயை தனி சேவையாக உருவாக்குபவர்கள் இரட்டிப்பு போக்குவரத்தைப் பெறுவார்கள்.

வெரைட்டி. பன்முகத்தன்மை என்பது ஒரு அகநிலை கருத்தாகும், ஆனால் தொலைத்தொடர்பு ஆபரேட்டர்கள் உண்மையில் தங்கள் சந்தாதாரர்களைப் பற்றி எல்லாவற்றையும் அறிந்திருக்கிறார்கள். பெயர் மற்றும் பாஸ்போர்ட் விவரங்கள் முதல் ஃபோன் மாடல், வாங்கியவை, சென்ற இடங்கள் மற்றும் ஆர்வங்கள் வரை. Yarovaya சட்டத்தின்படி, ஊடக கோப்புகள் ஆறு மாதங்களுக்கு சேமிக்கப்படும். எனவே சேகரிக்கப்பட்ட தரவு வேறுபட்டது என்பதை ஒரு கோட்பாடாக எடுத்துக்கொள்வோம்.

மென்பொருள் மற்றும் வழிமுறை

வழங்குநர்கள் BigData இன் முக்கிய நுகர்வோர்களில் ஒருவர், எனவே பெரும்பாலான பெரிய தரவு பகுப்பாய்வு நுட்பங்கள் தொலைத்தொடர்புத் துறைக்கு பொருந்தும். எம்எல், ஏஐ, டீப் லேர்னிங், டேட்டா சென்டர்கள் மற்றும் டேட்டா மைனிங் ஆகியவற்றில் முதலீடு செய்ய யார் தயாராக இருக்கிறார்கள் என்பது மற்றொரு கேள்வி. தரவுத்தளத்துடன் முழு அளவிலான வேலை உள்கட்டமைப்பு மற்றும் ஒரு குழுவைக் கொண்டுள்ளது, இதன் செலவுகள் அனைவருக்கும் தாங்க முடியாது. ஏற்கனவே கார்ப்பரேட் சேமிப்பகத்தை வைத்திருக்கும் அல்லது டேட்டா கவர்னன்ஸ் முறையை உருவாக்கிய நிறுவனங்களுக்கு BigData மீது பந்தயம் கட்டுவது மதிப்பு. நீண்ட கால முதலீடுகளுக்கு இன்னும் தயாராகாதவர்களுக்கு, மென்பொருள் கட்டமைப்பை படிப்படியாக உருவாக்கவும், கூறுகளை ஒவ்வொன்றாக நிறுவவும் நான் உங்களுக்கு அறிவுறுத்துகிறேன். கனமான தொகுதிகள் மற்றும் ஹடூப்பை கடைசியாக விடலாம். டேட்டா குவாலிட்டி மற்றும் டேட்டா மைனிங் போன்ற பணிகளுக்கான ஆயத்த தீர்வை சிலர் வாங்குகிறார்கள், பெரும்பாலும் நிறுவனங்கள் தங்களின் பிரத்தியேகங்கள் மற்றும் தேவைகளுக்கு ஏற்றவாறு கணினியைத் தனிப்பயனாக்குகின்றன - சொந்தமாக அல்லது டெவலப்பர்களின் உதவியுடன்.

ஆனால் BigData உடன் வேலை செய்ய எந்த பில்லிங்கையும் மாற்ற முடியாது. மாறாக, எல்லோராலும் மாற்ற முடியாது. வெகு சிலரே செய்ய முடியும்.

பில்லிங் அமைப்பு ஒரு தரவுத்தள செயலாக்க கருவியாக மாற வாய்ப்புள்ளது என்பதற்கான மூன்று அறிகுறிகள்:

• கிடைமட்ட அளவிடுதல். மென்பொருள் நெகிழ்வானதாக இருக்க வேண்டும் - நாங்கள் பெரிய தரவுகளைப் பற்றி பேசுகிறோம். தகவலின் அளவு அதிகரிப்பு கிளஸ்டரில் உள்ள வன்பொருளின் விகிதாசார அதிகரிப்புடன் நடத்தப்பட வேண்டும்.
• தவறு சகிப்புத்தன்மை. சீரியஸ் ப்ரீபெய்ட் சிஸ்டம்கள் இயல்பாகவே தவறுகளை பொறுத்துக்கொள்கின்றன: பில்லிங் பல புவிஇருப்பிடங்களில் ஒரு கிளஸ்டரில் பயன்படுத்தப்படுகிறது, இதனால் அவை தானாக ஒன்றையொன்று காப்பீடு செய்யும். ஹடூப் கிளஸ்டரில் ஒன்று அல்லது அதற்கு மேற்பட்டவை தோல்வியுற்றால் போதுமான கணினிகள் இருக்க வேண்டும்.
• உள்ளூர். தரவு ஒரே சேவையகத்தில் சேமிக்கப்பட்டு செயலாக்கப்பட வேண்டும், இல்லையெனில் நீங்கள் தரவு பரிமாற்றத்தில் உடைந்து போகலாம். பிரபலமான வரைபடம்-குறைப்பு அணுகுமுறை திட்டங்களில் ஒன்று: HDFS கடைகள், ஸ்பார்க் செயல்முறைகள். வெறுமனே, மென்பொருள் தரவு மைய உள்கட்டமைப்பில் தடையின்றி ஒருங்கிணைக்க வேண்டும் மற்றும் ஒன்றில் மூன்று விஷயங்களைச் செய்ய முடியும்: தகவல்களைச் சேகரித்தல், ஒழுங்கமைத்தல் மற்றும் பகுப்பாய்வு செய்தல்.

அணி

என்ன, எப்படி, எந்த நோக்கத்திற்காக நிரல் பெரிய தரவைச் செயலாக்கும் என்பது குழுவால் தீர்மானிக்கப்படுகிறது. பெரும்பாலும் இது ஒரு நபரைக் கொண்டுள்ளது - ஒரு தரவு விஞ்ஞானி. இருப்பினும், எனது கருத்துப்படி, பிக்டேட்டாவுக்கான பணியாளர்களின் குறைந்தபட்ச தொகுப்பில் ஒரு தயாரிப்பு மேலாளர், தரவுப் பொறியாளர் மற்றும் மேலாளர் ஆகியோர் உள்ளனர். முதலாவது சேவைகளைப் புரிந்துகொள்கிறது, தொழில்நுட்ப மொழியை மனிதனாகவும், நேர்மாறாகவும் மொழிபெயர்க்கிறது. டேட்டா இன்ஜினியர் ஜாவா/ஸ்கலா மற்றும் மெஷின் லேர்னிங்கில் சோதனைகள் மூலம் மாதிரிகளை உயிர்ப்பிக்கிறார். தலைவர் ஒருங்கிணைக்கிறார், இலக்குகளை அமைக்கிறார், நிலைகளை கட்டுப்படுத்துகிறார்.

பிரச்சினைகள்

பிக்டேட்டா குழுவின் தரப்பில், தரவைச் சேகரித்து செயலாக்கும்போது பொதுவாக சிக்கல்கள் எழுகின்றன. எதைச் சேகரிப்பது மற்றும் எவ்வாறு செயலாக்குவது என்பதை நிரல் விளக்க வேண்டும் - இதை விளக்குவதற்கு, முதலில் அதை நீங்களே புரிந்து கொள்ள வேண்டும். ஆனால் வழங்குநர்கள் மிகவும் எளிமையானவர்கள் அல்ல. சந்தாதாரர்களின் வெளியேற்றத்தைக் குறைக்கும் பணியின் உதாரணத்தைப் பயன்படுத்தி சிக்கல்களைப் பற்றி நான் பேசுகிறேன் - தொலைதொடர்பு ஆபரேட்டர்கள் பிக்டேட்டாவின் உதவியுடன் முதலில் தீர்க்க முயற்சிக்கும் இந்த பணியாகும்.

இலக்கு நிர்ணயித்தல். திறமையாக இயற்றப்பட்ட TOR மற்றும் சொற்களின் வித்தியாசமான புரிதல் ஃப்ரீலான்ஸர்களுக்கு மட்டுமல்ல பல நூற்றாண்டுகள் பழமையான வலி. "இழந்த" சந்தாதாரர்கள் கூட வெவ்வேறு வழிகளில் விளக்கப்படலாம் - ஒரு மாதம், ஆறு மாதங்கள் அல்லது ஒரு வருடத்திற்கு ஆபரேட்டரின் சேவைகளைப் பயன்படுத்துவதில்லை. வரலாற்றுத் தரவின் அடிப்படையில் ஒரு எம்விபியை உருவாக்க, சந்தாதாரர்கள் வெளியேறும் அதிர்வெண்ணை நீங்கள் புரிந்து கொள்ள வேண்டும் - பிற ஆபரேட்டர்களின் இணைப்பை முயற்சித்தவர்கள் அல்லது நகரத்தை விட்டு வெளியேறி வேறு எண்ணைப் பயன்படுத்தியவர்கள். மற்றொரு முக்கியமான கேள்வி: சந்தாதாரர் எதிர்பார்க்கப்படும் புறப்படுவதற்கு எவ்வளவு காலத்திற்கு முன்பு வழங்குநர் இதைத் தீர்மானித்து நடவடிக்கை எடுக்க வேண்டும்? அரை வருடம் மிகவும் ஆரம்பமானது, ஒரு வாரம் ஏற்கனவே மிகவும் தாமதமானது.

கருத்துகளின் மாற்று. வழக்கமாக, ஆபரேட்டர்கள் ஒரு வாடிக்கையாளரை தொலைபேசி எண்ணின் மூலம் அடையாளம் காண்பார்கள், எனவே அதன் மூலம் அடையாளங்கள் பதிவேற்றப்பட வேண்டும் என்பது தர்க்கரீதியானது. தனிப்பட்ட கணக்கு அல்லது சேவை விண்ணப்ப எண் பற்றி என்ன? ஆபரேட்டரின் கணினியில் உள்ள தரவு வேறுபடாமல் இருக்க எந்த யூனிட்டை கிளையண்டாக எடுக்க வேண்டும் என்பதை தீர்மானிக்க வேண்டியது அவசியம். வாடிக்கையாளரின் மதிப்பை மதிப்பிடுவதும் கேள்விக்குரியது - எந்த சந்தாதாரர் நிறுவனத்திற்கு மிகவும் மதிப்புமிக்கவர், எந்த பயனரைத் தக்கவைக்க அதிக முயற்சி தேவை, மற்றும் எந்த விஷயத்திலும் "விழும்" மற்றும் அவர்களுக்காக வளங்களைச் செலவிடுவதில் அர்த்தமில்லை.

தகவல் இல்லாமை. சந்தாதாரர்களின் வெளியேற்றத்தை சரியாகப் பாதிக்கிறது மற்றும் பில்லிங்கில் சாத்தியமான காரணிகள் எவ்வாறு கருதப்படுகின்றன என்பதை பிக்டேட்டா குழுவிடம் அனைத்து வழங்குநர் ஊழியர்களும் விளக்க முடியாது. அவற்றில் ஒன்று பெயரிடப்பட்டிருந்தாலும் - ARPU - அதை வெவ்வேறு வழிகளில் கணக்கிடலாம்: அவ்வப்போது வாடிக்கையாளர் செலுத்துதல்கள் அல்லது தானியங்கி பில்லிங் கட்டணங்கள் மூலம். மற்றும் செயல்பாட்டில், ஒரு மில்லியன் கேள்விகள் எழுகின்றன. மாடல் அனைத்து வாடிக்கையாளர்களையும் உள்ளடக்குகிறதா, வாடிக்கையாளரைத் தக்கவைத்துக்கொள்வதற்கான செலவு என்ன, மாற்று மாதிரிகள் மூலம் சிந்திப்பது அர்த்தமுள்ளதா, தவறாக செயற்கையாகத் தக்கவைக்கப்பட்ட வாடிக்கையாளர்களை என்ன செய்வது.

இலக்கு நிர்ணயம். தரவுத்தளத்தில் ஆபரேட்டர்கள் விரக்தியை ஏற்படுத்தும் மூன்று வகையான முடிவு தொடர்பான பிழைகளை நான் அறிவேன்.

1. வழங்குநர் பிக்டேட்டாவில் முதலீடு செய்கிறார், ஜிகாபைட் தகவலைச் செயலாக்குகிறார், ஆனால் மலிவாகப் பெறக்கூடிய முடிவைப் பெறுகிறார். எளிய திட்டங்கள் மற்றும் மாதிரிகள், பழமையான பகுப்பாய்வுகள் பயன்படுத்தப்படுகின்றன. செலவு பல மடங்கு அதிகமாகும், ஆனால் விளைவு ஒன்றுதான்.
2. ஆபரேட்டர் வெளியீட்டில் பலதரப்பட்ட தரவைப் பெறுகிறார், ஆனால் அவற்றை எவ்வாறு பயன்படுத்துவது என்பது புரியவில்லை. பகுப்பாய்வு உள்ளது - இங்கே அது புரிந்துகொள்ளக்கூடியது மற்றும் மிகப்பெரியது, ஆனால் அதிலிருந்து பூஜ்ஜிய உணர்வு உள்ளது. இறுதி முடிவு சிந்திக்கப்படவில்லை, இது "தரவை செயலாக்குதல்" என்ற இலக்கைக் கொண்டிருக்க முடியாது. செயலாக்கம் போதாது - வணிக செயல்முறைகளை மேம்படுத்துவதற்கு பகுப்பாய்வு அடிப்படையாக இருக்க வேண்டும்.
3. BigData பகுப்பாய்வுகளைப் பயன்படுத்துவதற்கு ஒரு தடையாக இருப்பது காலாவதியான வணிக செயல்முறைகள் மற்றும் புதிய நோக்கங்களுக்குப் பொருந்தாத மென்பொருள். இதன் பொருள் அவர்கள் தயாரிப்பு கட்டத்தில் தவறு செய்தார்கள் - செயல்களின் வழிமுறை மற்றும் பிக்டேட்டாவை வேலையில் அறிமுகப்படுத்தும் நிலைகள் பற்றி அவர்கள் சிந்திக்கவில்லை.

என்ன

முடிவுகளைப் பற்றி பேசுகிறது. டெலிகாம் ஆபரேட்டர்கள் ஏற்கனவே பயன்படுத்தி வரும் BigData ஐப் பயன்படுத்துதல் மற்றும் பணமாக்குதல் ஆகியவற்றைப் பற்றி நான் பேசுவேன்.
வழங்குநர்கள் சந்தாதாரர்களின் வெளியேற்றத்தை மட்டுமல்ல, அடிப்படை நிலையங்களின் சுமையையும் கணிக்கின்றனர்.

1. சந்தாதாரர்களின் இயக்கம், செயல்பாடு மற்றும் அதிர்வெண் சேவைகள் பற்றிய தகவல்கள் பகுப்பாய்வு செய்யப்படுகின்றன. முடிவு: உள்கட்டமைப்பின் சிக்கல் பகுதிகளின் தேர்வுமுறை மற்றும் நவீனமயமாக்கல் காரணமாக அதிக சுமைகளின் எண்ணிக்கையில் குறைப்பு.
2. டெலிகாம் ஆபரேட்டர்கள் விற்பனை புள்ளிகளைத் திறக்கும்போது சந்தாதாரர்களின் புவிஇருப்பிடம் மற்றும் போக்குவரத்து அடர்த்தி பற்றிய தகவல்களைப் பயன்படுத்துகின்றனர். எனவே பிக்டேட்டா பகுப்பாய்வு ஏற்கனவே MTS மற்றும் Vimpelcom ஆல் புதிய அலுவலகங்களின் இருப்பிடத்தைத் திட்டமிட பயன்படுத்தப்படுகிறது.
3. வழங்குநர்கள் தங்கள் சொந்த பெரிய தரவை மூன்றாம் தரப்பு நிறுவனங்களுக்கு வழங்குவதன் மூலம் பணமாக்குகிறார்கள். BigData ஆபரேட்டர்களின் முக்கிய வாடிக்கையாளர்கள் வணிக வங்கிகள். தரவுத்தளத்தின் உதவியுடன், கார்டுகள் இணைக்கப்பட்டுள்ள சந்தாதாரரின் சிம் கார்டின் சந்தேகத்திற்கிடமான செயல்பாடுகளைக் கண்காணித்து, இடர் மதிப்பீடு, சரிபார்ப்பு மற்றும் கண்காணிப்பு சேவைகளைப் பயன்படுத்துகின்றனர். 2017 ஆம் ஆண்டில், மாஸ்கோ அரசாங்கம் தொழில்நுட்ப மற்றும் போக்குவரத்து உள்கட்டமைப்பைத் திட்டமிடுவதற்காக Tele2 இலிருந்து BigData தரவுகளின்படி இயக்கத்தின் இயக்கவியலைக் கோரியது.
4. BigData analytics என்பது சந்தைப்படுத்துபவர்களுக்கு ஒரு தங்க சுரங்கமாகும், அவர்கள் விரும்பினால் ஆயிரக்கணக்கான சந்தாதாரர் குழுக்களுக்கு தனிப்பயனாக்கப்பட்ட விளம்பர பிரச்சாரங்களை உருவாக்க முடியும். தொலைத்தொடர்பு நிறுவனங்கள் சமூக சுயவிவரங்கள், நுகர்வோர் நலன்கள் மற்றும் சந்தாதாரர்களின் நடத்தை முறைகளை ஒருங்கிணைத்து, பின்னர் சேகரிக்கப்பட்ட பிக்டேட்டாவைப் பயன்படுத்தி புதிய வாடிக்கையாளர்களை ஈர்க்கின்றன. ஆனால் பெரிய அளவிலான பதவி உயர்வு மற்றும் PR திட்டமிடலுக்கு, பில்லிங் எப்போதும் போதுமான செயல்பாட்டைக் கொண்டிருக்கவில்லை: வாடிக்கையாளர்களைப் பற்றிய விரிவான தகவலுடன் இணையாக பல காரணிகளை நிரல் ஒரே நேரத்தில் கணக்கில் எடுத்துக்கொள்ள வேண்டும்.

பிக்டேட்டாவை இன்னும் ஒரு வெற்று சொற்றொடராக யாரோ கருதினாலும், பிக் ஃபோர் ஏற்கனவே அதில் பணம் சம்பாதிக்கிறார்கள். ஆறு மாதங்களில் பெரிய தரவைச் செயலாக்குவதில் MTS 14 பில்லியன் ரூபிள் சம்பாதிக்கிறது, மேலும் Tele2 திட்டங்களின் வருவாயை மூன்றரை மடங்கு அதிகரித்துள்ளது. BigData ஒரு போக்கில் இருந்து அவசியம் இருக்க வேண்டும், இதன் கீழ் தொலைத்தொடர்பு ஆபரேட்டர்களின் முழு அமைப்பும் மீண்டும் கட்டமைக்கப்படும்.

ஆதாரம்: www.habr.com