2008లో, BigData అనేది కొత్త పదం మరియు ఫ్యాషన్ ట్రెండ్. 2019లో, BigData అనేది అమ్మకానికి సంబంధించిన వస్తువు, లాభం యొక్క మూలం మరియు కొత్త బిల్లులకు కారణం.
చివరి పతనం, రష్యన్ ప్రభుత్వం పెద్ద డేటాను నియంత్రించడానికి ఒక బిల్లును ప్రారంభించింది. వ్యక్తులు సమాచారం నుండి గుర్తించబడకపోవచ్చు, కానీ ఫెడరల్ అధికారుల అభ్యర్థన మేరకు అలా చేయవచ్చు. మూడవ పక్షాల కోసం బిగ్‌డేటా ప్రాసెస్ చేయడం Roskomnadzor నోటిఫికేషన్ తర్వాత మాత్రమే. 100 వేల కంటే ఎక్కువ నెట్‌వర్క్ చిరునామాలను కలిగి ఉన్న కంపెనీలు చట్టం పరిధిలోకి వస్తాయి. మరియు, వాస్తవానికి, రిజిస్టర్లు లేకుండా ఎక్కడ - ఇది డేటాబేస్ ఆపరేటర్ల జాబితాతో ఒకదాన్ని సృష్టించాలి. మరి ఇంతకు ముందు బిగ్ డేటాను అందరూ సీరియస్‌గా తీసుకోకపోతే ఇప్పుడు దాన్ని పరిగణనలోకి తీసుకోవలసి ఉంటుంది.
నేను, ఈ బిగ్ డేటాను ప్రాసెస్ చేసే బిల్లింగ్ డెవలపర్ కంపెనీ డైరెక్టర్‌గా, డేటాబేస్ను విస్మరించలేను. నేను టెలికాం ఆపరేటర్ల ప్రిజం ద్వారా పెద్ద డేటా గురించి ఆలోచిస్తాను, దీని బిల్లింగ్ సిస్టమ్‌ల ద్వారా ప్రతిరోజూ వేలాది మంది చందాదారుల గురించి సమాచారం ప్రవహిస్తుంది.
సిద్ధాంతం
గణిత సమస్య వలె ప్రారంభిద్దాం: ముందుగా టెలికాం ఆపరేటర్ల డేటాను బిగ్‌డాట్ అని పిలవవచ్చని మేము నిరూపిస్తాము. సాధారణంగా, పెద్ద డేటా మూడు VVV లక్షణాల ద్వారా వర్గీకరించబడుతుంది, అయినప్పటికీ ఉచిత వివరణలలో "Vs" సంఖ్య ఏడుకి చేరుకుంది.
వాల్యూమ్. Rostelecom యొక్క MVNO ఒక్కటే మిలియన్ కంటే ఎక్కువ మంది సబ్‌స్క్రైబర్‌లకు సేవలు అందిస్తుంది. కీ హోస్ట్ ఆపరేటర్లు 44 నుండి 78 మిలియన్ల మంది వ్యక్తుల కోసం డేటాను నిర్వహిస్తారు. ప్రతి సెకనుకు ట్రాఫిక్ పెరుగుతోంది: 2019 మొదటి త్రైమాసికంలో, చందాదారులు ఇప్పటికే మొబైల్ ఫోన్‌ల నుండి 3,3 బిలియన్ GBని యాక్సెస్ చేసారు.
వేగం. గణాంకాల కంటే మెరుగైన డైనమిక్స్ గురించి ఎవరూ మీకు చెప్పలేరు, కాబట్టి నేను సిస్కో యొక్క సూచనలను పరిశీలిస్తాను. 2021 నాటికి, IP ట్రాఫిక్‌లో 20% మొబైల్ ట్రాఫిక్‌కు వెళుతుంది - ఇది ఐదేళ్లలో దాదాపు మూడు రెట్లు పెరుగుతుంది. మొబైల్ కనెక్షన్లలో మూడవ వంతు M2M ఉంటుంది - IoT అభివృద్ధి కనెక్షన్లలో ఆరు రెట్లు పెరుగుదలకు దారి తీస్తుంది. ఇంటర్నెట్ ఆఫ్ థింగ్స్ లాభదాయకంగా మాత్రమే కాకుండా, రిసోర్స్-ఇంటెన్సివ్ కూడా అవుతుంది, కాబట్టి కొంతమంది ఆపరేటర్లు దానిపై మాత్రమే దృష్టి పెడతారు. మరియు IoTని ప్రత్యేక సేవగా అభివృద్ధి చేసే వారికి డబుల్ ట్రాఫిక్ లభిస్తుంది.
వెరైటీ. వైవిధ్యం అనేది ఒక ఆత్మాశ్రయ భావన, కానీ టెలికాం ఆపరేటర్‌లకు నిజంగా వారి చందాదారుల గురించి దాదాపు ప్రతిదీ తెలుసు. పేరు మరియు పాస్‌పోర్ట్ వివరాల నుండి ఫోన్ మోడల్, కొనుగోళ్లు, సందర్శించిన స్థలాలు మరియు ఆసక్తుల వరకు. యారోవయా చట్టం ప్రకారం, మీడియా ఫైళ్లు ఆరు నెలల పాటు నిల్వ చేయబడతాయి. కాబట్టి సేకరించిన డేటా వైవిధ్యంగా ఉంటుందని ఒక సిద్ధాంతంగా తీసుకుందాం.
సాఫ్ట్‌వేర్ మరియు పద్దతి
ప్రొవైడర్లు BigData యొక్క ప్రధాన వినియోగదారులలో ఒకరు, కాబట్టి చాలా పెద్ద డేటా విశ్లేషణ పద్ధతులు టెలికాం పరిశ్రమకు వర్తిస్తాయి. ML, AI, Deep Learning అభివృద్ధి, డేటా సెంటర్లు మరియు డేటా మైనింగ్‌లో పెట్టుబడి పెట్టడానికి ఎవరు సిద్ధంగా ఉన్నారు అనేది మరొక ప్రశ్న. డేటాబేస్తో పూర్తి స్థాయి పనిలో మౌలిక సదుపాయాలు మరియు బృందం ఉంటుంది, దీని ఖర్చులు ప్రతి ఒక్కరూ భరించలేరు. ఇప్పటికే కార్పొరేట్ గిడ్డంగిని కలిగి ఉన్న లేదా డేటా గవర్నెన్స్ మెథడాలజీని అభివృద్ధి చేస్తున్న ఎంటర్‌ప్రైజెస్ బిగ్‌డేటాపై పందెం వేయాలి. దీర్ఘకాలిక పెట్టుబడులకు ఇంకా సిద్ధంగా లేని వారికి, సాఫ్ట్‌వేర్ ఆర్కిటెక్చర్‌ను క్రమంగా నిర్మించాలని మరియు భాగాలను ఒక్కొక్కటిగా ఇన్‌స్టాల్ చేయాలని నేను మీకు సలహా ఇస్తున్నాను. మీరు హెవీ మాడ్యూల్స్ మరియు హడూప్‌ను చివరిగా వదిలివేయవచ్చు. డేటా నాణ్యత మరియు డేటా మైనింగ్ వంటి సమస్యలకు కొంతమంది వ్యక్తులు సిద్ధంగా ఉన్న పరిష్కారాన్ని కొనుగోలు చేస్తారు; కంపెనీలు సాధారణంగా తమ నిర్దిష్ట లక్షణాలు మరియు అవసరాలకు అనుగుణంగా సిస్టమ్‌ను అనుకూలీకరించుకుంటాయి - తాము లేదా డెవలపర్‌ల సహాయంతో.
కానీ ప్రతి బిల్లింగ్‌ను BigDataతో పని చేసేలా సవరించడం సాధ్యం కాదు. లేదా బదులుగా, ప్రతిదీ సవరించబడదు. కొద్ది మంది మాత్రమే దీన్ని చేయగలరు.
బిల్లింగ్ సిస్టమ్ డేటాబేస్ ప్రాసెసింగ్ టూల్‌గా మారే అవకాశం ఉందని తెలిపే మూడు సంకేతాలు:
- క్షితిజసమాంతర స్కేలబిలిటీ. సాఫ్ట్‌వేర్ అనువైనదిగా ఉండాలి - మేము పెద్ద డేటా గురించి మాట్లాడుతున్నాము. సమాచారం మొత్తంలో పెరుగుదల క్లస్టర్‌లోని హార్డ్‌వేర్‌లో దామాషా పెరుగుదల ద్వారా పరిగణించబడుతుంది.
- తప్పు సహనం. సీరియస్ ప్రీపెయిడ్ సిస్టమ్‌లు సాధారణంగా డిఫాల్ట్‌గా తప్పును తట్టుకోగలవు: బిల్లింగ్ అనేక జియోలొకేషన్‌లలో క్లస్టర్‌లో అమలు చేయబడుతుంది, తద్వారా అవి ఒకదానికొకటి స్వయంచాలకంగా బీమా చేసుకుంటాయి. ఒకటి లేదా అంతకంటే ఎక్కువ విఫలమైతే హడూప్ క్లస్టర్‌లో తగినంత కంప్యూటర్లు కూడా ఉండాలి.
- స్థానికత. డేటా తప్పనిసరిగా ఒక సర్వర్‌లో నిల్వ చేయబడాలి మరియు ప్రాసెస్ చేయబడాలి, లేకుంటే మీరు డేటా బదిలీపై విచ్ఛిన్నం చేయవచ్చు. ప్రముఖ మ్యాప్-రిడ్యూస్ అప్రోచ్ స్కీమ్‌లలో ఒకటి: HDFS స్టోర్‌లు, స్పార్క్ ప్రాసెస్‌లు. ఆదర్శవంతంగా, సాఫ్ట్‌వేర్ డేటా సెంటర్ ఇన్‌ఫ్రాస్ట్రక్చర్‌లో సజావుగా కలిసిపోవాలి మరియు ఒకదానిలో మూడు పనులను చేయగలగాలి: సమాచారాన్ని సేకరించడం, నిర్వహించడం మరియు విశ్లేషించడం.
జట్టు
ప్రోగ్రామ్ పెద్ద డేటాను ఏది, ఎలా మరియు ఏ ప్రయోజనం కోసం ప్రాసెస్ చేస్తుందో బృందం నిర్ణయిస్తుంది. తరచుగా ఇది ఒక వ్యక్తిని కలిగి ఉంటుంది - డేటా సైంటిస్ట్. అయినప్పటికీ, నా అభిప్రాయం ప్రకారం, బిగ్ డేటా కోసం ఉద్యోగుల కనీస ప్యాకేజీలో ఉత్పత్తి మేనేజర్, డేటా ఇంజనీర్ మరియు మేనేజర్ కూడా ఉంటారు. మొదటిది సేవలను అర్థం చేసుకుంటుంది, సాంకేతిక భాషను మానవ భాషలోకి అనువదిస్తుంది మరియు దీనికి విరుద్ధంగా ఉంటుంది. డేటా ఇంజనీర్ జావా/స్కాలా మరియు మెషిన్ లెర్నింగ్‌తో ప్రయోగాలను ఉపయోగించి మోడల్‌లకు జీవం పోశారు. మేనేజర్ సమన్వయం చేస్తాడు, లక్ష్యాలను నిర్దేశిస్తాడు మరియు దశలను నియంత్రిస్తాడు.
సమస్యలు
డేటాను సేకరించేటప్పుడు మరియు ప్రాసెస్ చేస్తున్నప్పుడు సాధారణంగా సమస్యలు ఉత్పన్నమయ్యేవి BigData టీమ్‌కి సంబంధించినవి. ప్రోగ్రామ్ ఏమి సేకరించాలో మరియు ఎలా ప్రాసెస్ చేయాలో వివరించాల్సిన అవసరం ఉంది - దీన్ని వివరించడానికి, మీరు మొదట మీరే అర్థం చేసుకోవాలి. కానీ ప్రొవైడర్లకు, విషయాలు అంత సులభం కాదు. నేను చందాదారుల గందరగోళాన్ని తగ్గించే పని యొక్క ఉదాహరణను ఉపయోగించి సమస్యల గురించి మాట్లాడుతున్నాను - టెలికాం ఆపరేటర్లు బిగ్ డేటా సహాయంతో మొదటి స్థానంలో పరిష్కరించడానికి ప్రయత్నిస్తున్నారు.
లక్ష్య నిర్ధారణ. బాగా వ్రాసిన సాంకేతిక లక్షణాలు మరియు నిబంధనల యొక్క విభిన్న అవగాహనలు ఫ్రీలాన్సర్‌లకు మాత్రమే కాకుండా శతాబ్దాల నాటి బాధ. "వదిలివేయబడిన" చందాదారులను కూడా వివిధ మార్గాల్లో అర్థం చేసుకోవచ్చు - ఒక నెల, ఆరు నెలలు లేదా ఒక సంవత్సరం పాటు ఆపరేటర్ సేవలను ఉపయోగించని వారు. మరియు చారిత్రక డేటా ఆధారంగా MVPని సృష్టించడానికి, మీరు ఇతర ఆపరేటర్లను ప్రయత్నించిన లేదా నగరాన్ని విడిచిపెట్టి వేరే నంబర్‌ను ఉపయోగించిన వారు - చర్న్ నుండి చందాదారుల రాబడి యొక్క ఫ్రీక్వెన్సీని అర్థం చేసుకోవాలి. మరో ముఖ్యమైన ప్రశ్న: సబ్‌స్క్రైబర్ ఎంతకాలం నిష్క్రమించడానికి ముందు ప్రొవైడర్ దీన్ని గుర్తించి చర్య తీసుకోవాలి? ఆరు నెలలు చాలా ముందుగానే, ఒక వారం చాలా ఆలస్యం.
భావనల ప్రత్యామ్నాయం. సాధారణంగా, ఆపరేటర్లు ఫోన్ నంబర్ ద్వారా క్లయింట్‌ను గుర్తిస్తారు, కాబట్టి సంకేతాలను దాన్ని ఉపయోగించి అప్‌లోడ్ చేయడం తార్కికం. మీ వ్యక్తిగత ఖాతా లేదా సేవా అప్లికేషన్ నంబర్ గురించి ఏమిటి? ఆపరేటర్ సిస్టమ్‌లోని డేటా మారకుండా ఉండటానికి ఏ యూనిట్‌ను క్లయింట్‌గా తీసుకోవాలో నిర్ణయించడం అవసరం. క్లయింట్ యొక్క విలువను అంచనా వేయడం కూడా సందేహాస్పదంగా ఉంది - కంపెనీకి ఏ చందాదారుడు ఎక్కువ విలువైనది, ఏ వినియోగదారుని నిలుపుకోవడానికి ఎక్కువ కృషి అవసరం మరియు ఏ సందర్భంలో “పడిపోతారు” మరియు వారిపై వనరులను ఖర్చు చేయడంలో అర్థం లేదు.
సమాచారం లేకపోవడం. అందరు ప్రొవైడర్ ఉద్యోగులందరూ సబ్‌స్క్రైబర్ చర్న్‌ను ప్రత్యేకంగా ప్రభావితం చేసే అంశాలు మరియు బిల్లింగ్‌లో సాధ్యమయ్యే కారకాలు ఎలా లెక్కించబడతాయో బిగ్‌డేటా బృందానికి వివరించలేరు. వారు వాటిలో ఒకదానికి పేరు పెట్టినప్పటికీ - ARPU - ఇది వివిధ మార్గాల్లో లెక్కించబడుతుందని తేలింది: ఆవర్తన క్లయింట్ చెల్లింపుల ద్వారా లేదా ఆటోమేటిక్ బిల్లింగ్ ఛార్జీల ద్వారా. మరియు పని ప్రక్రియలో, ఒక మిలియన్ ఇతర ప్రశ్నలు తలెత్తుతాయి. మోడల్ అన్ని క్లయింట్‌లను కవర్ చేస్తుందా, క్లయింట్‌ను నిలుపుకోవడానికి ధర ఎంత, ప్రత్యామ్నాయ నమూనాల ద్వారా ఆలోచించడంలో ఏదైనా ప్రయోజనం ఉందా మరియు పొరపాటున కృత్రిమంగా ఉంచబడిన క్లయింట్‌లను ఏమి చేయాలి.
లక్ష్యాన్ని ఏర్పచుకోవడం. డేటాబేస్తో ఆపరేటర్లు విసుగు చెందడానికి కారణమయ్యే మూడు రకాల ఫలిత దోషాల గురించి నాకు తెలుసు.
- ప్రొవైడర్ BigDataలో పెట్టుబడి పెడుతుంది, గిగాబైట్‌ల సమాచారాన్ని ప్రాసెస్ చేస్తుంది, కానీ తక్కువ ధరలో పొందగలిగే ఫలితాన్ని పొందుతుంది. సాధారణ రేఖాచిత్రాలు మరియు నమూనాలు, ఆదిమ విశ్లేషణలు ఉపయోగించబడతాయి. ఖర్చు చాలా రెట్లు ఎక్కువ, కానీ ఫలితం అదే.
- ఆపరేటర్ బహుముఖ డేటాను అవుట్‌పుట్‌గా స్వీకరిస్తాడు, కానీ దానిని ఎలా ఉపయోగించాలో అర్థం కాలేదు. విశ్లేషణలు ఉన్నాయి - ఇక్కడ ఇది అర్థమయ్యేలా మరియు భారీ స్థాయిలో ఉంది, కానీ దాని వల్ల ఉపయోగం లేదు. "డేటాను ప్రాసెస్ చేయడం" అనే లక్ష్యాన్ని కలిగి ఉండని తుది ఫలితం గురించి ఆలోచించలేదు. ప్రాసెస్ చేయడానికి ఇది సరిపోదు - వ్యాపార ప్రక్రియలను నవీకరించడానికి విశ్లేషణలు ఆధారం కావాలి.
- BigData విశ్లేషణల వినియోగానికి అడ్డంకులు పాత వ్యాపార ప్రక్రియలు మరియు కొత్త ప్రయోజనాల కోసం సరిపోని సాఫ్ట్‌వేర్ కావచ్చు. తయారీ దశలో వారు పొరపాటు చేశారని దీని అర్థం - వారు చర్యల అల్గోరిథం మరియు బిగ్ డేటాను పనిలో ప్రవేశపెట్టే దశల ద్వారా ఆలోచించలేదు.
ఎందుకు
ఫలితాల గురించి మాట్లాడుతూ. టెలికాం ఆపరేటర్లు ఇప్పటికే ఉపయోగిస్తున్న బిగ్ డేటాను ఉపయోగించడం మరియు డబ్బు ఆర్జించే మార్గాలను నేను పరిశీలిస్తాను.
ప్రొవైడర్లు చందాదారుల ప్రవాహాన్ని మాత్రమే కాకుండా, బేస్ స్టేషన్లపై లోడ్ను కూడా అంచనా వేస్తారు.
- చందాదారుల కదలికలు, కార్యాచరణ మరియు ఫ్రీక్వెన్సీ సేవల గురించి సమాచారం విశ్లేషించబడుతుంది. ఫలితం: ఇన్‌ఫ్రాస్ట్రక్చర్ యొక్క సమస్యాత్మక ప్రాంతాల ఆప్టిమైజేషన్ మరియు ఆధునీకరణ కారణంగా ఓవర్‌లోడ్‌ల సంఖ్య తగ్గడం.
- టెలికాం ఆపరేటర్లు విక్రయ కేంద్రాలను తెరిచేటప్పుడు చందాదారుల జియోలొకేషన్ మరియు ట్రాఫిక్ సాంద్రత గురించి సమాచారాన్ని ఉపయోగిస్తారు. అందువల్ల, కొత్త కార్యాలయాల స్థానాన్ని ప్లాన్ చేయడానికి ఇప్పటికే MTS మరియు VimpelCom ద్వారా BigData విశ్లేషణలు ఉపయోగించబడుతున్నాయి.
- ప్రొవైడర్లు తమ స్వంత పెద్ద డేటాను మూడవ పక్షాలకు అందించడం ద్వారా మానిటైజ్ చేస్తారు. బిగ్‌డేటా ఆపరేటర్ల ప్రధాన కస్టమర్‌లు వాణిజ్య బ్యాంకులు. డేటాబేస్ను ఉపయోగించి, వారు కార్డులు లింక్ చేయబడిన చందాదారుల SIM కార్డ్ యొక్క అనుమానాస్పద కార్యకలాపాలను పర్యవేక్షిస్తారు మరియు రిస్క్ స్కోరింగ్, ధృవీకరణ మరియు పర్యవేక్షణ సేవలను ఉపయోగిస్తారు. మరియు 2017లో, మాస్కో ప్రభుత్వం సాంకేతిక మరియు రవాణా మౌలిక సదుపాయాలను ప్లాన్ చేయడానికి Tele2 నుండి బిగ్‌డేటా డేటా ఆధారంగా కదలిక డైనమిక్‌లను అభ్యర్థించింది.
- బిగ్‌డేటా అనలిటిక్స్ అనేది విక్రయదారులకు బంగారు గని, వారు ఎంచుకుంటే వేలాది మంది సబ్‌స్క్రైబర్ గ్రూపుల కోసం వ్యక్తిగతీకరించిన ప్రకటనల ప్రచారాలను సృష్టించగలరు. టెలికాం కంపెనీలు సామాజిక ప్రొఫైల్‌లు, వినియోగదారుల ఆసక్తులు మరియు చందాదారుల ప్రవర్తనా విధానాలను సమగ్రపరుస్తాయి, ఆపై కొత్త కస్టమర్‌లను ఆకర్షించడానికి సేకరించిన BigDataని ఉపయోగిస్తాయి. కానీ పెద్ద-స్థాయి ప్రమోషన్ మరియు PR ప్రణాళిక కోసం, బిల్లింగ్ ఎల్లప్పుడూ తగినంత కార్యాచరణను కలిగి ఉండదు: ప్రోగ్రామ్ ఖాతాదారుల గురించి వివరణాత్మక సమాచారంతో సమాంతరంగా అనేక అంశాలను ఏకకాలంలో పరిగణనలోకి తీసుకోవాలి.
కొందరు ఇప్పటికీ బిగ్‌డేటాను ఖాళీ పదబంధంగా పరిగణిస్తున్నప్పటికీ, బిగ్ ఫోర్ ఇప్పటికే దానిపై డబ్బు సంపాదిస్తున్నారు. MTS ఆరు నెలల్లో పెద్ద డేటా ప్రాసెసింగ్ నుండి 14 బిలియన్ రూబిళ్లు సంపాదిస్తుంది మరియు Tele2 ప్రాజెక్ట్‌ల నుండి ఆదాయాన్ని మూడున్నర రెట్లు పెంచింది. BigData ట్రెండ్ నుండి తప్పనిసరిగా ఉండవలసినదిగా మారుతోంది, దీని కింద టెలికాం ఆపరేటర్ల మొత్తం నిర్మాణం పునర్నిర్మించబడుతుంది.
మూలం: www.habr.com