Në vitin 2008, BigData ishte një term i ri dhe trend në modë. Në vitin 2019 BigData është objekt shitje, burim fitimi dhe arsye për fatura të reja.
Vjeshtën e kaluar, qeveria ruse nisi një projekt-ligj për të rregulluar të dhënat e mëdha. Individët mund të mos identifikohen nga informacioni, por mund ta bëjnë këtë me kërkesë të autoriteteve federale. Përpunimi i BigData për palët e treta bëhet vetëm pas njoftimit të Roskomnadzor. Kompanitë që kanë më shumë se 100 mijë adresa rrjeti bien nën ligj. Dhe, sigurisht, ku pa regjistra - supozohet të krijohet një me një listë të operatorëve të bazës së të dhënave. Dhe nëse më parë kjo Big Data nuk merrej seriozisht nga të gjithë, tani do të duhet të merret parasysh.
Unë, si drejtor i një kompanie zhvilluesi të faturimit që përpunon këto të dhëna të mëdha, nuk mund ta shpërfill bazën e të dhënave. Do të mendoj për të dhënat e mëdha përmes prizmit të operatorëve të telekomit, përmes sistemeve të faturimit të të cilëve kalojnë çdo ditë flukset e informacionit për mijëra abonentë.
Teorema
Le të fillojmë, si në një problem matematikor: së pari vërtetojmë se të dhënat e operatorëve të telekomit mund të quhen BigDat. Në mënyrë tipike, të dhënat e mëdha karakterizohen nga tre karakteristika VVV, megjithëse në interpretimet e lira numri i "Vs" arriti në shtatë.
Vëllimi. Vetëm MVNO i Rostelecom u shërben më shumë se një milion abonentëve. Operatorët kryesorë pritës trajtojnë të dhëna për 44 deri në 78 milionë njerëz. Trafiku po rritet çdo sekondë: në tremujorin e parë të 2019, abonentët kanë aksesuar tashmë 3,3 miliardë GB nga telefonat celularë.
Shpejtësia. Askush nuk mund t'ju tregojë për dinamikën më mirë se statistikat, kështu që unë do të kaloj nëpër parashikimet e Cisco-s. Deri në vitin 2021, 20% e trafikut IP do të shkojë në trafikun celular - ai pothuajse do të trefishohet në pesë vjet. Një e treta e lidhjeve celulare do të jetë M2M – zhvillimi i IoT do të çojë në një rritje gjashtëfish të lidhjeve. Interneti i Gjërave do të bëhet jo vetëm fitimprurës, por edhe me burime intensive, kështu që disa operatorë do të fokusohen vetëm në të. Dhe ata që zhvillojnë IoT si një shërbim të veçantë do të marrin trafik të dyfishtë.
Shumëllojshmëri. Diversiteti është një koncept subjektiv, por operatorët e telekomit me të vërtetë dinë pothuajse gjithçka për abonentët e tyre. Nga emri dhe detajet e pasaportës deri te modeli i telefonit, blerjet, vendet e vizituara dhe interesat. Sipas ligjit Yarovaya, skedarët e medias ruhen për gjashtë muaj. Pra, le ta marrim si aksiomë që të dhënat e mbledhura janë të ndryshme.
Software dhe metodologji
Ofruesit janë një nga konsumatorët kryesorë të BigData, kështu që shumica e teknikave të analizës së të dhënave të mëdha janë të zbatueshme në industrinë e telekomit. Një pyetje tjetër është se kush është i gatshëm të investojë në zhvillimin e ML, AI, Deep Learning, të investojë në qendrat e të dhënave dhe minierat e të dhënave. Puna e plotë me një bazë të dhënash përbëhet nga infrastrukturë dhe një ekip, kostot e të cilave jo të gjithë mund t'i përballojnë. Ndërmarrjet që tashmë kanë një depo të korporatës ose po zhvillojnë një metodologji të qeverisjes së të dhënave duhet të bastojnë në BigData. Për ata që nuk janë ende gati për investime afatgjata, ju këshilloj që gradualisht të ndërtoni arkitekturën e softuerit dhe të instaloni komponentët një nga një. Ju mund t'i lini modulet e rënda dhe Hadoop për të fundit. Pak njerëz blejnë një zgjidhje të gatshme për probleme të tilla si Cilësia e të Dhënave dhe Minimi i të Dhënave; kompanitë në përgjithësi e personalizojnë sistemin sipas specifikave dhe nevojave të tyre specifike - vetë ose me ndihmën e zhvilluesve.
Por jo çdo faturim mund të modifikohet për të punuar me BigData. Ose më mirë, jo vetëm gjithçka mund të modifikohet. Pak njerëz mund ta bëjnë këtë.
Tre shenja që një sistem faturimi ka një shans të bëhet një mjet përpunimi i bazës së të dhënave:
- Shkallueshmëria horizontale. Softueri duhet të jetë fleksibël - po flasim për të dhëna të mëdha. Një rritje në sasinë e informacionit duhet të trajtohet nga një rritje proporcionale e harduerit në grup.
- Toleranca ndaj gabimeve. Sistemet serioze me parapagesë janë zakonisht tolerante ndaj gabimeve si parazgjedhje: faturimi shpërndahet në një grup në disa vendndodhje, në mënyrë që ato të sigurojnë automatikisht njëri-tjetrin. Duhet të ketë gjithashtu mjaft kompjuterë në grupin Hadoop në rast se një ose më shumë dështojnë.
- Lokaliteti. Të dhënat duhet të ruhen dhe të përpunohen në një server, përndryshe ju mund të shkoni në dështim në transferimin e të dhënave. Një nga skemat popullore të qasjes Map-Reduce: dyqanet HDFS, proceset Spark. Idealisht, softueri duhet të integrohet pa probleme në infrastrukturën e qendrës së të dhënave dhe të jetë në gjendje të bëjë tre gjëra në një: mbledhjen, organizimin dhe analizimin e informacionit.
Ekip
Çfarë, si dhe për çfarë qëllimi programi do të përpunojë të dhëna të mëdha vendoset nga ekipi. Shpesh ai përbëhet nga një person - një shkencëtar i të dhënave. Megjithëse, për mendimin tim, paketa minimale e punonjësve për Big Data përfshin gjithashtu një Menaxher produkti, Inxhinier të Dhënave dhe Menaxher. I pari kupton shërbimet, përkthen gjuhën teknike në gjuhën njerëzore dhe anasjelltas. Inxhinieri i të Dhënave sjell modele në jetë duke përdorur Java/Scala dhe eksperimente me Machine Learning. Menaxheri koordinon, vendos qëllime dhe kontrollon fazat.
Problemet
Është nga ana e ekipit BigData që zakonisht lindin probleme gjatë mbledhjes dhe përpunimit të të dhënave. Programi duhet të shpjegojë se çfarë të mbledhë dhe si ta përpunojë atë - për ta shpjeguar këtë, së pari duhet ta kuptoni vetë. Por për ofruesit, gjërat nuk janë aq të thjeshta. Unë po flas për problemet duke përdorur shembullin e detyrës së zvogëlimit të abonentëve - kjo është ajo që operatorët e telekomit po përpiqen të zgjidhin në radhë të parë me ndihmën e Big Data.
Vendosja e qëllimeve. Specifikimet teknike të shkruara mirë dhe kuptimet e ndryshme të termave kanë qenë një dhimbje shekullore jo vetëm për profesionistët e lirë. Edhe pajtimtarët "të rënë" mund të interpretohen në mënyra të ndryshme - si ata që nuk kanë përdorur shërbimet e operatorit për një muaj, gjashtë muaj ose një vit. Dhe për të krijuar një MVP bazuar në të dhënat historike, duhet të kuptoni frekuencën e kthimeve të pajtimtarëve nga churn - ata që provuan operatorë të tjerë ose u larguan nga qyteti dhe përdorën një numër tjetër. Një pyetje tjetër e rëndësishme: sa kohë para se abonenti pritet të largohet duhet ta përcaktojë ofruesi këtë dhe të ndërmarrë veprime? Gjashtë muaj është shumë herët, një javë është shumë vonë.
Zëvendësimi i koncepteve. Në mënyrë tipike, operatorët identifikojnë një klient me numrin e telefonit, kështu që është logjike që shenjat të ngarkohen duke përdorur atë. Po në lidhje me llogarinë tuaj personale ose numrin e aplikacionit të shërbimit? Është e nevojshme të vendoset se cila njësi duhet të merret si klient në mënyrë që të dhënat në sistemin e operatorit të mos ndryshojnë. Vlerësimi i vlerës së një klienti është gjithashtu i diskutueshëm - cili pajtimtar është më i vlefshëm për kompaninë, cilin përdorues kërkon më shumë përpjekje për të mbajtur dhe cilët do të "bien" në çdo rast dhe nuk ka kuptim të shpenzoni burime për ta.
Mungesa e informacionit. Jo të gjithë punonjësit e ofruesit janë në gjendje t'i shpjegojnë ekipit të BigData-s se çfarë ndikon në mënyrë specifike në largimin e abonentëve dhe si llogariten faktorët e mundshëm në faturim. Edhe nëse ata emëruan njërën prej tyre - ARPU - rezulton se mund të llogaritet në mënyra të ndryshme: ose me pagesa periodike të klientit, ose me tarifa automatike të faturimit. Dhe në procesin e punës, lindin një milion pyetje të tjera. A i mbulon modeli të gjithë klientët, cili është çmimi për mbajtjen e një klienti, a ka ndonjë kuptim të mendojmë për modele alternative dhe çfarë të bëjmë me klientët që janë mbajtur gabimisht artificialisht.
Vendosje qellimi. Unë di tre lloje të gabimeve të rezultateve që bëjnë që operatorët të zhgënjehen me bazën e të dhënave.
- Ofruesi investon në BigData, përpunon gigabajt informacion, por merr një rezultat që mund të ishte marrë më lirë. Përdoren diagrame dhe modele të thjeshta, analitikë primitive. Kostoja është shumë herë më e lartë, por rezultati është i njëjtë.
- Operatori merr të dhëna të shumëanshme si dalje, por nuk e kupton se si t'i përdorë ato. Ka analitikë - këtu është, e kuptueshme dhe voluminoze, por nuk ka asnjë dobi. Rezultati përfundimtar, i cili nuk mund të përbëhet nga qëllimi i "përpunimit të të dhënave", nuk është menduar mirë. Nuk është e mjaftueshme për të përpunuar - analitika duhet të bëhet baza për përditësimin e proceseve të biznesit.
- Pengesat për përdorimin e analitikës BigData mund të jenë procese biznesi të vjetruara dhe softuer të papërshtatshëm për qëllime të reja. Kjo do të thotë që ata bënë një gabim në fazën e përgatitjes - ata nuk menduan për algoritmin e veprimeve dhe fazat e futjes së të dhënave të mëdha në punë.
Çfarë për
Duke folur për rezultatet. Do të shqyrtoj mënyrat e përdorimit dhe fitimit të parave të të dhënave të mëdha që operatorët e telekomit tashmë po përdorin.
Ofruesit parashikojnë jo vetëm daljen e abonentëve, por edhe ngarkesën në stacionet bazë.
- Është analizuar informacioni për lëvizjet e abonentëve, aktivitetin dhe shërbimet e frekuencës. Rezultati: zvogëlimi i numrit të mbingarkesave për shkak të optimizimit dhe modernizimit të zonave problematike të infrastrukturës.
- Operatorët e telekomit përdorin informacion në lidhje me vendndodhjen gjeografike të pajtimtarëve dhe dendësinë e trafikut kur hapin pikat e shitjes. Kështu, analitika BigData përdoret tashmë nga MTS dhe VimpelCom për të planifikuar vendndodhjen e zyrave të reja.
- Ofruesit fitojnë para nga të dhënat e tyre të mëdha duke ia ofruar ato palëve të treta. Klientët kryesorë të operatorëve BigData janë bankat komerciale. Duke përdorur bazën e të dhënave, ata monitorojnë aktivitetet e dyshimta të kartës SIM të pajtimtarit me të cilën janë të lidhura kartat dhe përdorin shërbimet e vlerësimit, verifikimit dhe monitorimit të rrezikut. Dhe në vitin 2017, qeveria e Moskës kërkoi dinamikën e lëvizjes bazuar në të dhënat BigData nga Tele2 për të planifikuar infrastrukturën teknike dhe të transportit.
- Analitika e BigData është një minierë ari për tregtarët, të cilët mund të krijojnë fushata reklamimi të personalizuara për mijëra grupe abonentësh nëse dëshirojnë. Kompanitë e telekomit grumbullojnë profilet sociale, interesat e konsumatorëve dhe modelet e sjelljes së abonentëve, dhe më pas përdorin BigData të mbledhura për të tërhequr klientë të rinj. Por për promovimin në shkallë të gjerë dhe planifikimin e PR, faturimi nuk ka gjithmonë funksionalitet të mjaftueshëm: programi duhet të marrë njëkohësisht parasysh shumë faktorë paralelisht me informacionin e detajuar për klientët.
Ndërsa disa ende e konsiderojnë BigData një frazë boshe, Big Four tashmë po fiton para në të. MTS fiton 14 miliardë rubla nga përpunimi i të dhënave të mëdha në gjashtë muaj, dhe Tele2 rriti të ardhurat nga projektet me tre herë e gjysmë. BigData po kthehet nga një trend në një domosdoshmëri, sipas të cilit do të rindërtohet e gjithë struktura e operatorëve të telekomit.
Burimi: www.habr.com