Në vitin 2008, BigData ishte një term i ri dhe një trend i njohur. Në vitin 2019, BigData është objekt shitjeje, burim të ardhurash dhe një arsyetim për ligje të reja.
NĂ« vjeshtĂ« tĂ« vitit tĂ« kaluar, qeveria ruse nisi njĂ« projektligj pĂ«r rregullimin e tĂ« dhĂ«nave tĂ« mĂ«dha. Ndalohet identifikimi i individĂ«ve nga informacioni, por lejohet tĂ« bĂ«het me kĂ«rkesĂ« tĂ« organeve federale. PĂ«rpunimi i BigData pĂ«r palĂ« tĂ« treta â vetĂ«m pas njoftimit tĂ« Roskomnadzor. NĂ« ligj pĂ«rfshihen kompanitĂ« qĂ« disponojnĂ« mĂ« shumĂ« se 100,000 adresa rrjeti. Dhe, natyrisht, ku do tĂ« shkojmĂ« pa regjistrat â parashikohet krijimi i njĂ« regjistri me listĂ«n e operatorĂ«ve tĂ« tĂ« dhĂ«nave. Dhe nĂ«se deri tani BigData nuk ishte perceptuar seriozisht nga tĂ« gjithĂ«, tani do tĂ« duhet tĂ« merret parasysh.
Nuk mund të anashkaloj BigData as unë, si drejtor i një kompanie zhvillimi të faturimit, që përpunon këtë BigData. Do të reflektoj për të dhënat e mëdha përmes prizmit të operatorëve të komunikimeve, përmes të cilëve kalojnë çdo ditë rrjedha informacioni për mijëra abonentë.
Teorema
Të fillojmë, si në një detyrë matematike: së pari të dëshmojmë se të dhënat e operatorëve të komunikimeve mund të quhen BigData. Standardisht, të dhënat e mëdha karakterizohen nga tre shenja VVV, megjithatë në interpretime të lira numri i "V" arrinte deri në shtatë.
Vëllimi. Vetëm MVNO i Rostelekomit shërben më shumë se një milion abonentë. Operatorët kryesorë të host-it përpunojnë të dhëna nga 44 deri në 78 milion njerëz. Trafiku po rritet çdo sekondë: në tremujorin e parë të vitit 2019, abonentët tashmë kishin përdorur 3.3 miliard GB nga telefonat e tyre celularë.
ShpejtĂ«sia. Askush nuk e pĂ«rshkruan mĂ« mirĂ« dinamikĂ«n se sa statistikat, prandaj do tĂ« shkoj nĂ« parashikimet e Cisco-s. Deri nĂ« vitin 2021, 20% e trafikut IP do tĂ« shkojĂ« pĂ«r trafikun mobil â ai do tĂ« rritet gati tri herĂ« brenda pesĂ« viteve. NjĂ« e treta e lidhjeve celulare do tĂ« jetĂ« M2M â zhvillimi i IoT do tĂ« shkaktojĂ« njĂ« rritje gjashtfish tĂ« lidhjeve. Interneti i gjĂ«rave do tĂ« bĂ«het jo vetĂ«m njĂ« drejtim fitimprurĂ«s, por edhe me shpenzime tĂ« mĂ«dha tĂ« burimeve, prandaj disa operatorĂ« do tĂ« pĂ«rqendrohen vetĂ«m nĂ« tĂ«. Dhe ata qĂ« do tĂ« zhvillojnĂ« IoT si njĂ« shĂ«rbim tĂ« veçantĂ«, do tĂ« fitojnĂ« trafik tĂ« dyfishtĂ«.
DIVERSITET. Diversiteti është një koncept subjektiv, por operatorët e komunikimeve vërtet i dinë pothuajse gjithçka për abonentët e tyre. Nga emri dhe të dhënat e identitetit deri te modeli i telefonit, blerjet, vendet e vizituara dhe interesat. Mediat e skedarëve, sipas ligjit të Jarovaya, ruhet për të paktën gjashtë muaj. Pra, le të pranojmë si aksion se të dhënat e mbledhura janë të larmishme.
SOFTI DHE METODIKA
Furnizuesit janĂ« njĂ« nga konsumatorĂ«t kryesorĂ« tĂ« Big Data, prandaj shumica e metodologjive tĂ« analizĂ«s sĂ« tĂ« dhĂ«nave tĂ« mĂ«dha janĂ« tĂ« aplikueshme pĂ«r industrinĂ« e telekomunikacionit. ĂĂ«shtja tjetĂ«r Ă«shtĂ« kush Ă«shtĂ« i gatshĂ«m tĂ« investojĂ« nĂ« zhvillimin e ML, AI, MĂ«simit tĂ« ThellĂ«, tĂ« investojĂ« nĂ« Qendrat e tĂ« DhĂ«nave dhe minierat e tĂ« dhĂ«nave. Puna e plotĂ« me bazat e tĂ« dhĂ«nave pĂ«rbĂ«het nga infrastruktura dhe ekipi, shpenzimet pĂ«r tĂ« cilat nuk i lejojnĂ« tĂ« gjithĂ«. TĂ« investosh nĂ« Big Data ia vlen pĂ«r bizneset qĂ« tashmĂ« kanĂ« njĂ« depot korporative ose po zhvillojnĂ« metodologjinĂ« e Qeverisjes sĂ« tĂ« DhĂ«nave. Atyre qĂ« ende nuk janĂ« gati pĂ«r investime tĂ« gjata, u rekomandoj tĂ« rritin gradualisht arkitekturĂ«n e softit dhe tĂ« vendosin komponentĂ«t njĂ« nga njĂ«. Modulet e rĂ«nda dhe Hadoop mund tĂ« lihen pĂ«r nĂ« fund. Pak njerĂ«z blejnĂ« njĂ« zgjidhje tĂ« gatshme pĂ«r detyra si CilĂ«sia e tĂ« DhĂ«nave dhe Miniera e tĂ« DhĂ«nave, zakonisht kompanitĂ« i pĂ«rshtatin sistemet pĂ«r specifikat dhe nevojat e tyre - vetĂ« ose me ndihmĂ«n e zhvilluesve.
Por nuk çdo sistema faturimi mund të modifikohet për të punuar me Big Data. Në të vërtetë, të modifikosh nuk mund ta bëjë kushdo. Pak njerëz e mundon të bëj këtë.
Tri shenjat që një sistemi faturimi ka mundësinë të bëhet një instrument për përpunimin e të dhënave:
- Skalabiliteti horizontal. Softi duhet të jetë fleksibël - ne flasim për të dhëna të mëdha. Rritja e sasisë së informacionit duhet të trajtohet me një rritje proporcionale të 'harduerit' në klaster.
- Qëndrueshmëria. Sistemat e rënda prepaid zakonisht janë që nga fillimi të qëndrojnë; faturimi implementohet në një klaster në disa gjeolokacione, për të siguruar automatikisht njëri-tjetrin. Ka gjithashtu duhet të ketë mjaft kompjuterë në klasterin Hadoop për raste të prishjes së një ose më shumë.
- Lokaliteti. Të dhënat duhet të ruhen dhe të procesohen në të njëjtën server, në të kundërt do të ndëshkohesh për transferimin e të dhënave. Një nga skemat më të njohura të qasjes Map-Reduce: HDFS ruan, Spark proceson. Në ideal, softi duhet të integrohet pa dhimbje në infrastrukturën e Qendrës së të Dhënave dhe të dijë të bëjë tre në një: të mbledhë, organizojë dhe analizohet informacionin.
Ekipa
ĂfarĂ«, si dhe pĂ«r çfarĂ« qĂ«llimi programi do tĂ« pĂ«rpunojĂ« tĂ« dhĂ«nat e mĂ«dha â e vendos ekipi. Shpesh, ai pĂ«rbĂ«het nga njĂ« person â data scientist. MegjithatĂ«, sipas mendimit tim, paketa minimale e stafit pĂ«r BigData pĂ«rfshin gjithashtu njĂ« menaxher produkti, njĂ« inxhinier tĂ« dhĂ«nash dhe njĂ« drejtues. I pari kupton shĂ«rbimet, pĂ«rkthehet nga gjuha teknike nĂ« gjuhĂ«n e zakonshme dhe anasjelltas. Inxhinieri i tĂ« dhĂ«nave e çon modelin nĂ« jetĂ« duke pĂ«rdorur Java/Scala dhe eksperimenton me Machine Learning. Drejtuesi koordinon, vendos objektiva, mbikĂ«qyr fazat.
Problemet
SaktĂ«sisht nga ana e ekipit BigData zakonisht lindin probleme gjatĂ« mbledhjes dhe pĂ«rpunimit tĂ« tĂ« dhĂ«nave. Programit i nevojitet tĂ« shpjegohet se çfarĂ« duhet tĂ« mbledhĂ« dhe si tĂ« pĂ«rpunojĂ« â pĂ«r tĂ« shpjeguar kĂ«tĂ«, sĂ« pari duhet ta kuptojmĂ« ne vetĂ«. Dhe te ofruesit e shĂ«rbimit gjĂ«rat nuk janĂ« ashtu siç duken. Po tregoj pĂ«r problemet pĂ«rmes njĂ« shembulli tĂ« detyrĂ«s pĂ«r reduktimin e humbjes sĂ« abonentĂ«ve â kjo Ă«shtĂ« pikĂ«risht ajo qĂ« operatorĂ«t e telekomunikacioneve pĂ«rpiqen tĂ« zgjidhin me ndihmĂ«n e BigData si prioritet.
Caktimi i detyrave. NjĂ« plan i mirĂ« i detyrave dhe kuptime tĂ« ndryshme tĂ« terminologjisĂ« â Ă«shtĂ« njĂ« dhimbje shekullore jo vetĂ«m pĂ«r freelancerĂ«t. Madje edhe abonentĂ«t qĂ« 'kanĂ« rĂ«nĂ«' mund tĂ« interpretohen ndryshe â si ata qĂ« nuk pĂ«rdorin shĂ«rbimet e operatorit pĂ«r njĂ« muaj, gjysmĂ« viti ose njĂ« vit. Dhe pĂ«r tĂ« krijuar njĂ« MVP mbi tĂ« dhĂ«na historike, duhet tĂ« kuptohet frekuenca e kthimit tĂ« abonentĂ«ve nga humbja â ata qĂ« provuan shĂ«rbimet e operatorĂ«ve tĂ« tjerĂ« ose u larguan nga qyteti dhe pĂ«rdorĂ«n njĂ« numĂ«r tjetĂ«r. NjĂ« tjetĂ«r pyetje e rĂ«ndĂ«sishme: sa kohĂ« para largimit tĂ« parashikuar tĂ« abonentit, operatori duhet ta identifikojĂ« kĂ«tĂ« dhe tĂ« marrĂ« masa? Pas gjashtĂ« muajsh â herĂ«t, pas njĂ« jave â tashmĂ« vonĂ«.
ZĂ«vendĂ«simi i kuptimeve. Zakonisht, operatorĂ«t e pĂ«rcaktojnĂ« klientin sipas numrit tĂ« telefonit, prandaj Ă«shtĂ« logjike qĂ« karakteristikat tĂ« shkarkohen sipas tij. Po çfarĂ« Ă«shtĂ« pĂ«r llogarinĂ« ose numrin e aplikacionit shĂ«rbyes? Duhet tĂ« pĂ«rcaktohet se cila njĂ«sisĂ« duhet marrĂ« si klient, nĂ« mĂ«nyrĂ« qĂ« tĂ« dhĂ«nat nĂ« sistemin e operatorit tĂ« jenĂ« tĂ« njĂ«jta. VlerĂ«simi i rĂ«ndĂ«sisĂ« sĂ« klientit gjithashtu mbetet njĂ« çështje â cili abonent Ă«shtĂ« mĂ« i rĂ«ndĂ«sishĂ«m pĂ«r kompaninĂ«, pĂ«r cilin pĂ«rdorues duhet tĂ« bĂ«hen mĂ« shumĂ« pĂ«rpjekje pĂ«r ta mbajtur, dhe cilĂ«t 'do tĂ« bien' nĂ« çdo rast dhe nuk ka asnjĂ« kuptim tĂ« shpenzohen burime pĂ«r ta.
Mungesa e informacionit. Nuk e gjithĂ« stafi i ofruesve Ă«shtĂ« nĂ« gjendje tĂ« shpjegojĂ« ekipit tĂ« BigData se çfarĂ« ndikon nĂ« humbjen e abonentĂ«ve dhe si llogariten faktort e mundshĂ«m nĂ« faturim. Edhe nĂ«se pĂ«rmendet njĂ« prej tyre â ARPU â del se ai mund tĂ« llogaritet nĂ« mĂ«nyra tĂ« ndryshme: ose nga pagesat periodike tĂ« klientit, ose nga akumilimet automatike tĂ« faturimit. Dhe gjatĂ« punĂ«s lindin miliona pyetje tĂ« tjera. A mbulon modeli tĂ« gjithĂ« klientĂ«t, çfarĂ« Ă«shtĂ« kostoja pĂ«r ruajtjen e klientit, a ka kuptim tĂ« mendohet pĂ«r modele alternative dhe çfarĂ« duhet tĂ« bĂ«het me klientĂ«t qĂ« janĂ« mbajtur gabimisht nĂ« mĂ«nyrĂ« artificiale.
Cilësimi i qëllimeve. Unë di tre lloje gabimesh të lidhura me rezultatet, të cilat e bëjnë operatorët të ndjehen të zhgënjyer me BigData.
- Ofruesi investon në BigData, përpunon gigabajt informacionesh, por merr një rezultat që mund ta merrte edhe më lirë. Përdoren skema dhe modele të thjeshta, analitika primitive. Kostot janë shumë më të larta, ndërsa rezultati është i njëjtë.
- Operatori merr jashtĂ« shumĂ« pĂ«rmbajtje tĂ« ndryshme tĂ« dhĂ«nash, por nuk di si t'i pĂ«rdorĂ« ato. Analitika Ă«shtĂ« aty â e qartĂ« dhe e gjerĂ«, por pĂ«rfitimi nga ajo Ă«shtĂ« zero. Nuk Ă«shtĂ« menduar rezultati pĂ«rfundimtar, i cili nuk mund tĂ« pĂ«rbĂ«het vetĂ«m nga qĂ«llimi "tĂ« pĂ«rpunojmĂ« tĂ« dhĂ«nat". TĂ« pĂ«rpunosh Ă«shtĂ« pak â analitika duhet tĂ« shĂ«rbejĂ« si bazĂ« pĂ«r pĂ«rmirĂ«simin e proceseve tĂ« biznesit.
- NjĂ« pengesĂ« pĂ«r pĂ«rdorimin e analitikĂ«s BigData mund tĂ« bĂ«hen proceset e biznesit tĂ« vjetruara dhe programet qĂ« nuk pĂ«rshtaten me qĂ«llimet e reja. KĂ«shtu, ka dĂ«shtuar nĂ« fazĂ«n e pĂ«rgatitjes â nuk Ă«shtĂ« menduar algoritmi i veprimeve dhe fazat e zbatimit tĂ« BigData nĂ« punĂ«.
Pse
Për t'u folur për rezultatet. Do të flas për metodat e përdorimit dhe monetizimit të BigData, të cilat tashmë po përdoren nga operatorët e telekomunikacionit.
Ofruesit parashikojnë jo vetëm humbjen e abonentëve, por edhe ngarkesat në stacionet bazë.
- Analizohet informacioni mbi lëvizjen e abonentëve, aktivitetin dhe shërbimet e frekuencave. Rezultati: ulja e numrit të mbingarkesave falë optimizimit dhe modernizimit të pjesëve problematike të infrastrukturës.
- Informacioni mbi gjeolokacionin e abonentëve dhe densitetin e fluksit përdoret nga operatorët e telekomunikacionit për hapjen e pikave të shitjes. Ajo analitika BigData tashmë po përdoret nga MTS dhe VimpelCom për planifikimin e vendndodhjeve të zyrave të reja.
- OfrojĂ«sit monetizojnĂ« tĂ« dhĂ«nat e tyre tĂ« mĂ«dha duke i ofruar ato pĂ«r firma tĂ« treta. KlientĂ«t kryesorĂ« tĂ« operatorĂ«ve BigData janĂ« bankat tregtare. Me ndihmĂ«n e tĂ« dhĂ«nave, ata ndjekin aktivitete tĂ« dyshimta tĂ« SIM-kartelave tĂ« abonentĂ«ve, tĂ« cilave u kanĂ« lidhur kartat, pĂ«rdorin shĂ«rbimet e skoringut tĂ« rrezikut, verifikimit dhe monitorimit. NĂ« vitin 2017, qeveria e MoskĂ«s kĂ«rkoi nga Tele2 dinamikĂ«n e lĂ«vizjes pĂ«r tĂ« dhĂ«nat BigData â pĂ«r planifikimin e infrastrukturĂ«s teknike dhe transportuese.
- Analitika BigData është një pasuri e madhe për marketerët, të cilët mund të krijojnë fushata reklamimi të personalizuara për mijëra grupe abonentësh. Kompanitë telekomunikative agregojnë profile sociale, interesat konsumatorëve dhe modelet e sjelljes së abonentëve, dhe më pas e përdorin BigData të mbledhura për tërheqjen e klientëve të rinj. Por për planifikimin masiv të promovimit dhe PR, bilingu shpesh nuk ka mjaftueshëm funksionalitet: programi duhet të marrë parasysh një numër të madh faktorësh njëkohësisht me informacion të detajuar rreth klientëve.
Ndërsa disa ende e konsiderojnë BigData një term bosh, "katërshja e madhe" tashmë po bën para me të. MTS, në gjashtë muaj, fiton 14 miliardë rubla nga përpunimi i të dhënave të mëdha, ndërsa Tele2 e rriti të ardhurat nga projektet me tri herë e gjysmë. BigData po shndërrohet nga një trend në një nevojë të domosdoshme, për të cilën çdo strukturë operatorësh do të rindërtohet.
Burimi: habr.com
